JP2017510198A - マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用 - Google Patents

マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用 Download PDF

Info

Publication number
JP2017510198A
JP2017510198A JP2016558403A JP2016558403A JP2017510198A JP 2017510198 A JP2017510198 A JP 2017510198A JP 2016558403 A JP2016558403 A JP 2016558403A JP 2016558403 A JP2016558403 A JP 2016558403A JP 2017510198 A JP2017510198 A JP 2017510198A
Authority
JP
Japan
Prior art keywords
layer
bitstream
sei message
sei
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016558403A
Other languages
English (en)
Other versions
JP2017510198A5 (ja
JP6549145B2 (ja
Inventor
ワン、イェ−クイ
ラマスブラモニアン、アダルシュ・クリシュナン
ヘンドリー、フヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017510198A publication Critical patent/JP2017510198A/ja
Publication of JP2017510198A5 publication Critical patent/JP2017510198A5/ja
Application granted granted Critical
Publication of JP6549145B2 publication Critical patent/JP6549145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ある例では、ビデオデータをコーディングする方法は、ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることを含み、１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む。方法はまた、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することを含む。

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１４年３月２４日に出願された米国仮出願第６１／９６９，７９７号の利益を主張する。
[0002]本開示は、ビデオコーディングと、ビデオ圧縮と、ビットストリーム中の圧縮されたビデオと関連付けられるデータのシグナリングとに関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータもしくはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話もしくは衛星無線電話、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格によって定義された規格、およびそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報を効率的に送信し、受信し、符号化し、復号し、および／または記憶し得る。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部）はビデオブロックに区分されてよく、これらのビデオブロックは、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコーディングされたブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コーディングされたブロックと予測ブロックとの間の差分を示す。イントラコーディングされたブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数が、次いで量子化され得る。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用されてよい。
[0006]本開示の態様は、マルチレイヤの状況においてＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格において定義される補足強化レイヤ（ＳＥＩ）メッセージを適用するための技法を対象とする。たとえば、本開示の技法は、たとえば、ＨＥＶＣに対するマルチビュービデオコーディング拡張（ＭＶ−ＨＥＶＣ）またはＨＥＶＣに対するスケーラブルビデオコーディング（ＳＶＣ）拡張（ＳＨＶＣ）のようなＨＥＶＣ規格に対する拡張を使用した、マルチレイヤビデオコーディングにおいて適用されるべきＨＥＶＣに記載される種々のＳＥＩメッセージのシンタックスに対する変更および／または制約を含み得る。いくつかの事例では、本技法は、そのようなマルチレイヤコーデックの計算効率性および／または誤り耐性を改善することができる。
[0007]ある例では、ビデオデータをコーディングする方法は、ビデオデータのマルチレイヤビットストリームのアクセスユニットおよび第１のレイヤの１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを取得することと、アクセスユニット内でビットストリームが第１のレイヤのＶＣＬ ＮＡＬユニットと第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャをも含まないように、第１のレイヤのＶＣＬ ＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットだけをコーディングすることとを含む。
[0008]別の例では、ビデオデータをコーディングするためのデバイスは、ビデオデータのマルチレイヤビットストリームの少なくとも一部分を記憶するように構成されるメモリと、ビデオデータのマルチレイヤビットストリームのアクセスユニットおよび第１のレイヤの１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを取得し、アクセスユニット内でビットストリームが第１のレイヤのＶＣＬ ＮＡＬユニットと第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まないように、第１のレイヤのＶＣＬ ＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットだけをコーディングするように構成される１つまたは複数のプロセッサとを含む。
[0009]別の例では、ビデオデータをコーディングするための装置は、ビデオデータのマルチレイヤビットストリームのアクセスユニットおよび第１のレイヤの１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを取得するための手段と、アクセスユニット内でビットストリームが第１のレイヤのＶＣＬ ＮＡＬユニットと第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まないように、第１のレイヤのＶＣＬ ＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットだけをコーディングするための手段とを含む。
[0010]別の例では、非一時的コンピュータ可読媒体は、実行されると、１つまたは複数のプロセッサに、ビデオデータのマルチレイヤビットストリームのアクセスユニットおよび第１のレイヤの１つまたは複数のビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを取得させ、アクセスユニット内でビットストリームが第１のレイヤのＶＣＬ ＮＡＬユニットと第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まないように、第１のレイヤのＶＣＬ ＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットだけをコーディングさせる、命令を記憶している。
[0011]別の例では、ビデオデータをコーディングする方法は、マルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットは復号ピクチャハッシュＳＥＩメッセージを含む、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能なマルチレイヤビットストリームのレイヤのセットを決定することとを含む。
[0012]別の例では、ビデオデータをコーディングするためのデバイスは、マルチレイヤビットストリームの少なくとも一部分を記憶するように構成されるメモリと、マルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットは復号ピクチャハッシュＳＥＩメッセージを含む、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能なマルチレイヤビットストリームのレイヤのセットを決定することとを行わせるように構成される１つまたは複数のプロセッサとを含む。
[0013]別の例では、ビデオデータをコーディングするための装置は、マルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングするための手段と、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットは復号ピクチャハッシュＳＥＩメッセージを含む、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能なマルチレイヤビットストリームのレイヤのセットを決定するための手段とを含む。
[0014]別の例では、非一時的コンピュータ可読媒体は、実行されると、１つまたは複数のプロセッサに、マルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットは復号ピクチャハッシュＳＥＩメッセージを含む、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能なマルチレイヤビットストリームのレイヤのセットを決定することとを行わせる、命令を記憶している。
[0015]別の例では、ビデオデータをコーディングする方法は、ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットはＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを含む。
[0016]別の例では、ビデオデータをコーディングするためのデバイスは、マルチレイヤビットストリームのレイヤを記憶するように構成されるメモリと、ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットはＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを行わせるように構成される１つまたは複数のプロセッサとを含む。
[0017]別の例では、ビデオデータをコーディングするための装置は、ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングするための手段と、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットはＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定するための手段とを含む。
[0018]別の例では、非一時的コンピュータ可読媒体は、実行されると、１つまたは複数のプロセッサに、ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、１つまたは複数の非ＶＣＬ ＮＡＬユニットはＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを行わせる、命令を記憶している。
[0019]本開示の１つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
[0020]本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0021]本開示で説明される技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0022]本開示で説明される技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0023]本開示の１つまたは複数の態様が実装され得るカプセル化ユニットの一例を示すブロック図。 [0024]本開示の１つまたは複数の態様が実装され得る１つの例示的なネットワークを示すブロック図。 [0025]本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの例示的な動作を示す流れ図。 [0026]本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの別の例示的な動作を示す流れ図。 [0027]本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの別の例示的な動作を示す流れ図。
[0028]本開示は、マルチレイヤの状況においてＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）規格において定義される補足強化レイヤ（ＳＥＩ）メッセージを適用するための技法を含む。いくつかの事例では、以下で述べられるように、本技法は、ＨＥＶＣに対するマルチビュービデオコーディング拡張（ＭＶ−ＨＥＶＣ）またはＨＥＶＣに対するスケーラブルビデオコーディング（ＳＶＣ）拡張（ＳＨＶＣ）のような、ＨＥＶＣ規格に対するマルチレイヤ拡張とともに実行され得る。しかしながら、本開示の技法は、いかなる特定のビデオコーディング規格にも限定されず、同じくまたは代替的に、ＨＥＶＣに対する他の拡張、他のマルチビューコーディング規格および／または他のマルチレイヤビデオ規格とともに使用され得る。加えて、本開示の技法は、以下で説明されるように、単独でまたは組み合わせて適用され得る。
[0029]ビデオデータの「レイヤ」は一般に、ビュー、フレームレート、解像度などのような少なくとも１つの共通の特性を有するピクチャのシーケンスを指し得る。たとえば、レイヤは、マルチビュービデオデータの特定のビュー（たとえば、視点）と関連付けられるビデオデータを含み得る。別の例として、レイヤは、スケーラブルビデオデータの特定のレイヤと関連付けられるビデオデータを含み得る。したがって、本開示は、ビデオデータのレイヤおよびビューを互換的に指すことがある。すなわち、ビデオデータのビューはビデオデータのレイヤと呼ばれることがあり、またはその逆のこともあり、複数のビューまたは複数のスケーラブルレイヤは、同じように、たとえばマルチレイヤコーディングシステムでは複数のレイヤと呼ばれることがある。加えて、（マルチレイヤビデオコーダまたはマルチレイヤエンコーダ−デコーダとも呼ばれる）マルチレイヤコーデックは、マルチビューコーデックまたはスケーラブルコーデック（たとえば、ＭＶ−ＨＥＶＣ、ＳＨＶＣ、または別のマルチレイヤコーディング技法を使用してビデオデータを符号化および／または復号するように構成されたコーデック）を指すことがある。
[0030]マルチレイヤビットストリームは、たとえばＳＨＶＣではベースレイヤと１つまたは複数の非ベースレイヤを含むことがあり、またはたとえばＭＶ−ＨＥＶＣでは複数のビューを含むことがある。スケーラブルビットストリームでは、ベースレイヤは通常、０に等しいレイヤ識別子を有し得る。非ベースレイヤは、０よりも大きなレイヤ識別子を有してよく、ベースレイヤに含まれない追加のビデオデータを提供することができる。たとえば、マルチビュービデオデータの非ベースレイヤは、ビデオデータの追加のビューを含み得る。スケーラブルビデオデータの非ベースレイヤは、スケーラブルビデオデータの追加のレイヤを含み得る。非ベースレイヤは、交換可能にエンハンスメントレイヤと呼ばれ得る。
[0031]マルチレイヤビットストリームのアクセスユニット（ＡＵと省略されることがある）は、一般に、共通の時間インスタンスのためのすべてのレイヤ成分（たとえば、すべてのネットワーク抽象化レイヤ（ＮＡＬ）ユニット）を含むデータのユニットである。アクセスユニットのレイヤ成分は通常、一緒に出力される（すなわち、実質的に同時に出力される）ことが意図されており、ここで、ピクチャを出力することは一般に、復号ピクチャバッファ（ＤＰＢ）からピクチャを転送すること（たとえば、ＤＰＢから外部メモリにピクチャを記憶すること、ＤＰＢからディスプレイへピクチャを送ることなど）を伴う。
[0032]ビデオデータの符号化された表現を含むビットストリームは、一連のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含み得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが点在しているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造であり得る。ＮＡＬユニットは、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとを含み得る。ＶＣＬ ＮＡＬユニットは、ピクチャのコーディングされたスライスを含み得る。非ＶＣＬ ＮＡＬユニットは、ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、１つまたは複数の補足強化情報（ＳＥＩ）メッセージ、または他のタイプのデータをカプセル化し得る。
[0033]ビットストリームのＮＡＬユニットは、ビットストリームの様々なレイヤと関連付けられ得る。ＳＨＶＣでは、上で述べられたように、ベースレイヤ以外のレイヤは、「エンハンスメントレイヤ」と呼ばれてよく、ビデオデータの再生の品質を改善するデータを含み得る。ＭＶ−ＨＥＶＣのようなマルチビューコーディングおよび３次元ビデオ（３ＤＶ）コーディングでは、レイヤは、異なるビューと関連付けられるデータを含み得る。ビットストリームの各レイヤは、異なるレイヤ識別子と関連付けられる。
[0034]さらに、ＮＡＬユニットは時間識別子を含み得る。ビットストリームの各動作点は、レイヤ識別子のセットと時間識別子とを有する。ＮＡＬユニットが、ある動作点のためのレイヤ識別子のセット中のレイヤ識別子を指定し、ＮＡＬユニットの時間識別子が動作点の時間識別子以下である場合、ＮＡＬユニットは、その動作点と関連付けられる。
[0035]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方でサポートされるＳＥＩ機構により、ビデオエンコーダは、出力ピクチャのサンプル値のビデオデコーダまたは他のデバイスによる正しい復号のために必要とされないが、ピクチャ出力タイミング、表示、ならびに損失の検出および補償のような様々な他の目的で使用され得るようなメタデータをビットストリームに含めることが可能になる。１つまたは複数のＳＥＩメッセージをカプセル化するＮＡＬユニットは、本明細書ではＳＥＩ ＮＡＬユニットと呼ばれる。１つのタイプのＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージである。スケーラブルネスティングＳＥＩメッセージは、１つまたは複数の追加ＳＥＩメッセージを含むＳＥＩメッセージである。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージがマルチレイヤビットストリームの特定のレイヤに適用されるかまたは時間サブレイヤに適用されるかを示すために使用され得る。スケーラブルネスティングＳＥＩメッセージ中に含まれないＳＥＩメッセージは、本明細書では、ネストされていないＳＥＩメッセージと呼ばれる。
[0036]ある特定のタイプのＳＥＩメッセージは、特定の動作点にのみ適用可能な情報を含む。ビットストリームの動作点は、レイヤ識別子のセットおよび時間識別子と関連付けられる。動作点の表現は、動作点と関連付けられる各ＮＡＬユニットを含み得る。動作点の表現は、元のビットストリームとは異なるフレームレートおよび／またはビットレートを有することがある。これは、動作点の表現が元のビットストリームのいくつかのピクチャおよび／またはいくつかのデータを含まないことがあるからである。
[0037]バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、および復号ユニットＳＥＩメッセージは、特定の動作点にのみ適用可能であり得る。したがって、そのようなＳＥＩメッセージ中の情報を使用するために、ビデオプロセッサは、どの動作点がＳＥＩメッセージに適用可能であるかを決定し得る。他のタイプのＳＥＩメッセージは、特定のレイヤにのみ適用可能である。したがって、そのようなＳＥＩメッセージ中の情報を使用するために、ビデオプロセッサは、どのレイヤがＳＥＩメッセージに適用可能であるかを決定し得る。
[0038]マルチレイヤコーディングの状況におけるＨＥＶＣ ＳＥＩメッセージの汎用的な使用は、いくつかの課題をもたらし得る。たとえば、以下でより詳細に説明されるように、ＨＥＶＣにおいて規定されるＳＥＩメッセージを複数のレイヤに適用すると、複雑さが増し、シンタックスの矛盾が生じ、および／または、マルチレイヤビデオコーデックを誤動作させる他のエラーが生じ得る。
[0039]いくつかの例では、本開示の技法は、ＨＥＶＣ ＳＥＩメッセージの汎用的な使用に関する種々の問題を解決するための解決法を提供し得る。たとえば、本技法は、ビデオエンコーダまたはビデオデコーダがマルチレイヤビットストリームの特性に基づいていくつかのシンタックス要素の値を自動的にコーディングする（またはコーディングを伴わずに自動的に決定する）ように、それらのいくつかのシンタックス要素に対して制約を適用することを含み得る。
[0040]図１は、本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後で復号されるべき符号化されたビデオデータを生成するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信に対応し得る。
[0041]宛先デバイス１４は、リンク１６を介して、復号されるべき符号化されたビデオデータを受信し得る。リンク１６は、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク１６は、ソースデバイス１２が、符号化されたビデオデータをリアルタイムで宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路のような、任意のワイヤレスまたは有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークのようなパケットベースのネットワーク、またはインターネットのようなグローバルネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。
[0042]代替的に、符号化されたデータは出力インターフェース２２から記憶デバイス３２に出力され得る。同様に、符号化されたデータは、入力インターフェースによって記憶デバイス３２からアクセスされ得る。記憶デバイス３２は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性メモリもしくは不揮発性メモリ、または、符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成された符号化されたビデオを保持し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して、記憶デバイス３２から、記憶されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを記憶することと、その符号化されたビデオデータを宛先デバイス１４に送信することとが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（たとえば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワークアタッチストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブを含む。宛先デバイス１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに適した、両方の組合せを含み得る。記憶デバイス３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
[0043]本開示の技法は、必ずしもワイヤレスの用途または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例のような、種々のマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、および／またはビデオ電話のような適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
[0044]図１の例では、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、カプセル化ユニット２１と、出力インターフェース２２とを含む。いくつかの場合、出力インターフェース２２は、変調器／復調器（モデム）および／または送信機を含み得る。ソースデバイス１２において、ビデオソース１８は、ビデオキャプチャデバイス、たとえばビデオカメラ、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムのようなソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラ電話またはビデオ電話を形成し得る。しかしながら、本開示で説明される技法は、ビデオコーディング全般に適用可能であることがあり、ワイヤレスおよび／または有線の適用例に適用され得る。
[0045]キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータにより生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。カプセル化ユニット２１は、マルチメディアコンテンツの１つまたは複数の表現を形成することができ、ここで、表現の各々は１つまたは複数のレイヤを含み得る。いくつかの例では、ビデオエンコーダ２０は、たとえば、異なるフレームレート、異なるビットレート、異なる解像度、または他のそのような違いを伴う、異なる方法で各レイヤを符号化し得る。したがって、カプセル化ユニット２１は、様々な特性、たとえば、ビットレート、フレームレート、解像度などを有する様々な表現を形成し得る。
[0046]表現の各々は、宛先デバイス１４によって取り出され得るそれぞれのビットストリームに対応し得る。カプセル化ユニット２１は、たとえば、マルチメディアコンテンツに対するｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）データ構造内で、各表現に含まれるビューのビュー識別子（ｖｉｅｗ＿ｉｄ）の範囲の指示を与え得る。たとえば、カプセル化ユニット２１は、表現のビューに対する最大ビュー識別子と最小ビュー識別子との指示を与え得る。ＭＰＤはさらに、マルチメディアコンテンツの複数の表現の各々に対する出力を対象とするビューの最大の数の指示を与え得る。ＭＰＤまたはそのデータは、いくつかの例では、（１つまたは複数の）表現に対するマニフェストに記憶され得る。
[0047]符号化されたビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信され得る。符号化されたビデオデータは、さらに（または代替的に）、復号および／または再生のための宛先デバイス１４または他のデバイスによる後のアクセスのために、記憶デバイス３２に記憶され得る。
[0048]宛先デバイス１４は、入力インターフェース２８と、カプセル化解除ユニット２９と、ビデオデコーダ３０と、ディスプレイデバイス３１とを含む。いくつかの場合、入力インターフェース２８は、受信機および／またはモデムを含み得る。宛先デバイス１４の入力インターフェース２８は、リンク１６を通じて符号化されたビデオデータを受信する。リンク１６を通じて通信された、または記憶デバイス３２に提供された、符号化されたビデオデータは、ビデオデータを復号する際に、ビデオデコーダ３０のようなビデオデコーダが使用するための、ビデオエンコーダ２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信される、記憶媒体に記憶される、またはファイルサーバに記憶される、符号化されたビデオデータとともに含まれ得る。
[0049]宛先デバイス１４のカプセル化解除ユニット２９は、ビットストリーム（またはマルチレイヤコーディングの状況では「動作点」と呼ばれるビットストリームのサブセット）からのＳＥＩメッセージをカプセル化解除するユニットを表し得る。カプセル化解除ユニット２９は、カプセル化ユニット２１によって実行される動作とは逆の順序で動作を実行して、ＳＥＩメッセージのようなカプセル化された符号化されたビットストリームからのデータをカプセル化解除することができる。
[0050]ディスプレイデバイス３１は、宛先デバイス１４と一体であってよく、またはその外部にあってよい。いくつかの例では、宛先デバイス１４は、一体化されたディスプレイデバイスを含んでよく、また、外部ディスプレイデバイスとインターフェースするように構成されてよい。他の例では、宛先デバイス１４はディスプレイデバイスであり得る。一般に、ディスプレイデバイス３１は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、種々のディスプレイデバイスのいずれかを備え得る。
[0051]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せのような、種々の好適なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、１つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ２０およびビデオデコーダ３０の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれてよく、そのいずれもが、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。
[0052]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は各々、オーディオエンコーダおよびデコーダと統合されてよく、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を扱うために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。適用可能な場合、いくつかの例では、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータプロトコル（ＵＤＰ）のような他のプロトコルに準拠し得る。
[0053]本開示は全般に、ビデオエンコーダ２０が、ある情報をビデオデコーダ３０のような別のデバイスに「シグナリング」することに言及することがある。「シグナリング」という用語は、全般に、圧縮されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータの通信を指し得る。そのような通信は、リアルタイムまたはほぼリアルタイムで発生し得る。代替的に、そのような通信は、符号化の時に符号化されたビットストリームの中でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに発生し得るなど、ある時間の長さにわたって発生することがあり、これらの要素は次いで、この媒体に記憶された後の任意の時間に復号デバイスによって取り出され得る。
[0054]いくつかの例では、ビデオエンコーダ２０およびビデオデコーダ３０は、そのスケーラブルビデオコーディング（ＳＶＣ）拡張と、マルチビュービデオコーディング（ＭＶＣ）拡張と、ＭＶＣベースの３ＤＶ拡張とを含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌおよび（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４のようなビデオ圧縮規格に従って動作する。他の例では、ビデオエンコーダ２０およびビデオデコーダ３０は、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＶＣＥＧ） ａｎｄ ＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＭＰＥＧ）によって開発されたＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）に従って動作し得る。ＨＥＶＣ規格のドラフトは、ＩＴＵ−Ｔ Ｈ．２６５、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、２０１４年４月、および、ＨＥＶＣバージョン１の第３の欠陥報告を提供する、Ｗａｎｇ他、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｄｅｆｅｃｔ ｒｅｐｏｒｔ ３」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｐ１００３＿ｖ１、第１６回会合、サンノゼ、２０１４年１月、Ｗａｎｇ他、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｄｅｆｅｃｔ ｒｅｐｏｒｔ ３」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｐ１００３＿ｖ１、第１６回会合、サンノゼ、２０１４年１月に記載されている。
[0055]さらに、ＨＥＶＣのためのスケーラブルビデオコーディング拡張と、マルチビューコーディング拡張と、３ＤＶ拡張とを作成する作業が進行中である。ＨＥＶＣのスケーラブルビデオコーディング拡張は、ＳＨＥＶＣと呼ばれることがある。ＳＨＶＣの最近のワーキングドラフト（ＷＤ）（以後、ＳＨＶＣ ＷＤ５または現在のＳＨＶＣ ＷＤと呼ばれる）は、Ｃｈｅｎ他、「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ ｄｒａｆｔ ５」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｐ１００８＿ｖ４、第１６回会合、サンノゼ、２０１４年１月に記載されている。ＭＶ−ＨＥＶＣの最近のワーキングドラフト（ＷＤ）（以後、ＭＶ−ＨＥＶＣ ＷＤ７または現在のＭＶ−ＨＥＶＣ ＷＤと呼ばれる）は、Ｔｅｃｈ他、「ＭＶ−ＨＥＶＣ Ｄｒａｆｔ Ｔｅｘｔ ７」、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１、文書ＪＣＴＶＣ−Ｇ１００４＿ｖ７、第１６回会合、サンノゼ、２０１４年１月に記載されている。
[0056]ＨＥＶＣおよび他のビデオコーディング規格では、ビデオシーケンスは一般に、一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、ＳL、ＳCbおよびＳCrと表される３つのサンプルアレイを含み得る。ＳLは、ルーマサンプルの２次元アレイ（すなわち、ブロック）である。ＳCbは、Ｃｂクロミナンスサンプルの２次元アレイである。ＳCrは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれることもある。他の事例では、ピクチャは、モノクロームであってよく、ルーマサンプルのアレイのみを含み得る。
[0057]ビデオエンコーダ２０は、ピクチャの符号化された表現を生成するために、コーディングツリーユニット（ＣＴＵ）のセットを生成することができる。ＣＴＵの各々は、ルーマサンプルのコーディングツリーブロックと、クロマサンプルの２つの対応するコーディングツリーブロックと、それらのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＴＵは、単一のコーディングツリーブロックと、そのコーディングツリーブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。コーディングツリーブロックは、サンプルのＮｘＮのブロックであり得る。ＣＴＵは、「ツリーブロック」または「最大コーディングユニット」（ＬＣＵ）と呼ばれることもある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような他の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズに限定されるとは限らず、１つまたは複数のコーディングユニット（ＣＵ）を含み得る。スライスは、ラスタースキャン順序で連続的に順序付けられた整数個のＣＴＵを含み得る。
[0058]コーディングされたＣＴＵを生成するために、ビデオエンコーダ２０は、コーディングツリーブロックをコーディングブロックに分割するために、ＣＴＵのコーディングツリーブロックに対して４分木区分を再帰的に実行することができ、したがって「コーディングツリーユニット」という名称である。コーディングブロックは、サンプルのＮｘＮのブロックであり得る。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコーディングブロックと、そのピクチャのクロマサンプルの２つの対応するコーディングブロックと、それらのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＵは、単一のコーディングブロックと、そのコーディングブロックのサンプルをコーディングするために使用されるシンタックス構造とを備え得る。
[0059]ビデオエンコーダ２０は、ＣＵのコーディングブロックを１つまたは複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（すなわち、正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。モノクロームピクチャまたは３つの別個のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、およびＣｒ予測ブロックのための、予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成することができる。
[0060]ビデオエンコーダ２０は、ＰＵの予測ブロックを生成するためにイントラ予測またはインター予測を使用することができる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられたピクチャの復号されたサンプルに基づいてＰＵの予測ブロックを生成することができる。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵと関連付けられるピクチャ以外の１つまたは複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。
[0061]ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測ルーマブロックと、予測Ｃｂブロックと、予測Ｃｒブロックとを生成した後、ビデオエンコーダ２０は、ＣＵのためのルーマ残差ブロックを生成することができる。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵの予測ルーマブロックの１つの中のルーマサンプルとＣＵの元のルーマコーディングブロック中の対応するサンプルとの間の差分を示す。加えて、ビデオエンコーダ２０は、ＣＵのためのＣｂ残差ブロックを生成することができる。ＣＵのＣｂ残差ブロック中の各サンプルは、ＣＵの予測Ｃｂブロックの１つの中のＣｂサンプルと、ＣＵの元のＣｂコーディングブロック中の対応するサンプルとの間の差を示し得る。ビデオエンコーダ２０は、ＣＵのためのＣｒ残差ブロックを生成することもできる。ＣＵのＣｒ残差ブロック中の各サンプルは、ＣＵの予測Ｃｒブロックの１つの中のＣｒサンプルと、ＣＵの元のＣｒコーディングブロック中の対応するサンプルとの間の差分を示し得る。
[0062]さらに、ビデオエンコーダ２０は、ＣＵのルーマ残差ブロックと、Ｃｂ残差ブロックと、Ｃｒ残差ブロックとを、１つまたは複数のルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解するために、４分木区分を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（たとえば、正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２個の対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。したがって、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックと関連付けられ得る。ＴＵと関連付けられるルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。モノクロームピクチャまたは３つの別個のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備え得る。
[0063]ビデオエンコーダ２０は、ＴＵのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１回または複数回の変換を適用することができる。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であってよい。ビデオエンコーダ２０は、ＴＵのためのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１回または複数回の変換を適用することができる。ビデオエンコーダ２０は、ＴＵのためのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１回または複数回の変換を適用することができる。
[0064]ビデオエンコーダ２０は、係数ブロック（たとえば、ルーマ係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、係数ブロックを量子化することができる。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されさらなる圧縮を実現する、処理を指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオエンコーダ２０は、量子化された変換係数を示すシンタックス要素に対してコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）を実行し得る。
[0065]ビデオエンコーダ２０は、コーディングされたピクチャおよび関連するデータの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワーク抽象化レイヤ（ＮＡＬ）ユニットを備え得る。ＮＡＬユニットは、ＮＡＬユニット中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが点在しているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造である。ＮＡＬユニットの各々は、ＮＡＬユニットヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬユニットヘッダは、ＮＡＬユニットタイプコードを指示するシンタックス要素を含み得る。ＮＡＬユニットのＮＡＬユニットヘッダによって指定されるＮＡＬユニットタイプコードは、ＮＡＬユニットのタイプを示す。ＲＢＳＰは、ＮＡＬユニット内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。いくつかの例では、ＲＢＳＰは０ビットを含む。
[0066]異なるタイプのＮＡＬユニットは、異なるタイプのＲＢＳＰをカプセル化し得る。たとえば、第１のタイプのＮＡＬユニットはピクチャパラメータセット（ＰＰＳ）のためのＲＢＳＰをカプセル化することができ、第２のタイプのＮＡＬユニットはコーディングされたスライスのためのＲＢＳＰをカプセル化することができ、第３のタイプのＮＡＬユニットはＳＥＩのためのＲＢＳＰをカプセル化することができ、以下同様である。ビデオコーディングデータのためのＲＢＳＰをカプセル化するＮＡＬユニットは（パラメータセットおよびＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ビデオコーディングレイヤ（ＶＣＬ）ＮＡＬユニットと呼ばれることがある。
[0067]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。加えて、ビデオデコーダ３０は、ビットストリームからシンタックス要素を取得するために、ビットストリームを構文解析し得る。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも一部基づいて、ビデオデータのピクチャを再構築することができる。ビデオデータを再構築するための処理は全般に、ビデオエンコーダ２０によって実行される処理の逆であり得る。加えて、ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられる係数ブロックを逆量子化し得る。ビデオデコーダ３０は、現在のＣＵのＴＵと関連付けられる変換ブロックを再構築するために、係数ブロックに対して逆変換を実行し得る。ビデオデコーダ３０は、現在のＣＵのＰＵのための予測ブロックのサンプルを現在のＣＵのＴＵの変換ブロックの対応するサンプルに追加することによって、現在のＣＵのコーディングブロックを再構築することができる。ピクチャの各ＣＵのためのコーディングブロックを再構築することによって、ビデオデコーダ３０はピクチャを再構築することができる。
[0068]マルチビューコーディングでは、異なる視点からの同じシーンの複数のビューが存在することがある。上で述べられたように、アクセスユニットは、同じ時間インスタンスに対応するピクチャのセットを含む。したがって、ビデオデータは、時間とともに生じる一連のアクセスユニットとして概念化され得る。「ビュー成分」は、単一のアクセスユニット中のビューのコーディングされた表現であり得る。本開示では、「ビュー」は、同じビュー識別子と関連付けられる一連のビュー成分を指し得る。例示的なタイプのビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。
[0069]マルチビューコーディングは、ビュー間予測をサポートする。ビュー間予測は、ＨＥＶＣにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用し得る。しかしながら、ビデオコーダが現在のビデオユニット（ＰＵのような）に対してビュー間予測を実行するとき、ビデオエンコーダ２０は、参照ピクチャとして、その現在のビデオユニットと同じアクセスユニット中にあるが異なるビューの中にあるピクチャを使用し得る。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセスユニット内のピクチャのみを使用する。
[0070]マルチビューコーディングでは、ビデオデコーダ（たとえば、ビデオデコーダ３０）が、あるビュー中のピクチャを、任意の他のビュー中のピクチャを参照せずに復号することができる場合、そのビューは「ベースビュー」と呼ばれ得る。非ベースビューの１つの中のピクチャをコーディングするとき、あるピクチャが異なるビュー中にあるが、ビデオコーダが現在コーディングしているピクチャと同じ時間インスタンス（すなわち、アクセスユニット）内にある場合、（ビデオエンコーダ２０またはビデオデコーダ３０のような）ビデオコーダは、参照ピクチャリストにそのピクチャを追加することができる。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にビュー間予測参照ピクチャを挿入することができる。
[0071]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方においてサポートされるＳＥＩ機構は、ビデオエンコーダ（たとえば、ビデオエンコーダ２０）が、出力ピクチャのサンプル値の正確な復号のためには要求されないが、ピクチャ出力タイミング、表示、ならびに損失の検出および補償のような他の様々な目的で使用され得るようなメタデータをビットストリームに含めることを可能にする。ビデオエンコーダ２０は、ピクチャのサンプル値の正確な復号に必要ではないメタデータをビットストリームに含めるために、ＳＥＩメッセージを使用することができる。しかしながら、ビデオデコーダ３０または他のデバイスは、ＳＥＩメッセージに含まれるメタデータを様々な他の目的で使用することができる。たとえば、ビデオデコーダ３０または別のデバイスは、ピクチャ出力タイミング、ピクチャ表示、損失検出、および誤り補償のために、ＳＥＩメッセージ中のメタデータを使用することができる。
[0072]ビデオエンコーダ２０は、アクセスユニットに１つまたは複数のＳＥＩ ＮＡＬユニットを含めることができる。言い換えれば、任意の数のＳＥＩ ＮＡＬユニットがアクセスユニットと関連付けられることがある。さらに、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。つまり、ビデオエンコーダは、任意の数のＳＥＩ ＮＡＬユニットをアクセスユニットに含めることができ、各ＳＥＩ ＮＡＬユニットは、１つまたは複数のＳＥＩメッセージを含み得る。ＳＥＩ ＮＡＬユニットは、ＮＡＬユニットヘッダとペイロードとを含み得る。ＳＥＩ ＮＡＬユニットのＮＡＬユニットヘッダは、少なくとも第１のシンタックス要素と第２のシンタックス要素とを含む。第１のシンタックス要素は、ＳＥＩ ＮＡＬユニットのレイヤ識別子を指定する。第２のシンタックス要素は、ＳＥＩ ＮＡＬユニットの時間識別子を指定する。
[0073]ネストされたＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージを指す。ネストされていないＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージに含まれないＳＥＩメッセージを指す。ＳＥＩ ＮＡＬユニットのペイロードは、ネストされたＳＥＩメッセージまたはネストされていないＳＥＩメッセージを備え得る。
[0074]ＨＥＶＣ規格は、様々なタイプのＳＥＩメッセージのためのシンタックスとセマンティクスとを記述する。しかしながら、ＳＥＩメッセージが規範となる復号処理に影響を及ぼさないので、ＨＥＶＣ規格はＳＥＩメッセージの扱いを記述しない。ＨＥＶＣ規格にＳＥＩメッセージを有する１つの理由は、補足データがＨＥＶＣを使用する様々なシステムにおいて同じように解釈されることを可能にするためである。ＨＥＶＣを使用する規格およびシステムは、ビデオエンコーダに、いくつかのＳＥＩメッセージを生成するように要求することがあり、または特定のタイプの受信されたＳＥＩメッセージの固有の扱いを定義することがある。
[0075]以下の表１は、ＨＥＶＣにおいて規定されるＳＥＩメッセージを列挙し、それらの目的を簡潔に記述している。
Figure 2017510198
[0076]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの１つの潜在的な問題は、第１のレイヤ（例としてｌａｙｅｒＩｄＡ）に等しいレイヤ識別子（たとえば、ビットストリームのｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素として識別されるような）を伴うレイヤに適用されるＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットが、それらのレイヤのピクチャを含むアクセスユニット（ＡＵ）内で、第１のレイヤ（ｌａｙｅｒＩｄＡ）よりも大きなレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うピクチャのＶＣＬ ＮＡＬユニットに後続することが許容されるということである。たとえば、ＳＥＩメッセージが、ＳＥＩメッセージを使用するピクチャからビットストリームにおいて分離され得る。
[0077]説明を目的とする例では、アクセスユニットは、マルチレイヤビットストリームの第１のレイヤの第１のピクチャと、マルチレイヤビットストリームの第２のレイヤの第２のピクチャとを含み得る。いくつかの事例では、第１のレイヤの第１のピクチャに適用可能なＳＥＩメッセージは、第２のレイヤと関連付けられるＮＡＬユニットとともに含まれ得る。ＳＥＩ ＮＡＬユニットがビデオデータの他のレイヤとともに含まれることが許容される場合、ビデオエンコーダ２０および／またはビデオデコーダ３０は、他のレイヤからＳＥＩ ＮＡＬユニットを抽出し、アクセスユニットをコーディングする前にメッセージを記憶しなければならないことがある。
[0078]本開示の第１の態様によれば、第１のレイヤ（ｌａｙｅｒＩｄＡ）に等しいレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うレイヤに適用されるＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、アクセスユニット内の第１のレイヤ（ｌａｙｅｒＩｄＡ）よりも大きなレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うピクチャの任意のＶＣＬ ＮＡＬユニットならびにその関連する非ＶＣＬ ＮＡＬユニットに後続することが許可されない。たとえば、本開示の態様によれば、ＳＥＩ ＮＡＬユニットの配置は、マルチレイヤビットストリームにおいてＳＥＩ ＮＡＬユニットが適用されるレイヤ（または複数のレイヤ）と一緒にＳＥＩ ＮＡＬユニットが存在するように、制約され得る。
[0079]上の例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第１のレイヤのＶＣＬ ＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットだけをコーディングする（たとえば、ＳＥＩ ＮＡＬユニットとＶＣＬ ＮＡＬユニットとを連続的にコーディングする）ことができるので、ビットストリームは、第１のレイヤのＶＣＬ ＮＡＬユニットと、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットとの間に、マルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まない。いくつかの事例では、マルチレイヤビットストリームにおいて、ＳＥＩ ＮＡＬユニットが適用されるレイヤ中のピクチャと一緒にＳＥＩ ＮＡＬユニットを有することは、たとえば、関連するＮＡＬユニットを一緒に記憶して送信するときの記憶または送信のオーバーヘッドを最小にする際に、有益であり得る。たとえば、非ＶＣＬ ＮＡＬユニットと、非ＶＣＬ ＮＡＬユニットが適用されるＶＣＬ ＮＡＬユニットとを一緒にビットストリーム中に維持することによって、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＶＣＬ ＮＡＬユニットをコーディングする前にメモリから非ＶＣＬ ＮＡＬユニットを探してフェッチしなくてもよいことがある。
[0080]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第２の潜在的な問題は、マルチレイヤビットストリームツーウィッチ復号ピクチャハッシュＳＥＩメッセージの適用可能なレイヤのセットがＨＥＶＣ規格において明確に規定されないということである。復号ピクチャハッシュＳＥＩメッセージは、復号されたピクチャのサンプル値から導出されるチェックサムを提供する。復号ピクチャハッシュメッセージは、ピクチャが正しく受信され復号されたかどうかを検出するために使用され得る。
[0081]本開示の第２の態様によれば、復号ピクチャハッシュＳＥＩメッセージの適用可能なレイヤのセットは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に等しいレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うレイヤであると指定されてよく、復号ピクチャハッシュＳＥＩはネストされることが許可されない。たとえば、本開示の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＳＥＩ ＮＡＬユニット中の１つの復号ピクチャハッシュＳＥＩメッセージをネストされていないＳＥＩメッセージとしてコーディングできるだけであり、復号ピクチャハッシュＳＥＩメッセージは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットの同じレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するレイヤに適用されるだけである。
[0082]上の例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニット（たとえば、 ＳＥＩ ＮＡＬユニット）をコーディングし、復号ピクチャハッシュＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能なマルチレイヤビットストリームのレイヤのセットを決定することができる。ビデオエンコーダ２０および／またはビデオデコーダ３０は、レイヤのセットを決定することがシンタックス要素に基づくように、ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素のようなＳＥＩ ＮＡＬユニットのためのレイヤ識別子を示す１つまたは複数のシンタックス要素をコーディングすることができる。本技法は、いくつかの事例では、誤り耐性を高め、および／またはマルチレイヤコーディングにおいて復号ピクチャハッシュＳＥＩメッセージと関連付けられる記憶のオーバーヘッドを減らすことができる。
[0083]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第３の潜在的な問題は、有効パラメータセットＳＥＩメッセージの適用可能なレイヤのセットがＨＥＶＣ規格において明確に規定されないということである。有効パラメータセットＳＥＩメッセージは、ＳＥＩメッセージと関連付けられるアクセスユニットのＶＣＬ ＮＡＬユニットに対して有効である。ＳＥＩメッセージはまた、ＳＥＩメッセージと関連付けられるアクセスユニットのＶＣＬ ＮＡＬユニットに対してどのＳＰＳが有効であるかについての情報と、パラメータセットに関する他の情報とを提供し得る。たとえば、ＳＥＩメッセージは、完全にランダムなアクセシビリティがサポートされるかどうか（たとえば、サポートされるとき、復号順序においてより前にあるすべてのアクセスユニットを完全に廃棄することによって現在のコーディングされたビデオシーケンスの初めからランダムアクセスするときにビットストリームの残りのピクチャの復号のために必要とされるすべてのパラメータセットが残りのビットストリームに存在し、残りのビットストリーム中のすべてのコーディングされたピクチャが正しく復号され得る）の指示、または、復号順序において先行する同じタイプの別のパラメータセットを更新する（たとえば、パラメータセットの更新は、同じパラメータセットの識別子を使用するが一部の他のパラメータが変更されていることを指す）現在のコーディングされたビデオシーケンス内のパラメータセットがないかどうかの指示を含み得る。
[0084]本開示の第３の態様によれば、有効パラメータセットＳＥＩメッセージは、ビットストリーム中のすべてのレイヤに適用されるように定義される。加えて、有効パラメータセットＳＥＩメッセージは、ネストされることが制約される。この例では、ビデオエンコーダ２０および／またはビデオデコーダ３０は、有効パラメータセットＳＥＩメッセージを含むマルチレイヤビットストリームの１つまたは複数の非ＶＣＬ ＮＡＬユニットをコーディングし、有効パラメータセットＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットに基づいて、有効パラメータセットＳＥＩメッセージがマルチレイヤビットストリームのすべてのレイヤに適用可能であると決定することができる。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、有効パラメータセットＳＥＩメッセージをコーディングすることによって、マルチレイヤビットストリームのすべてのレイヤに有効パラメータセットＳＥＩメッセージが適用されることを自動的に導出することができる。いくつかの事例では、本技法は、マルチレイヤコーディングにおける有効パラメータセットＳＥＩメッセージと関連付けられる複雑さを低減し得る。
[0085]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第４の潜在的な問題は、ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がネストされたまたはネストされていないピクチャタイミング情報ＳＥＩメッセージに対して１に等しいとき、適用可能なレイヤのセットがシンタックス要素ｐｉｃ＿ｓｔｒｕｃｔ、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅ、およびｄｕｐｌｉｃａｔｅ＿ｆｌａｇにおいて搬送されるフレームフィールド情報に対して明確に規定されないということである。たとえば、１に等しいｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、ピクチャタイミングＳＥＩメッセージがあらゆるピクチャに対して存在し、ｐｉｃ＿ｓｔｒｕｃｔシンタックス要素と、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅシンタックス要素と、ｄｕｐｌｉｃａｔｅ＿ｆｌａｇシンタックス要素とを含むことを指定する。一般に、ｐｉｃ＿ｓｔｒｕｃｔシンタックス要素は、ピクチャがフレームとして表示されるべきかまたは１つもしくは複数のフィールドとして表示されるべきかを示し、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅシンタックス要素はスキャンタイプ（たとえば、プログレッシブ、インターレース、または不明）を示し、ｄｕｐｌｉｃａｔｅ＿ｆｌａｇシンタックス要素は、現在のピクチャが出力順序において前にあるピクチャの複製であるものとして示されることを示す。
[0086]本開示の第４の態様によれば、ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がネストされたまたはネストされていないピクチャタイミング情報ＳＥＩメッセージに対して１に等しいとき、ビデオエンコーダ２０および／またはビデオデコーダ３０は、シンタックス要素ｐｉｃ＿ｓｔｒｕｃｔ、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅ、およびｄｕｐｌｉｃａｔｅ＿ｆｌａｇにおいて搬送されるフレームフィールド情報が、ピクチャタイミングＳＥＩメッセージが適用される動作点のすべての中のレイヤに適用されると自動的に決定することができる。このようにして、いくつかの事例では、本技法は、マルチレイヤコーディングにおいてｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を使用するとき、複雑さを減らし、および／または誤り耐性を高めることができる。
[0087]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第５の潜在的な問題は、有効パラメータセットＳＥＩメッセージがＨＥＶＣにおいてネストされることを許可されるということである。しかしながら、上で述べられたように、有効パラメータセットＳＥＩメッセージはすべてのレイヤに適用可能である。したがって、（たとえば、ネスティングＳＥＩメッセージを使用して）マルチレイヤビットストリームの特定のレイヤに適用されるべき有効パラメータセットＳＥＩメッセージに柔軟性をもたらすことは、ビデオエンコーダ２０および／またはビデオデコーダ３０の複雑さを不必要に高めることがある。たとえば、スケーラブルネスティングＳＥＩメッセージを受信し復号すると、ビデオデコーダ３０は、スケーラブルネスティングＳＥＩメッセージのための適用可能なレイヤを決定するために、（たとえば、ネストされていないＳＥＩメッセージと対比して）追加の動作を実行しなければならないことがある。
[0088]本開示の第５の態様によれば、有効パラメータセットＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージにおいてネストされることが許可されない。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングするように制約され得る。本技法は、有効パラメータセットＳＥＩメッセージをコーディングして使用することと関連付けられる計算的な複雑さを低減することができる。たとえば、上の例に戻ると、ビデオデコーダ３０は、スケーラブルネスティングＳＥＩメッセージと関連付けられる追加の動作を実行することなく、有効パラメータセットＳＥＩメッセージをコーディングして使用することができる。
[0089]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第６の潜在的な問題は、１に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅとを有するネストされたＳＥＩメッセージ（たとえば、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つ）のセマンティクスが明確ではないということである。ＨＥＶＣでは、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージがマルチレイヤビットストリームの特定のレイヤまたはサブレイヤに適用されるかどうかを示す。たとえば、０に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージが、特定のレイヤまたはサブレイヤに適用されることを指定する。１に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージがサブビットストリーム抽出処理から生じる１つまたは複数のサブビットストリームに適用されることを指定する。よって、ＨＥＶＣは、特定のレイヤセット（たとえば、サブビットストリーム）がマルチレイヤビットストリームから抽出されるときに特定のＳＥＩメッセージ（上で特定されたペイロードタイプを有する）が扱われる方式を明確に指定せず、これは、マルチレイヤコーディングの間の誤りおよび／または非効率性を生み出し得る。
[0090]ｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、１３２、または１３４に等しいとき、ＳＥＩメッセージは、それぞれ、出力ピクチャのピクチャアスペクト比とは異なるピクチャアスペクト比での表示と関連付けられるデータを含むパンスキャン方形ＳＥＩメッセージ、特定の制約を満たすようにビットレートを調整するためのデータを含むフィラーペイロードＳＥＩメッセージ、クリーンランダムアクセスまたは漸次復号リフレッシュについての情報を含む復元点ＳＥＩメッセージ、シーン変化および遷移と関連付けられる情報を含むシーン情報ＳＥＩメッセージ、関連する復号されたピクチャをビデオコンテンツの静止画像スナップショットとして標識するための指示を含むピクチャスナップショットＳＥＩメッセージ、動画シーンではなくピクチャの品質の漸進的な精緻化を表す連続的なピクチャのセグメントの開始と関連付けられる情報を含む漸進的精緻化セグメント開始ＳＥＩメッセージ、連続的なピクチャのセグメントの終了と関連付けられる情報を含む漸進的精緻化セグメント終了ＳＥＩメッセージ、合成フィルムグレイン効果と関連付けられる情報を含むフィルムグレイン特性ＳＥＩメッセージ、提案されたポストフィルタ係数と関連付けられる情報またはポストフィルタ設計についての相関情報を含むポストフィルタヒントＳＥＩメッセージ、符号化において使用され、または想定されるものとは別の色空間への再マッピングと関連付けられる情報を含むトーンマッピング情報ＳＥＩメッセージ、ビットストリームへの立体視ビデオのパックと関連付けられる情報を含むフレームパッキング配置ＳＥＩメッセージ、出力ピクチャが表示されるときに出力ピクチャに適用されるべきフリップおよび／または回転を指定する情報を含む表示方向ＳＥＩメッセージ、ビットストリームの時間的なインター予測構造を記述する情報を含むピクチャ情報ＳＥＩメッセージの構造、時間的サブレイヤ０インデックスを示す時間的サブレイヤ０インデックスＳＥＩメッセージ、復号されたピクチャはＳＥＩメッセージを有する、または、現在のＳＥＩメッセージと関連付けられるスライスセグメントが現在のピクチャ中のリフレッシュされた領域に属すかどうかを示す領域リフレッシュ情報ＳＥＩメッセージの１つである。
[0091]ｐａｙｌｏａｄＴｙｐｅが０、１、４、５、１３０、および１３３に等しいとき、ＳＥＩメッセージは、それぞれ、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、ユーザ登録済ＳＥＩメッセージ、ユーザ未登録ＳＥＩメッセージ、復号ユニット情報ＳＥＩメッセージ、またはスケーラブルネスティングＳＥＩメッセージの１つである。
[0092]本開示の第６の態様によれば、スケーラブルネスティングＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む（たとえば、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、スケーラブルネスティングＳＥＩメッセージのシンタックス要素ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇの値は０に等しいことが要求される。たとえば、本開示の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＳＥＩメッセージのペイロードタイプがＳＥＩメッセージの所定のセットに含まれていることに基づいて、シンタックス要素ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇを自動的に決定および／またはコーディングすることができる。ＳＥＩメッセージの所定のセットは、単一のレイヤに適用されるＳＥＩメッセージであり得る。このようにして、ビデオエンコーダ２０および／またはビデオデコーダ３０は、上で特定されたセットフロムビーイングアプライドに含まれるＳＥＩメッセージをマルチレイヤビットストリーム中の２つ以上のレイヤに適用することが制約され、これによって、マルチレイヤコーディングの間の誤りおよび／または非効率性が減る可能性がある。
[0093]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第７の問題は、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットに対して、レイヤ識別子の値（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）が何であるべきかが不明確であるということである。バッファリング期間ＳＥＩメッセージは、復号順序での関連するアクセスユニットの位置におけるＨＲＤの初期化のための初期コーディングピクチャバッファ（ＣＰＢ）削除遅延および初期ＣＰＢ削除遅延オフセットの情報を提供する。ピクチャタイミングＳＥＩメッセージは、ＨＲＤ動作のためのピクチャ出力時間とピクチャ／サブピクチャ削除時間、ならびにピクチャ構造関連の情報を提供する。復号ユニット情報ＳＥＩメッセージは、復号ユニットのためのＣＰＢ削除遅延情報を提供する。このメッセージは、超低遅延バッファリング動作において使用され得る。したがって、上で述べられたＳＥＩメッセージは、ＨＲＤによって必要とされる情報を提供し、ＳＥＩメッセージはレイヤセットに適用可能である（たとえば、自己完結型のレイヤのセットもサブビットストリームと呼ばれる）。そのようなＳＥＩメッセージがネストされておらず、レイヤ識別子が０ではない場合、メッセージがどのレイヤセットに適用されるかが不明確であり、これはマルチレイヤコーディングの間に誤りを生み出し得る。
[0094]本開示の第７の態様によれば、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのためのレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の値は、０に等しいことが要求される。たとえば、本開示の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットに基づいて、レイヤのレイヤ識別子が０の値であると自動的に決定する（および／またはレイヤ識別子シンタックス要素に対して０の値をコーディングする）ことができる。このようにして、本技法は、マルチレイヤコーディングの間の誤りおよび／または非効率性を潜在的に減らし得る。
[0095]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第８の潜在的な問題は、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有するネストされていないＳＥＩメッセージ（すなわち、０、１、１２９、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つ）に対してレイヤ識別子シンタックス要素（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の値が何であるべきかが不明確であるということである。たとえば、ＨＥＶＣは、特定のＳＥＩメッセージ（上で特定されたペイロードタイプを有する）がマルチレイヤビットストリームの特定のレイヤ（特定のレイヤ識別子を有する）のために扱われる方式を明確に指定せず、これは、マルチレイヤコーディングの間の誤りおよび／または非効率性を生み出し得る。
[0096]本開示の第８の態様によれば、ネストされていないＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有する（すなわち、０、１、１２９、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、ネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのためのレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）の値は、ＳＥＩ ＮＡＬユニットの関連するＶＣＬ ＮＡＬユニットのレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に等しいことが要求される。すなわち、たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＳＥＩペイロードタイプがペイロードタイプの第１のセット（たとえば、上で特定されたペイロードタイプ）に含まれていることに基づいて、ＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素がＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと自動的に決定することができる。
[0097]マルチレイヤの状況においてＨＥＶＣ ＳＥＩを使用することの第９の潜在的な問題は、ＨＥＶＣにおいては、アクセスユニットの２つのＶＣＬ ＮＡＬユニットの間に同じタイプのプレフィックスＳＥＩメッセージがある例では、プレフィックスＳＥＩメッセージが存在してアクセスユニットの最初のＶＣＬ ＮＡＬユニットに先行することが要求されることである。たとえば、プレフィックスＳＥＩメッセージは通常、ＳＥＩメッセージが適用されるＶＣＬ ＮＡＬユニットよりも前にビットストリームに含まれる。ＨＥＶＣでは、プレフィックスＳＥＩメッセージの配置に対する制約は、アクセスユニットベースであり、これは、複数のレイヤ成分（たとえば、複数のレイヤからのピクチャを有するアクセスユニット）を有するアクセスユニットでは問題となり得る。すなわち、一部のプレフィックスＳＥＩメッセージは、複数のレイヤ成分を有するアクセスユニット中の適切な位置（たとえば、ＳＥＩメッセージが適用されるＶＣＬ ＮＡＬユニットよりも前）に位置しないことがある。
[0098]本開示の第９の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、プレフィックスＳＥＩメッセージがコーディングされる方式を、（たとえば、上で述べられたアクセスユニットベースの技法とは対照的に）プレフィックスＳＥＩメッセージが適用されるピクチャに基づいて制御することができる。たとえば、本開示の態様によれば、同じタイプでありピクチャの２つのＶＣＬ ＮＡＬユニットの間に存在するレイヤ（たとえば、ｌａｙｅｒＡ）に適用されるプレフィックスＳＥＩメッセージがある例では、ピクチャを含むレイヤ（たとえば、ｌａｙｅｒＡ）に適用されるプレフィックスＳＥＩメッセージが存在してピクチャの最初のＶＣＬ ＮＡＬユニットに先行することが要求される。
[0099]たとえば、少なくとも第１のピクチャと第２のピクチャとを含むアクセスユニットに対して、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第１のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第１のプレフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットと、ビットストリームにおいて第１のピクチャに後続する第２のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第２のプレフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとをコーディングするように制約され得る。このようにして、ビデオエンコーダ２０および／またはビデオデコーダ３０は、アクセスユニットの他の位置にあるプレフィックスＳＥＩメッセージをコーディングすることを制約され、これにより、マルチレイヤコーディングにおいて効率が上がり、記憶のオーバーヘッドが減り得る。
[0100]マルチレイヤの状況においてＨＥＶＣ ＳＥＩを使用することの第１０の潜在的な問題は、ＨＥＶＣにおいては、アクセスユニットの２つのＶＣＬ ＮＡＬユニットの間に同じタイプのサフィックスＳＥＩメッセージがあるときに、サフィックスＳＥＩメッセージが存在してアクセスユニットの最後のＶＣＬ ＮＡＬユニットの後を追う（それに後続する）ことが要求されることである。たとえば、サフィックスＳＥＩメッセージは通常、ＳＥＩメッセージが適用されるＶＣＬ ＮＡＬユニットの後にビットストリームに含まれる。ＨＥＶＣでは、サフィックスＳＥＩメッセージの配置に対する制約は、アクセスユニットベースであり、これは、複数のレイヤ成分（たとえば、マルチレイヤビットストリームのアクセスユニット）を有するアクセスユニットでは問題となり得る。すなわち、一部のサフィックスＳＥＩメッセージは、複数のレイヤ成分を有するアクセスユニット中の適切な位置（たとえば、ＳＥＩメッセージが適用されるＶＣＬ ＮＡＬユニットよりも後）に位置しないことがある。
[0101]本開示の第１０の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、サフィックスＳＥＩメッセージがコーディングされる方式を、（たとえば、上で述べられたアクセスユニットベースの技法とは対照的に）サフィックスＳＥＩメッセージが適用されるピクチャに基づいて制御することができる。たとえば、本開示の態様によれば、同じタイプでありピクチャの２つのＶＣＬ ＮＡＬユニットの間に存在するレイヤ（たとえば、ｌａｙｅｒＡ）に適用されるサフィックスＳＥＩメッセージがあるとき、ピクチャを含むレイヤ（たとえば、ｌａｙｅｒＡ）に適用されるサフィックスＳＥＩメッセージが存在してピクチャの最後のＶＣＬ ＮＡＬユニットの後を追う（それに後続する）ことが要求される。
[0102]たとえば、少なくとも第１のピクチャと第２のピクチャとを含むアクセスユニットに対して、ビデオエンコーダ２０および／またはビデオデコーダ３０は、第１のピクチャに後続する第１のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第１のサフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットと、ビットストリームにおいて第２のピクチャに後続する第２のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第２のプレフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットとをコーディングするように制約され得る。このようにして、ビデオエンコーダ２０および／またはビデオデコーダ３０は、アクセスユニットの他の位置にあるサフィックスＳＥＩメッセージをコーディングすることを制約され、これにより、マルチレイヤコーディングにおいて効率が上がり、記憶のオーバーヘッドが減り得る。
[0103]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第１１の潜在的な問題は、ＨＥＶＣでは、ＳＥＩメッセージが繰り返すことが許可される回数がアクセスユニットごとに指定されるということである。たとえば、いくつかの事例では、ＳＥＩメッセージはピクチャをコーディングするときに繰り返され得る。説明を目的とする例では、各スライスが固有のＶＣＬ ＮＡＬユニットと関連付けられる８つのスライスを有するピクチャについて、ビデオエンコーダ２０および／またはビデオデコーダ３０は、各ＶＣＬ ＮＡＬユニットのためにある特定のＳＥＩメッセージを繰り返すことができる。しかしながら、ＳＥＩメッセージが繰り返され得る回数に対するアクセスユニットベースの制約は、マルチレイヤビデオコーディングでは問題となることがあり、それは、複数のレイヤ成分を有するアクセスユニットは、単一のレイヤ成分（たとえば、単一のピクチャ）を有するアクセスユニットよりも多くのスライスを潜在的に有し得るからである。この例では、誤りの性能（および／またはＳＥＩメッセージの影響を受ける他の機能）が悪影響を受け得る。
[0104]本開示の第１１の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＳＥＩメッセージが繰り返され得る回数をピクチャごとに指定することができる。この状況では、ピクチャは、コーディングされるピクチャのＶＣＬ ＮＡＬユニットと、それらのＶＣＬ ＮＡＬユニットと関連付けられる非ＶＣＬ ＮＡＬユニットとを含むものとして定義され得る。よって、本開示の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、あるピクチャのＶＣＬ ＮＡＬユニットとそのピクチャの関連する非ＶＣＬ ＮＡＬユニットとを含むピクチャに基づいて、ＳＥＩメッセージのための最大繰り返しパラメータ（たとえば、ＳＥＩメッセージが繰り返され得る最大の回数）を決定することができる。いくつかの事例では、本技法は、マルチレイヤコーディングにおける誤り耐性を高め得る。
[0105]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第１２の潜在的な問題は、ｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素が１に等しく、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１に等しいが、両端を含めて０から現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの範囲にあるレイヤ識別子の値（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するレイヤだけを含むビットストリームに対してＶＰＳによって指定されるレイヤセットがない例において、競合が生じ得ることである。たとえば、１に等しいｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素は、ｍａｘＴｅｍｐｏｒａｌＩｄ［０］が現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１から１を引いたものに等しいことと、ｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］が値の昇順で両端を含めて０から現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの範囲にあるすべての整数値を含むこととを指定する。上で述べられたように、１に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素は、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージがサブビットストリーム抽出処理から生じる１つまたは複数のサブビットストリームに適用されることを指定する。言い換えると、マルチレイヤビットストリームのデフォルトのレイヤセットが示されるが、ＶＰＳがデフォルトのレイヤセットに対応する特定のレイヤセットを指定しない例では、競合が生じ得る。
[0106]本開示の第１２の態様によれば、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１に等しく、ＶＰＳによって指定されるレイヤセットの中に、両端を含めて０から現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの範囲にあるｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するレイヤだけを含むものがないとき、ｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０に等しいことが要求される。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングし、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいことと、両端を含めて０からＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含むマルチレイヤビットストリームのＶＰＳによって指定されるレイヤセットがないこととに基づいて、マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定することができる。本技法は、マルチレイヤコーディングにおいてｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素を使用するときに、誤り耐性を高めることができる。
[0107]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第１３の潜在的な問題は、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０に等しくａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇシンタックス要素が１に等しいときに、変数ｍａｘＴｅｍｐｏｒａｌＩｄ［０］の値がＨＥＶＣでは指定されないということである。０に等しいｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素は、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］がａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇシンタックス要素によって、および存在するときには、両端を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあるすべてのｉの値に対するｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］によって指定されることと、変数ｍａｘＴｅｍｐｏｒａｌＩｄ［０］がｎｅｓｔｉｎｇ＿ｎｏ＿ｏｐ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１によって指定されることとを指定する。言い換えると、ＨＥＶＣは、ネストされるＳＥＩメッセージがマルチレイヤビットストリームの時間的サブレイヤとともに使用されるとき、適用可能なサブレイヤ（たとえば、ｍａｘＴｅｍｐｏｒａｌＩｄ［０］変数を使用して識別されるような）を特定せず、これは、不必要な混乱を引き起こし得る。
[0108]本開示の第１３の態様によれば、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０に等しく、ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇシンタックス要素が１に等しいとき、ビデオエンコーダ２０およびビデオデコーダ３０は、６という値を有するようにｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素を自動的にコーディングすることができ、６という値はＴｅｍｐｏｒａｌＩｄシンタックス要素に対して最大の可能な値である。すなわち、本開示の態様によれば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、含まれるサブレイヤの数とは無関係に、ビデオデータのレイヤに含まれるすべてのサブレイヤにＳＥＩメッセージを適用するように構成され得る。このようにして、本技法は、マルチレイヤコーディングと関連付けられる複雑さを減らし得る。
[0109]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第１４の潜在的な問題は、ネストされたＳＥＩメッセージが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有し（たとえば、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つであり）、ＳＥＩメッセージがレイヤのセットに適用されるときに、レイヤのセットがビットストリーム中のＴｅｍｐｏｒａｌＩｄの最大の値未満のｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］の値と関連付けられ得ることである。しかしながら、これらのＳＥＩメッセージのセマンティクスは、サブレイヤを考慮することなく記述されており、その結果、上記の状況が発生したときにスケーラブルネスティングＳＥＩメッセージのセマンティクスと矛盾する。この矛盾は、マルチレイヤコーディングを不必要に複雑にし得る。
[0110]本開示の第１４の態様によれば、ネストされたＳＥＩメッセージが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有する（たとえば、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、０に等しいＴｅｍｐｏｒａｌＩｄシンタックス要素と、すべてのｉに対して６に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］シンタックス要素とを有することが要求され、６という値はＴｅｍｐｏｒａｌＩｄシンタックス要素に対して最大の可能な値である。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、０に等しいＴｅｍｐｏｒａｌＩｄシンタックス要素の値と、すべてのｉに対する６に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］シンタックス要素の値とを、ＳＥＩメッセージがペイロードタイプの所定のセット中のペイロードタイプ（たとえば、上で特定されたタイプ）を有することに基づいて自動的に決定するように構成され得る。このようにして、本技法は、マルチレイヤコーディングと関連付けられる複雑さを減らし得る。
[0111]マルチレイヤの状況においてＨＥＶＣ ＳＥＩメッセージを使用することの第１５の潜在的な問題は、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１に等しく、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０に等しいときに、ｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］シンタックス要素がマルチレイヤビットストリームのためにＶＰＳによって指定されないレイヤセットに対応することをＨＥＶＣ規格が許容するということである。
[0112]本開示の第１５の態様によれば、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１に等しく、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０に等しいとき、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ＶＰＳによって指定されるレイヤセットの１つのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値だけを含むようにｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］シンタックス要素をコーディングするように構成され得る。たとえば、ビデオエンコーダ２０および／またはビデオデコーダ３０は、マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素とマルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングし、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］がマルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定するように構成され得る。このようにして、本技法は、マルチレイヤコーディングと関連付けられる複雑さを減らし得る。
[0113]上で説明された技法は、独立に適用されることがあり、または組み合わせて適用されることがある。本開示に従った詳細な例が以下に記載される。上で説明された技法のいくつかのための、上で述べられたＳＨＶＣ規格に対するテキストの変更が、挿入される項目を識別するための下線と、削除される項目を示すための二重括弧（［［削除：］］）とを使用して以下で示される。
第３項の以下の定義を次のように変更する。
３．Ｘ アクセスユニット：指定される分類規則に従って互いに関連付けられ、復号順序において連続的であり、同じ出力時間および関連する非ＶＣＬ ＮＡＬユニットと関連付けられるすべてのコーディングされるピクチャのＶＣＬ ＮＡＬユニットを含む、ＮＡＬユニットのセット。
注−同じアクセスユニット中のピクチャは同じピクチャ順序カウントと関連付けられる。
第３項に以下の定義を追加する。
３．Ｘ ベースビットストリーム区分：それ自体が適合するビットストリームでもあるビットストリーム区分。
３．Ｘ ビットストリーム区分：区分に従ったビットストリームのサブセットである、ＮＡＬユニットストリームまたはバイトストリームの形態のビットのシーケンス。
３．Ｘ 出力レイヤ：ＴａｒｇｅｔＯｐｔＬａｙｅｒＳｅｔＩｄｘが出力レイヤセットのインデックスに等しいときに出力される出力レイヤセットのレイヤ。
３．Ｘ 出力レイヤセット：指定されるレイヤセットの１つのレイヤからなるレイヤのセット、ここでレイヤのセット中の１つまたは複数のレイヤは出力レイヤとして示される。
３．Ｘ 出力動作点：入力として別のビットストリーム、ターゲット最高ＴｅｍｐｏｒａｌＩｄ、およびターゲットレイヤ識別子リストを伴うサブビットストリーム抽出処理の動作によって別のビットストリームから作成され、ターゲット出力レイヤのセットと関連付けられるビットストリーム。
３．Ｘ ピクチャユニット：指定される分類規則に従って互いに関連付けられ、復号順序において連続的であり、コーディングされたピクチャのＶＣＬ ＮＡＬユニットおよびそれらの関連する非ＶＣＬ ＮＡＬユニットを含む、ＮＡＬユニットのセット。
３．Ｘ ターゲット出力レイヤ：出力されるべきであり、ＴａｒｇｅｔＯｐｔＬａｙｅｒＳｅｔＩｄｘがｏｌｓＩｄｘに等しくなるようなインデックスｏｌｓＩｄｘを伴う出力レイヤセットの出力レイヤの１つであるレイヤ。
３．Ｘ ターゲット出力レイヤセット：使用されている出力動作点のレイヤ識別子リストとターゲット出力レイヤのセットとを指定する変数ＴａｒｇｅｔＯｐｔＬａｙｅｒＳｅｔＩｄｘと関連付けられる出力レイヤセット。
［［削除：３．Ｘ 動作点：入力として別のビットストリーム、ターゲット最高ＴｅｍｐｏｒａｌＩｄ、およびターゲットレイヤ識別子リストを伴うサブビットストリーム抽出処理の動作によって別のビットストリームから作成され、ターゲット出力レイヤのセットと関連付けられるビットストリーム。
注１４−動作点のターゲット最高ＴｅｍｐｏｒａｌＩｄが、ターゲットレイヤ識別リストと関連付けられるレイヤセット中のＴｅｍｐｏｒａｌＩｄの最大値に等しい場合、動作点はレイヤセットと同一である。それ以外の場合、それはレイヤセットのサブセットである。］］
Ｃ．１ 概要
この付属書類は、仮想参照デコーダ（ＨＲＤ）と、ビットストリームおよびデコーダの適合性を検査するためのその使用法とを規定する。
・・・
ビットストリームの適合性を検査するために、複数の試験が必要とされることがあり、このビットストリームは、試験対象のビットストリームと呼ばれる。試験ごとに、以下のステップが列挙された順序で適用される。
１．ＴａｒｇｅｔＯｐとして示される試験対象の出力動作点が、ＴａｒｇｅｔＯｐｔＬａｙｅｒＳｅｔＩｄｘによって識別されるターゲット出力レイヤを選択し、ターゲット最高ＴｅｍｐｏｒａｌＩｄの値であるＨｉｇｈｅｓｔＴｉｄを選択することによって選択される。ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘの値は、両端を含めて、０からＮｕｍＯｕｔｐｕｔＬａｙｅｒＳｅｔｓ−１の範囲にあるものとする。ＨｉｇｈｅｓｔＴｉｄの値は、両端を含めて、０からｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあるものとする。次いで、変数ＴａｒｇｅｔＤｅｃＬａｙｅｒＳｅｔＩｄｘ、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、およびＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔが、式８−１によって指定されるように導出される。試験対象の出力動作点は、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに等しいＯｐｔＬａｙｅｒＩｄＬｉｓｔと、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔに等しいＯｐＬａｙｅｒＩｄＬｉｓｔと、ＨｉｇｈｅｓｔＴｉｄに等しいＯｐＴｉｄとを有する。
・・・
ビットストリーム固有のＣＰＢ動作が試験されるときの試験対象の出力動作点ごとに、実行されるべきビットストリーム適合性試験の数は、ｎ０＊ｎ１＊（ｎ２＊２＋ｎ３）＊ｎ４に等しく、ここで、ｎ０、ｎ１、ｎ２、ｎ３、およびｎ４の値は次のように指定される。
・・・
Figure 2017510198
［［削除：ＳＥＩ ＮＡＬユニットまたはＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕを、同じアクセスユニット中の、もしあれば復号順序において先行するＶＣＬ ＮＡＬユニットとし、ＳＥＩ ＮＡＬユニットまたはＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕを、同じアクセスユニット中の、もしあれば復号順序において次のＶＣＬ ＮＡＬユニットとする。］］
以下の制約がＳＥＩ ＮＡＬユニットへＳＥＩメッセージを含めることに対して適用されることが、ビットストリームの適合性の要件である。
−有効パラメータセットＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、１つだけの有効パラメータセットＳＥＩメッセージを含むものとし、他のＳＥＩメッセージを含まないものとする。
［［削除：有効パラメータセットＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットがアクセスユニット中に存在するとき、そのＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続しＳＥＩ ＮＡＬユニットのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する最初のＳＥＩ ＮＡＬユニットであるものとする。］］
−ＳＥＩ ＮＡＬユニットが、ネストされていないバッファリング期間ＳＥＩメッセージ、ネストされていないピクチャタイミングＳＥＩメッセージ、またはネストされていない復号ユニット情報ＳＥＩメッセージを含むとき、ＳＥＩ ＮＡＬユニットは、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しくないｐａｙｌｏａｄＴｙｐｅを伴う他のＳＥＩメッセージを含まないものとする。
−ＳＥＩ ＮＡＬユニットが、ネストされたバッファリング期間ＳＥＩメッセージ、ネストされたピクチャタイミングＳＥＩメッセージ、またはネストされた復号ユニット情報ＳＥＩメッセージを含むとき、ＳＥＩ ＮＡＬユニットは、０（バッファリング期間）、１（ピクチャタイミング）、１３０（復号ユニット情報）、または１３３（スケーラブルネスティング）に等しくないｐａｙｌｏａｄＴｙｐｅを伴う他のＳＥＩメッセージを含まないものとする。
ＳＥＩ ＮＡＬユニットまたはＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕを、同じアクセスユニット中の、もしあれば復号順序において先行するＶＣＬ ＮＡＬユニットとし、ＳＥＩ ＮＡＬユニットまたはＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕを、同じアクセスユニット中の、もしあれば復号順序において次のＶＣＬ ＮＡＬユニットとする。以下の制約が適用されることが、ビットストリームの適合性の要件である。
以下の制約がＳＥＩメッセージの順序に対して適用されることが、ビットストリームの適合性の要件である。
−有効パラメータセットＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットがアクセスユニットに存在するとき、そのＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続しＳＥＩ ＮＡＬユニットのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する第１のＳＥＩ ＮＡＬユニットであるものとする。
−ネストされていないバッファリング期間ＳＥＩメッセージがアクセスユニットに存在するとき、そのネストされていないバッファリング期間ＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続しバッファリング期間ＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する、有効パラメータセットＳＥＩメッセージ以外のあらゆる他のＳＥＩメッセージに後続しないものとする。
−ネストされていないピクチャタイミングＳＥＩメッセージがアクセスユニットに存在するとき、そのネストされていないピクチャタイミングＳＥＩメッセージは、ピクチャタイミングＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続しピクチャタイミングＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する、有効パラメータセットＳＥＩメッセージまたはネストされていないバッファリング期間ＳＥＩメッセージ以外のあらゆる他のＳＥＩメッセージに後続しないものとする。
−ネストされていない復号ユニット情報ＳＥＩメッセージがアクセスユニットに存在するとき、そのネストされていない復号ユニット情報ＳＥＩメッセージは、復号ユニット情報ＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続し復号ユニット情報ＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する、有効パラメータセットＳＥＩメッセージ、ネストされていないバッファリング期間ＳＥＩメッセージ、またはネストされていないピクチャタイミングＳＥＩメッセージ以外のあらゆる他のＳＥＩメッセージに後続しないものとする。
−ネストされたバッファリング期間ＳＥＩメッセージ、ネストされたピクチャタイミングＳＥＩメッセージ、またはネストされた復号ユニット情報ＳＥＩメッセージがアクセスユニット中のスケーラブルネスティングＳＥＩメッセージに含まれるとき、そのスケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージのｐｒｅｖＶｃｌＮａｌＵｎｉｔＩｎＡｕに後続しスケーラブルネスティングＳＥＩメッセージのｎｅｘｔＶｃｌＮａｌＵｎｉｔＩｎＡｕに先行する、有効パラメータセットＳＥＩメッセージ、ネストされていないバッファリング期間ＳＥＩメッセージ、ネストされていないピクチャタイミングＳＥＩメッセージ、ネストされていない復号ユニット情報ＳＥＩメッセージ、または、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含む別のスケーラブルネスティングＳＥＩメッセージ以外の、あらゆる他のＳＥＩメッセージに後続しないものとする。
−ｐａｙｌｏａｄＴｙｐｅが、アクセスユニット内のネストされているまたはネストされていないＳＥＩメッセージに対して、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しいとき、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｈｉｇｈｅｓｔＡｐｐＬａｙｅｒＩｄよりも高いｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するあらゆるピクチャのすべてのＮＡＬユニットに先行するものとし、ここでｈｉｇｈｅｓｔＡｐｐＬａｙｅｒＩｄは、ＳＥＩメッセージが適用されるすべての動作点におけるすべてのレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの最高の値である。
−ｐａｙｌｏａｄＴｙｐｅが、アクセスユニット内のネストされているまたはネストされていないＳＥＩメッセージに対して、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しい（すなわち、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ｈｉｇｈｅｓｔＡｐｐＬａｙｅｒＩｄよりも高いｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するあらゆるピクチャユニットのすべてのＮＡＬユニットに先行するものとし、ここでｈｉｇｈｅｓｔＡｐｐＬａｙｅｒＩｄは、ＳＥＩメッセージが適用されるすべてのレイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄの最高の値である。
［［削除：ネストされていないＳＥＩメッセージに対して、ｐａｙｌｏａｄＴｙｐｅの値ｔに応じて］］以下のことがＳＥＩメッセージの適用可能な動作点またはレイヤに対して適用される。
−ネストされていないＳＥＩメッセージに対して、ｐａｙｌｏａｄＴｙｐｅが０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しいとき［［削除：場合］］、ネストされていないＳＥＩメッセージは、ビットストリーム中のすべてのＶＣＬ ＮＡＬユニットの中で最大の値のｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１に等しいＯｐＴｉｄを有し、ビットストリーム中のすべてのＶＣＬユニット中のｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値を含むＯｐＬａｙｅｒＩｄＬｉｓｔを有する、動作点に適用される。
−ネストされていないＳＥＩメッセージに対して、［［削除：そうではなく、］］ｐａｙｌｏａｄＴｙｐｅが２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しい（すなわち、０、１、４、５、［［削除：または］］１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有する［［削除：およびネストされたＳＥＩメッセージであることが許容される］］ＳＥＩメッセージの１つである）とき、ネストされていないＳＥＩメッセージは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄをＶＣＬ ＮＡＬユニットが有するレイヤに適用される。
−ネスティードではあり得ない有効パラメータセットＳＥＩメッセージが、ビットストリーム中のすべてのレイヤに適用される。
−ｆｒａｍｅ＿ｆｉｅｌｄ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが、ネストされたまたはネストされていないピクチャタイミング情報ＳＥＩメッセージに対して１に等しいとき、シンタックス要素ｐｉｃ＿ｓｔｒｕｃｔ、ｓｏｕｒｃｅ＿ｓｃａｎ＿ｔｙｐｅ、およびｄｕｐｌｉｃａｔｅ＿ｆｌａｇにおいて搬送されるフレームフィールド情報が、ピクチャタイミングＳＥＩメッセージが適用されるすべての動作点においてすべてのレイヤに適用される。
以下の制約がＳＥＩメッセージのネスティングに対して適用されることが、ビットストリームの適合性の要件である。
−１２９（有効パラメータセット）、１３２（復号ピクチャハッシュ）、および１３３（スケーラブルネスティングを有するＳＥＩメッセージ［［削除：）ＳＥＩメッセージ］］は、スケーラブルネスティングＳＥＩメッセージにおいてネストされないものとする。
−スケーラブルネスティングＳＥＩメッセージが、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むとき、スケーラブルネスティングＳＥＩメッセージは、０（バッファリング期間）、１（ピクチャタイミング）、または１３０（復号ユニット情報）に等しくないｐａｙｌｏａｄＴｙｐｅを伴う他のＳＥＩメッセージを含まないものとする。
−スケーラブルネスティングＳＥＩメッセージが、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むとき、スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇの値は、１に等しいものとする。
−スケーラブルネスティングＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージを含む（すなわち、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇの値は０に等しいものとする。
以下の制約がＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄおよびＴｅｍｐｏｒａｌＩｄの値に対して適用されることが、ビットストリームの適合性の要件である。
−ネストされていないＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有する（すなわち、０、１、４、５、１２９、［［削除：または］］１３０、および１３３いずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有する［［削除：ネストされたＳＥＩメッセージであることが許容される］］ＳＥＩメッセージの１つである）とき、ネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットを含むアクセスユニットのＴｅｍｐｏｒａｌＩｄに等しいＴｅｍｐｏｒａｌＩｄを有するものとする。
−ネストされていないＳＥＩメッセージが、０、１、１２９、または１３０に等しいｐａｙｌｏａｄＴｙｐｅを有するとき、ネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するものとする。
−ネストされていないＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅを有する（すなわち、０、１、１２９、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つである）とき、ネストされていないＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットは、ＳＥＩ ＮＡＬユニットの関連するＶＣＬ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するものとする。
注４−スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットに対して、ＴｅｍｐｏｒａｌＩｄおよびｎｕｈ＿ｌａｙｅｒ＿ｉｄの値は、それぞれ、ネストされたＳＥＩメッセージが適用されるすべてサブレイヤまたは動作点のＴｅｍｐｏｒａｌＩｄおよびｎｕｈ＿ｌａｙｅｒ＿ｉｄの最低の値に等しく設定されるものとする。
以下の制約がピクチャ［［削除：アクセスユニット］］の２つのＶＣＬ ＮＡＬユニットの間のＳＥＩメッセージの存在に対して適用されることが、ビットストリームの適合性の要件である。
−復号順序においてピクチャ［［削除：アクセスユニット］］の２つのＶＣＬ ＮＡＬユニットの間に存在するレイヤｌａｙｅｒＡのピクチャに適用され、０、１、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、または１３１に等しいｐａｙｌｏａｄＴｙｐｅを有する、プレフィックスＳＥＩメッセージ（すなわち、Ｒｅｃ．ＩＴＵ−Ｔ Ｔ．３５ ＳＥＩメッセージ、ユーザデータ未登録ＳＥＩメッセージ、復号ユニット情報ＳＥＩメッセージ、スケーラブルネスティングＳＥＩメッセージ、または領域リフレッシュ情報ＳＥＩメッセージによって登録されるユーザデータではないプレフィックスＳＥＩメッセージの１つ）があるとき、ピクチャ［［削除：アクセスユニット］］の最初のＶＣＬ ＮＡＬユニットに先行する同じアクセスユニットに存在するレイヤｌａｙｅｒＡに適用される、同じタイプであるプレフィックスＳＥＩメッセージが存在するものとする。
−復号順序においてピクチャ［［削除：アクセスユニット］］の２つのＶＣＬ ＮＡＬユニットの間に存在するレイヤｌａｙｅｒＡのピクチャに適用され、３（フィラーペイロード）、１７（漸進的精緻化セグメント終了）、２２（ポストフィルタヒント）、または１３２（復号ピクチャハッシュ）に等しいｐａｙｌｏａｄＴｙｐｅを有する、サフィックスＳＥＩメッセージがあるとき、ピクチャ［［削除：アクセスユニット］］の最後のＶＣＬ ＮＡＬユニットの後を追う同じアクセスユニットに存在するレイヤｌａｙｅｒＡに適用される、同じタイプであるサフィックスＳＥＩメッセージが存在するものとする。
以下の制約がＳＥＩメッセージの繰り返しに対して適用されることが、ビットストリームの適合性の要件である。
−以下のｐａｙｌｏａｄＴｙｐｅの値の各々に対して、ピクチャユニット［［削除：アクセスユニット］］内の８つ以下の同一のｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造が存在するものとする：０、１、２、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１２９、１３１、１３２、および１３３。
−復号ユニット内の１３０に等しいｐａｙｌｏａｄＴｙｐｅを伴う８つ以下の同一のｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造が存在するものとする。
−ピクチャユニット［［削除：アクセスユニット］］中の１３４に等しいｐａｙｌｏａｄＴｙｐｅを伴う同一のｓｅｉ＿ｐａｙｌｏａｄ（）シンタックス構造の数は、ピクチャユニット［［削除：アクセスユニット］］中のスライスセグメントの数以下であるものとする。
Ｄ．３．２３項を次のように修正する。
スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、様々な動作点に対応するビットストリームサブセットまたは特定のレイヤもしくはサブレイヤと関連付けるための機構を提供する。
スケーラブルネスティングＳＥＩメッセージは、１つまたは複数のＳＥＩメッセージを含む。
０に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージが特定のレイヤまたはサブレイヤに適用されることを指定する。１に等しいｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージが、以下で規定されるようなスケーラブルネスティングＳＥＩメッセージのシンタックス要素に基づく入力を伴う１０項において規定されるようなサブビットストリーム抽出処理により生じる１つまたは複数のサブビットストリームに適用されることを指定する。
［［削除：バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージに含まれるとき、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇは１に等しいものとする。］］
ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇの値に応じて、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージが適用されるレイヤもしくはサブレイヤ、または動作点は、以下で規定されるようなシンタックス要素の値に基づいて、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］と変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを導出することによって指定される。
０に等しいｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇは、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］がａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇによって、および存在するときには両端を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあるすべてのｉの値に対するｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］によって指定されることと、変数ｍａｘＴｅｍｐｏｒａｌＩｄ［０］がｎｅｓｔｉｎｇ＿ｎｏ＿ｏｐ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１によって指定されることとを指定する。１に等しいｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇは、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］および変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］が、ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｐｓ＿ｍｉｎｕｓ１と、ｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇと、存在するときにはｎｅｓｔｉｎｇ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１［ｉ］と、存在するときにはｎｅｓｔｉｎｇ＿ｏｐ＿ｉｄｘ［ｉ］とによって指定されることを指定する。
１に等しいｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇは、ｍａｘＴｅｍｐｏｒａｌＩｄ［０］が現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１から１を引いたものに等しいことと、ｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］が値の昇順で両端を含めて０から現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの範囲にあるすべての整数値を含むこととを指定する。
ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しく、ＶＰＳによって指定されるレイヤセットの中に、両端を含めて０から現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの範囲にあるｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を有するレイヤだけを含むものがないとき、ｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇの値は０に等しいものとする。
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｐｓ＿ｍｉｎｕｓ１に１を足してｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇを引いたものは、後続するｎｅｓｔｉｎｇ＿ｏｐ＿ｉｄｘ［ｉ］シンタックス要素の数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｐｓ＿ｍｉｎｕｓ１の値は、両端を含めて０から１０２３の範囲にあるものとする。
ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０に等しい場合、変数ｎｅｓｔｉｎｇＮｕｍＯｐｓは１に等しく設定される。それ以外の場合、変数ｎｅｓｔｉｎｇＮｕｍＯｐｓは、ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｏｐｓ＿ｍｉｎｕｓ１＋１に等しく設定される。
ｎｅｓｔｉｎｇ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１［ｉ］は、変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］を指定するために使用される。ｎｅｓｔｉｎｇ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１［ｉ］の値は、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１以上であるものとする。変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１［ｉ］−１に等しく設定される。
ｎｅｓｔｉｎｇ＿ｏｐ＿ｉｄｘ［ｉ］は、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］を指定するために使用される。ｎｅｓｔｉｎｇ＿ｏｐ＿ｉｄｘ［ｉ］の値は、両端を含めて０から１０２３の範囲にあるものとする。
リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］は、有効ＶＰＳによって指定されるｎｅｓｔｉｎｇ＿ｏｐ＿ｉｄｘ［ｉ］番目のレイヤセットのＯｐＬａｙｅｒＩｄＬｌｉｓｔに等しく設定される。
０に等しいａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］が、両端を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあるすべてのｉの値に対するｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］によって指定されることを指定する。１に等しいａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇは、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］が、値の昇順で、現在のＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄ以上である現在のアクセスユニットに存在するｎｕｈ＿ｌａｙｅｒ＿ｉｄのすべての値からなることを指定する。
注：スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄが０より大きいとき、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇおよびａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇはともに１に等しくはなり得ない。それは、この場合、ネストされたＳＥＩメッセージの適用可能な動作点がベースレイヤを含まず、その結果、適用可能な動作点に対応するサブビットストリームが適合しないビットストリームとなるからである。
ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０に等しくａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１に等しいとき、ｍａｘＴｅｍｐｏｒａｌＩｄ［０］は６に等しく設定される。
ｎｅｓｔｉｎｇ＿ｎｏ＿ｏｐ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１から１を引いたものは、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０に等しくａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが０に等しいときのｍａｘＴｅｍｐｏｒａｌＩｄ［０］の値を指定する。ｎｅｓｔｉｎｇ＿ｎｏ＿ｏｐ＿ｍａｘ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１の値は０に等しくないものとする。
ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１に１を足したものは、後続するｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］シンタックス要素の数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の値は、両端を含めて０から６３の範囲にあるものとする。
ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］は、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］に含まれるｉ番目のｎｕｈ＿ｌａｙｅｒ＿ｉｄの値を指定する。
両端を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあり、ｉがｊより小さい任意のｉおよびｊに対して、ｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］はｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｊ］より小さいものとする。
リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］は、ｉの値の昇順で、両端を含めて０からｎｅｓｔｉｎｇ＿ｎｕｍ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１の範囲にあるすべてのｉの値に対するｎｅｓｔｉｎｇ＿ｌａｙｅｒ＿ｉｄ［ｉ］からなるように設定される。
ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが０に等しいとき、以下のことが当てはまる。
−スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、両端を含めて０からｎｅｓｔｉｎｇＮｕｍＯｐｓ−１の範囲にあるすべてのｉの値に対するレイヤまたはサブレイヤのセットｓｕｂＬａｙｅｒＳｅｔ［ｉ］に適用され、ここで、各セットｓｕｂＬａｙｅｒＳｅｔ［ｉ］の中のレイヤまたはサブレイヤのＶＣＬ ＮＡＬユニットは、リストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔＳｅｔ［ｉ］に含まれるｎｕｈ＿ｌａｙｅｒ＿ｉｄの値と、両端を含めて現在のＳＥＩ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄからｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］の範囲にあるＴｅｍｐｏｒａｌＩｄの値とを有する。
−ネストされたＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅ（すなわち、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つ）を有するとき、スケーラブルネスティングＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄは０に等しいＴｅｍｐｏｒａｌＩｄを有するものとし、すべてのｉに対するｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］は６に等しいものとする。
−ネストされたＳＥＩメッセージが、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、または１３４に等しいｐａｙｌｏａｄＴｙｐｅ（すなわち、０、１、４、５、１３０、および１３３のいずれにも等しくないｐａｙｌｏａｄＴｙｐｅを有するＳＥＩメッセージの１つ）を有し、ｎｅｓｔｉｎｇＮｕｍＯｐｓの値が０より大きいとき、ネストされるＳＥＩメッセージは、ｉが両端を含めて０からｎｅｓｔｉｎｇＮｕｍＯｐｓ−１の範囲にあるリストｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］の少なくとも１つに各ｎｕｈ＿ｌａｙｅｒ＿ｉｄが含まれる、すべてのレイヤに対して適用される。
ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいとき、スケーラブルネスティングＳＥＩメッセージに含まれるＳＥＩメッセージは、両端を含めて０からｎｅｓｔｉｎｇＮｕｍＯｐｓ−１の範囲にあるすべてのｉの値に対するサブビットストリームｓｕｂＢｉｔｓｔｒｅａｍ［ｉ］に対応する動作点に適用され、ここで各サブビットストリームｓｕｂＢｉｔｓｔｒｅａｍ［ｉ］は、入力として、ビットストリーム、ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］、およびｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［ｉ］を伴う１０項のサブビットストリーム抽出処理の出力である。
ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しく、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０に等しいとき、ｎｅｓｔｉｎｇＬａｙｅｒｉｄＬｉｓｔ［０］は、ＶＰＳによって指定されるレイヤセットの１つのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値だけを含むものとする。
ｎｅｓｔｉｎｇ＿ｚｅｒｏ＿ｂｉｔは０に等しいものとする。
Ｆ．３ 定義
この付属書類では、３項の定義に加えて以下の定義が適用される。これらの定義は、３項には存在しないか、または３項の定義を置き換えるかのいずれかである。
［［削除：
Ｆ．３．１ アクセスユニット：指定される分類規則に従って互いに関連付けられ、復号順序において連続的であり、同じ出力時間および関連する非ＶＣＬ ＮＡＬユニットと関連付けられるすべてのコーディングされるピクチャのＶＣＬ ＮＡＬユニットを含む、ＮＡＬユニットのセット。
Ｆ．３．２ 注１−同じアクセスユニット中のピクチャは同じピクチャ順序カウントと関連付けられる。］］
Ｆ．３．１ 代替的な出力レイヤ：出力レイヤの直接の参照レイヤまたは間接的な参照レイヤであり、出力レイヤのピクチャがピクチャを含むアクセスユニットに存在しないときに出力され得るピクチャを含み得る、レイヤ。
Ｆ．７．４．３．１ ビデオパラメータセットＲＢＳＰセマンティクス
７．４．３．１項における規定は、以下の修正および追加を適用する。
−ｌａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔはＬａｙｅｒＳｅｔＬａｙｅｒＩｄＬｉｓｔにより置き換えられる。
−ｎｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔはＮｕｍＬａｙｅｒｓＩｎＩｄＬｉｓｔにより置き換えられる。
−「各動作点が、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値の昇順の、動作点に含まれるすべてのＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値のリストからなるＯｐＬａｙｅｒＩｄＬｉｓｔとして示される関連するレイヤ識別子リストによって、および、動作点に含まれるすべてのＮＡＬユニットの最高のＴｅｍｐｏｒａｌＩｄに等しい変数ＯｐＴｉｄによって識別される。」を、「各動作点が、ｎｕｈ＿ｌａｙｅｒ＿ｉｄの値の昇順の、動作点に含まれるすべてのＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値のリストからなるＯｐＬａｙｅｒＩｄＬｉｓｔとして示される関連するレイヤ識別子リストによって、および、動作点に含まれるすべてのＮＡＬユニットの最高のＴｅｍｐｏｒａｌＩｄに等しい変数ＯｐＴｉｄによって識別される。各出力動作点は、動作点と関連付けられ、ＯｐＬａｙｅｒＩｄＬｉｓｔとして示されるｎｕｈ＿ｌａｙｅｒ＿ｉｄの値の昇順の出力されるべきすべてのピクチャのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値のリストによって、および関連する動作点の［［削除：変数］］ＯｐＴｉｄによって識別される。出力動作点と関連付けられる動作点のＯｐＬａｙｅｒＩｄＬｉｓｔは、出力動作点のＯｐＬａｙｅｒＩｄＬｉｓｔとも呼ばれる［［削除：、これは動作点に含まれるすべてのＮＡＬユニットの最高のＴｅｍｐｏｒａｌＩｄに等しい。ＯｐＬａｙｅｒＩｄＬｉｓｔとして示される、リストＯｐｔＬａｙｅｒＩｄＬｉｓｔと関連付けられるレイヤ識別子リストは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値の昇順の、動作点に含まれるすべてのＮＡＬユニットのｎｕｈ＿ｌａｙｅｒ＿ｉｄの値のリストからなる。」。］］によって置き換える。
[0114]図２は、本開示で説明される技法を実装し得る例示的なビデオエンコーダ２０を示すブロック図である。図２は、説明のために与えられており、本開示で広く例示され説明される技法を限定するものと見なされるべきではない。説明のために、本開示は、ＨＥＶＣコーディングの状況においてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコーディング規格または方法にも適用可能であり得る。
[0115]ビデオエンコーダ２０は、本開示で説明される技法を実装し得る別の例示的なデバイスである後処理エンティティ２７にビデオを出力するように構成され得る。後処理エンティティ２７は、メディア認識ネットワーク要素（ＭＡＮＥ）、分割／編集デバイスまたは他の中間デバイスのような、ビデオエンコーダ２０からの符号化されたビデオデータを処理し得るビデオエンティティの例を表すものとする。いくつかの事例では、後処理エンティティ２７はネットワークエンティティの例であってよい。いくつかのビデオ符号化システムでは、後処理エンティティ２７およびビデオエンコーダ２０は別個のデバイスの部分であってよく、他の事例では、後処理エンティティ２７に関して説明される機能は、ビデオエンコーダ２０を備える同じデバイスによって実行されてよい。
[0116]ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間予測に依拠する。インターコーディングは、ビデオシーケンスの隣接するフレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双予測（Ｂモード）のようなインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
[0117]図２の例では、ビデオエンコーダ２０は、区分ユニット３５と、予測処理ユニット４１と、フィルタユニット６３と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロックの再構築のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。フィルタユニット６３は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタのような、１つまたは複数のループフィルタを表すことが意図されている。図２では、フィルタユニット６３はループ内フィルタであるものとして示されているが、他の構成では、フィルタユニット６３はループ後フィルタとして実装され得る。
[0118]図２に示されるように、ビデオエンコーダ２０はビデオデータを受信し、区分ユニット３５はデータをビデオブロックに区分する。この区分は、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、ならびにビデオブロックの区分も含み得る。ビデオエンコーダ２０は一般に、符号化されるべきビデオスライス内のビデオブロックを符号化するコンポーネントを示す。スライスは、複数のビデオブロック（場合によってはタイルと呼ばれるビデオブロックのセット）に分割され得る。予測処理ユニット４１は、誤差結果（たとえばコーディングレートおよびひずみレベル）に基づいて現在のビデオブロックについて、複数のイントラコーディングモードの１つ、または複数のインターコーディングモードの１つのような、複数の可能なコーディングモードの１つを選択し得る。予測処理ユニット４１は、得られたイントラコーディングされたブロックまたはインターコーディングされたブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化されたブロックを再構築するために加算器６２に与え得る。
[0119]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実行することができる。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実行する。
[0120]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをＰスライスまたはＢスライスとして指定することができる。動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。
[0121]予測ブロックは、絶対値差分和（ＳＡＤ）、差分２乗和（ＳＳＤ）、または他の差分の尺度によって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することが判明しているブロックである。いくつかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ２０は、参照ピクチャの４分の１ピクセル位置、８分の１ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット４２は、フルピクセル位置と分数ピクセル位置とに対して動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0122]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコーディングされたスライスにおけるビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）または第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
[0123]動き補償ユニット４４によって実行される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成すること、場合によってはサブピクセル精度への補間を実行することを伴い得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストの１つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ２０は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマとクロマの両方の差分成分を含み得る。加算器５０は、この減算演算を実行する１つまたは複数のコンポーネントを表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するための、ビデオブロックおよびビデオスライスと関連付けられるシンタックス要素を生成し得る。
[0124]イントラ予測処理ユニット４６は、上で説明されたように、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パスの間に、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット４０）は、試験されたモードから使用するのに適切なイントラ予測モードを選択することができる。たとえば、イントラ予測処理ユニット４６は、様々な試験されたイントラ予測モードに対するレートひずみ分析を使用してレートひずみ値を計算し、試験されたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化されたブロックを生成するために使用されたビットレート（すなわち、ビットの数）を決定する。イントラ予測処理ユニット４６は、符号化された様々なブロックのひずみおよびレートから比を計算し、どのイントラ予測モードがブロックの最良のレートひずみ値を示すかを決定し得る。
[0125]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０は、複数のイントラ予測モードインデックステーブルおよび複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを、送信されるビットストリームに含め得る。
[0126]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域からの周波数領域などの変換領域に変換し得る。
[0127]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートをさらに低減するために変換係数を量子化する。量子化処理は、係数の一部またはすべてと関連付けられるビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が、走査を実行し得る。
[0128]量子化の後、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディング、または別のエントロピー符号化方法もしくは技法を実行し得る。エントロピー符号化ユニット５６によるエントロピー符号化の後に、符号化されたビットストリームは、ビデオデコーダ３０に送信され、またはビデオデコーダ３０による後の送信または取り出しのためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0129]逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するためにピクセル領域において残差ブロックを再構築する。動き補償ユニット４４は、残差ブロックを参照ピクチャリストの１つの中の参照ピクチャの１つの予測ブロックに加算することによって参照ブロックを計算することができる。動き補償ユニット４４はまた、再構築された残差ブロックに１つまたは複数の補間フィルタを適用して、動き推定において使用するためのサブ整数ピクセル値を計算し得る。加算器６２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。
[0130]本開示の態様によれば、ビデオエンコーダ２０は、マルチレイヤコーデックのためのＳＥＩメッセージを含む、上で説明されたＳＥＩメッセージと関連付けられるシンタックス要素のような、いくつかのシンタックス要素を生成するように構成され得る。たとえば、ビデオエンコーダ２０は、図１に関して上で説明された１５個の態様の任意の組合せに従ってシンタックス要素を生成するように構成され得る。いくつかの事例では、ビデオエンコーダ２０は、エントロピー符号化ユニット５６、またはデータを符号化し符号化されたビットストリームを生成することを担う別のユニットを使用して、そのようなシンタックス要素を符号化することができる。さらに、図２の後処理エンティティ２７は、マルチレイヤコーデックのためのＳＥＩメッセージを含む、ＳＥＩメッセージに関して本開示で説明される技法を実施し得る別の例示的なデバイスである。
[0131]図３は、本開示で説明される技法を実装し得る例示的なビデオデコーダ３０を示すブロック図である。図３は、説明のために与えられており、本開示で広く例示され説明される技法に対する限定ではない。説明のために、本開示は、ＨＥＶＣコーディングの状況においてビデオデコーダ３０を説明する。しかしながら、本開示の技法は、他のコーディング規格またはコーディング方法に適用可能であり得る。
[0132]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換処理ユニット８８と、加算器９０と、フィルタユニット９１と、参照ピクチャメモリ９２とを含む。予測処理ユニット８１は、動き補償ユニット８２と、イントラ予測処理ユニット８４とを含む。ビデオデコーダ３０は、いくつかの例では、図２からのビデオエンコーダ２０に関して説明された符号化パスとは全般に逆の復号パスを実行し得る。
[0133]復号処理の間、ビデオデコーダ３０は、符号化されたビデオスライスのビデオブロックと、関連するシンタックス要素とを表す、符号化されたビデオビットストリームをビデオエンコーダ２０から受信する。ビデオデコーダ３０は、ネットワークエンティティ７８から符号化されたビデオビットストリームを受信し得る。ネットワークエンティティ７８は、たとえば、上で説明された技法の１つまたは複数を実装するように構成されたサーバ、ＭＡＮＥ、ビデオエディタ／スプライサ、または他のそのようなデバイスであり得る。ネットワークエンティティ７８は、ビデオエンコーダ２０のようなビデオエンコーダを含んでもよく、または含まなくてもよい。本開示で説明される技法のいくつかは、ネットワークエンティティ７８が符号化されたビデオビットストリームをビデオデコーダ３０に送信するよりも前に、ネットワークエンティティ７８によって実施され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ７８およびビデオデコーダ３０は別個のデバイスの一部であり得るが、他の事例では、ネットワークエンティティ７８に関して説明される機能は、ビデオデコーダ３０を備える同じデバイスによって実行され得る。
[0134]ビデオデコーダ３０のエントロピー復号ユニット８０は、量子化された係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１に転送する。ビデオデコーダ３０は、ビデオスライスレベルおよび／またはビデオブロックレベルでシンタックス要素を受信することができる。
[0135]ビデオスライスがイントラコーディングされた（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコーディングされる（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の、参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ９２に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト０とリスト１とを構築することができる。
[0136]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とを構文解析することによって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラまたはインター予測）と、インター予測スライスタイプ（たとえば、ＢスライスまたはＰスライス）と、スライスの参照ピクチャリストの１つまたは複数のための構築情報と、スライスの各々のインター符号化されたビデオブロックのための動きベクトルと、スライスの各々のインターコーディングされたビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のいくつかを使用する。
[0137]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット８２は、ビデオブロックの符号化の間にビデオエンコーダ２０によって使用されるような補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間された値を計算し得る。この場合、動き補償ユニット８２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0138]逆量子化ユニット８６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化された変換係数を逆量子化（inverse quantize）、すなわち、逆量子化（de-quantize）する。逆量子化処理は、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ２０によって計算される量子化パラメータの使用を含み得る。逆変換ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。
[0139]動き補償ユニット８２が、動きベクトルおよび他のシンタックス要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ３０は、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実行する１つまたは複数のコンポーネントを表す。所望される場合、ピクセル移行を平滑化するために、または別様にビデオ品質を向上させるために、（コーディングループの中とコーディングループの後のいずれかの）ループフィルタも使用され得る。
[0140]フィルタユニット９１は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、およびサンプル適応オフセット（ＳＡＯ）フィルタのような、１つまたは複数のループフィルタを表すことが意図されている。図３では、フィルタユニット９１はループ内フィルタであるとして示されているが、他の構成では、フィルタユニット９１はループ後フィルタとして実装され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、後続の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ９２に記憶される。参照ピクチャメモリ９２はまた、図１のディスプレイデバイス３１のようなディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
[0141]本開示の態様によれば、ビデオデコーダ３０は、マルチレイヤコーデックのためのＳＥＩメッセージを含む、上で説明されたＳＥＩメッセージと関連付けられるシンタックス要素のような、いくつかのシンタックス要素を構文解析して復号するように構成され得る。たとえば、ビデオデコーダ３０は、図１に関して上で説明された１５個の態様の任意の組合せに従ってシンタックス要素を構文解析して復号するように構成され得る。いくつかの事例では、ビデオデコーダ３０は、エントロピー復号ユニット８０、または符号化されたビットストリームからデータを復号することを担う別のユニットを使用して、そのようなシンタックス要素を復号することができる。さらに、図３のネットワークエンティティ７８（メディア認識ネットワーク要素であり得る）は、マルチレイヤコーデックのためのＳＥＩメッセージを含む、ＳＥＩメッセージに関して本開示で説明される技法を実施し得る別の例示的なデバイスである。
[0142]図４は、カプセル化ユニット２１をより詳しく示すブロック図である。図４の例では、カプセル化ユニット２１は、ビデオ入力インターフェース１００と、オーディオ入力インターフェース１０２と、ビデオファイル作成ユニット１０４と、ビデオファイル出力インターフェース１０６とを含む。ビデオファイル作成ユニット１０４は、この例では、補足強化情報（ＳＥＩ）メッセージ生成ユニット１０８と、ビュー識別子（ＩＤ）割当てユニット１１０と、表現作成ユニット１１２と、動作点作成ユニット１１４とを含む。
[0143]ビデオ入力インターフェース１００およびオーディオ入力インターフェース１０２は、それぞれ符号化されたビデオデータと符号化されたオーディオデータとを受信する。図１の例には示されないが、ソースデバイス１２はまた、それぞれオーディオデータを生成しオーディオデータを符号化するための、オーディオソースとオーディオエンコーダとを含み得る。カプセル化ユニット２１は次いで、符号化されたオーディオデータと符号化されたビデオデータとをカプセル化して、ビデオファイルを形成することができる。ビデオ入力インターフェース１００およびオーディオ入力インターフェース１０２は、データが符号化されると、符号化されたビデオデータと符号化されたオーディオデータとを受信することができ、または、符号化されたビデオデータと符号化されたオーディオデータとをコンピュータ可読媒体から取り出すことができる。符号化されたビデオデータと符号化されたオーディオデータとを受信すると、ビデオ入力インターフェース１００およびオーディオ入力インターフェース１０２は、ビデオファイルへと組み立てるために符号化されたビデオデータと符号化されたオーディオデータとをビデオファイル作成ユニット１０４に渡す。
[0144]ビデオファイル作成ユニット１０４は、機能と、機能に起因する手順とを実行するように構成された、ハードウェア、ソフトウェア、および／またはファームウェアを含む制御ユニットに対応し得る。制御ユニットは一般に、カプセル化ユニット２１に起因する機能をさらに実行し得る。ビデオファイル作成ユニット１０４がソフトウェアおよび／またはファームウェアで具現化される例では、カプセル化ユニット２１は、ビデオファイル作成ユニット１０４のための命令を備えるコンピュータ可読媒体と、命令を実行するための処理ユニットとを含み得る。ビデオファイル作成ユニット１０４のサブユニット（この例では、ＳＥＩメッセージ生成ユニット１０８、ビューＩＤ割当てユニット１１０、表現作成ユニット１１２、および動作点作成ユニット１１４）の各々は、個々のハードウェアユニットおよび／またはソフトウェアモジュールとして実装されてよく、機能的に統合され、または追加のサブユニットへとさらに分離されてよい。
[0145]ビデオファイル作成ユニット１０４は、たとえば、１つまたは複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組合せのような、任意の好適な処理ユニットまたは処理回路に対応し得る。ビデオファイル作成ユニット１０４は、ＳＥＩメッセージ生成ユニット１０８、ビューＩＤ割当てユニット１１０、表現作成ユニット１１２、および動作点作成ユニット１１４のいずれかまたはすべてのための命令を記憶する非一時的コンピュータ可読媒体、ならびに命令を実行するためのプロセッサをさらに含み得る。
[0146]一般に、ビデオファイル作成ユニット１０４は、受信されたオーディオとビデオデータとを含む１つまたは複数のビデオファイルを作成し得る。ビデオファイル作成ユニット１０４は、２つ以上のビューを含むマルチメディアコンテンツのためのｍｅｄｉａ ｐｒｅｓｅｎｔａｔｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ（ＭＰＤ）を構築し得る。他の例では、ビデオファイル作成ユニット１０４は、マルチメディアコンテンツのためのＭＰＤのデータと同様のデータを記憶するマニフェストを作成し得る。
[0147]ＳＥＩメッセージ生成ユニット１０８は、ＳＥＩメッセージを生成するユニットを表し得る。本開示で説明される技法によれば、ＳＥＩメッセージ生成ユニット１０８は、マルチレイヤコーデックのためのＳＥＩメッセージを含む、上で説明されたＳＥＩメッセージと関連付けられるシンタックス要素のような、いくつかのシンタックス要素を生成するように構成され得る。たとえば、ＳＥＩメッセージ生成ユニット１０８は、図１に関して上で説明された１５個の態様の任意の組合せに従ってシンタックス要素を生成するように構成され得る。
[0148]ビューＩＤ割当てユニット１１０は、マルチメディアコンテンツのビューの各々にビュー識別子を割り当てることができる。表現作成ユニット１１２は、マルチメディアコンテンツのための１つまたは複数の表現を構築することができ、それらの表現の各々は、マルチメディアコンテンツのためのビューの１つまたは複数を含み得る。いくつかの例では、ビューＩＤ割当てユニット１１０は、表現に含まれるビューのビュー識別子の最大値と最小値とを示すデータをＭＰＤおよび／または表現（たとえば、表現のためのヘッダデータ）に含め得る。さらに、表現作成ユニット１１２は、より大きいビューＩＤが、より小さいビューＩＤを有するビューに対するカメラ視点の右側のカメラ視点を有するビューに対応するか、または左側のカメラ視点を有するビューに対応するかを示す情報を、ＭＰＤにおいて与え得る。
[0149]いくつかの例では、異なるフレームレート、異なるビットレート、異なる符号化方式、または他の違いのような、様々な符号化特性を使用して同じレイヤが符号化され得る。表現作成ユニット１１２は、共通の表現に含まれる各レイヤが同じ符号化特性に従って符号化されることを保証し得る。このようにして、表現のためのＭＰＤおよび／またはヘッダデータは、表現中のすべてのレイヤに適用される、表現の特性（または属性）のセットをシグナリングし得る。その上、表現作成ユニット１１２は、符号化特性が潜在的に異なろうとも、同じレイヤを含む複数の表現を作成し得る。いくつかの例では、表現作成ユニット１１２は、マルチメディアコンテンツの各レイヤを個々の表現にカプセル化し得る。そのような例において、２つ以上のレイヤを出力するために、宛先デバイス１４はマルチメディアコンテンツの２つ以上の表現を要求し得る。
[0150]動作点作成ユニット１１４は、マルチメディアコンテンツの１つまたは複数の表現のための動作点を作成し得る。一般に、動作点は、出力のターゲットにされる表現中のビューのサブセットに対応し、その場合、ビューの各々は共通の時間レベルを共有する。一例として、動作点は、ターゲット時間レベルを表すｔｅｍｐｏｒａｌ＿ｉｄ値、およびターゲット出力ビューを表すｖｉｅｗ＿ｉｄ値のセットによって識別され得る。１つの動作点は、ターゲット出力ビュー、およびターゲット出力ビューが依存するすべての他のビューからなる、ビットストリームサブセットと関連付けられ得る。
[0151]ビデオファイル出力インターフェース１０６は、作成されたビデオファイルを出力することができる。たとえば、ビデオファイル出力インターフェース１０６は、図１に関して上で説明されたように、作成されたビデオファイルを出力インターフェース２２に提供するように構成され得る。
[0152]図４の技法は例示を目的にカプセル化ユニット２１とともに説明されたが、同様の技法は、カプセル化解除ユニット２９（図１）、ビデオエンコーダ２０、またはビデオデコーダ３０のような他のビデオ処理ユニットによって実行され得ることを理解されたい。たとえば、カプセル化解除ユニット２９は、マルチレイヤビットストリームを受信し、マルチレイヤビットストリームから上で述べられたシンタックスを構文解析／復号するように構成され得る。
[0153]図５は、ネットワーク１２０の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク１２０は、ルーティングデバイス１２４Ａ、１２４Ｂ（ルーティングデバイス１２４）と、トランスコーディングデバイス１２６とを含む。ルーティングデバイス１２４およびトランスコーディングデバイス１２６は、ネットワーク１２０の一部を形成し得る少数のデバイスを表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスのような、他のネットワークデバイスも、ネットワーク１２０に含まれ得る。その上、サーバデバイス１２２とクライアントデバイス１２８との間のネットワーク経路に沿って追加のネットワークデバイスが設けられ得る。いくつかの例では、サーバデバイス１２２はソースデバイス１２（図１）に対応し得るが、クライアントデバイス１２８は宛先デバイス１４（図１）に対応し得る。
[0154]一般に、ルーティングデバイス１２４は、ネットワーク１２０を通じてネットワークデータを交換するための１つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス１２４は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス１２４はプロキシデバイスと呼ばれることがある。一般に、ルーティングデバイス１２４は、ネットワーク１２０を通じたルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス１２４Ｂは、それ自体からサーバデバイス１２２へのルーティングデバイス１２４Ａを介したネットワークルートを発見し得る。ルーティングデバイス１２４の１つまたは複数は、本開示の１つまたは複数の態様を使用するＭＡＮＥを備え得る。
[0155]本開示の技法は、ルーティングデバイス１２４およびトランスコーディングデバイス１２６のようなネットワークデバイスによって実施され得るが、クライアントデバイス１２８によっても実施され得る。このように、ルーティングデバイス１２４、トランスコーディングデバイス１２６、およびクライアントデバイス１２８は、本開示の技法を実行するように構成されるデバイスの例を表す。その上、図１のデバイス、ならびに図２に示されるエンコーダ２０および図３に示されるデコーダ３０も、本開示の技法を実行するように構成され得る例示的なデバイスである。
[0156]図６は、本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの例示的な動作を示す流れ図である。図６の例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８のようなビデオ処理デバイスは、マルチレイヤビットストリームの第１のレイヤの１つまたは複数のＶＣＬ ＮＡＬユニットを取得する（１４０）。たとえば、ビデオ処理デバイスがビデオエンコーダまたはビデオデコーダである例では、ビデオ処理デバイスは、マルチレイヤビットストリーム中のＶＣＬ ＮＡＬユニットを符号化し、または、マルチレイヤビットストリームからＶＣＬ ＮＡＬユニットを復号することができる。ビデオ処理デバイスがそのようなＶＣＬ ＮＡＬユニットを符号化または復号するように構成されない例では、ビデオ処理デバイスは、マルチレイヤビットストリームからのＶＣＬ ＮＡＬユニットを構文解析して取得することができる。
[0157]ビデオ処理デバイスはまた、マルチレイヤビットストリーム中の第１のレイヤと一緒にあるべき第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージをコーディング（たとえば、符号化または復号）する（１４２）。たとえば、本開示の態様によれば、ビデオ処理デバイスは、第１のレイヤのＶＣＬＮＡＬユニットとともに、第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットだけをコーディングし、マルチレイヤビットストリームの他のレイヤを伴うＳＥＩメッセージを含まない。たとえば、本開示の態様によれば、マルチレイヤビットストリームは、第１のレイヤのＶＣＬ ＮＡＬユニットと第１のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まない。このように、ＳＥＩメッセージは、複数のレイヤ成分を有するアクセスユニットに対して、ＳＥＩメッセージが適用されるレイヤと一緒に存在するままである。いくつかの例では、ビデオ処理デバイスは、マルチレイヤビットストリームにおいて、メッセージが適用されるＶＣＬ ＮＡＬユニットに直接隣り合うようにＳＥＩメッセージをコーディングすることができる。
[0158]いくつかの例では、第１のレイヤのＶＣＬ ＮＡＬユニットは、第１のレイヤの第１のピクチャのＶＣＬ ＮＡＬユニットであり、ＳＥＩメッセージは、第１のレイヤの第１のピクチャに適用可能なプレフィックスＳＥＩメッセージである。そのような例では、ＶＣＬ ＮＡＬユニットとともに、プレフィックスＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットだけをコーディングすることは、ビットストリームにおいてＶＣＬ ＮＡＬユニットに先行する非ＶＣＬ ＮＡＬユニットだけをコーディングすることを含み得る。すなわち、ビデオ処理デバイスは、マルチレイヤビットストリーム中の第１のピクチャのＶＣＬ ＮＡＬユニットの直前に位置するように、ＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットをコーディングすることができる。
[0159]いくつかの例では、第１のレイヤのＶＣＬ ＮＡＬユニットは、第１のレイヤの第１のピクチャのＶＣＬ ＮＡＬユニットであり、ＳＥＩメッセージは、第１のレイヤの第１のピクチャに適用可能なサフィックスＳＥＩメッセージである。そのような例では、ＶＣＬ ＮＡＬユニットとともに、サフィックスＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットだけをコーディングすることは、ビットストリームにおいてＶＣＬ ＮＡＬユニットに後続する非ＶＣＬ ＮＡＬユニットだけをコーディングすることを含み得る。すなわち、ビデオ処理デバイスは、マルチレイヤビットストリーム中の第１のピクチャのＶＣＬ ＮＡＬユニットの直後に位置するように、ＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットをコーディングすることができる。
[0160]図６の例では、ビデオ処理デバイスはまた、マルチレイヤビットストリームの第２のレイヤのＶＣＬ ＮＡＬユニットを取得する（１４４）。たとえば、ビデオ処理デバイスは、マルチレイヤビットストリームの第２のレイヤのピクチャのスライスをコーディングする（すなわち、符号化または復号する）ことができる。ビデオ処理デバイスはまた、第２のレイヤのＶＣＬ ＮＡＬユニットとともに存在するように、第２のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージをコーディングする（１４６）。たとえば、上で説明されたように、ビデオ処理デバイスは、ビットストリームが第２のレイヤのＶＣＬ ＮＡＬユニットと第２のレイヤのＶＣＬ ＮＡＬユニットに適用可能なＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットとの間のマルチレイヤビットストリームの任意の他のレイヤのいずれのコーディングされたピクチャも含まないように、マルチレイヤビットストリームをコーディングすることができる。このように、ＳＥＩメッセージは、複数のレイヤ成分を有するアクセスユニットに対して、ＳＥＩメッセージが適用されるレイヤと一緒に存在するままである。
[0161]やはり、いくつかの例では、ビデオ処理デバイスは、ビットストリーム中の第１のピクチャに後続する第２のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第２のプレフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットをコーディングすることができる。ビデオ処理デバイスはまた、ビットストリーム中の第２のピクチャに後続する第２のピクチャのＶＣＬ ＮＡＬユニットに適用可能な第２のサフィックスＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットをコーディングすることができる。
[0162]いくつかの事例では、ビデオ処理デバイスはまた、第１のレイヤの第１のピクチャのＶＣＬ ＮＡＬユニットと第１のピクチャの関連する非ＶＣＬ ＮＡＬユニットとを含むピクチャユニットに基づいて、ＳＥＩメッセージのための最大繰り返しパラメータを決定することができる。
[0163]また、図６に関して示され説明されるステップは一例として与えられたものにすぎないことを理解されたい。すなわち、図６の例に示されるステップは必ずしも図６に示される順序で実行される必要があるとは限らず、より少数の、追加の、または代替のステップが実行され得る。その上、本技法はビデオ処理デバイスに関して上で全般に説明されたが、本技法は、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８、または他の処理ユニットのような、種々のビデオ処理デバイスによって実施され得る。
[0164]図７は、本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの別の例示的な動作を示す流れ図である。図７の例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８のようなビデオ処理デバイスは、復号ピクチャハッシュＳＥＩメッセージを含むマルチレイヤビットストリームのレイヤの１つまたは複数の非ＶＣＬ ＮＡＬユニットをコーディングする（１５０）。上で述べられたように、復号ピクチャハッシュメッセージは、復号されたピクチャのサンプル値から導出されるチェックサムを提供することができる。復号ピクチャハッシュメッセージは、ピクチャが正しく受信され復号されたかどうかを検出するために、たとえばビデオデコーダ３０のようなビデオデコーダによって使用され得る。
[0165]ビデオ処理デバイスはまた、非ＶＣＬ ＮＡＬユニットと関連付けられるレイヤ識別子を決定する（１５２）。ビデオ処理デバイスはまた、復号ピクチャハッシュＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットのレイヤ識別子に基づいて、復号ピクチャハッシュＳＥＩメッセージが適用可能であるマルチレイヤビットストリームのレイヤのセットを決定する（１５４）。本開示の態様によれば、復号ピクチャハッシュＳＥＩメッセージの適用可能なレイヤのセットは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットのレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に等しいレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を伴うレイヤであると指定され得る。すなわち、復号ピクチャハッシュＳＥＩメッセージは、ＳＥＩメッセージを含むＳＥＩ ＮＡＬユニットの同じレイヤ識別子（ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）を有するレイヤだけに適用される。いくつかの事例では、復号ピクチャハッシュＳＥＩメッセージは、ネストされていないＳＥＩメッセージでしかないことがある。
[0166]いくつかの例では、追加でまたは代替的に、ビデオ処理デバイスはまた、マルチレイヤビットストリームの１つまたは複数の第２の非ＶＣＬ ＮＡＬユニットをコーディングすることができる。第２の非ＶＣＬ ＮＡＬユニットは、ビデオデータの特定の部分に対して有効であるパラメータセットを示す有効パラメータセットＳＥＩメッセージを含み得る。ビデオ処理デバイスはまた、有効パラメータセットＳＥＩメッセージを含む１つまたは複数の第２の非ＶＣＬ ＮＡＬユニットに基づいて、有効パラメータセットＳＥＩメッセージがマルチレイヤビットストリームのすべてのレイヤに適用可能であると決定することができる。すなわち、ビデオ処理デバイスは、ＳＥＩメッセージが有効パラメータセットＳＥＩメッセージであることによって、有効パラメータセットＳＥＩメッセージがマルチレイヤビットストリームのすべてのレイヤに適用可能であると決定することができる。いくつかの例では、ビデオ処理デバイスはさらに、有効パラメータセットＳＥＩメッセージがマルチレイヤビットストリームのすべてのレイヤに適用可能であることを示す１つまたは複数のシンタックス要素をコーディングすることができる。いくつかの例では、ビデオ処理デバイスは、有効パラメータセットＳＥＩメッセージをネストされていないＳＥＩメッセージとしてコーディングするだけであり得る。
[0167]いくつかの例では、追加でまたは代替的に、ビデオ処理デバイスは、フレームフィールド情報がマルチレイヤビットストリームのピクチャタイミングＳＥＩメッセージに存在することを示す１つまたは複数のシンタックス要素をコーディングすることができる。ビデオ処理デバイスはまた、ピクチャタイミングＳＥＩメッセージが適用されるマルチレイヤビットストリームのすべての動作点の中のすべてのレイヤにフレームフィールド情報を適用することができる。
[0168]また、図７に関して示され説明されるステップは一例として与えられたものにすぎないことを理解されたい。すなわち、図７の例に示されるステップは必ずしも図７に示される順序で実行される必要があるとは限らず、より少数の、追加の、または代替のステップが実行され得る。その上、本技法はビデオ処理デバイスに関して上で全般に説明されたが、本技法は、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８、または他の処理デバイスのような、種々のビデオ処理デバイスによって実施され得る。
[0169]図８は、本開示で説明される技法の様々な態様による、ＳＥＩメッセージをコーディングするように構成されるビデオ処理デバイスの別の例示的な動作を示す流れ図である。図８の例では、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８のようなビデオ処理デバイスは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含むマルチレイヤビットストリームのレイヤの１つまたは複数の非ＶＣＬ ＮＡＬユニットをコーディングすることができる（１６０）。ビデオ処理デバイスメイはまた、ペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームのシンタックスを決定する（１６２）。たとえば、ビデオ処理デバイスは、ＳＥＩペイロードタイプに基づいて、ＳＥＩメッセージが適用されるマルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することができる。
[0170]たとえば、本開示の態様によれば、ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージを含み得る。この例では、ビデオ処理デバイスは、ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が０の値であると決定することができる。ある例では、ペイロードタイプの第１のセットは、図１に関して上で説明されたように、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含むが、このセットはこの例において特定されたものよりも多数または少数のものを含んでよい。
[0171]別の例では、ＳＥＩメッセージは、ネストされていないＳＥＩメッセージであり得る。この例では、ビデオ処理デバイスは、ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、ＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素がＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと決定することができる。ある例では、ペイロードタイプの第１のセットは、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含むが、このセットは特定されたものよりも多数または少数のものを含んでよい。
[0172]さらに別の例では、ＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージであり得る。この例では、ビデオ処理デバイスは、ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、スケーラブルネスティングＳＥＩメッセージを含む１つまたは複数の非ＶＣＬ ＮＡＬユニットが、０に等しいＴｅｍｐｏｒａｌＩｄと、ｉのすべての値に対して７に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを有すると、決定することができる。ある例では、ペイロードタイプの第１のセットは、２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含むが、このセットはこの例において特定されたものよりも多数または少数のものを含み得る。
[0173]本開示の態様によれば、追加でまたは代替的に、ビデオ処理デバイスは、スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングすることができる。
[0174]追加でまたは代替的に、ビデオ処理デバイスは、ＳＥＩメッセージがネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含むことに基づいて、マルチレイヤビデオデータのレイヤのレイヤ識別子が０の値であると決定することができる。いくつかの例では、ビデオ処理デバイスはまた、０の値を有するようにレイヤ識別子シンタックス要素をコーディングすることができる。
[0175]追加でまたは代替的に、ビデオ処理デバイスは、マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングすることができる。ビデオコーディングデバイスは、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１に等しいことと、両端を含めて０からＳＥＩメッセージを含む非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含むマルチレイヤビットストリームのビデオパラメータセット（ＶＰＳ）によって指定されるレイヤセットがないこととに基づいて、マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定することができる。いくつかの例では、ビデオ処理デバイスはまた、０の値を有するようにｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素をコーディングすることができる。
[0176]本開示の追加の態様によれば、追加でまたは代替的に、ビデオ処理デバイスは、マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇとマルチレイヤビットストリームのａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇとをコーディングすることができる。ビデオ処理デバイスは、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０という値を有することとａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１という値を有することとに基づいて、マルチレイヤビットストリームのｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素の値が７に等しいと決定することができる。いくつかの例では、ビデオ処理デバイスはまた、７という値を有するようにｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素をコーディングすることができる。
[0177]追加でまたは代替的に、ビデオ処理デバイスは、マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と、マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングすることができる。ビデオ処理デバイスは、ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］がマルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定することができる。いくつかの例では、ビデオ処理デバイスはまた、マルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むように、ｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ［０］シンタックス要素をコーディングすることができる。
[0178]また、図８に関して示され説明されるステップは一例として与えられたものにすぎないことを理解されたい。すなわち、図８の例に示されるステップは必ずしも図８に示される順序で実行される必要があるとは限らず、より少数の、追加の、または代替のステップが実行され得る。その上、本技法はビデオ処理デバイスに関して上で全般に説明されたが、本技法は、ビデオエンコーダ２０、カプセル化ユニット２１、カプセル化解除ユニット２９、後処理エンティティ２７、ネットワークエンティティ７８、または他の処理ユニットのような、種々のビデオ処理デバイスによって実施され得る。
[0179]１つまたは複数の例では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体または（２）信号または搬送波などの通信媒体に相当し得る。データ記憶媒体は、本開示で説明される技法の実装のために命令、コードおよび／またはデータ構造を取り出すために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
[0180]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令またはデータ構造の形式で所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
[0181]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路のような、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上述の構造または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明される機能は、符号化および復号のために構成された専用のハードウェアおよび／もしくはソフトウェアモジュール内で与えられ、または複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において完全に実装され得る。
[0182]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々なコンポーネント、モジュール、またはユニットが説明されたが、それらのコンポーネント、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされてよく、または相互動作するハードウェアユニットの集合によって与えられてよい。
[0183]様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲内に入る。
[0183]様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータをコーディングする方法であって、
ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを備える、方法。
［Ｃ２］
前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージを備え、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが０の値であると決定することを備える、Ｃ１に記載の方法。
［Ｃ３］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ２に記載の方法。
［Ｃ４］
前記ＳＥＩメッセージがネストされていないＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素が、前記ＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと決定することを備える、Ｃ１に記載の方法。
［Ｃ５］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ４に記載の方法。
［Ｃ６］
前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージを含む前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、０に等しいＴｅｍｐｏｒａｌＩｄと、ｉのすべての値に対するＴｅｍｐｏｒａｌＩｄの最大の値に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを有すると決定することを備える、Ｃ１に記載の方法。
［Ｃ７］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ６に記載の方法。
［Ｃ８］
スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、前記マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングすることをさらに備える、Ｃ１に記載の方法。
［Ｃ９］
前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含む前記ＳＥＩメッセージを含むことに基づいて、前記レイヤのレイヤ識別子が０の値であると決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングすることと、
前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいことと、両端を含めて０から前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含む前記マルチレイヤビットストリームのビデオパラメータセット（ＶＰＳ）によって指定されるレイヤセットがないこととに基づいて、前記マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１１］
前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇと前記マルチレイヤビットストリームのａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇとをコーディングすることと、
前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０という値を有することと前記ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１という値を有することとに基づいて、前記マルチレイヤビットストリームのｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素の値がＴｅｍｐｏｒａｌＩｄの最大の値に等しいと決定することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングすることと、
前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、前記マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ[０]が前記マルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１３］
コーディングすることが符号化することを備え、前記方法が、
予測データと前記レイヤのビデオデータとの差を示す、前記レイヤの前記ビデオデータための残差データを生成することと、
前記残差データザジェネレート変換係数に変換を適用することと、
前記変換係数の指示を含むビットストリームを生成することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
コーディングすることが復号することを備え、前記方法が、
符号化されたビットストリームから前記レイヤのビデオデータのための変換係数を取得することと、
残差データを生成するために逆変換を前記変換係数に適用することと、
前記生成された残差データに基づいて前記ビデオデータを決定することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１５］
ビデオデータをコーディングするためのデバイスであって、
マルチレイヤビットストリームのレイヤを記憶するように構成されるメモリと、
１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することと
を行うように構成される、デバイス。
［Ｃ１６］
前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージを備え、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが０の値であると決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ１７］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ１６に記載のデバイス。
［Ｃ１８］
前記ＳＥＩメッセージがネストされていないＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素が、前記ＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ１９］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ１８に記載のデバイス。
［Ｃ２０］
前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージを含む前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、０に等しいＴｅｍｐｏｒａｌＩｄと、ｉのすべての値に対するＴｅｍｐｏｒａｌＩｄの最大の値に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを有すると決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２１］
ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、Ｃ２０に記載のデバイス。
［Ｃ２２］
前記１つまたは複数のプロセッサがさらに、スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、前記マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングするように構成される、Ｃ１５に記載のデバイス。
［Ｃ２３］
前記１つまたは複数のプロセッサがさらに、
前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含む前記ＳＥＩメッセージを含むことに基づいて、前記レイヤのレイヤ識別子が０の値であると決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２４］
前記１つまたは複数のプロセッサがさらに、
前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングし、
前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいことと、両端を含めて０から前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含む前記マルチレイヤビットストリームのビデオパラメータセット（ＶＰＳ）によって指定されるレイヤセットがないこととに基づいて、前記マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２５］
前記１つまたは複数のプロセッサがさらに、
前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇと前記マルチレイヤビットストリームのａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇとをコーディングし、
前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０という値を有することと前記ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１という値を有することとに基づいて、前記マルチレイヤビットストリームのｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素の値がＴｅｍｐｏｒａｌＩｄの最大の値に等しいと決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２６］
前記１つまたは複数のプロセッサがさらに、
前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングし、
前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、前記マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ[０]が前記マルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定するように構成される、Ｃ１５に記載のデバイス。
［Ｃ２７］
集積回路、
マイクロプロセッサ、または
ワイヤレス通信デバイスの少なくとも１つを備える、Ｃ１５に記載のデバイス。
［Ｃ２８］
ビデオデータをコーディングするための装置であって、
ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングするための手段と、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定するための手段とを備える、装置。
［Ｃ２９］
実行されると、１つまたは複数のプロセッサに、
ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを行わせる、命令を記憶した非一時的コンピュータ可読媒体。

Claims (29)

  1. ビデオデータをコーディングする方法であって、
    ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
    前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを備える、方法。
  2. 前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージを備え、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが０の値であると決定することを備える、請求項１に記載の方法。
  3. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項２に記載の方法。
  4. 前記ＳＥＩメッセージがネストされていないＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素が、前記ＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと決定することを備える、請求項１に記載の方法。
  5. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項４に記載の方法。
  6. 前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定することが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージを含む前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、０に等しいＴｅｍｐｏｒａｌＩｄと、ｉのすべての値に対するＴｅｍｐｏｒａｌＩｄの最大の値に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを有すると決定することを備える、請求項１に記載の方法。
  7. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項６に記載の方法。
  8. スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、前記マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングすることをさらに備える、請求項１に記載の方法。
  9. 前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含む前記ＳＥＩメッセージを含むことに基づいて、前記レイヤのレイヤ識別子が０の値であると決定することをさらに備える、請求項１に記載の方法。
  10. 前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングすることと、
    前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいことと、両端を含めて０から前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含む前記マルチレイヤビットストリームのビデオパラメータセット（ＶＰＳ）によって指定されるレイヤセットがないこととに基づいて、前記マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定することとをさらに備える、請求項１に記載の方法。
  11. 前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇと前記マルチレイヤビットストリームのａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇとをコーディングすることと、
    前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０という値を有することと前記ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１という値を有することとに基づいて、前記マルチレイヤビットストリームのｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素の値がＴｅｍｐｏｒａｌＩｄの最大の値に等しいと決定することとをさらに備える、請求項１に記載の方法。
  12. 前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングすることと、
    前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、前記マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ[０]が前記マルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定することとをさらに備える、請求項１に記載の方法。
  13. コーディングすることが符号化することを備え、前記方法が、
    予測データと前記レイヤのビデオデータとの差を示す、前記レイヤの前記ビデオデータための残差データを生成することと、
    前記残差データザジェネレート変換係数に変換を適用することと、
    前記変換係数の指示を含むビットストリームを生成することとをさらに備える、請求項１に記載の方法。
  14. コーディングすることが復号することを備え、前記方法が、
    符号化されたビットストリームから前記レイヤのビデオデータのための変換係数を取得することと、
    残差データを生成するために逆変換を前記変換係数に適用することと、
    前記生成された残差データに基づいて前記ビデオデータを決定することとをさらに備える、請求項１に記載の方法。
  15. ビデオデータをコーディングするためのデバイスであって、
    マルチレイヤビットストリームのレイヤを記憶するように構成されるメモリと、
    １つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサが、
    ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
    前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することと
    を行うように構成される、デバイス。
  16. 前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージを備え、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが０の値であると決定するように構成される、請求項１５に記載のデバイス。
  17. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項１６に記載のデバイス。
  18. 前記ＳＥＩメッセージがネストされていないＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれていることに基づいて、前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのためのレイヤ識別子シンタックス要素が、前記ＳＥＩメッセージと関連付けられるＶＣＬ ＮＡＬユニットのレイヤ識別子シンタックス要素に等しいと決定するように構成される、請求項１５に記載のデバイス。
  19. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項１８に記載のデバイス。
  20. 前記ＳＥＩメッセージがスケーラブルネスティングＳＥＩメッセージであり、前記１つまたは複数のシンタックス値を決定するために、前記１つまたは複数のプロセッサが、前記ＳＥＩペイロードタイプがペイロードタイプの第１のセットに含まれることに基づいて、前記スケーラブルネスティングＳＥＩメッセージを含む前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、０に等しいＴｅｍｐｏｒａｌＩｄと、ｉのすべての値に対するＴｅｍｐｏｒａｌＩｄの最大の値に等しいｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］とを有すると決定するように構成される、請求項１５に記載のデバイス。
  21. ペイロードタイプの前記第１のセットが、ペイロードタイプ２、３、６、９、１５、１６、１７、１９、２２、２３、４５、４７、１２８、１３１、１３２、および１３４を含む、請求項２０に記載のデバイス。
  22. 前記１つまたは複数のプロセッサがさらに、スケーラブルネスティングＳＥＩメッセージではなく、ネストされていないＳＥＩメッセージだけにおいて、前記マルチレイヤビットストリームの有効パラメータセットＳＥＩメッセージをコーディングするように構成される、請求項１５に記載のデバイス。
  23. 前記１つまたは複数のプロセッサがさらに、
    前記１つまたは複数の非ＶＣＬ ＮＡＬユニットが、ネストされていないバッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、または復号ユニット情報ＳＥＩメッセージを含む前記ＳＥＩメッセージを含むことに基づいて、前記レイヤのレイヤ識別子が０の値であると決定するように構成される、請求項１５に記載のデバイス。
  24. 前記１つまたは複数のプロセッサがさらに、
    前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素をコーディングし、
    前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇが１に等しいことと、両端を含めて０から前記ＳＥＩメッセージを含む前記非ＶＣＬ ＮＡＬユニットのレイヤ識別子の範囲にあるレイヤ識別子を含む前記マルチレイヤビットストリームのビデオパラメータセット（ＶＰＳ）によって指定されるレイヤセットがないこととに基づいて、前記マルチレイヤビットストリームのｄｅｆａｕｌｔ＿ｏｐ＿ｆｌａｇシンタックス要素の値は０の値であると決定するように構成される、請求項１５に記載のデバイス。
  25. 前記１つまたは複数のプロセッサがさらに、
    前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇと前記マルチレイヤビットストリームのａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇとをコーディングし、
    前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇが０という値を有することと前記ａｌｌ＿ｌａｙｅｒｓ＿ｆｌａｇが１という値を有することとに基づいて、前記マルチレイヤビットストリームのｍａｘＴｅｍｐｏｒａｌＩｄ［０］シンタックス要素の値がＴｅｍｐｏｒａｌＩｄの最大の値に等しいと決定するように構成される、請求項１５に記載のデバイス。
  26. 前記１つまたは複数のプロセッサがさらに、
    前記マルチレイヤビットストリームのｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素と前記マルチレイヤビットストリームのｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素とをコーディングし、
    前記ｂｉｔｓｔｒｅａｍ＿ｓｕｂｓｅｔ＿ｆｌａｇシンタックス要素が１という値を有することと、前記ｎｅｓｔｉｎｇ＿ｏｐ＿ｆｌａｇシンタックス要素が０という値を有することとに基づいて、前記マルチレイヤビットストリームのｎｅｓｔｉｎｇＬａｙｅｒＩｄＬｉｓｔ[０]が前記マルチレイヤビットストリームのＶＰＳにおいて指定されるレイヤセットのレイヤ識別子の値だけを含むと決定するように構成される、請求項１５に記載のデバイス。
  27. 集積回路、
    マイクロプロセッサ、または
    ワイヤレス通信デバイスの少なくとも１つを備える、請求項１５に記載のデバイス。
  28. ビデオデータをコーディングするための装置であって、
    ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングするための手段と、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
    前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定するための手段とを備える、装置。
  29. 実行されると、１つまたは複数のプロセッサに、
    ビデオデータのマルチレイヤビットストリームのレイヤの１つまたは複数の非ビデオコーディングレイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットをコーディングすることと、ここにおいて、前記１つまたは複数の非ＶＣＬ ＮＡＬユニットは、ＳＥＩペイロードタイプを有するＳＥＩメッセージを含む、
    前記ＳＥＩペイロードタイプに基づいて、前記ＳＥＩメッセージが適用される前記マルチレイヤビットストリームの１つまたは複数のシンタックス値を決定することとを行わせる、命令を記憶した非一時的コンピュータ可読媒体。
JP2016558403A 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用 Active JP6549145B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461969797P 2014-03-24 2014-03-24
US61/969,797 2014-03-24
US14/665,953 US9894370B2 (en) 2014-03-24 2015-03-23 Generic use of HEVC SEI messages for multi-layer codecs
US14/665,953 2015-03-23
PCT/US2015/022297 WO2015148545A1 (en) 2014-03-24 2015-03-24 Generic use of hevc sei messages for multi-layer codecs

Publications (3)

Publication Number Publication Date
JP2017510198A true JP2017510198A (ja) 2017-04-06
JP2017510198A5 JP2017510198A5 (ja) 2018-04-12
JP6549145B2 JP6549145B2 (ja) 2019-07-24

Family

ID=54143325

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016558371A Active JP6608386B2 (ja) 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ復号ピクチャハッシュｓｅｉメッセージの使用
JP2016558367A Pending JP2017514361A (ja) 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用
JP2016558403A Active JP6549145B2 (ja) 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016558371A Active JP6608386B2 (ja) 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ復号ピクチャハッシュｓｅｉメッセージの使用
JP2016558367A Pending JP2017514361A (ja) 2014-03-24 2015-03-24 マルチレイヤコーデックのためのｈｅｖｃ ｓｅｉメッセージの汎用的な使用

Country Status (8)

Country Link
US (3) US10645404B2 (ja)
EP (3) EP3123726B1 (ja)
JP (3) JP6608386B2 (ja)
KR (3) KR102353659B1 (ja)
CN (3) CN106170982B (ja)
BR (3) BR112016022200B1 (ja)
MX (3) MX360864B (ja)
WO (3) WO2015148550A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022548405A (ja) * 2019-09-24 2022-11-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング
JP2022551413A (ja) * 2019-09-24 2022-12-09 華為技術有限公司 指定されたレイヤのためのスケーラブル・ネスティングｓｅｉメッセージ
US11962790B2 (en) 2020-05-22 2024-04-16 Bytedance Inc. Scalable nested SEI message handling in video sub-bitstream extraction process

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170272778A9 (en) * 2014-01-06 2017-09-21 Samsung Electronics Co., Ltd. Image encoding and decoding methods for preserving film grain noise, and image encoding and decoding apparatuses for preserving film grain noise
US10645404B2 (en) 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
EP3226561A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Method and apparatus for coding a video into a bitstream carrying region-based post processing parameters into an sei nesting message
US10554981B2 (en) 2016-05-10 2020-02-04 Qualcomm Incorporated Methods and systems for generating regional nesting messages for video pictures
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
US10764575B2 (en) 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
GB2560720B (en) * 2017-03-20 2021-08-25 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
US11468781B2 (en) * 2017-08-11 2022-10-11 The Boeing Company Simulation of an asset including message playback using nested hash tables
CN107690069B (zh) * 2017-08-28 2021-01-01 中国科学院深圳先进技术研究院 一种数据驱动的级联视频编码方法
GB201817781D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Mehods, apparatuses, computer programs and computer-readable media
BR112021012096A2 (pt) * 2018-12-20 2021-09-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos para decodificar e codificar um fluxo contínuo de bits, portadora, e, aparelhos de decodificação e codificação para decodificar e codificar um fluxo contínuo de bits
WO2020171230A1 (en) * 2019-02-24 2020-08-27 Sharp Kabushiki Kaisha Systems and methods for signaling types of pictures and associated information in video coding
CN114827600B (zh) * 2019-07-08 2023-09-01 华为技术有限公司 一种图像解码的方法及解码器
CN110446047A (zh) * 2019-08-16 2019-11-12 苏州浪潮智能科技有限公司 视频码流的解码方法及装置
CA3152345A1 (en) * 2019-09-24 2021-04-01 Ye-Kui Wang Scalable nesting sei message management
BR112022005485A2 (pt) * 2019-09-24 2022-06-14 Huawei Tech Co Ltd Ols para escalabilidade múltiplas visualizações
JP7419507B2 (ja) * 2019-09-24 2024-01-22 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Ｏｌｓのためのスケーラブルネスティングｓｅｉメッセージ
KR20220063273A (ko) * 2019-09-24 2022-05-17 후아웨이 테크놀러지 컴퍼니 리미티드 다층 비디오 비트스트림에 대한 dpb 파라미터의 시그널링 기법
US20210195259A1 (en) * 2019-12-23 2021-06-24 Comcast Cable Communications, Llc Method and apparatus for managing redundant segmented streams
JP7431330B2 (ja) 2019-12-26 2024-02-14 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイル、層及びレイヤの指示
KR20220114557A (ko) * 2019-12-26 2022-08-17 바이트댄스 아이엔씨 코딩된 픽처 내에서 디코딩 순서를 구현하기 위한 기술들
JP7425204B2 (ja) 2019-12-26 2024-01-30 バイトダンス インコーポレイテッド ビデオビットストリームにおける仮想参照デコーダパラメータのシグナリングに対する制約
CN113055668B (zh) * 2019-12-27 2023-06-02 腾讯美国有限责任公司 从已编码视频比特流中提取子比特流的方法和设备
WO2021128295A1 (en) * 2019-12-27 2021-07-01 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for inter prediction
EP4066387A4 (en) 2019-12-27 2023-02-15 ByteDance Inc. SUBPICTURE SIGNALING IN PARAMETER SETS
KR20220125235A (ko) 2020-01-09 2022-09-14 바이트댄스 아이엔씨 상이한 sei 메시지들의 디코딩 순서
DK202070130A1 (en) 2020-02-28 2021-12-21 Vkr Holding As A roof window with an opening restrictor for limiting the opening of a roof window
TWI718026B (zh) * 2020-03-13 2021-02-01 松翰科技股份有限公司 圖像指標
EP4131965A4 (en) * 2020-03-30 2024-04-24 Lg Electronics Inc VIDEO ENCODING/DECODING METHOD AND APPARATUS FOR SIGNALING DPB PARAMETER, AND COMPUTER READABLE RECORDING MEDIUM STORING BIT STREAM
US20230144793A1 (en) * 2020-03-30 2023-05-11 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling information about number of dpb parameters, and computer-readable recording medium storing bitstream
CN115702567A (zh) * 2020-04-02 2023-02-14 Lg电子株式会社 用于用信号通知dpb相关信息和ptl相关信息的图像编码/解码方法和设备及存储比特流的计算机可读记录介质
US11706428B2 (en) 2020-04-06 2023-07-18 Tencent America LLC Method for signaling picture header in coded video stream
CN115668942A (zh) * 2020-05-22 2023-01-31 Ge视频压缩有限责任公司 用于实现高级视频编码概念的视频编码器、视频解码器、编码和解码方法以及视频数据流
KR20230015373A (ko) 2020-05-22 2023-01-31 바이트댄스 아이엔씨 비디오 비트스트림들에서 코딩된 픽처 버퍼 정보의 시그널링
KR20230015391A (ko) 2020-05-22 2023-01-31 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브-비트스트림 추출에서 코딩된 비디오의 핸들링
WO2021252541A1 (en) 2020-06-09 2021-12-16 Bytedance Inc. Signaling non-scalable-bested hypothetical reference video decoder information
KR20230020980A (ko) 2020-06-09 2023-02-13 바이트댄스 아이엔씨 다중-계층 비디오 비트스트림의 서브-비트스트림 추출
US11321878B2 (en) 2020-06-26 2022-05-03 Sony Group Corporation Decoded tile hash SEI message for V3C/V-PCC
US11580671B2 (en) * 2020-08-17 2023-02-14 Tencent America LLC Hash-based attribute prediction for point cloud coding
US20220086387A1 (en) 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity groups in video coding
EP4205399A4 (en) 2020-09-25 2024-03-06 Beijing Bytedance Network Tech Co Ltd MINING OF SECONDARY BIT STREAMS
US11770498B2 (en) 2020-09-29 2023-09-26 Lemon Inc. Supplemental enhancement information for multi-layer video streams
JP2024514323A (ja) * 2021-04-12 2024-04-01 テレフオンアクチーボラゲット エルエム エリクソン（パブル） メッセージ参照
WO2024026032A1 (en) * 2022-07-27 2024-02-01 Bytedance Inc. Enhanced signalling of sei processing order in video bitstreams

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
BRPI0506370A8 (pt) 2004-04-28 2016-12-06 Matsushita Electric Ind Co Ltd Aparelho de geração de fluxo contínuo, método de geração de fluxo contínuo, mídia de gravação, método de gravação, aparelho de reprodução de fluxo contínuo, método de reprodução de fluxo contínuo e sistema de reprodução
US20070014346A1 (en) 2005-07-13 2007-01-18 Nokia Corporation Coding dependency indication in scalable video coding
US20070189732A1 (en) 2006-02-10 2007-08-16 Sai Pothana System and method for reconstructing MPEG-2 start codes from AVC data
US8699583B2 (en) 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
CN101573883B (zh) 2006-10-16 2017-03-01 维德约股份有限公司 用于在可分级视频编码中信令并执行时间级切换的系统和方法
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
US20080291999A1 (en) * 2007-05-24 2008-11-27 Julien Lerouge Method and apparatus for video frame marking
WO2009001313A2 (en) 2007-06-26 2008-12-31 Nokia Corporation System and method for indicating temporal layer switching points
EP2257067A1 (en) 2009-05-29 2010-12-01 Thomson Licensing Method for inserting watermark assistance data in a bitstream, method of watermarking said bitstream, device implementing the method of watermarking and bitstream comprising the watermark assistance data
JP2011066844A (ja) * 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
JP2012222710A (ja) 2011-04-13 2012-11-12 Hitachi Consumer Electronics Co Ltd 符号化装置および復号装置
US9485517B2 (en) 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
DE102012204103A1 (de) 2012-03-15 2013-09-19 Siemens Aktiengesellschaft Hitzeschildelement für einen Verdichterluftbypass um die Brennkammer
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20160165230A9 (en) 2012-04-16 2016-06-09 Texas Instruments Incorporated Color Component Checksum Computation in Video Coding
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
US20130278642A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Perceptual lossless display power reduction
CN107087205B (zh) 2012-06-12 2020-04-14 Lg 电子株式会社 图像解码方法及使用其的装置
US9674532B2 (en) * 2012-06-24 2017-06-06 Lg Electronics Inc. Image decoding method using information on a random access picture and apparatus using same
RU2612577C2 (ru) * 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
IN2015MN00077A (ja) 2012-07-06 2015-10-16 Samsung Electronics Co Ltd
AU2013322008B2 (en) 2012-09-26 2016-10-27 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
KR20140043239A (ko) * 2012-09-27 2014-04-08 한국전자통신연구원 계층간 전환을 이용한 영상 부호화/복호화 방법 및 그 장치
KR20140052831A (ko) 2012-09-28 2014-05-07 삼성전자주식회사 참조 픽처 정보를 이용한 병렬 처리 비디오 부호화 방법 및 장치, 병렬 처리 비디오 복호화 방법 및 장치
US9565452B2 (en) * 2012-09-28 2017-02-07 Qualcomm Incorporated Error resilient decoding unit association
US20140092992A1 (en) 2012-09-30 2014-04-03 Microsoft Corporation Supplemental enhancement information including confidence level and mixed content information
CN107770545B (zh) * 2012-12-10 2020-04-24 Lg 电子株式会社 解码图像的方法和使用其的装置
US20140177706A1 (en) 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
JP6209772B2 (ja) * 2013-01-15 2017-10-11 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． シグナリングを用いたビデオデコーダ
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US9591321B2 (en) * 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics
WO2015009693A1 (en) 2013-07-15 2015-01-22 Sony Corporation Layer based hrd buffer management for scalable hevc
EP3989585A1 (en) 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
WO2015056158A1 (en) * 2013-10-14 2015-04-23 Nokia Technologies Oy Multi-layer hypothetical reference decoder
US20160295220A1 (en) 2013-11-21 2016-10-06 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
WO2015137237A1 (ja) 2014-03-14 2015-09-17 シャープ株式会社 画像復号装置
CN104935944B (zh) 2014-03-18 2018-03-13 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10645404B2 (en) 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YE-KUI WANG, ET AL.: "MV-HEVC/SHVC HLS: SEI message cleanups", JOINT COLLABORATIVE TEAM ON VIDEO CODING ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/I, vol. JCTVC-Q0183_JCT3V-H0082.doc, JPN6019003646, 25 March 2014 (2014-03-25), pages pp. 1-6 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022548405A (ja) * 2019-09-24 2022-11-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 接尾辞ｓｅｉメッセージのためのスケーラブルネスティング
JP2022551413A (ja) * 2019-09-24 2022-12-09 華為技術有限公司 指定されたレイヤのためのスケーラブル・ネスティングｓｅｉメッセージ
JP7425185B2 (ja) 2019-09-24 2024-01-30 華為技術有限公司 指定されたレイヤのためのスケーラブル・ネスティングｓｅｉメッセージ
US11962790B2 (en) 2020-05-22 2024-04-16 Bytedance Inc. Scalable nested SEI message handling in video sub-bitstream extraction process

Also Published As

Publication number Publication date
EP3123726A2 (en) 2017-02-01
CN106170982A (zh) 2016-11-30
BR112016022080A2 (pt) 2017-08-15
MX2016011603A (es) 2016-12-12
US10178397B2 (en) 2019-01-08
WO2015148550A2 (en) 2015-10-01
CN106170982B (zh) 2019-07-26
BR112016022079A2 (pt) 2017-08-15
CN106134200B (zh) 2019-08-02
BR112016022079B1 (pt) 2024-01-23
CN106105225A (zh) 2016-11-09
BR112016022079A8 (pt) 2021-07-13
US20150271498A1 (en) 2015-09-24
BR112016022080A8 (pt) 2021-07-13
BR112016022200A8 (pt) 2021-07-13
MX360864B (es) 2018-11-09
JP2017514361A (ja) 2017-06-01
EP3123725A1 (en) 2017-02-01
KR20160136327A (ko) 2016-11-29
KR20160136326A (ko) 2016-11-29
EP3123724A1 (en) 2017-02-01
BR112016022080B1 (pt) 2024-03-12
US10645404B2 (en) 2020-05-05
JP6608386B2 (ja) 2019-11-20
KR102353191B1 (ko) 2022-01-18
EP3123726B1 (en) 2023-07-12
EP3123724B1 (en) 2020-02-19
US20150271528A1 (en) 2015-09-24
KR20160136325A (ko) 2016-11-29
WO2015148545A1 (en) 2015-10-01
CN106105225B (zh) 2019-08-27
MX359788B (es) 2018-10-08
MX367235B (es) 2019-08-09
WO2015148535A1 (en) 2015-10-01
WO2015148550A3 (en) 2016-03-17
US20150271529A1 (en) 2015-09-24
JP6549145B2 (ja) 2019-07-24
KR102372120B1 (ko) 2022-03-07
BR112016022200B1 (pt) 2023-12-12
MX2016011212A (es) 2016-11-30
MX2016011208A (es) 2016-12-16
BR112016022200A2 (pt) 2017-08-15
JP2017513372A (ja) 2017-05-25
US9894370B2 (en) 2018-02-13
CN106134200A (zh) 2016-11-16
KR102353659B1 (ko) 2022-01-19

Similar Documents

Publication Publication Date Title
JP6608386B2 (ja) マルチレイヤコーデックのためのｈｅｖｃ復号ピクチャハッシュｓｅｉメッセージの使用
JP6585096B2 (ja) マルチレイヤビデオコーディング
JP6701100B2 (ja) マルチレイヤビデオコーデック内の回復点ｓｅｉメッセージ
JP2017514354A (ja) マルチレイヤ・ビデオコーディングのためのｐｏｃ値設計

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190626

R150 Certificate of patent or registration of utility model

Ref document number: 6549145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250