JP2016539544A - マルチレイヤビデオコーデックのためのマルチモード抽出のサポート - Google Patents
マルチレイヤビデオコーデックのためのマルチモード抽出のサポート Download PDFInfo
- Publication number
- JP2016539544A JP2016539544A JP2016522812A JP2016522812A JP2016539544A JP 2016539544 A JP2016539544 A JP 2016539544A JP 2016522812 A JP2016522812 A JP 2016522812A JP 2016522812 A JP2016522812 A JP 2016522812A JP 2016539544 A JP2016539544 A JP 2016539544A
- Authority
- JP
- Japan
- Prior art keywords
- bitstream
- extraction mode
- layer
- layer set
- target output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 473
- 230000000153 supplemental effect Effects 0.000 claims abstract description 12
- 239000010410 layer Substances 0.000 claims description 628
- 238000000034 method Methods 0.000 claims description 182
- 238000012545 processing Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 26
- 230000006978 adaptation Effects 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 14
- 239000011229 interlayer Substances 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 45
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 45
- 238000004891 communication Methods 0.000 description 27
- 238000003860 storage Methods 0.000 description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 22
- 238000013139 quantization Methods 0.000 description 22
- 239000000284 extract Substances 0.000 description 18
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 16
- 238000013500 data storage Methods 0.000 description 14
- 230000003139 buffering effect Effects 0.000 description 12
- 238000012217 deletion Methods 0.000 description 12
- 230000037430 deletion Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- OXNIZHLAWKMVMX-UHFFFAOYSA-M picrate anion Chemical compound [O-]C1=C([N+]([O-])=O)C=C([N+]([O-])=O)C=C1[N+]([O-])=O OXNIZHLAWKMVMX-UHFFFAOYSA-M 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000000945 filler Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012432 intermediate storage Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 229940075930 picrate Drugs 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- VVIAGPKUTFNRDU-ZGTCLIOFSA-N Pteroyl-D-glutamic acid Chemical compound C1NC=2NC(N)=NC(=O)C=2N(C=O)C1CNC1=CC=C(C(=O)N[C@H](CCC(O)=O)C(O)=O)C=C1 VVIAGPKUTFNRDU-ZGTCLIOFSA-N 0.000 description 1
- FPIPGXGPPPQFEQ-OVSJKPMPSA-N all-trans-retinol Natural products OC\C=C(/C)\C=C\C=C(/C)\C=C\C1=C(C)CCCC1(C)C FPIPGXGPPPQFEQ-OVSJKPMPSA-N 0.000 description 1
- 235000019169 all-trans-retinol Nutrition 0.000 description 1
- 239000011717 all-trans-retinol Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
コンピュータ機器は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを生じるのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することができる。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含む。抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含まない。
Description
[0001]本出願は、その各々の内容全体が参照により本明細書に組み込まれる、２０１３年１０月１５日に出願された米国仮特許出願第６１／８９１，３１７号、及び２０１４年１月３日に出願された米国仮特許出願第６１／９２３，６２４号の利益を主張する。
[0002]本開示は、ビデオ符号化及び復号に関する。
[0003]デジタルビデオ能力(digital video capabilities)は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー電話機又は衛星無線電話機、所謂「スマートフォン」、ビデオ会議機器、ビデオストリーミング機器、及び類似物を含む広範囲の機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、先進ビデオコード化（ＡＶＣ：Advanced Video Coding）、高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記述されているビデオ圧縮技法などのビデオ圧縮技法を実装する。これらのビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信し、受信し、符号化し、復号し、及び／又は記憶することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために、空間（ピクチャ内）予測及び／又は時間（ピクチャ間）予測を実施する。ブロックベースのビデオコード化の場合、ビデオスライス（即ち、ビデオフレーム又はビデオフレームの一部分）がビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックにおける参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライスの中のビデオブロックは、同じピクチャの中の隣接ブロックにおける参照サンプルに対する空間的予測、又は他の参照ピクチャの中の参照サンプルに対する時間的予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
[0005]空間的又は時間的予測は、コード化されるべきブロックの予測ブロックを生じる。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルに従って符号化され、残差データは、コード化ブロックと予測ブロックとの間の差分を示す。イントラコード化ブロックは、イントラコード化モード及び残差データに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差係数をもたらすことができ、その残差係数が次いで量子化され得る。最初に２次元アレイで構成される量子化係数は、係数の１次元ベクトルを生成するために走査される場合があり、なお一層の圧縮を達成するためにエントロピーコード化が適用される場合がある。
[0006]マルチビューコード化ビットストリームは、例えば、複数の視点からのビューを符号化することによって生成され得る。マルチビューコード化態様を利用する幾つかの３次元（３Ｄ）ビデオ規格が開発されている。例えば、３Ｄビデオをサポートするために、異なるビューが左目のビューと右目のビューとを送信し得る。或いは、幾つかの３Ｄビデオコード化処理は、所謂マルチビュープラス深度コード化を適用し得る。マルチビュープラス深度コード化では、３Ｄビデオビットストリームは、テクスチャビュー成分だけでなく深度ビュー成分も含み得る。例えば、各ビューは、１つのテクスチャビュー成分と１つの深度ビュー成分とを備え得る。
[0007]概して、本開示は、マルチレイヤビデオコーデックのためのマルチモードビットストリーム抽出モードのより優れたサポートのための方法に関し、技法は、複数のモードの各々を用いて抽出されたサブビットストリームが、マルチレイヤビデオコーデックにおける、及びシステムレイヤにおけるマルチモード抽出の能力の指示に適合することを可能にすることを含む。
[0008]一態様において、本開示は、ビデオデータを処理する方法について記載し、この方法は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することを備え、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0009]別の態様では、本開示は、ビデオデータを処理する方法について記載し、この方法は、第２のビットストリームから第１のビットストリームを抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成することと、第１のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない、ＳＥＩメッセージを第１のビットストリーム中に含めることとを備える。
[0010]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータを記憶するメモリと、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得するように構成された１つ又は複数のプロセッサと、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない、を備える。
[0011]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータを記憶するメモリと、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成し、第１のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない、ＳＥＩメッセージを第１のビットストリーム中に含めるように構成された１つ又は複数のプロセッサとを備える。
[0012]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得するための手段を備え、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0013]別の態様では、本開示は、ビデオデータを処理するための機器について記載し、この機器は、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成するための手段と、第１のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない、ＳＥＩメッセージを第１のビットストリーム中に含めるための手段とを備える。
[0014]別の態様では、本開示は、命令を記憶したコンピュータ可読データ記憶媒体について記載し、命令は、実行されると、機器に、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得させ、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0015]別の態様では、本開示は、命令を記憶したコンピュータ可読データ記憶媒体について記載し、命令は、実行されると、機器に、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成させ、第１のビットストリームはビデオデータのコード化表現を含む、ここにおいて、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームであり、抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含み、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない、ＳＥＩメッセージを第１のビットストリーム中に含めさせる。
[0016]本開示の１つ又は複数の例の詳細は、添付図面及び下記の説明に記載される。他の特徴、目的、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。
[0023]概して、コード化ビデオビットストリームは、コード化ピクチャを表すビットのシーケンスと、１つ又は複数のコード化ビデオシーケンスを形成する関連付けられたデータとを備える。ビットのシーケンスは、ネットワーク抽象化レイヤ（ＮＡＬ）単位ストリーム又はバイトストリームを形成し得る。ＮＡＬ単位ストリームはＮＡＬ単位のストリームである。マルチビューコード化及びスケーラブルビデオコード化において、各ＮＡＬ単位は、ＮＡＬ単位が属すレイヤを指定し得る。同じビットストリーム中の異なるＮＡＬ単位は、それらの異なるＮＡＬ単位が異なるレイヤに属すと規定する場合がある。マルチビューコード化において、レイヤの各々は、異なるビューに対応し得る。スケーラブルビデオコード化において、レイヤは、ベースレイヤと１つ又は複数の強化レイヤとを含み得る。特定のレイヤに属すＮＡＬ単位は、コード化ピクチャのデータを含み得るので、コード化ピクチャは、その特定のレイヤに属すと言うこともできる。
[0024]ビットストリームのサイズを縮小するために、コンピュータ機器は、ビットストリームから特定のＮＡＬ単位を抽出すればよい。例えば、コンピュータ機器は、レイヤの特定のセットに属すＮＡＬ単位を全て、ビットストリームから抽出してよい。ビットストリームから抽出されたＮＡＬ単位は、ビットストリームのサブセットである。本開示は、別のビットストリームから抽出されたＮＡＬ単位を備えるビットストリームを、サブビットストリームと呼ぶ場合がある。サブビットストリームは、ビットストリームから抽出されたのではないＮＡＬ単位を使用せずに復号可能であり得る。コンピュータ機器は、ビットストリームから抽出されたのではないＮＡＬ単位を破棄してよい。代替として、コンピュータ機器は、共通ソースビットストリームから１つ又は複数のサブビットストリームを抽出し、様々なサブビットストリームについてのデータ、及びソースビットストリームについてのデータを、異なるそれぞれの宛先にフォワードすることができる。説明を簡単にするために、本開示は、ビットストリームからサブビットストリームのＮＡＬ単位を抽出することを、ビットストリームからサブビットストリームを抽出することとして記載する場合がある。
[0025]コンピュータ機器は、様々な抽出モードに従って、ビットストリームからサブビットストリームを抽出することができる。概して、抽出モードとは、ソースビットストリームからサブビットストリームを抽出するモードである。例えば、コンピュータ機器が、ある抽出モードに従って、ビットストリームからサブビットストリームを抽出するとき、サブビットストリームは「完全抽出可能」であり得る。サブビットストリームが完全抽出可能である場合、サブビットストリームから再帰的に更に抽出された各サブビットストリームは、適合ビットストリームであり得る。本開示において、適合ビットストリームとは、ビデオコード化規格に適合するビットストリームであり得る。言い換えると、適合ビットストリームとは、ビデオコード化規格に従って正しく復号され得るビットストリームである。別の例では、コンピュータ機器が、別の抽出モードに従ってビットストリームからサブビットストリームを抽出すると、サブビットストリームは「サイズ最適化」され得る。ビットストリームから抽出されたサブビットストリームがサイズ最適化された場合、サブビットストリームは、目標出力レイヤのセットの正しい復号に必要とされない、ビットストリームのピクチャを除外してよく、結果として、サブビットストリームは適用可能ビデオコード化規格に適合しなくなる場合があるが、それにもかかわらず復号可能なままである。目標出力レイヤのセット中の各レイヤは、後に続く出力（例えば、表示）を意図されたピクチャを含み得る。サイズ最適化ビットストリームは、目標出力レイヤのセット以外のレイヤに属すＮＡＬ単位を含むことができ、というのは、そのようなＮＡＬ単位は、目標出力レイヤのセットのピクチャの復号に必要とされるデータを含み得るからである。サイズ最適化ビットストリームはそのようなピクチャを除外するので、サイズ最適化ビットストリームから特定のサブビットストリームを抽出することは不可能であり得る。例えば、サイズ最適化ビットストリームは、レイヤ間（例えば、ビュー間）予測に使われる、特定のレイヤのＮＡＬ単位を含むが、特定のレイヤの他のＮＡＬ単位、例えば、レイヤ間予測に使われないＮＡＬ単位は除外してよい。従って、完全抽出可能ビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含み得るが、サイズ最適化ビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0026]ビットストリームを受信する、メディアアウェアネットワーク要素（ＭＡＮＥ）などのコンピュータ機器は、あったとしても、ビットストリームを生じるのに使われる抽出モードを決定することができない場合がある。例えば、ビットストリームが完全抽出可能ビットストリームであるかサイズ最適化ビットストリームであるかをコンピュータ機器が決定するのは現実的でない場合がある。コンピュータ機器が、ビットストリームからサブビットストリームを抽出し、ビットストリームが偶然にも、完全抽出可能ビットストリームである場合、抽出されたサブビットストリームは、ビデオデコーダが復号することが可能であり得る適合ビットストリームである。但し、コンピュータ機器がビットストリームからサブビットストリームを抽出し、ビットストリームが偶然にも、サイズ最適化ビットストリームである場合、抽出されたサブビットストリームは、ビデオデコーダが復号することが可能な適合ビットストリームでない場合がある。
[0027]本開示の技法はこの問題に対処し得る。例えば、本開示の１つ又は複数の技法によると、コンピュータ機器は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することができる。第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームである。抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについての、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。同様に、コンピュータ機器は、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成することができる。コンピュータ機器は、第１のビットストリーム中にＳＥＩメッセージを含めることができる。
[0028]図１は、本開示の技法を利用することができる例示的なビデオコード化システム１０を示すブロック図である。本明細書で使用する「ビデオコーダ」という用語は、ビデオエンコーダとビデオデコーダの両方を総称的に指す。本開示では、「ビデオコード化」又は「コード化」という用語は、ビデオ符号化又はビデオ復号を総称的に指す場合がある。
[0029]図１に示すように、ビデオコード化システム１０は、発信源機器１２と、宛先機器１４とを含む。発信源機器１２は符号化ビデオデータを生成する。従って、発信源機器１２は、ビデオ符号化機器又はビデオ符号化装置と呼ばれ得る。宛先機器１４は、発信源機器１２によって生成された符号化ビデオデータを復号することができる。従って、宛先機器１４は、ビデオ復号機器又はビデオ復号装置と呼ばれ得る。発信源機器１２及び宛先機器１４は、ビデオコード化機器又はビデオコード化装置の例であり得る。
[0030]発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、モバイルコンピュータ機器、ノートブック（例えば、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車内コンピュータなどを含む、広範囲の機器を備える場合がある。
[0031]宛先機器１４は、チャネル１６を介して発信源機器１２から符号化ビデオデータを受信することができる。チャネル１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動させることが可能な、１つ又は複数の媒体又は機器を備える場合がある。一例では、チャネル１６は、発信源機器１２がリアルタイムで符号化ビデオデータを直接宛先機器１４に送信することを可能にする、１つ又は複数の通信媒体を備える場合がある。この例では、発信源機器１２は、ワイヤレス通信プロトコルなどの通信規格に従って符号化ビデオデータを変調することができ、変調されたビデオデータを宛先機器１４に送信することができる。１つ又は複数の通信媒体は、高周波（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路などの、ワイヤレス及び／又は有線通信媒体を含み得る。１つ又は複数の通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク（例えば、インターネット）などの、パケットベースネットワークの一部を形成し得る。１つ又は複数の通信媒体は、発信源機器１２から宛先機器１４への通信を容易にする、ルータ、スイッチ、基地局、又は他の機器を含み得る。
[0032]別の例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオデータを記憶する記憶媒体を含み得る。この例では、宛先機器１４は、例えば、ディスクアクセス又はカードアクセスを介して、記憶媒体にアクセスし得る。記憶媒体は、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、又は符号化ビデオデータを記憶するための他の適切なデジタル記憶媒体など、種々のローカルにアクセスされるデータ記憶媒体を含み得る。
[0033]更なる例では、チャネル１６は、発信源機器１２によって生成された符号化ビデオデータを記憶する、ファイルサーバ又は別の中間記憶機器を含む場合がある。この例では、宛先機器１４は、ストリーミング又はダウンロードを介して、ファイルサーバ又は他の中間記憶機器に記憶された符号化ビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶することと、符号化ビデオデータを宛先機器１４に送信することとが可能なタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、ネットワーク接続記憶（ＮＡＳ）機器、及びローカルディスクドライブを含む。
[0034]更に、図１の例では、ビデオコード化システム１０は、媒介機器１９を含む。媒介機器１９は、発信源機器１２によって符号化されたビデオデータを受信し得る。幾つかの例では、媒介機器１９は、チャネル１６と同様のチャネルを介して、発信源機器１２から符号化ビデオデータを受信する場合がある。媒介機器１９は、符号化ビデオデータを処理することができる。例えば、媒介機器１９は、符号化ビデオデータから特定のＮＡＬ単位を削除するために、符号化ビデオデータにビットストリーム抽出を適用すればよい。宛先機器１４は、媒介機器１９によって処理されたビデオデータを受信し得る。幾つかの例では、宛先機器１４は、チャネル１６と同様のチャネルを介して、処理されたビデオデータを受信する場合がある。様々な例において、媒介機器１９は、様々なタイプのコンピュータ機器を備える場合がある。例えば、幾つかの例では、媒介機器１９はメディアアウェアネットワーク要素（ＭＡＮＥ）を備える。更に、幾つかの例では、媒介機器１９は、コンテンツ配信ネットワーク（ＣＤＮ）の一部である。
[0035]宛先機器１４は、インターネット接続などの標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。データ接続の例示的なタイプは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適な、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、デジタル加入者線（ＤＳＬ）、ケーブルモデムなど）、又は両方の組合せを含み得る。ファイルサーバからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又は両方の組合せであり得る。
[0036]本開示の技法は、ワイヤレスの適用例又は設定に限定されない。本技法は、無線テレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのビデオデータの符号化、データ記憶媒体に記憶されたビデオデータの復号、又は他の用途などの、様々なマルチメディア用途をサポートするビデオコード化に適用され得る。幾つかの例では、ビデオコード化システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの用途をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0037]図１は例にすぎず、本開示の技法は、符号化機器と復号機器との間の任意のデータ通信を必ずしも含むとは限らないビデオコード化設定（例えば、ビデオ符号化又はビデオ復号）に適用される場合がある。他の例では、データが、ローカルメモリから取り出されること、ネットワークを通じてストリーミングされることなどが行われる。ビデオ符号化機器はデータを符号化し、メモリに記憶することができ、及び／又は、ビデオ復号機器はメモリからデータを取り出し、復号することができる。多くの例では、符号化及び復号は、互いに通信しないが、メモリにデータを符号化し、及び／又はメモリからデータを取り出して復号するだけである機器によって実施される。
[0038]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。幾つかの例では、出力インターフェース２２は、変調器／復調器（モデム）及び／又は送信機を含み得る。ビデオ発信源１８は、撮像装置、例えばビデオカメラ、以前に撮影されたビデオデータを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオデータを受信するためのビデオフィードインターフェース、及び／又は、ビデオデータを生成するためのコンピュータラフィックスシステム、又はビデオデータのそのような発信源の組合せを含み得る。
[0039]ビデオエンコーダ２０は、ビデオ発信源１８からのビデオデータを符号化することができる。幾つかの例では、発信源機器１２は、出力インターフェース２２を介して宛先機器１４に符号化ビデオデータを直接送信する。他の例では、符号化ビデオデータはまた、復号及び／又は再生のための宛先機器１４による後のアクセスのために、記憶媒体又はファイルサーバ上に記憶され得る。
[0040]図１の例では、宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。幾つかの例では、入力インターフェース２８は、受信機及び／又はモデムを含む。入力インターフェース２８は、チャネル１６を介して符号化ビデオデータを受信することができる。ビデオデコーダ３０は、符号化ビデオデータを復号し得る。表示装置３２は、復号ビデオデータを表示することができる。表示装置３２は、宛先機器１４と一体化され得るか、又はその外部にあり得る。表示装置３２は、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置などの様々な表示装置を備える場合がある。
[0041]ビデオエンコーダ２０及びビデオデコーダ３０は、各々、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ハードウェア、又はそれらの任意の組合せなどの、様々な適切な回路のうちのいずれかとして実装される場合がある。本技法がソフトウェアに部分的に実装される場合、機器は、適切な非一時的コンピュータ可読記憶媒体にソフトウェア用の命令を記憶し、１つ又は複数のプロセッサを使用してその命令をハードウェア内で実行して、本開示の技法を実施することができる。（ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む）上記のいずれもが、１つ又は複数のプロセッサであると見なされ得る。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ又は複数のエンコーダ又はデコーダに含まれてよく、それらのうちのいずれかが、それぞれの機器の中で組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれてよい。
[0042]本開示は、概して、ビデオエンコーダ２０が、ある情報をビデオデコーダ３０などの別の機器に「信号伝達（signaling）」することに言及する場合がある。「信号伝達」という用語は、概して、圧縮ビデオデータを復号するために使用されるシンタックス要素及び／又は他のデータの通信を指し得る。そのような通信は、リアルタイム又はほぼリアルタイムに起こり得る。代替的に、そのような通信は、符号化時に符号化されたビットストリーム内でシンタックス要素をコンピュータ可読記憶媒体に記憶するときに行われる場合があるなど、ある時間期間にわたって行われ得、次いで、これらの要素は、この媒体に記憶された後の任意の時間に復号機器によって取り出され得る。
[0043]幾つかの例では、ビデオエンコーダ２０及びビデオデコーダ３０は、そのスケーラブルビデオコード化（ＳＶＣ）拡張（extension）、マルチビュービデオコード化（ＭＶＣ）拡張、及びＭＶＣベース３ＤＶ拡張を含む、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｖｉｓｕａｌ及び（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ ＡＶＣとしても知られる）ＩＴＵ−Ｔ Ｈ．２６４などのビデオ圧縮規格に従って動作する。幾つかの事例では、Ｈ．２６４／ＡＶＣのＭＶＣベース３ＤＶ拡張に適合するどのビットストリームも、Ｈ．２６４／ＡＶＣのＭＶＣ拡張に準拠するサブビットストリームを常に含む。更に、Ｈ．２６４／ＡＶＣへの３次元ビデオ（３ＤＶ）コード化拡張、即ちＡＶＣベースの３ＤＶを生成するための取組みが進行中である。他の例では、ビデオエンコーダ２０及びビデオデコーダ３０は、ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２又はＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６４、及びＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ Ｖｉｓｕａｌに従って動作することができる。
[0044]更に、他の例では、ビデオエンコーダ２０及びビデオデコーダ３０は、ＩＴＵ−Ｔビデオコード化エキスパートグループ（ＶＣＥＧ）とＩＳＯ／ＩＥＣモーションピクチャエキスパーツグループ（ＭＰＥＧ）とのビデオコード化共同研究部会（ＪＣＴ−ＶＣ）によって開発された高効率ビデオコード化（ＨＥＶＣ）、及びその拡張に従って動作し得る。本明細書においてこれ以降ＨＥＶＣ ＷＤ又は「ＨＥＶＣバージョン１」と呼ばれる、ＨＥＶＣ規格の暫定仕様書が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴＶＣ−Ｎ１００３−ｖ１．ｚｉｐから入手可能である。ＨＥＶＣ規格の別の暫定仕様書が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１５＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｏ１００３−ｖ２．ｚｉｐから入手可能である。
[0045]ＨＥＶＣのためのスケーラブルビデオコード化拡張と、マルチビューコード化拡張と、３ＤＶ拡張とを作成する作業が進行中である。ＨＥＶＣのスケーラブルビデオコード化拡張はＳＨＥＶＣ又はＳＨＶＣと呼ばれることがある。これ以降ＳＨＶＣ ＷＤ３と呼ばれる、ＳＨＶＣの作業草案（ＷＤ）が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴＶＣ−Ｎ１００８−ｖ３．ｚｉｐから入手可能である。これ以降ＳＨＶＣ ＷＤ４と呼ばれる、ＳＨＶＣの別の作業草案が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１５＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｏ１００８−ｖ１．ｚｉｐから入手可能である。ＨＥＶＣに対するマルチビュー拡張、即ちＭＶ−ＨＥＶＣも、ＪＣＴ−３Ｖによって開発されている。本明細書においてこれ以降ＭＶ−ＨＥＶＣ ＷＤ５と呼ばれる、ＭＶ−ＨＥＶＣの作業草案（ＷＤ）が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｖｉｅｎｎａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｅ１００４−ｖ６．ｚｉｐから入手可能である。本明細書においてこれ以降ＭＶ−ＨＥＶＣ ＷＤ６と呼ばれるＭＶ−ＨＥＶＣの別の作業草案が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴ３Ｖ−Ｆ１００４−ｖ６．ｚｉｐから入手可能である。
[0046]現時点で、ＶＣＥＧ及びＭＰＥＧの３Ｄビデオコード化共同研究部会（ＪＣＴ−３Ｃ）は、ＨＥＶＣに基づく３ＤＶ規格を開発中であり、規格化作業の一部は、ＨＥＶＣ（ＭＶ−ＨＥＶＣ）に基づくマルチビュービデオコーデック、及びＨＥＶＣ（３Ｄ−ＨＥＶＣ）に基づく３Ｄビデオコード化についての別の一部の規格化を含む。ＭＶ−ＨＥＶＣでは、ＨＥＶＣにおけるコード化単位（ＣＵ）／予測単位（ＰＵ）レベルにおけるモジュールが再設計される必要がなく、ＭＶ−ＨＥＶＣに完全に再使用され得ないように、ＭＶ−ＨＥＶＣにおいてハイレベルシンタックス（ＨＬＳ）の変更しか存在しないことが保証されるべきである。言い換えれば、ＭＶ−ＨＥＶＣは、高レベルのシンタックス変更だけを実現し、ＣＵ／ＰＵレベルのシンタックス変更など、低レベルのシンタックス変更を実現しない。３Ｄ−ＨＥＶＣでは、コード化ユニット／予測ユニットレベルのコード化ツールを含む新たなコード化ツールが、テクスチャビューと深度ビューの両方に関して含められ、サポートされ得る。３Ｄ−ＨＥＶＣ用のテストモデル（例えば、ソフトウェア３Ｄ−ＨＴＭ）は、［３Ｄ−ＨＴＭ ｖｅｒｓｉｏｎ ７．０］：ｈｔｔｐｓ：／／ｈｅｖｃ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿３ＤＶＣＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＴＭ−７．０／のリンクからダウンロード可能である
[0047]３Ｄ−ＨＥＶＣの参照ソフトウェア記述ならびに作業草案は、次のように入手可能である。即ち、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｇｎｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｓｅｈｏｏｎ Ｙｅａ、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ４」、ＪＣＴ３Ｖ−Ｄ１００５＿ｓｐｅｃ＿ｖ１、ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３の３Ｄビデオコード化拡張開発共同研究部会、及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、４ｎｄ会合、韓国、仁川、２０１３年４月が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００５−ｖ１．ｚｉｐのリンクからダウンロード可能である。３Ｄ−ＨＥＶＣの参照ソフトウェア記述の別のバージョンは、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝７０６から入手可能であり得る。ビデオエンコーダ２０及びビデオデコーダ３０は、ＳＨＥＶＣ、ＭＶ−ＨＥＶＣ、及び／又は３Ｄ−ＨＥＶＣに従って動作し得る。
[0047]３Ｄ−ＨＥＶＣの参照ソフトウェア記述ならびに作業草案は、次のように入手可能である。即ち、Ｇｅｒｈａｒｄ Ｔｅｃｈ、Ｋｒｚｙｓｚｔｏｆ Ｗｅｇｎｅｒ、Ｙｉｎｇ Ｃｈｅｎ、Ｓｅｈｏｏｎ Ｙｅａ、「３Ｄ−ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ４」、ＪＣＴ３Ｖ−Ｄ１００５＿ｓｐｅｃ＿ｖ１、ＩＴＵ−Ｔ ＳＧ １６ ＷＰ ３の３Ｄビデオコード化拡張開発共同研究部会、及びＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１、４ｎｄ会合、韓国、仁川、２０１３年４月が、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／２＿Ｓｈａｎｇｈａｉ／ｗｇ１１／ＪＣＴ３Ｖ−Ｂ１００５−ｖ１．ｚｉｐのリンクからダウンロード可能である。３Ｄ−ＨＥＶＣの参照ソフトウェア記述の別のバージョンは、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ２／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝７０６から入手可能であり得る。ビデオエンコーダ２０及びビデオデコーダ３０は、ＳＨＥＶＣ、ＭＶ−ＨＥＶＣ、及び／又は３Ｄ−ＨＥＶＣに従って動作し得る。
[0048]ＨＥＶＣ及び他のビデオコード化仕様では、ビデオシーケンスは一般に一連のピクチャを含む。ピクチャは「フレーム」と呼ばれることもある。ピクチャは、ＳL、ＳCb及びＳCrと示される３つのサンプルアレイを含み得る。ＳLは、ルーマサンプルの２次元アレイ（即ち、ブロック）である。ＳCbは、Ｃｂクロミナンスサンプルの２次元アレイである。ＳCrは、Ｃｒクロミナンスサンプルの２次元アレイである。クロミナンスサンプルは、本明細書では「クロマ」サンプルと呼ばれる場合もある。他の事例では、ピクチャは、モノクロームであってよく、ルーマサンプルのアレイのみを含み得る。
[0049]ピクチャの符号化表現を生成するために、ビデオエンコーダ２０は、コード化ツリー単位（ＣＴＵ）のセットを生成することができる。ＣＴＵの各々は、ルーマサンプルのコード化ツリーブロックと、クロマサンプルの２つの対応するコード化ツリーブロックと、それらのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備え得る。３つの別個のカラープレーンを有する１つ又は複数のモノクロームピクチャでは、ＣＴＵは、単一のコード化ツリーブロックと、そのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。コード化ツリーブロックは、サンプルのＮ×Ｎのブロックであり得る。ＣＴＵは、「ツリーブロック」又は「最大コード化単位」（ＬＣＵ）とも呼ばれることがある。ＨＥＶＣのＣＴＵは、Ｈ．２６４／ＡＶＣのような、他の規格のマクロブロックに広い意味で類似し得る。しかしながら、ＣＴＵは、必ずしも特定のサイズには限定されず、１つ又は複数のコード化単位（ＣＵ）を含み得る。スライスは、ラスタースキャン順序、又は他の順序で連続的に順序付けられた整数個のＣＴＵを含み得る。
[0050]コード化ＣＴＵを生成するために、ビデオエンコーダ２０は、コード化ツリーブロックをコード化ブロックに分割するように、ＣＴＵのコード化ツリーブロックに対して４分木区分を再帰的に実施することができ、従って「コード化ツリー単位」という名称である。コード化ブロックは、Ｎ×Ｎブロックのサンプルである。ＣＵは、ルーマサンプルアレイとＣｂサンプルアレイとＣｒサンプルアレイとを有するピクチャのルーマサンプルのコード化ブロックと、クロマサンプルの２つの対応するコード化ブロックと、それらのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。３つの別個のカラープレーンを有する１つ又は複数のモノクロームピクチャでは、ＣＵは、単一のコード化ブロックと、そのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造とを備える場合がある。
[0051]ビデオエンコーダ２０は、ＣＵのコード化ブロックを１つ又は複数の予測ブロックに区分し得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（即ち、正方形又は非正方形）ブロックである。ＣＵの予測単位（ＰＵ）は、ルーマサンプルの予測ブロックと、クロマサンプルの２つの対応する予測ブロックと、それらの予測ブロックを予測するために使用されるシンタックス構造とを備え得る。ビデオエンコーダ２０は、ＣＵの各ＰＵのルーマ予測ブロック、Ｃｂ予測ブロック、及びＣｒ予測ブロックの予測ルーマブロック、予測Ｃｂブロック、及び予測Ｃｒブロックを生成してもよい。３つの別個のカラープレーンを有する１つ又は複数のモノクロームピクチャでは、ＰＵは、単一の予測ブロックと、その予測ブロックを予測するために使用されるシンタックス構造とを備える場合がある。
[0052]ビデオエンコーダ２０は、ＰＵのための予測ブロックを生成するために、イントラ予測又はインター予測を使用し得る。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。各ＰＵのルーマ成分に関するＨＥＶＣの幾つかのバージョンでは、（２〜３４までインデックス付けされた）３３個の角度予測モードと、（１とインデックス付けされた）ＤＣモードと、（０とインデックス付けされた）平面モードとを有するイントラ予測方法が利用される。
[0053]ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたピクチャ以外の１つ又は複数のピクチャの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。インター予測は、単方向インター予測（即ち、単予測）又は双方向インター予測（即ち、双予測）であり得る。単予測又は双予測を実施するために、ビデオエンコーダ２０は、現在のスライスに対して、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを生成し得る。参照ピクチャリストの各々は、１つ又は複数の参照ピクチャを含み得る。単予測を使用するとき、ビデオエンコーダ２０は、参照ピクチャ内の参照位置を決定するために、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１のいずれか又は両方の中の参照ピクチャを探索することができる。更に、単予測を使用するとき、ビデオエンコーダ２０は、参照位置（reference location）に対応するサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成することができる。その上、単予測を使用するとき、ビデオエンコーダ２０は、ＰＵの予測ブロックと参照位置との間の空間的変位を示す単一の動きベクトルを生成することができる。ＰＵの予測ブロックと参照位置との間の空間変位を示すために、動きベクトルは、ＰＵの予測ブロックと参照位置との間の水平変位を指定する水平成分を含み得、ＰＵの予測ブロックと参照位置との間の垂直変位を指定する垂直成分を含み得る。
[0054]ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＲｅｆＰｉｃＬｉｓｔ０中の参照ピクチャ中の第１の参照位置と、ＲｅｆＰｉｃＬｉｓｔ１中の参照ピクチャ中の第２の参照位置とを決定し得る。ビデオエンコーダ２０は、次いで、第１の参照位置及び第２の参照位置に対応するサンプルに少なくとも部分的に基づいて、ＰＵのための予測ブロックを生成することができる。更に、ＰＵを符号化するために双予測を使用するとき、ビデオエンコーダ２０は、ＰＵのサンプルブロックと第１の参照位置との間の空間変位を示す第１の動きベクトルと、ＰＵの予測ブロックと第２の参照位置との間の空間変位を示す第２の動きベクトルとを生成することができる。
[0055]ビデオエンコーダ２０が、ＣＵの１つ又は複数のＰＵのための予測ブロック（例えば、予測ルーマブロック、予測Ｃｂブロック、及び予測Ｃｒブロック）を生成した後、ビデオエンコーダ２０は、ＣＵのための１つ又は複数の残差ブロックを生成し得る。ＣＵの残差ブロック中の各サンプルは、ＣＵの予測ブロック中のサンプルと、ＣＵのコード化ブロック中の対応するサンプルとの差を示し得る。例えば、ビデオエンコーダ２０は、ＣＵのためのルーマ残差ブロックを生成し得る。ＣＵのルーマ残差ブロック中の各サンプルは、ＣＵのＰＵのルーマ予測ブロックのうちの１つの中のルーマサンプルと、ＣＵのルーマコード化ブロック中の対応するサンプルとの間の差分を示す。更に、ビデオエンコーダ２０は、ＣＵのためのＣｂ残差ブロックを生成し得る。ＣＵのＣｂ残差ブロックの中の各サンプルは、ＣＵのＰＵの予測Ｃｂブロックのうちの１つの中のＣｂサンプルと、ＣＵのＣｂコード化ブロックの中の対応するサンプルとの間の差分を示し得る。ビデオエンコーダ２０は、ＣＵに関するＣｒ残差ブロックを生成することもできる。ＣＵのＣｒ残差ブロックの中の各サンプルは、ＣＵのＰＵの予測Ｃｒブロックのうちの１つの中のＣｒサンプルと、ＣＵのＣｒコード化ブロックの中の対応するサンプルとの間の差分を示し得る。
[0056]更に、ビデオエンコーダ２０は、ＣＵの残差ブロック（例えば、ルーマ残差ブロック、Ｃｂ残差ブロック、及びＣｒ残差ブロック）を、１つ又は複数の変換ブロック（例えば、ルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロック）に分解するために、４分木区分化を使用し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形（例えば、正方形又は非正方形）ブロックである。ＣＵの変換単位（ＴＵ）は、ルーマサンプルの変換ブロックと、クロマサンプルの２個の対応する変換ブロックと、それらの変換ブロックサンプルを変換するために使用されるシンタックス構造とを備え得る。従って、ＣＵの各ＴＵは、ルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連付けられ得る。ＴＵに関連付けられたルーマ変換ブロックは、ＣＵのルーマ残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。３つの別個のカラープレーンを有する１つ又は複数のモノクロームピクチャでは、ＴＵは、単一の変換ブロックと、その変換ブロックのサンプルを変換するために使用されるシンタックス構造とを備える場合がある。
[0057]ビデオエンコーダ２０は、ＴＵのための係数ブロックを生成するために、ＴＵの変換ブロックに１つ又は複数の変換を適用し得る。係数ブロックは、変換係数の２次元アレイであり得る。変換係数は、スカラー量であってよい。例えば、ビデオエンコーダ２０は、ＴＵのためのルーマ係数ブロックを生成するために、ＴＵのルーマ変換ブロックに１つ又は複数の変換を適用し得る。ビデオエンコーダ２０は、ＴＵのためのＣｂ係数ブロックを生成するために、ＴＵのＣｂ変換ブロックに１つ又は複数の変換を適用し得る。ビデオエンコーダ２０は、ＴＵのためのＣｒ係数ブロックを生成するために、ＴＵのＣｒ変換ブロックに１つ又は複数の変換を適用し得る。
[0058]係数ブロック（例えば、ルーマ係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を実現するプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化変換係数を示すシンタックス要素をエントロピー符号化することができる。例えば、ビデオエンコーダ２０は、量子化変換係数を示すシンタックス要素に対して、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ：Context-Adaptive Binary Arithmetic Coding）を実施することができる。
[0059]ビデオエンコーダ２０は、コード化ピクチャと関連付けられたデータとの表現を形成するビットのシーケンスを含むビットストリームを出力し得る。ビットストリームは、一連のネットワーク抽象化レイヤ（ＮＡＬ）単位を備え得る。ＮＡＬ単位は、ＮＡＬ単位中のデータのタイプの指示と、必要に応じてエミュレーション防止ビットが散在させられているローバイトシーケンスペイロード（ＲＢＳＰ）の形態でそのデータを含むバイトとを含む、シンタックス構造である。ＮＡＬ単位の各々は、ＮＡＬ単位ヘッダを含み、ＲＢＳＰをカプセル化する。ＮＡＬ単位ヘッダは、ＮＡＬ単位タイプコードを含むシンタックス要素を含み得る。ＮＡＬ単位のＮＡＬ単位ヘッダによって指定されるＮＡＬ単位タイプコードは、ＮＡＬ単位のタイプを示す。ＲＢＳＰは、ＮＡＬ単位内にカプセル化された整数個のバイトを含むシンタックス構造であり得る。幾つかの事例では、ＲＢＳＰは０ビットを含む。
[0060]異なるタイプのＮＡＬ単位は、異なるタイプのＲＢＳＰをカプセル化することができる。例えば、第１のタイプのＮＡＬ単位はピクチャパラメータセット（ＰＰＳ）のためのＲＢＳＰをカプセル化し得、第２のタイプのＮＡＬ単位はコード化スライスのためのＲＢＳＰをカプセル化し得、第３のタイプのＮＡＬ単位は補助強化情報（ＳＥＩ）のためのＲＢＳＰ（即ち、ＳＥＩ ＲＢＳＰ）をカプセル化し得、以下同様である。ビデオコード化データに関するＲＢＳＰをカプセル化するＮＡＬ単位は（パラメータセット及びＳＥＩメッセージのためのＲＢＳＰとは対照的に）、ビデオコード化レイヤ（ＶＣＬ）ＮＡＬ単位と呼ばれる場合がある。ＳＥＩは、ＶＣＬ ＮＡＬ単位からのコード化ピクチャのサンプルを復号するために必要ではない情報を含んでいる。ＳＥＩ ＲＢＳＰは、１つ又は複数のＳＥＩメッセージを含み得る。
[0061]ＨＥＶＣ及び他のビデオコード化規格は、様々なタイプのパラメータセットを提供する。例えば、ビデオパラメータセット（ＶＰＳ）とは、０個以上のコード化ビデオシーケンス（ＣＶＳ）全体に当てはまるシンタックス要素を備えるシンタックス構造である。シーケンスパラメータセット（ＳＰＳ）は、ＣＶＳの全てのスライスに適用する情報を含み得る。ＳＰＳは、ＳＰＳがアクティブであるときアクティブであるＶＰＳを識別するシンタックス要素を含む場合がある。従って、ＶＰＳのシンタックス要素は、ＳＰＳのシンタックス要素よりも一般的に適用可能であり得る。ＰＰＳは、０個又はそれ以上のコード化ピクチャに適用されるシンタックス要素を備えるシンタックス構造である。ＰＰＳは、ＰＰＳがアクティブであるときにアクティブであるＳＰＳを識別するシンタックス要素を含み得る。スライスのスライスヘッダは、スライスがコード化されているときにアクティブであるＰＰＳを示すシンタックス要素を含む場合がある。パラメータセットは、ビデオコード化規格の特定の拡張についての拡張を含み得る。パラメータセットの拡張は、ビデオコード化規格の拡張に特有のシンタックス要素を含み得る。例えば、パラメータセットの拡張は、ＳＨＶＣ、ＭＶ−ＨＥＶＣ、又は３Ｄ−ＨＥＶＣにおいて使われるシンタックス要素を含み得るが、ベースＨＥＶＣにおいて使われるシンタックス要素は含まない。
[0062]ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信し得る。加えて、ビデオデコーダ３０は、ビットストリームを解析して、ビットストリームからシンタックス要素を取得することができる。ビデオデコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、ビデオデータのピクチャを再構築することができる。ビデオデータを再構築するためのプロセスは、一般に、ビデオエンコーダ２０によって実施されるプロセスの逆であり得る。例えば、ビデオデコーダ３０は、現在のＣＵのＰＵに関する予測ブロックを決定するために、ＰＵの動きベクトルを使用することができる。加えて、ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた係数ブロックを逆量子化することができる。ビデオデコーダ３０は、現在ＣＵのＴＵに関連付けられた変換ブロックを再構築するために、係数ブロックに対して逆変換を実施することができる。ビデオデコーダ３０は、現在ＣＵのＰＵに関する予測ブロックのサンプルを現在ＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在ＣＵのコード化ブロックを再構築することができる。ピクチャの各ＣＵに関するコード化ブロックを再構築することによって、ビデオデコーダ３０はピクチャを再構築することができる。
[0063]マルチビューコード化では、異なる視点からの同じシーンの複数のビューが存在する場合がある。「アクセス単位」という用語は、同じ時間インスタンスに対応するピクチャのセットを指すために使用される場合がある。従って、ビデオデータは、時間とともに生じる一連のアクセス単位として概念化され得る。「ビュー成分」は、単一のアクセス単位の中のビューのコード化表現であり得る。本開示では、「ビュー」は、同じビュー識別子に関連付けられたビュー成分のシーケンス又はセットを指すことがある。ビュー成分は、テクスチャビュー成分と深度ビュー成分とを含み得る。本開示では、「ビュー」は、同じビュー識別子と関連付けられた１つ又は複数のビュー成分のセット又はシーケンスを指す場合がある。
[0064]テクスチャビュー成分（即ち、テクスチャピクチャ）は、単一のアクセス単位中のビューのテクスチャのコード化表現であり得る。テクスチャビューは、ビュー順序インデックスの同一の値に関連付けられるテクスチャビュー成分のシーケンスであり得る。ビューのビュー順序インデックスは、他のビューに対するビューのカメラ位置を示すことができる。深度ビュー成分（即ち、深度ピクチャ）は、単一のアクセス単位中のビューの深度のコード化表現であり得る。深度ビューは、ビュー順序インデックスの同一の値に関連付けられた１つ又は複数の深度ビュー成分のセット又はシーケンスであり得る。
[0065]マルチビューコード化はビュー間予測をサポートする。ビュー間予測は、ＨＥＶＣにおいて使用されるインター予測と同様であり、同じシンタックス要素を使用することができる。しかしながら、ビデオコーダが（ＰＵなどの）現在ビデオブロックに対してビュー間予測を実施するとき、ビデオエンコーダ２０は、参照ピクチャとして、その現在ビデオブロックと同じアクセス単位内にあるが、異なるビュー内にあるピクチャを使用することができる。対照的に、従来のインター予測は、参照ピクチャとして異なるアクセス単位内のピクチャのみを使用する。
[0066]マルチビューコード化では、ビットストリームは複数のレイヤを有する場合がある。これらのレイヤの各々は、異なるビューに対応し得る。マルチビューコード化では、ビデオデコーダ（例えば、ビデオデコーダ３０）が、あるビュー中のピクチャを任意の他のビュー中のピクチャを参照せずに復号することができる場合、そのビューは「ベースビュー」と呼ばれることがある。ビューは、ピクチャの復号が１つ又は複数の他のビュー中のピクチャの復号に依存する場合、「非ベースビュー」又は「依存ビュー」と呼ばれ得る。非ベースビューのうちの１つの中のピクチャをコード化するとき、異なるビューの中にあるがビデオコーダが現在コード化しているピクチャと同じ時間インスタンス（即ち、アクセス単位）内にあるピクチャを、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、参照ピクチャリストに含め得る。他のインター予測参照ピクチャと同様に、ビデオコーダは、参照ピクチャリストの任意の位置にビュー間予測参照ピクチャを挿入することができる。
[0067]ＳＶＣでは、ベースレイヤ以外のレイヤは、「拡張レイヤ」と呼ばれることがあり、ビットストリームから復号されるビデオデータの視覚的品質を向上させる情報を提供し得る。ＳＶＣは、空間解像度、信号対ノイズ比（即ち、品質）又は時間レートを強化し得る。スケーラブルビデオコード化（例えば、ＳＨＶＣ）では、「レイヤ表現」は、単一のアクセス単位中の空間レイヤのコード化された表現であり得る。説明を簡単にするために、本開示は、ビュー成分及び／又はレイヤ表現を「ビュー成分／レイヤ表現」と呼び得る。
[0068]レイヤを実装するために、ＮＡＬ単位のヘッダは、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素を含み得る。ＨＥＶＣバージョン１において、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素は予約済みである。但し、ＭＶ−ＨＥＶＣ、３Ｄ−ＨＥＶＣ、及びＳＶＣでは、ｎｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓシンタックス要素は、ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素と呼ばれる。ｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素は、レイヤの識別子を指定する。異なる値を指定するｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素を有する、ビットストリームのＮＡＬ単位は、ビットストリームの異なるレイヤに属す。
[0069]幾つかの例では、ＮＡＬ単位が、マルチビューコード化（例えば、ＭＶ−ＨＥＶＣ）、３ＤＶコード化（例えば、３Ｄ−ＨＥＶＣ）、又はスケーラブルビデオコード化（例えば、ＳＨＶＣ）におけるベースレイヤに関する場合、ＮＡＬ単位のｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素は０に等しい。ビットストリームのベースレイヤ内のデータは、ビットストリームの任意の他のレイヤ中のデータを参照せずに復号され得る。ＮＡＬ単位が、マルチビューコード化、３ＤＶ、又はスケーラブルビデオコード化におけるベースレイヤに関係しない場合、ＮＡＬ単位のｎｕｈ＿ｌａｙｅｒ＿ｉｄシンタックス要素は非０値を有することができる。
[0070]更に、レイヤ内の幾つかのビュー成分／レイヤ表現は、同じレイヤ内の他のビュー成分／レイヤ表現を参照せずに復号され得る。従って、レイヤの幾つかのビュー成分／レイヤ表現のデータをカプセル化したＮＡＬ単位は、そのレイヤ中の他のビュー成分／レイヤ表現の復号可能性に影響を及ぼすことなくビットストリームから除去され得る。そのようなビュー成分／レイヤ表現のデータをカプセル化したＮＡＬ単位を除去すると、ビットストリームのフレームレートが低減し得る。レイヤ内の他のビュー成分／レイヤ表現を参照せずに復号され得るレイヤ内のビュー成分／レイヤ表現のサブセットは、本明細書では「サブレイヤ」又は「時間サブレイヤ」と呼ばれ得る。
[0071]ＮＡＬ単位は、ＮＡＬ単位の時間識別子（即ち、ＴｅｍｐｏｒａｌＩｄ）を指定するｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素を含み得る。ＮＡＬ単位の時間識別子は、そのＮＡＬ単位が属すサブレイヤを識別する。従って、ビットストリームの各サブレイヤは、異なる時間識別子を有し得る。概して、レイヤの第１のＮＡＬ単位の時間識別子が同じレイヤの第２のＮＡＬ単位の時間識別子未満の場合、第１のＮＡＬ単位によってカプセル化されたデータは、第２のＮＡＬ単位によってカプセル化されたデータを参照せずに復号され得る。
[0072]ビットストリームは、複数の動作点に関連付けられ得る。ビットストリームの各動作点は、レイヤ識別子のセット（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ値のセット）及び時間識別子に関連付けられる。レイヤ識別子のセットはＯｐＬａｙｅｒＩｄＳｅｔと表記され得るし、時間識別子はＴｅｍｐｏｒａｌＩＤと表記され得る。ＮＡＬ単位のレイヤ識別子が動作点のレイヤ識別子のセット内にあり、ＮＡＬ単位の時間識別子が動作点の時間識別子以下である場合、ＮＡＬ単位は動作点に関連付けられる。
[0073]ビデオプロセッサ（例えば、メディアアウェアネットワーク要素（ＭＡＮＥ）、スプライシングエンジン、ビデオデコーダ、又は他の機器）は、ＨＥＶＣビットストリームにビットストリーム間引き（bitstream thinning）を適用することができる。ビットストリーム中の任意のポイントにおいて、下位サブレイヤ中のピクチャのための復号プロセスは上位サブレイヤのＮＡＬ単位に依存しないので、下位サブレイヤ（即ち、下位時間識別子に関連付けられたサブレイヤ）中のピクチャがまだ復号可能であるということに基づいて、ビデオプロセッサは上位サブレイヤ（即ち、上位時間識別子に関連付けられたサブレイヤ）のＮＡＬ単位を削除し始め、又は復号を停止することができる。ある値よりも高い時間識別子をもつ全てのＮＡＬ単位を削除し、又は復号を停止するアクションは時間ダウンスイッチングと呼ばれることがある。時間ダウンスイッチングは常に可能であり得る。
[0074]「時間アップスイッチング」という用語は、そのポイントまで送付又は復号されていないあるサブレイヤのＮＡＬ単位を送付し始め、又は復号し始めるアクションを指し得る。それにスイッチされるレイヤ中のピクチャのいずれも、スイッチが実施されたビットストリーム中のポイントより前の同じサブレイヤ中のどのピクチャにも依存しない場合のみ、時間アップスイッチングは可能であり得る。このように、「時間サブレイヤスイッチングポイント」という用語は、あるピクチャと同じサブレイヤ中にあり、復号順序でそのピクチャに先行する、他のピクチャへの依存性を有しないそのようなピクチャを指し得る。
[0075]ＳＶＣ、ＭＶＣ、ＭＶＣプラス深度（ＭＶＣ＋Ｄ）（３Ｄ−ＨＥＶＣ）、及びＨＥＶＣバージョン１は、サブビットストリーム抽出プロセスを規定する。例えば、ＨＥＶＣバージョン１の条項１０は、サブビットストリーム抽出プロセスを規定する。ＨＥＶＣバージョン１において、サブビットストリーム抽出プロセスは、ビットストリームと、目標最高時間識別子と、目標レイヤセットとを、入力としてとる。更に、ＨＥＶＣバージョン１において、サブビットストリーム抽出プロセスは、サブビットストリームを出力として与える。サブビットストリーム抽出プロセスによって与えられるサブビットストリームは、目標レイヤセットに属さないＶＣＬ ＮＡＬ単位を含まず、目標最高時間識別子よりも大きい時間識別子を有するＶＣＬ ＮＡＬ単位を含まない。幾つかの例では、各抽出可能サブビットストリームは、適合ビットストリームであることが求められる。
[0076]ビットストリーム抽出プロセスの設計において、例えばＭＶＣ開発において検討されてきた１つの問題は、最良サブビットストリーム自己完全性を、又はサブビットストリームの最適サイズを目標とするかということである。サブビットストリーム自己完全性を目標とするサブビットストリームが抽出された場合、サブストリームから、再帰的に更に抽出された各サブビットストリームは、適合ビットストリームであり得る。最適サイズを目標とするサブビットストリームが抽出された場合、目標出力レイヤの正しい復号に必要とされない一部又は全部のピクチャは、抽出されたサブビットストリームに含まれなくてもよい。
[0077]最良自己完全性（best self-completeness）を目標にすると、ビットストリーム抽出プロセスがより規定しやすくなり得る。ビットストリーム抽出が、ストリーミングサーバ又は中間ネットワーク要素によって実施され、ビットストリームの各サブセットが一部のエンドユーザによって更に要求され得る場合、自己完全サブビットストリームは、依然として「完全抽出可能」であり、より有用である。但し、一方、抽出されたサブビットストリームが、エンドユーザに直接送られ、更に抽出されると仮定されない場合、ビットストリームの最適サイズを目標にすることによって、より良好な送信帯域幅効率が達成され得る。最適サイズを目標にすることによって生成されたそのようなサブビットストリームは、「最適抽出された」と見なされる。アプリケーションに依存して適用されるいずれかの利点を可能にするために、サブビットストリーム抽出プロセスは、最良抽出動作を適応的に選ぶように設計されてよい。
[0078]Ｗａｎｇら、「ＭＶ−ＨＥＶＣ／ＳＨＶＣ ＨＬＳ：Ｏｎ ｃｈａｎｇｉｎｇ ｏｆ ｔｈｅ ｈｉｇｈｅｓｔ ｌａｙｅｒ ＩＤ ａｃｒｏｓｓ ＡＵｓ ａｎｄ ｍｕｌｔｉ−ｍｏｄｅ（登録商標） ｂｉｔｓｔｒｅａｍ ｅｘｔｒａｃｔｉｏｎ」、ＩＴＵ−Ｔ ＳＧ１６ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコード化共同研究部会（ＪＣＴ−ＶＣ）、第１４回会合、オーストリア、ウィーン、２０１３年７月２５日〜８月２日、文書番号ＪＣＴＶＣ−Ｎ０２６７、ならびにＩＴＵ−Ｔ ＳＧ１６ＷＰ３及びＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の３Ｄビデオコード化共同研究部会拡張、第５回会合、オーストリア、ウィーン、２０１３年７月２７日〜８月２日、文書番号ＪＣＴ３Ｖ−Ｅ００８７（これ以降、「ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７」）は、マルチモードビットストリーム抽出のサポートを提案した。ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７は、ＨＥＶＣ ＷＤの下位条項１０に対する以下の変更を提案した（追加事項は下線が引かれ（例えば、「追加テキスト」）、削除事項は、二重角括弧付きの斜体で示されている（例えば、「［［消去されたテキスト］］」））。
サブビットストリーム抽出プロセス このプロセスへの入力は、ビットストリーム、目標最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔ、［［及び］］目標レイヤ識別子リストｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、及び抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃであり、これは、存在するときは外部手段によって指定され、又は外部手段によって指定されないときは０に等しくセットされる。
このプロセスの出力は、サブビットストリームである。
両端値を含む０〜６の範囲内の任意の値に等しいｔＩｄＴａｒｇｅｔと、アクティブビデオパラメータセット中で指定されるレイヤセットに関連付けられたレイヤ識別子リストに等しいｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔとをもつ、この下位条項において指定されるプロセスのどの出力サブビットストリームも、ｓｕｂＥｘｔＭｏｄｅＩｄｃが０に等しいときは適合ビットストリームであるものとするというのは、入力ビットストリームに対するビットストリーム適合の要件である。
注釈１−適合ビットストリームは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しく、ＴｅｍｐｏｒａｌＩｄが０に等しい１つ又は複数のコード化スライスのセグメントＮＡＬ単位を含む。
出力サブビットストリームは、次のように導出される。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全ての補足拡張情報（ＳＥＩ）ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
注釈２−サブビットストリームに適用可能なＳＥＩメッセージが、元のビットストリーム中にネスト化ＳＥＩメッセージとして存在していたのならば、「スマート」ビットストリーム抽出器が、適切な非ネスト化バッファリングピクチャＳＥＩメッセージと、非ネスト化ピクチャタイミングＳＥＩメッセージと、非ネスト化復号単位情報ＳＥＩメッセージとを、抽出されたサブビットストリームに含め得る。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
−
ｓｕｂＥｘｔＭｏｄｅＩｄｃが０よりも大きいとき、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
−
ｓｕｂＥｘｔＭｏｄｅＩｄｃが１よりも大きいとき、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇをもつＮＡＬ単位を更に削除する。
[0079]ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇは、スライスセグメントヘッダ中に含まれるシンタックス要素である。ＭＶ−ＨＥＶＣ ＷＤ５において定義されるように、１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇは、コード化ピクチャがインター予測用の参照ピクチャとして使われず、復号順序で後続のピクチャの復号プロセスにおいてレイヤ間参照ピクチャとして使われないと指定する。０に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇは、コード化ピクチャがインター予測用の参照ピクチャとして使われてよく、復号順序で後続のピクチャの復号プロセスにおいてレイヤ間参照ピクチャとして使われてよいと指定する。存在しないとき、ｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇの値は０に等しいと推論される。
[0080]ＪＣＴＶＣ−Ｎ０２６７及びＪＣＴ３Ｖ−Ｅ００８７において提案されるマルチモードビットストリーム抽出プロセスは、可能性として、以下の問題を有する。第１に、マルチモードビットストリーム抽出プロセスは、目標レイヤ識別子リスト及び目標ｔｅｍｐｏｒａｌＩｄの同じ入力を用いて、複数のサブビットストリームを生じる。但し、これらの複数のサブビットストリームは必ずしも適合ビットストリームではなく、従って、適合ＭＶ−ＨＥＶＣ／ＳＨＶＣデコーダは、サブビットストリームの幾つかを復号することができない場合があり得る。
[0081]第２に、「完全抽出可能」サブビットストリームは、どの可能モードでも、後でビットストリーム抽出に使われてよい。但し、「最適抽出された」サブビットストリームとは、幾つかのレイヤにおける幾つかの復号ピクチャの欠如である場合があり得る。従って、特に、ビットストリームが、前の抽出プロセス中に目標出力レイヤに属さないレイヤを含む場合、そのようなビットストリームから、幾つかの出力レイヤセットを問題なく抽出することが不可能である場合があり得る。従って、ビットストリームに対してどのようなタイプのビットストリーム抽出が実施され得るかは、このようにビットストリームのプロパティとして示されるべきである。
[0082]第３に、ビットストリーム抽出モードにかかわらず、サブビットストリームは、目標出力レイヤセット内のピクチャを復号し出力するための十分なＮＡＬ単位を含む。従って、目標出力レイヤ（ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７におけるようなＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ）セットが、前の抽出において使われたものを超えない（及び、従って、目標レイヤ（現行のＨＥＶＣ及びＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７におけるようなｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ）が、前の抽出において使われたレイヤを超えない）限り、どのモードに対する更なるビットストリーム抽出も可能である。但し、抽出されたビットストリームは、どれが、抽出されたビットストリームを生じるのに使われた目標レイヤ及び／又は目標出力レイヤセットだったかを示す情報を含まない。
[0083]第４に、ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７において提案されるビットストリーム抽出プロセスへの入力は、目標レイヤと出力レイヤセットの両方を含む。但し、出力レイヤセットの入力を用いると、「完全抽出可能」サブビットストリームを抽出することしないモードにおいて、目標レイヤの情報は冗長になる。目標レイヤが指定されるときでも、目標レイヤによって依存する幾つかの他のレイヤが目標レイヤに含まれないということにより、即ち、目標レイヤが自己包含でないとき、目標レイヤの各レイヤが明白に復号され得るかどうかは明らかでない。従って、多くのシナリオにおいて、ビットストリーム抽出プロセス向けの入力としての目標レイヤの存在は、十分でもなく、必要でもない。
[0084]本開示の技法は、上に記載した問題のうちの１つ又は複数に対処し得る。本開示の技法の要約が以下に提示され、本開示の技法の例示的実装形態が以下のセクションにおいて挙げられる。本開示の技法の幾つかは独立して適用されてよく、本開示の技法の幾つかは組み合わせて適用されてよい。
[0085]本開示の第１の例示的な技法によると、抽出レベル又は適合レベル指示が、動作点についての適合のレベルを指定するためにビデオコーデック及びシステムにおいて採り入れられてよく、これは、そのような指示に関連付けられたビットストリームがビットストリーム抽出により生じたかどうか、及びそうである場合、どのレベルにおいて生じたかということにも関連する。例えば、０に等しい指示は、ビットストリームがビットストリーム抽出プロセスを通っていないか、又は０に等しいｓｕｂＥｘｔＭｏｄｅＩｄｃのモードを用いて抽出されたことを意味する。そのような値は、ビットストリームが、０以上のｓｕｂＥｘｔＭｏｄｅＩｄｃを用いて柔軟に抽出され得ることを意味する。別の例では、１に等しい指示は、ビットストリームが、１に等しいｓｕｂＥｘｔＭｏｄｅＩｄｃのモードを用いるビットストリーム抽出プロセスによって生じた可能性があることを意味する。そのような値は、以下で説明する、本開示の第３の例示的な技法でのように別段に指定されない限り、ビットストリームがそれ以上抽出されなくてよいことを意味する。
[0086]本開示の第２の例示的な技法によると、複数の抽出モードの各々を用いて抽出されたサブビットストリームは、適合すると見なされ得る。一態様では、各適合動作点の一部として、出力レイヤセットが適合レベル指示に関連付けられる。
[0087]本開示の第２の例示的な技法の別の態様では、目標出力レイヤセット及び目標ＴｅｍｐｏｒａｌＩｄによって定義される同じ動作点に対してであっても、含まれるコード化ピクチャは、異なるモードから抽出されたサブビットストリームに対しては異なり、従って、仮想参照デコーダ（ＨＲＤ）パラメータの信号伝達についての指示を有すると提案される。「仮想参照デコーダ」又は「ＨＲＤ」とは、ビデオバッファリングモデルである。ＨＲＤは、データが復号のためにどのようにバッファリングされるべきかと、復号データが出力のためにどのようにバッファリングされるかとを記述する。例えば、ＨＲＤは、ビデオデコーダ中のコード化ピクチャバッファ（「ＣＰＢ」）及び復号ピクチャバッファ（「ＤＰＢ」）の動作を記述する。ＣＰＢは、ＨＲＤによって指定された復号順序でアクセス単位を含む先入れ先出しバッファである。ＤＰＢは、ＨＲＤによって指定された参照、出力並べ替え、又は出力遅延のために復号ピクチャを保持するバッファである。ビデオエンコーダは、ＨＲＤパラメータのセットを信号伝達することができる。ＨＲＤパラメータは、ＨＲＤの様々な態様を制御する。ＨＲＤパラメータには、初期ＣＰＢ削除遅延、ＣＰＢサイズ、ビットレート、初期ＤＰＢ出力遅延、及びＤＰＢサイズが含まれ得る。これらのＨＲＤパラメータは、ビデオパラメータセット（ＶＰＳ）及び／又はシーケンスパラメータセット（ＳＰＳ）中で指定されるｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中でコード化され得る。ＨＲＤパラメータは、バッファリング期間ＳＥＩメッセージ又はピクチャタイミングＳＥＩメッセージ中でも指定され得る。
[0088]Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、ビットストリームの適合性及びデコーダの適合性がＨＲＤ仕様の一部として規定される。言い換えれば、ＨＲＤモデルは、ビットストリームが規格に適合するかどうかを決定する検査と、デコーダが規格に適合するかどうかを決定する検査とを規定する。ＨＲＤはある種類のデコーダとして命名されたが、ビデオエンコーダは、通常、ビットストリームの適合性を保証するためにＨＲＤを使用するが、ビデオデコーダは、通常、ＨＲＤを必要としない。
[0089]Ｈ．２６４／ＡＶＣ及びＨＥＶＣは両方とも、２つのタイプのビットストリーム又はＨＲＤの適合性、即ちタイプＩとタイプＩＩとを規定する。タイプＩのビットストリームは、ビットストリーム内の全てのアクセス単位用のＶＣＬ ＮＡＬ単位及びフィラーデータＮＡＬ単位のみを含んでいるＮＡＬ単位ストリームである。タイプＩＩのビットストリームは、ビットストリーム内の全てのアクセス単位用のＶＣＬ ＮＡＬ単位及びフィラーデータＮＡＬ単位に加えて、以下のフィラーデータＮＡＬ単位以外の更なる非ＶＣＬ ＮＡＬ単位、及び、ＮＡＬ単位ストリームからバイトストリームを形成する全てのｌｅａｄｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓ、ｚｅｒｏ＿ｂｙｔｅ、ｓｔａｒｔ＿ｃｏｄｅｄ＿ｐｒｅｆｉｘ＿ｏｎｅ＿３ｂｙｔｅｓ、及びｔｒａｉｌｉｎｇ＿ｚｅｒｏ＿８ｂｉｔｓのシンタックス要素のうちの少なくとも１つを含んでいるＮＡＬ単位ストリームである。
[0090]ビットストリームがビデオコード化規格に適合するかどうかを決定するビットストリーム適合性検査を機器が実施するとき、機器はビットストリームの動作点を選択することができる。次いで、機器は、選択された動作点に適用可能なＨＲＤパラメータのセットを決定することができる。機器は、ＨＲＤの挙動を構成するために、選択された動作点に適用可能なＨＲＤパラメータのセットを使用することができる。より詳細には、機器は、仮想ストリームスケジューラ（ＨＳＳ）、ＣＰＢ、復号プロセス、ＤＰＢなどの、ＨＲＤの特定の構成要素の挙動を構成するために、適用可能なＨＲＤパラメータのセットを使用することができる。その後、ＨＳＳは、特定のスケジュールに従って、ＨＲＤのＣＰＢにビットストリームのコード化ビデオデータを注入することができる。更に、機器は、ＣＰＢ内のコード化ビデオデータを復号する復号プロセスを起動することができる。復号プロセスは、ＤＰＢに復号ピクチャを出力することができる。機器がＨＲＤを通してデータを移動させるとき、機器は、制約の特定のセットが満たされたままであるかどうかを決定することができる。例えば、機器は、ＨＲＤが選択された動作点の動作点表現を復号している間、ＣＰＢ又はＤＰＢにおいてオーバーフロー又はアンダーフローの状態が発生するかどうかを決定することができる。機器は、このようにして、ビットストリームの各動作点を選択し処理することができる。ビットストリームの動作点が制約を破られるようにさせない場合、機器は、ビットストリームがビデオコード化規格に適合すると決定することができる。
[0091]Ｈ．２６４／ＡＶＣとＨＥＶＣの両方は、２つのタイプのデコーダ適合性、即ち、出力タイミングデコーダ適合性と出力順序デコーダ適合性とを規定する。特定のプロファイル、ティア、及びレベルに対する適合性を主張するデコーダは、ＨＥＶＣなどのビデオコード化規格のビットストリーム適合性要件に適合する全てのビットストリームの復号に成功することができる。本開示では、「プロファイル」はビットストリームシンタックスのサブセットを指す場合がある。「ティア」及び「レベル」は、各プロファイル内で指定され得る。ティアのレベルは、ビットストリーム内のシンタックス要素の値に課された制約条件の指定されたセットであり得る。これらの制約は、値に関する単純な制限であり得る。代替として、これらの制約は、値の演算の組合せ（例えば、ピクチャの幅×ピクチャの高さ×毎秒復号されるピクチャの数）に関する制約の形態をとる場合がある。通常、下位ティアに規定されたレベルは、上位ティアに規定されたレベルよりも制約される。
[0092]本開示の第３の例示的な技法によると、ビットストリーム抽出動作によって生じた各サブビットストリームについて、どの抽出モードが、サブビットストリームを生じるのに使われたかを示すためのＳＥＩメッセージが生じられ得る。言い換えると、コンピュータ機器は、ビデオデータのコード化表現を含むサブビットストリーム中に、サブビットストリームを生じるのに使われた抽出モードの指示を含むＳＥＩメッセージを含め得る。更に、又は代替として、そのようなサブビットストリームについて、サブビットストリームを生じるのに使われた目標出力レイヤセットは、ＳＥＩメッセージ中で信号伝達され得る。
[0093]従って、幾つかの例では、コンピュータ機器（例えば、宛先機器１４、媒介機器１９）は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得し得る。そのような例において、第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームである。抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含む。抽出モードが第１の抽出モードである（例えば、第１のビットストリームが完全抽出可能サブビットストリームである）場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャ（例えば、１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇをもつピクチャ）を含む。抽出モードが第２のモードである（例えば、第１のビットストリームがサイズ最適化サブビットストリームである）場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。同様に、コンピュータ機器（例えば、発信源機器１２、媒介機器１９）は、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成し、ビデオデータのコード化表現を含む第１のビットストリーム中に含めることができる。
[0094]幾つかの例では、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を有する、第２のビットストリームのＮＡＬ単位を、目標出力レイヤセットについては除外する。更に、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセット中のレイヤの正しい復号に必要とされないどのコード化ピクチャにも対応する、第２のビットストリームのＮＡＬ単位を更に除外する。
[0095]そのようなＳＥＩメッセージを用いると、「完全抽出可能（fully extractable）」ビットストリーム抽出が、レイヤを含む全てに適用され得るわけではなくても、入力としての目標出力レイヤセットが、信号伝達された目標出力レイヤセットを超えない限り、全ての抽出モードが適用され得る。従って、幾つかの例では、完全抽出可能サブビットストリームのための目標出力レイヤセットがビットストリームのための目標出力レイヤセットを超えない限り、ビットストリームから完全抽出可能サブビットストリームが抽出され得ると、コンピュータ機器が決定してよい。完全抽出可能サブビットストリームは、完全抽出可能サブビットストリームのための目標出力レイヤセット内のピクチャを復号するための十分なＮＡＬ単位を含む。代替として、適合レベル（又は抽出モード）の少なくともそのような指示は、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌシンタックス構造中に存在してよく、指示は、予約済みビットを使用することによって存在する。
[0096]代替として、そのような指示は、外部手段を通して、例えば、そのようなサブビットストリームに対応する基本ストリームに関連付けられたＩＳＯベースメディアファイルフォーマットメタデータ（例えば、サンプル記述中の指示）として与えられ得る。従って、コンピュータ機器は、外部手段を通して、ビットストリームを生じるのに使われた抽出モードの指示を取得することができる。指示が、第１の抽出モードを使ってビットストリームが生じたことを示す場合、適合する第２のサブビットストリームがビットストリームから抽出可能である。指示が、第２の、異なる抽出モードを使ってビットストリームが生じたことを示す場合、どの適合サブビットストリームもビットストリームから抽出可能でない。外部手段は、ビットストリーム中に含まれない情報のソースであり得る。
[0097]本開示の第４の例示的な技法によると、アンブレラビットストリーム抽出プロセスが、マルチレイヤコーデック、例えば、ＭＶ−ＨＥＶＣ又はＳＨＶＣにおいて定義され得る。アンブレラビットストリーム抽出プロセスは最終的に、ＨＥＶＣにおいて定義されるか、又はＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７において定義されるビットストリーム抽出プロセスを呼び出す。アンブレラビットストリーム抽出プロセスは、目標出力レイヤセットと、目標ＴｅｍｐｏｒａｌＩｄと、ビットストリーム抽出モードとを含む入力をとる。それらの中でも、目標出力レイヤセットが、目標レイヤ（ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ）を導出するのに使われ、導出された目標レイヤならびに他の入力は、ＨＥＶＣ又はＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７において定義されるビットストリーム抽出プロセス向けの入力として使われる。代替として、更に、そのようなアンブレラビットストリーム抽出が、目標レイヤよりもむしろ、出力レイヤセットに主に基づいて定義されるときであっても、抽出プロセスのＨＥＶＣバージョン１方式は、依然として利用可能と見なされる。従って、サブビットストリームが、抽出の後、１つの動作点に必ずしも対応するわけではないことが可能である。そうではなく、サブビットストリームは、複数の動作点の合同である。抽出プロセスのそのようなＨＥＶＣバージョン１方式は、ビットストリーム抽出モードが０のときに呼び出されてよく、そのようなケースでは、出力レイヤセットは無視される。
[0098]本開示の第５の例示的な技法によると、ＩＳＯベースメディアファイルフォーマット又はＭＰＥＧ−２ＴＳ、即ち少なくとも出力レイヤセットで表される動作点を記述するボックス又は記述子の形で、抽出レベル指示が信号伝達され得る。
[0099]本開示の技法のうちの１つ又は複数によると、以下は、ＨＥＶＣ ＷＤの下位条項１０への提案された変更を示す（追加事項は下線が引かれ（例えば、「追加テキスト」）、削除事項は、二重角括弧付き斜体で示される（例えば、「［［消去されたテキスト］］」））。
このプロセスへの入力は、ｓｕｂＥｘｔＭｏｄｅＩｄｃが０に等しくない場合、ビットストリーム、目標最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔ、［［及び］］目標レイヤ識別子リストｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ、抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃ、及び目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔである。
このプロセスの出力は、サブビットストリームである。
両端値を含む０〜６の範囲内の任意の値に等しいｔＩｄＴａｒｇｅｔと、アクティブビデオパラメータセット中で指定されるレイヤセットに関連付けられたレイヤ識別子リストに等しいｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔとをもつ、この下位条項において指定されるプロセスのどの出力サブビットストリームも、ｓｕｂＥｘｔＭｏｄｅＩｄｃが３未満のときは適合ビットストリームであるものとするというのは、入力ビットストリームに対するビットストリーム適合の要件である。
注釈１−適合ビットストリームは、ｎｕｈ＿ｌａｙｅｒ＿ｉｄが０に等しく、ＴｅｍｐｏｒａｌＩｄが０に等しい１つ又は複数のコード化スライスのセグメントＮＡＬ単位を含む。
出力サブビットストリームは、次のように導出される。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
注釈２−サブビットストリームに適用可能なＳＥＩメッセージが、元のビットストリーム中にネスト化ＳＥＩメッセージとして存在していたのならば、「スマート」ビットストリーム抽出器が、適切な非ネスト化バッファリングピクチャＳＥＩメッセージと、非ネスト化ピクチャタイミングＳＥＩメッセージと、非ネスト化復号単位情報ＳＥＩメッセージとを、抽出されたサブビットストリームに含め得る。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
−
ｓｕｂＥｘｔＭｏｄｅＩｄｃが０よりも大きいとき、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
−
ｓｕｂＥｘｔＭｏｄｅＩｄｃが１よりも大きいとき、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇをもつＮＡＬ単位を更に削除する。
[0100]上に示したＨＥＶＣバージョン１の下位条項１０のバージョンは、抽出モードｓｕｂＥｘｔＭｏｄｅＩｎｃが０よりも大きい場合のみ、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔがサブビットストリーム抽出プロセスへの入力として与えられるという点で、ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７において提案されるＨＥＶＣバージョン１の下位条項１０のバージョンとは異なる。更に、上に示したＨＥＶＣバージョン１の下位条項１０のバージョンは、入力ビットストリームが適合ビットストリームと見なされるための要件が異なるという点で、ＪＣＴＶＣ−Ｎ０２６７／ＪＣＴ３Ｖ−Ｅ００８７において提案されるＨＥＶＣバージョン１の下位条項１０のバージョンとは異なる。
[0101]本開示の幾つかの技法によると、複数の適合レベルが、ＶＰＳ中の出力レイヤセットについて信号伝達される。例えば、ビデオエンコーダ又は他のコンピュータ機器が、ＶＰＳ中の出力レイヤセットについての複数の適合レベルを信号伝達し得る。以下の表１は、ＳＨＶＣ ＷＤ３の下位条項Ｆ．７．３．２．１．１に記載されるＶＰＳ拡張シンタックスに対する例示的な変更を示す（シンタックス要素は太字で示され（例えば、「シンタックス要素」）、追加事項は下線が引かれる（例えば、「追加テキスト」））。
[0102]本開示において、形式ｕ（ｎ）のタイプ記述子を有するシンタックス要素は、ｎビットを用いる符号なし値であり、但し、ｎは整数である。ｕ（ｖ）の形のタイプ記述子を有するシンタックス要素は、他のシンタックス要素の値に依存したやり方で長さが変わる符号なし値である。更に、ｕｅ（ｖ）の形のタイプ記述子を有するシンタックス要素は、左ビットが先頭の、符号なし整数０次指数ゴロムコード化シンタックス要素である。
[0103]上の表１において、ｎｕｍ＿ｐｒｅｓｅｎｔ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１［ｉ］プラス１は、第ｉの出力レイヤセットについての適合レベルの数を指定する。ｎｕｍ＿ｐｒｅｓｅｎｔ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０〜２までの範囲内である。更に、表１において、ｃｏｎｆｏｒｍ＿ｌｅｖｅｌ［ｉ］［ｊ］は、第ｉの出力レイヤセット用に存在する第ｊの適合レベルを指定する。存在しないとき、ｃｏｎｆｏｒｍ＿ｌｅｖｅｌ［ｉ］［ｊ］はｊに等しいと推論される。
[0104]更に、表１の例に関して、ｏｕｔＬａｙｅｒＳｅｔを出力レイヤセットとし、ｐｒｅｓｅｎｔＬａｙｅｒｓｅｔを、出力レイヤセットが復号されるために存在するレイヤセットとし、ｍａｘＴｉｄを、ｐｒｅｓｅｎｔＬａｙｅｒｓｅｔのレイヤ中のピクチャのＴｅｍｐｏｒａｌＩｄの最も大きい値とする。０に等しい適合レベル値は、ｐｒｅｓｅｎｔＬａｙｅｒｓｅｔ中の各レイヤの最も高いＴｅｍｐｏｒａｌＩｄ値がｍａｘＴｉｄに等しく、各アクセス単位がｐｒｅｓｅｎｔＬａｙｅｒｓｅｔ中の各レイヤからの１つのピクチャを含むことを示す。１に等しい適合レベル値は、ｏｕｔＬａｙｅｒＳｅｔ中の各レイヤの最も高いＴｅｍｐｏｒａｌＩｄ値がｍａｘＴｉｄに等しく、各アクセス単位が、ｏｕｔＬａｙｅｒＳｅｔ中の各レイヤからの１つのピクチャを含むことを示し、更に、ｐｒｅｓｅｎｔＬａｙｅｒｓｅｔ内にあるがｏｕｔＬａｙｅｒＳｅｔ中にはない各レイヤＡについて、このレイヤ中のピクチャの最も高いＴｅｍｐｏｒａｌＩｄがｍａｘＴｉｄＰｒｅＬａｙｅｒである場合、ｍａｘＴｉｄＰｒｅＬａｙｅｒよりも小さいか、又は等しいＴｅｍｐｏｒａｌＩｄをもつ各アクセス単位において、レイヤＡ中のピクチャはアクセス単位中に存在する。１に等しい適合レベル値は、ｏｕｔＬａｙｅｒＳｅｔ中の各レイヤの最も高いＴｅｍｐｏｒａｌＩｄ値がｍａｘＴｉｄに等しく、各アクセス単位がｏｕｔＬａｙｅｒＳｅｔ中の各レイヤからの１つのピクチャを含むことを示す。
[0105]従って、前の段落の例において、ｃｏｎｆｏｒｍ＿ｌｅｖｅｌシンタックス要素（即ち、ビットストリームを生じるのに使われた抽出モードの指示）は、適合レベルを示す。０に等しい適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しいことと、サブビットストリームの各アクセス単位が、現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示す。更に、現在のレイヤセットは、サブビットストリーム用に存在するレイヤのセットである。現在のレイヤセットの最大時間識別子は、現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子である。更に、１に等しい適合レベルは、目標出力レイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しく、サブビットストリームの各アクセス単位が、目標出力レイヤセット中の各レイヤからの１つのピクチャを含むことを示す。１に等しい適合レベルは、目標出力レイヤセット中にない、現在のレイヤセット中の各それぞれのレイヤについて、それぞれのレイヤ中のピクチャの最も高い時間識別子が、現在のレイヤセットの最大時間識別子である場合、現在のレイヤセットの最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、それぞれのレイヤ中にピクチャを含むことを更に示す。抽出モードにかかわらず、サブビットストリームは、出力レイヤセット内のピクチャを復号するための十分なＮＡＬ単位を含む。
[0106]幾つかの例では、１又は２若しくは両方に等しい適合レベル値は、ｏｕｔＬａｙｅｒＳｅｔ中の各レイヤの最も高いＴｅｍｐｏｒａｌＩｄ値がｍａｘＴｉｄに等しく、各アクセス単位が、各レイヤからの１つのピクチャをｏｕｔＬｙａｅｒＳｅｔ中に含むことを求めない場合がある。
[0107]代替として、幾つかの例では、適合レベル１は、次のように定義される。即ち、１に等しい適合レベル値は、ｐｒｅｓｅｎｔＬａｙｅｒｓｅｔ内の各レイヤＡについて、このレイヤ中のピクチャの最も高いＴｅｍｐｏｒａｌＩｄがｍａｘＴｉｄＰｒｅＬａｙｅｒである場合、ｍａｘＴｉｄＰｒｅＬａｙｅｒよりも小さいか、又は等しいＴｅｍｐｏｒａｌＩｄをもつ各アクセス単位中で、レイヤＡ中のピクチャがアクセス単位中に存在することを示す。
[0108]従って、前の段落の例において、ｃｏｎｆｏｒｍ＿ｌｅｖｅｌシンタックス要素は適合レベルを示す。０に等しい適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が現在のレイヤセットの最大時間識別子に等しいことと、サブビットストリームの各アクセス単位が、現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示す。現在のレイヤセットは、サブビットストリーム用に存在するレイヤのセットである。現在のレイヤセットの最大時間識別子は、現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子である。更に、この例では、１に等しい適合レベルは、現在のレイヤセット中の各それぞれのレイヤについて、それぞれのレイヤ中のピクチャの最も高い時間識別子が、現在のレイヤセットの最大時間識別子である場合、現在のレイヤセットの最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、それぞれのレイヤ中にピクチャを含むことを示す。抽出モードにかかわらず、サブビットストリームは、出力レイヤセット内のピクチャを復号するための十分なＮＡＬ単位を含む。
[0109]更に、表１において、ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ＿ｔｉｅｒ＿ｉｄｘ［ｉ］［ｊ］は、第ｊの適合レベルをもつ第ｉの出力レイヤセットに適用されるｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造の、ＶＰＳ中のｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ（）シンタックス構造のリストに、インデックスを指定する。ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ＿ｔｉｅｒ＿ｉｄｘ［ｉ］シンタックス要素の長さは、Ｃｅｉｌ（Ｌｏｇ２（ｖｐｓ＿ｎｕｍ＿ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１＋１））ビットである。ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ＿ｔｉｅｒ＿ｉｄｘ［０］［０］の値は、０に等しいと推論される。ｐｒｏｆｉｌｅ＿ｌｅｖｅｌ＿ｔｉｅｒ＿ｉｄｘ［ｉ］［ｊ］の値は、両端値を含む、０〜ｖｐｓ＿ｎｕｍ＿ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１の範囲内にあるものとする。
[0110]表１において、ａｄｄ＿ｖｐｓ＿ｎｕｍ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓは、ＶＰＳ ＲＢＳＰのＶＰＳ拡張において存在するｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造の数を指定する。更に、ｈｒｄ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］は、ＶＰＳ拡張における第ｉのｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が該当するレイヤセットの、ＶＰＳによって指定される出力レイヤセットの中へのインデックスを指定する。ｈｒｄ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］は、シンタックス中で現れるように、両端値を含む０〜１０２３の範囲内にある。
[0111]更に、表１において、ｖｐｓ＿ｅｘｔ＿ｈｒｄ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｉｄｘ［ｉ］は、第ｈｒｄ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］の出力レイヤセット向けにＶＰＳ拡張において指定される適合レベルへのインデックスを指定する。ｎｕｍ＿ｐｒｅｓｅｎｔ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｍｉｎｕｓ１［ｈｒｄ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］］が０に等しいとき、ｖｐｓ＿ｅｘｔ＿ｈｒｄ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｉｄｘ［ｉ］は、０に等しくなるように導出される。ＶＰＳ中の第ｉのｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造に関連付けられた、第ｈｒｄ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］］の出力レイヤセットの適合レベルは、０に等しいと推論される。
[0112]表１において、１に等しいａｄｄ＿ｃｐｒｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、全てのサブレイヤにとって共通するＨＲＤパラメータが、ＶＰＳ拡張中の第ｉのｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に存在することを指定する。０に等しいａｄｄ＿ｃｐｒｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、全てのサブレイヤに対して共通するＨＲＤパラメータが、ＶＰＳ拡張中の第ｉのｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造中に存在せず、ＶＰＳ拡張中の第（ｉ−１）のｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造と同じになるように導出されることを指定する。ａｄｄ＿ｃｐｒｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［０］は、１に等しいと推論される。
[0113]ＭＶ−ＨＥＶＣの幾つかのバージョンにおいて、各レイヤセットについて特性が信号伝達される。レイヤセットについてのそのような特性は、レイヤセットについての平均ビットレート、レイヤセットについての最大ビットレート、レイヤセットについて一定のピクチャレートがあるかどうか、レイヤセットについての平均ピクチャレートを含み得る。そのような特性は、ＶＰＳのビデオ使用性情報（ＶＵＩ）拡張において信号伝達され得る。幾つかの事例では、異なる適合レベルを有し得る各出力レイヤセットについてそのような特性を信号伝達することが望ましい場合がある。以下の表２は、本開示の１つ又は複数の技法による、ｖｐｓ＿ｖｕｉシンタックス構造に対する変更を示し、シンタックス要素は太字で示され（例えば、「シンタックス要素」）、追加事項は下線が引かれ（例えば、「追加テキスト」））、消去は、二重角括弧付きの斜体で示される（例えば、「［［消去されたテキスト］］」）。
[0114]表２において、ＮｕｍＣｏｎｆｏｒｍａｎｃｅＰｏｉｎｔｓ変数の値は、上の表１に記載したように決定され得る。
[0115]米国仮特許出願第６１／８８９，５１５号及び第６１／８９０，８４１号は、ＤＰＢサイズ及び他の関連シンタックス要素が、（出力レイヤセットに対応する）各動作点について存在することを提案している。この文書では、そのような信号伝達は、異なる適合レベルをもつ様々な出力レイヤセットに拡張され得る。以下の表３において、太字で示されるシンタックス要素（例えば、「シンタックス要素」）、追加事項は下線付きで示され（例えば、「追加テキスト」））、消去は、二重角括弧内の斜体で示される（例えば、「［［消去されたテキスト］］」）。
[0116]上述したように、本開示の１つ又は複数の技法によると、抽出モードの指示は、ＨＲＤパラメータ中で信号伝達され得る。幾つかの例では、ＨＲＤパラメータはＳＥＩメッセージ中で信号伝達され得る。例えば、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、及び復号単位情報ＳＥＩメッセージ中でのピクチャレベルＨＲＤパラメータの信号伝達のために、現在のスケーラブルなネスティングＳＥＩメッセージは、これらの３タイプのＳＥＩメッセージのうちのいずれかのネスト化ＳＥＩメッセージが、適合点のうちのどれに適用可能かが明白に示され得るように修正される。バッファリング期間ＳＥＩメッセージは、復号順序での、関連するアクセス単位（即ち、バッファリング期間ＳＥＩメッセージに関連付けられたアクセス単位）の位置におけるＨＲＤの初期化のための初期ＣＰＢ削除遅延及び初期ＣＰＢ削除遅延オフセット情報を与えるメッセージである。ピクチャタイミングＳＥＩメッセージは、ＳＥＩメッセージに関連付けられたアクセス単位についてのＣＰＢ除去遅延及びＤＰＢ出力遅延情報を提供するＳＥＩメッセージである。復号単位情報ＳＥＩメッセージは、ＳＥＩメッセージに関連付けられた復号ユニットについてのＣＰＢ除去遅延情報を提供するＳＥＩメッセージである。以下の表４は、ネスト化バッファリング期間ＳＥＩメッセージ、ネスト化ピクチャタイミングＳＥＩメッセージ、又はネスト化復号単位情報ＳＥＩメッセージが、特定の適合点に適用可能であると明白に示され得るように修正される、スケーラブルなネスティングＳＥＩメッセージの例示的なシンタックスを示す。
[0117]上の表４において、ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］は、このＳＥＩメッセージ中に含まれるＳＥＩメッセージが該当する、アクティブＶＰＳによって指定される第ｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］の出力レイヤセットの適合レベルを指定する。幾つかの例では、ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］の値は、０よりも大きく、３未満であるものとする。幾つかの例では、ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］の値は、３よりも小さいものとする。適合レベルは、本開示の他の例で説明されるように指示され得る。
[0118]本開示の他の例示的技法は、上述したＳＥＩメッセージと同じ機能性を達成するが、既存のスケーラブルなネスティングＳＥＩメッセージには手を加えないように設計される、新たなスケーラブルなネスティングＳＥＩメッセージを提供する。以下の表５は、そのような新たなスケーラブルなネスティングＳＥＩメッセージについてのシンタックス及びセマンティクスの例示的なセットである。
[0119]表５のスケーラブルなネスティングＳＥＩメッセージは、様々な動作点に対応するビットストリームサブセットにＳＥＩメッセージを関連付けるための機構を提供する。表５の新たなスケーラブルネスティングＳＥＩメッセージは、１つ又は複数のＳＥＩメッセージを含む。幾つかの例では、表５の新たなスケーラブルなネスティングＳＥＩメッセージは、別のＳＥＩメッセージ中には含まれないものとする。
[0120]表５の例において、新たなスケーラブルなネスティングＳＥＩメッセージは、バッファリング期間ＳＥＩメッセージ、ピクチャタイミングＳＥＩメッセージ、及び復号単位情報ＳＥＩメッセージ以外の他のどのＳＥＩメッセージも含まないものとする。更に、表５において、ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｃｐｓ＿ｍｉｎｕｓ１プラス１は、以下のｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］シンタックス要素の数を指定する。ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｃｐｓ＿ｍｉｎｕｓ１の値は、両端値を含む０〜２０４７の範囲内であるものとする。代替として、ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｃｐｓ＿ｍｉｎｕｓ１の値は、両端値を含む０〜３０７１の範囲内であるものとする。更に、変数ｎｅｓｔｉｎｇＮｕｍＣｐｓは、ｎｅｓｔｉｎｇ＿ｎｕｍ＿ｃｐｓ＿ｍｉｎｕｓ１＋１に等しく設定される。
[0121]表５において、ｎｅｓｔｉｎｇ＿ｃｐ＿ｍａｘ＿ｔｉｄ＿ｐｌｕｓ１［ｉ］は、変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］を指定するのに使われる。ｎｅｓｔｉｎｇ＿ｃｐ＿ｍａｘ＿ｔｉｄ＿ｐｌｕｓ１［ｉ］の値は、現在のＳＥＩ ＮＡＬ単位のｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１よりも大きいか、又は等しいものとする。変数ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］は、ｎｅｓｔｉｎｇ＿ｃｐ＿ｍａｘ＿ｔｉｄ＿ｐｌｕｓ１［ｉ］−１に等しく設定される。ｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］は、出力レイヤセットのインデックスを指定する。ｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］の値は、両端値を含む０〜１０２３の範囲内にあるものとする。ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］は、このＳＥＩメッセージ中に含まれるＳＥＩメッセージが該当する、アクティブＶＰＳによって指定される第ｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］の出力レイヤセットの適合レベルを指定する。ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］の値は、０よりも大きく、３未満であるものとする。代替として、ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］の値は、３よりも小さいものとする。
[0122]新たなスケーラブルなネスティングＳＥＩメッセージ中に含まれるＳＥＩメッセージは、両端値を含む０〜ｎｅｓｔｉｎｇＮｕｍＣｐｓ−１の範囲内の全てのｉ値について、サブビットストリームｓｕｂＢｉｔｓｔｒｅａｍ［ｉ］に該当し、ここで各サブビットストリームｓｕｂＢｉｔｓｔｒｅａｍ［ｉ］は、入力として、ビットストリーム、ｍａｘＴｅｍｐｏｒａｌＩｄ［ｉ］、ｎｅｓｔｉｎｇ＿ｃｐ＿ｉｄｘ［ｉ］、及びｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］をもつサブビットストリーム抽出プロセス（下記参照）の出力である。ｎｅｓｔｉｎｇ＿ｚｅｒｏ＿ｂｉｔは０に等しいものとする。
[0123]２つのＳＥＩメッセージ（即ち、表４のスケーラブルなネスティングと、表５の新たなスケーラブルなネスティング）の両方が、ＳＰＳ中のｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇと同様に挿入された拡張ビットを有し得る。そのような機能性が、スケーラブルなネスティングＳＥＩ中で有効化された場合、ｎｅｓｔｉｎｇ＿ｃｐ＿ｃｌ［ｉ］が、以下の表６に示すように、ＳＥＩ拡張において信号伝達され得る。
[0124]ＶＰＳ、目標ＨｉｇｈｅｓｔＴｉｄ及び適合レベルによって指定される目標出力レイヤセットへのインデックスによって、動作点が識別され得る。ビットストリーム適合テスト用に目標動作点が選択されると、テスト中のビットストリーム、ＨｉｇｈｅｓｔＴｉｄ、目標出力レイヤセットへのインデックス、及び適合レベルを入力としてもつ、以下で詳細に説明するビットストリーム抽出プロセスが呼び出され、出力サブビットストリームはＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅに割り当てられる。
[0125]ｈｒｄ＿ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ［ｉ］及びｖｐｓ＿ｅｘｔ＿ｈｒｄ＿ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌ＿ｉｄｘ［ｉ］によってＶＰＳ中で指定される、目標動作点に適用可能なｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が選ばれ、目標動作点に適用可能なｓｕｂ＿ｌａｙｅｒ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造が、ＨｉｇｈｅｓｔＴｉｄに基づいて更に選ばれる。
[0126]アクセス単位０について、（新たなスケーラブルなネスティングＳＥＩメッセージによって指定されるように）目標動作点に適用可能なバッファリング期間ＳＥＩメッセージが選択される。アクセス単位０から始まる、ＢｉｔｓｔｒｅａｍＴｏＤｅｃｏｄｅ中の各アクセス単位について、アクセス単位に関連付けられるとともに（新たなスケーラブルなネスティングＳＥＩメッセージによって指定されるように）目標動作点に該当するピクチャタイミングＳＥＩメッセージが選択され、ＳｕｂＰｉｃＨｒｄＦｌａｇが１に等しく、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｉｎ＿ｐｉｃ＿ｔｉｍｉｎｇ＿ｓｅｉ＿ｆｌａｇが０に等しいとき、（新たなスケーラブルなネスティングＳＥＩメッセージによって指定されるように）アクセス単位中の復号単位に関連付けられるとともに目標動作点に該当する復号単位情報ＳＥＩメッセージが選択される。
[0127]上述したように、本開示の１つ又は複数の技法によると、サブビットストリーム抽出プロセスによって生じた各サブビットストリームについて、コンピュータ機器は、どの抽出モードがサブビットストリームを生じるのに使われたかを示すＳＥＩメッセージ（例えば、ビットストリーム抽出状況情報ＳＥＩメッセージ）を生成することができる。以下の表７は、そのようなＳＥＩメッセージのための例示的なシンタックスを示す。
[0128]表７のＳＥＩメッセージなどのビットストリーム抽出状況情報ＳＥＩメッセージが存在するとき、ビットストリーム抽出状況情報ＳＥＩメッセージは、ビットストリームに関連付けられ、ビットストリームが該当する適合レベルを示し、ビットストリームの目標出力レイヤを示す。出力レイヤセット情報（例えば、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｆｒｏｍ＿ｖｐｓ＿ｆｌａｇ、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｔｏ＿ｖｐｓ、及び／又はｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素）がビットストリーム抽出状況情報ＳＥＩメッセージ中に存在するとき、ビットストリーム抽出プロセスへの入力として与えられる出力レイヤセットが、ビットストリーム抽出状況情報ＳＥＩメッセージ中で指定される出力レイヤセットに属す場合、どの抽出モードをもつビットストリーム抽出プロセスも適用し得る。出力レイヤセット情報がビットストリーム抽出状況情報ＳＥＩメッセージ中に存在せず、又はビットストリーム抽出状況情報ＳＥＩメッセージが存在しないとき、出力レイヤは、（１に等しいｌａｙｅｒ＿ｉｄ＿ｉｎｃｌｕｄｅｄ＿ｆｌａｇをもつ）ＶＰＳ中で信号伝達されるレイヤを全て含む。ビットストリーム抽出状況情報ＳＥＩメッセージが存在しないとき、適合レベルは、ＶＰＳ中で信号伝達されるレイヤを全て出力レイヤとして有する出力レイヤセットについて、ＶＰＳ中に存在するｃｏｎｆｏｒｍ＿ｌｅｖｅｌの最も低い値であると推論される。ｃｏｎｆｏｒｍ＿ｌｅｖｅｌのセマンティクスは、本開示の他の例で説明されるのと同じであり得る。
[0129]表７において、ｌｐ＿ｓｅｉ＿ａｃｔｉｖｅ＿ｖｐｓ＿ｉｄ（本開示は、ａｃｔｉｖｅ＿ｖｐｓ＿ｉｄと呼ぶ場合もある）は、このＳＥＩメッセージを含むＣＶＳのアクティブＶＰＳを識別する。ｌｐ＿ｓｅｉ＿ａｃｔｉｖｅ＿ｖｐｓ＿ｉｄの値は、ＳＥＩメッセージを含むアクセス単位のＶＣＬ ＮＡＬ単位のためのアクティブなＶＰＳのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値に等しいものとする。ｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎは、このＳＥＩメッセージに関連付けられたビットストリームの適合レベルを指定する。適合レベルは、本開示の他の箇所で記載されるのと同じように定義され得る。
[0130]更に、表７において、１に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、このＳＥＩメッセージに関連付けられた出力レイヤセットがＶＰＳ中で定義されることを指定する。このように、ＳＥＩメッセージは、ビットストリームを生じるのに使われた目標出力レイヤセットを示すデータを含む。ビットストリームを生じるのに使われた目標出力レイヤセットを示すデータは、ＶＰＳ中で指定される出力レイヤセットへのインデックスを指定するシンタックス要素を備える。
[0131]０に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、このＳＥＩメッセージに関連付けられた出力レイヤセットがＶＰＳ中で定義される場合もされない場合もあることを指定する。ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｔｏ＿ｖｐｓは、ＶＰＳ中で指定される出力レイヤセットへのインデックスを指定する。１に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｉに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄの値が、このＳＥＩメッセージに関連付けられた出力レイヤセット中に含まれると規定する。０に等しいｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］［ｊ］は、ｉに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄの値が、このＳＥＩメッセージに関連付けられた出力レイヤセット中に含まれないと規定する。このように、ＳＥＩメッセージは、目標出力レイヤセットを示すデータを含み得る。このデータは、一連のシンタックス要素（例えば、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素）を備え得る。一連のシンタックス要素中の各それぞれのシンタックス要素について、それぞれのシンタックス要素についてのそれぞれの位置インデックス（例えば、ｉ）は、一連のシンタックス要素内でのそれぞれのシンタックス要素の場所を示す。それぞれのシンタックス要素の値が１に等しい場合、それぞれのシンタックス要素についてのそれぞれの位置インデックスに等しいレイヤ識別子を有するレイヤは、サブビットストリームを生じるのに使われた目標出力レイヤセット中に含まれる。それぞれのシンタックス要素の値が０に等しい場合、それぞれのシンタックス要素についてのそれぞれの位置インデックスに等しいレイヤ識別子を有するレイヤは、サブビットストリームを生じるのに使われた目標出力レイヤセット中に含まれない。
[0132]従って、幾つかの例では、表７のＳＥＩメッセージは、ビットストリーム用の目標出力レイヤセットを示すデータを含む。ビットストリームを生じるのに使われた抽出モードにかかわらず、ビットストリームは、目標出力レイヤセット内のピクチャを復号するための十分なＮＡＬ単位を含む。更に、第２の抽出モード（例えば、サイズ最適化サブビットストリームを生成する抽出モード）を使ってビットストリームが抽出された場合、ビットストリームは、ソースビットストリームの各それぞれのＮＡＬ単位について、以下の基準の両方がそれぞれのＮＡＬ単位について満足される場合、それぞれのＮＡＬ単位がサブビットストリーム中になくなるようにソースビットストリームからそれぞれのＮＡＬ単位が削除されるように生じられている。
ｉ）それぞれのＮＡＬ単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ｉｉ）それぞれのＮＡＬ単位の時間識別子が、それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい。
ｉ）それぞれのＮＡＬ単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ｉｉ）それぞれのＮＡＬ単位の時間識別子が、それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい。
[0133]更に、幾つかの例では、抽出モードが第２の抽出モードである場合、それぞれのＮＡＬ単位は、以下の場合、それぞれのＮＡＬ単位がビットストリーム中にないようにソースビットストリームから削除される。
ｉ）それぞれのＮＡＬ単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ｉｉ）それぞれのＮＡＬ単位のフラグが、それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセス中で参照ピクチャとして使われないことを指定する。
ｉ）それぞれのＮＡＬ単位は、目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する。
ｉｉ）それぞれのＮＡＬ単位のフラグが、それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセス中で参照ピクチャとして使われないことを指定する。
[0134]幾つかの例では、出力レイヤセットを出力するために、復号される必要があるレイヤの数及びどのレイヤが復号される必要があるかは、ＶＰＳに基づいて導出され得る。代替として、そのようなレイヤは、このＳＥＩメッセージ中で信号伝達され得る。
[0135]上に示したように、本開示の幾つかの例では、ｐｒｏｆｉｌｅ＿ｔｉｅｒ＿ｌｅｖｅｌシンタックス構造中に、適合レベルの指示が存在し得る。そのような適合レベルは、表８において以下で示すように、プロファイル、ティア及びレベルシンタックス構造中に示され得る。
[0136]上の表８において、ｃｏｎｆｏｒｍａｎｃｅ＿ｌｅｖｅｌは、出力レイヤセットが該当する適合レベルを指定する。適合レベルは、本開示の他の箇所で記載されるのと同じように定義され得る。
[0137]上述したように、本開示の幾つかの例では、アンブレラビットストリーム抽出プロセスがマルチレイヤコーデックにおいて定義され得る。言い換えると、最終入力が、出力レイヤセットへのインデックスとビットストリーム抽出モードの組合せ、明示的出力レイヤセットとビットストリーム抽出モードの組合せ、又は単に目標レイヤのセットになることを可能にするために、抽出プロセスがＭＶ−ＨＥＶＣ／ＳＨＶＣにおいて定義される。
[0138]最終入力が目標レイヤのセットであるとき、ビットストリーム抽出モードは、０であると見なされ、出力レイヤセットを入力としてとらない。以下は、この例による例示的なサブビットストリーム抽出プロセスである。
Ｆ．１０ サブビットストリーム抽出プロセス
このプロセスへの入力は、ビットストリーム、目標最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔ、及び以下のうちの１つである。
− 出力レイヤセットへのインデックスｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘ及びビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃ。
− 目標出力レイヤ識別子リストｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃ。
− 目標レイヤ識別子リストｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ。
この下位条項への入力パラメータ
最終入力が、出力レイヤセットｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘへのインデックスと、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃとを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは次のように導出される。
最終入力が、出力レイヤセットｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘへのインデックスと、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃとを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは次のように導出される。
lsIdx = outputLayerSetIdx;
layerIdListTarget = LayerSetLayerIdList[ lsIdx ].
for( k = 0, j = 0; j < NumLayersInIdList[ lsIdx ];j++) {
layerIdListTarget[ j ] = LayerSetLayerIdList[ lsIdx ][ j ]
if( output_layer_flag[ lsIdx ][ j ] )
outputLayerSetIdx[ k++ ] = LayerSetLayerIdList[ lsIdx ][ j ]
}
そうではなく、最終入力が、目標出力レイヤ識別子リストｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔは、ｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに等しくなるように設定され、ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、そのようなレイヤ識別子が含まれていなかった限り、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ中に含まれる各レイヤの任意の直接又は間接依存レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むように導出される。そのようなプロセスは、ＭＶＣビットストリーム抽出プロセスの場合と同様である。
そうでない場合、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔは、空になるように設定され、ｓｕｂＥｘｔＭｏｄｅＩｄｃは０に設定される。
セクション４．１．１において規定されるサブビットストリーム抽出プロセスは、入力としてｔＩｄＴａｒｇｅｔ、ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ及びｓｕｂＥｘｔＭｏｄｅＩｄｃを有して適用され、ｓｕｂＥｘｔＭｏｄｅＩｄｃが０に等しくない場合、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、追加入力としてのｓｕｂＥｘｔＭｏｄｅＩｄｃの場合。
現在のビットストリームが、ｃｏｎｆＬｅｖｅｌの適合レベルを有するものとする。出力レイヤセット又は目標出力レイヤ識別子リストへのインデックスが、ビットストリーム抽出のための入力として使われるとき、（０〜２に等しい値をもつ）どの抽出モードも該当し得る。抽出プロセスの後、サブビットストリームは、ｍａｘ（ｓｕｂＥｘｔＭｏｄｅＩｄｃ，ｃｏｎｆＬｅｖｅｌ）に等しいｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎをもつビットストリーム状況情報ＳＥＩメッセージを有する。
Ｆ．１０ サブビットストリーム抽出プロセス
このプロセスへの入力は、ビットストリーム、目標最高ＴｅｍｐｏｒａｌＩｄ値ｔＩｄＴａｒｇｅｔ、及び以下のうちの１つである。
− 出力レイヤセットへのインデックスｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘ及びビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃ。
− 目標出力レイヤ識別子リストｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃ。
− 目標レイヤ識別子リストｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ。
この下位条項への入力パラメータ
最終入力が、出力レイヤセットｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘへのインデックスと、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃとを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは次のように導出される。
最終入力が、出力レイヤセットｏｕｔｐｕｔＬａｙｅｒＳｅｔＩｄｘへのインデックスと、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃとを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ及びｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは次のように導出される。
lsIdx = outputLayerSetIdx;
layerIdListTarget = LayerSetLayerIdList[ lsIdx ].
for( k = 0, j = 0; j < NumLayersInIdList[ lsIdx ];j++) {
layerIdListTarget[ j ] = LayerSetLayerIdList[ lsIdx ][ j ]
if( output_layer_flag[ lsIdx ][ j ] )
outputLayerSetIdx[ k++ ] = LayerSetLayerIdList[ lsIdx ][ j ]
}
そうではなく、最終入力が、目標出力レイヤ識別子リストｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、ビットストリーム抽出モードｓｕｂＥｘｔＭｏｄｅＩｄｃを含む場合、目標出力レイヤ識別子リストＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔは、ｉｎｐｕｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに等しくなるように設定され、ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、そのようなレイヤ識別子が含まれていなかった限り、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ中に含まれる各レイヤの任意の直接又は間接依存レイヤのｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むように導出される。そのようなプロセスは、ＭＶＣビットストリーム抽出プロセスの場合と同様である。
そうでない場合、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔは、空になるように設定され、ｓｕｂＥｘｔＭｏｄｅＩｄｃは０に設定される。
セクション４．１．１において規定されるサブビットストリーム抽出プロセスは、入力としてｔＩｄＴａｒｇｅｔ、ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔ及びｓｕｂＥｘｔＭｏｄｅＩｄｃを有して適用され、ｓｕｂＥｘｔＭｏｄｅＩｄｃが０に等しくない場合、ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔ、追加入力としてのｓｕｂＥｘｔＭｏｄｅＩｄｃの場合。
現在のビットストリームが、ｃｏｎｆＬｅｖｅｌの適合レベルを有するものとする。出力レイヤセット又は目標出力レイヤ識別子リストへのインデックスが、ビットストリーム抽出のための入力として使われるとき、（０〜２に等しい値をもつ）どの抽出モードも該当し得る。抽出プロセスの後、サブビットストリームは、ｍａｘ（ｓｕｂＥｘｔＭｏｄｅＩｄｃ，ｃｏｎｆＬｅｖｅｌ）に等しいｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎをもつビットストリーム状況情報ＳＥＩメッセージを有する。
[0139]目標レイヤ識別子リストがビットストリーム抽出のための入力として使われると、抽出プロセスの後、サブビットストリームは、ｃｏｎｆＬｅｖｅｌに等しいｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎをもつビットストリーム状況情報ＳＥＩメッセージを有する（即ち、適合レベルは変わらない）。
[0140]ビデオエンコーダ２０及びビデオデコーダ３０は、上に記載した本開示の技法のうち１つ又は複数を実装することができる。例えば、ビデオデコーダ３０は、ビットストリーム中のデータに基づいて、指示を取得し得る。このビットストリームは、ビデオデータの符号化表現を備える。ビデオデコーダ３０は、指示に少なくとも部分的に基づいて、ビットストリームからサブビットストリームが抽出され得るかどうか決定することができる。同様に、ビデオエンコーダ２０は、ビットストリームからサブビットストリームが抽出され得るかどうかの指示を与えるデータを含むビットストリームを生じることができる。
[0141]本開示の追加例は、適合性はないが、主に帯域幅を削減するための幾つかのアプリケーションシナリオのために与えられ得るサブビットストリームを示すためのシステムと方法とを含む。
[0142]第１５回ＪＣＴ−ＶＣ及び第６回ＪＣＴ−３Ｖ会合において論じられたように、マルチモードを用いて生成される、抽出されたサブビットストリームを認めることは、この段階では、最も適したソリューションではない場合があり得る。但し、そのような不完全サブビットストリームを考慮することは、例えば、幾つかのアプリケーションシナリオの場合は帯域幅の削減のために、依然として有用な場合があり、本開示は、ＳＥＩメッセージ中の全てのサブビットストリームについて、異なる抽出モードに対応するピクチャ存在プロパティを示すことを提案する。本開示は、このＳＥＩメッセージを、サブビットストリームピクチャ存在プロパティＳＥＩメッセージと呼ぶ場合がある。以下の例において列挙される特徴は、実施態様によっては、単独で、又は適切に組み合わせて使われ得る。
[0143]幾つかの例では、ＳＥＩメッセージ（例えば、サブビットストリームピクチャ存在プロパティＳＥＩメッセージ）は、サブビットストリーム中に存在する全てのレイヤからのピクチャを含むわけではない少なくとも１つのアクセス単位を含むサブビットストリームを除く、ＶＰＳ中の適合ビットストリームとしては示されない全てのサブビットストリームのプロパティを示すために与えられる。例えば、ＳＥＩメッセージ（例えば、サブビットストリームピクチャ存在プロパティＳＥＩメッセージ）は、サブビットストリーム中に存在する全てのレイヤからのピクチャを含むわけではない少なくとも１つのアクセス単位を含むサブビットストリームを除く、ＶＰＳ中の適合ビットストリームとしては示されない全てのサブビットストリームのプロパティを示すために与えられ得る。各サブビットストリームについて、目標出力レイヤではないレイヤ用のサブビットストリームの完全性のレベルが信号伝達される。各サブビットストリームについて、最大ビットレート、平均ビットレート及び平均ピクチャレートが信号伝達される。
[0144]以下の表９は、本開示の１つ又は複数の技法による例示的なサブビットストリームピクチャ存在プロパティＳＥＩメッセージシンタックスを示す。
[0145]表９のサブビットストリームピクチャ存在プロパティＳＥＩメッセージは、存在するとき、ビットストリームに関連付けられ、サブビットストリームの各々について、そのピクチャ存在レベルとビットレートとを示す。
[0146]表９の例において、ｌｐ＿ｓｅｉ＿ａｃｔｉｖｅ＿ｖｐｓ＿ｉｄは、このＳＥＩメッセージを含むＣＶＳのアクティブＶＰＳを識別する。ｌｐ＿ｓｅｉ＿ａｃｔｉｖｅ＿ｖｐｓ＿ｉｄの値は、ＳＥＩメッセージを含むアクセス単位のＶＣＬ ＮＡＬ単位のためのアクティブなＶＰＳのｖｐｓ＿ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値に等しいものとする。更に、表９の例において、ｎｕｍ＿ａｄｄｉｔｉｏｎａｌ＿ｓｕｂ＿ｓｔｒｅａｍｓは、このＳＥＩメッセージ中にプロパティが存在するサブビットストリームの数を指定する。
[0147]ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｃｅ＿ｉｎｆｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］プラス１は、このＳＥＩメッセージに関連付けられた第ｉのサブビットストリームのピクチャ存在レベルを指定する。ｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｃｅ＿ｉｎｆｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｍｉｎｕｓ１［ｉ］の値は、両端値を含む０〜１の範囲内であり、値２及び３は予約されている。０に等しい値は、以下のビットレート及びピクチャレート情報が、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｔｏ＿ｖｐｓ［ｉ］によって識別される出力レイヤセットに対応するビットストリームへの以下のプロセスに従って抽出されたサブビットストリームについてのものであることを示す。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
[0148]１に等しいｐｉｃｔｕｒｅ＿ｐｒｅｓｅｎｃｅ＿ｉｎｆｏ＿ｉｎｄｉｃａｔｉｏｎ＿ｍｉｎｕｓ１の値は、以下のビットレート及びピクチャレート情報が、以下のプロセスに従って抽出されたサブビットストリームについてであることを示す。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇをもつＮＡＬ単位を更に削除する。
− 以下の２つの条件のうちの１つ又は複数が真であるとき、０に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを有し、非ネスト化バッファリング期間ＳＥＩメッセージ、非ネスト化ピクチャタイミングＳＥＩメッセージ、又は非ネスト化復号単位情報ＳＥＩメッセージを含む全てのＳＥＩ ＮＡＬ単位を削除する。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中にｎｕｈ＿ｌａｙｅｒ＿ｉｄの値全てを含むわけではない。
− ｔＩｄＴａｒｇｅｔは、ビットストリーム中の全てのＮＡＬ単位中の最も大きいＴｅｍｐｏｒａｌＩｄよりも小さい。
− ｌａｙｅｒＩｄＬｉｓｔＴａｒｇｅｔに含まれる値の中にないｔＩｄＴａｒｇｅｔ又はｎｕｈ＿ｌａｙｅｒ＿ｉｄよりも大きいＴｅｍｐｏｒａｌＩｄをもつ全てのＮＡＬ単位を削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄをもつとともに、ｍａｘ＿ｔｉｄ＿ｉｌ＿ｒｅｆ＿ｐｉｃｓ＿ｐｌｕｓ１［ＬａｙｅｒＩｄｘＩｎＶｐｓ［ｎｕｈ＿ｌａｙｅｒ＿ｉｄ］］−１よりも大きいＴｅｍｐｏｒａｌＩｄをもつＮＡＬ単位を更に削除する。
− ＴａｒｇｅｔＯｐｔＬａｙｅｒＩｄＬｉｓｔに含まれる値の中にないｎｕｈ＿ｌａｙｅｒ＿ｉｄ及び１に等しいｄｉｓｃａｒｄａｂｌｅ＿ｆｌａｇをもつＮＡＬ単位を更に削除する。
[0149]更に、表９の例において、ｏｕｔｐｕｔ＿ｌａｙｅｒ＿ｓｅｔ＿ｉｄｘ＿ｔｏ＿ｖｐｓ［ｉ］は、出力レイヤセットへのインデックスを、第ｉのサブビットストリーム用のＶＰＳ中で指定されるように指定する。１に等しいｂｉｔ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、第ｉのサブビットストリームについてのビットレート情報が存在すると指定する。０に等しいｂｉｔ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、第ｉのサブビットストリームについてのビットレート情報が存在しないと指定する。１に等しいｐｉｃ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、第ｉのサブビットストリームについてのピクチャレート情報が存在し、存在すると指定する。０に等しいｐｉｃ＿ｒａｔｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、第ｉのサブビットストリームについてのピクチャレート情報が存在しないと指定する。
[0150]表９の例において、ａｖｇ＿ｂｉｔ＿ｒａｔｅ［ｉ］は、第ｉのサブビットストリームの平均ビットレートを、１秒あたりのビット数で示す。値は、ＢｉｔＲａｔｅＢＰＳ（ａｖｇ＿ｂｉｔ＿ｒａｔｅ［ｉ］）によって与えられ、関数ＢｉｔＲａｔｅＢＰＳ（）は次のように指定される。
BitRateBPS( x ) = ( x & ( 214 - 1 ) ) * 10( 2 + ( x >> 14 ) ) (F-X)
この平均ビットレートは、条項Ｆ．１３において規定されているアクセス単位削除時間に従って導出される。以下において、ｂＴｏｔａｌは、第ｉのサブビットストリームの全てのＮＡＬ単位中のビット数であり、ｔ1は、ＶＰＳが適用される最初のアクセス単位の（秒での）削除時間であり、ｔ2は、ＶＰＳが適用される（復号順序で）最後のアクセス単位の（秒での）削除時間である。ｘがａｖｇ＿ｂｉｔ＿ｒａｔｅ［ｉ］の値を指定する場合、以下が適用される。
− ｔ1がｔ2に等しくない場合、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = Round( bTotal ÷ ( ( t2 - t1 ) * 10( 2 + (x >> 14 ) ) ) ) (F-X+1)
− 他の場合（ｔ1がｔ2に等しい）、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = 0 (F-X+2)
BitRateBPS( x ) = ( x & ( 214 - 1 ) ) * 10( 2 + ( x >> 14 ) ) (F-X)
この平均ビットレートは、条項Ｆ．１３において規定されているアクセス単位削除時間に従って導出される。以下において、ｂＴｏｔａｌは、第ｉのサブビットストリームの全てのＮＡＬ単位中のビット数であり、ｔ1は、ＶＰＳが適用される最初のアクセス単位の（秒での）削除時間であり、ｔ2は、ＶＰＳが適用される（復号順序で）最後のアクセス単位の（秒での）削除時間である。ｘがａｖｇ＿ｂｉｔ＿ｒａｔｅ［ｉ］の値を指定する場合、以下が適用される。
− ｔ1がｔ2に等しくない場合、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = Round( bTotal ÷ ( ( t2 - t1 ) * 10( 2 + (x >> 14 ) ) ) ) (F-X+1)
− 他の場合（ｔ1がｔ2に等しい）、以下の条件が真であるものとする。
( x & ( 214 - 1 ) ) = = 0 (F-X+2)
[0151]更に、表９の例において、ｍａｘ＿ｂｉｔ＿ｒａｔｅ［ｉ］は、条項Ｆ．１３において規定されているアクセス単位削除時間の、任意の１秒時間ウィンドウ中の第ｉのサブビットストリームのビットレートについての上限を示す。１秒あたりのビット数でのビットレートについての上限は、ＢｉｔＲａｔｅＢＰＳ（ｍａｘ＿ｂｉｔ＿ｒａｔｅ［ｉ］）によって与えられる。ビットレート値は、条項Ｆ．１３において規定されているアクセス単位削除時間に従って導出される。以下において、ｔ1は（秒での）任意の時点であり、ｔ2は、ｔ1＋１÷１００に等しく設定され、ｂＴｏｔａｌは、アクセス単位の全てのＮＡＬ単位中のビット数であり、削除時間は、ｔ1よりも大きいか又はそれに等しく、ｔ2よりも小さい。ｘがｍａｘ＿ｂｉｔ＿ｒａｔｅ［ｉ］の値を指定する場合、ｔ1の全ての値について以下の条件に従うものとする。
( x & ( 214 - 1 ) ) >= bTotal ÷ ( ( t2 - t1 ) * 10( 2 + ( x >> 14 ) ) ) (F-X+3)
( x & ( 214 - 1 ) ) >= bTotal ÷ ( ( t2 - t1 ) * 10( 2 + ( x >> 14 ) ) ) (F-X+3)
[0152]表９の例において、ｃｏｎｓｔａｎｔ＿ｐｉｃ＿ｒａｔｅ＿ｉｄｃ［ｉ］は、第ｉのサブビットストリームのピクチャレートが一定であるかどうかを示す。以下において、時間セグメントｔＳｅｇは、第ｉのサブビットストリームの、復号順序で２つ以上の連続するアクセス単位の任意のセットであり、ａｕＴｏｔａｌ（ｔＳｅｇ）は、時間セグメントｔＳｅｇ中のアクセス単位の数であり、ｔ1（ｔＳｅｇ）は、時間セグメントｔＳｅｇの（復号順序で）最初のアクセス単位の（秒での）削除時間であり、ｔ2（ｔＳｅｇ）は、時間セグメントｔＳｅｇの（復号順序で）最後のアクセス単位の（秒での）削除時間であり、ａｖｇＰｉｃＲａｔｅ（ｔＳｅｇ）は、時間セグメントｔＳｅｇ中の平均ピクチャレートであり、次のように規定される。
avgPicRate( tSeg ) = = Round( auTotal( tSeg ) * 256 ÷
( t2( tSeg ) - t1( tSeg ) ) ) (F-X+4)
第ｉのサブビットストリームが、１つ若しくは２つのアクセス単位を含むだけであるか、又は時間セグメント全てにわたってａｖｇＰｉｃＲａｔｅ（ｔＳｅｇ）の値が一定である場合、ピクチャレートが一定であり、それ以外の場合、ピクチャレートは一定でない。
avgPicRate( tSeg ) = = Round( auTotal( tSeg ) * 256 ÷
( t2( tSeg ) - t1( tSeg ) ) ) (F-X+4)
第ｉのサブビットストリームが、１つ若しくは２つのアクセス単位を含むだけであるか、又は時間セグメント全てにわたってａｖｇＰｉｃＲａｔｅ（ｔＳｅｇ）の値が一定である場合、ピクチャレートが一定であり、それ以外の場合、ピクチャレートは一定でない。
[0153]０に等しいｃｏｎｓｔａｎｔ＿ｐｉｃ＿ｒａｔｅ＿ｉｄｃ［ｉ］は、第ｉのサブビットストリームのピクチャレートが一定でないことを示す。１に等しいｃｏｎｓｔａｎｔ＿ｐｉｃ＿ｒａｔｅ＿ｉｄｃ［ｉ］は、第ｉのサブビットストリームのピクチャレートが一定であることを示す。２に等しいｃｏｎｓｔａｎｔ＿ｐｉｃ＿ｒａｔｅ＿ｉｄｃ［ｉ］は、第ｉのサブビットストリームのピクチャレートが一定である場合も、一定でない場合もあることを示す。ｃｏｎｓｔａｎｔ＿ｐｉｃ＿ｒａｔｅ＿ｉｄｃ［ｉ］の値は、両端値を含む０〜２の範囲内にあるものとする。
[0154]更に、表９の例において、ａｖｇ＿ｐｉｃ＿ｒａｔｅ［ｉ］は、第ｉのサブビットストリームの、２５６秒ごとのピクチャの単位での、平均ピクチャレートを示す。ａｕＴｏｔａｌが第ｉのサブビットストリームにおけるアクセス単位の数である場合、ｔ1は、ＶＰＳが適用される最初のアクセス単位の（秒での）削除時間であり、ｔ2は、ＶＰＳが適用される（復号順序で）最後のアクセス単位の（秒での）削除時間であり、以下が適用される。
- ｔ1がｔ2に等しくない場合、以下の条件が真であるものとする。
avg_pic_rate[i] = = Round( auTotal * 256 ÷ ( t2 - t1 ) ) (F-X+5)
- 他の場合（ｔ1がｔ2に等しい）、以下の条件が真であるものとする。
avg_pic_rate[i] = = 0 (F-X+6)
- ｔ1がｔ2に等しくない場合、以下の条件が真であるものとする。
avg_pic_rate[i] = = Round( auTotal * 256 ÷ ( t2 - t1 ) ) (F-X+5)
- 他の場合（ｔ1がｔ2に等しい）、以下の条件が真であるものとする。
avg_pic_rate[i] = = 0 (F-X+6)
[0155]図２は、例示的なビデオエンコーダ２０を示すブロック図である。図２は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明のために、本開示は、ＨＥＶＣコード化のコンテキストにおいてビデオエンコーダ２０を説明する。しかしながら、本開示の技法は、他のコード化規格又は方法に適用可能であり得る。
[0156]図２の例では、ビデオエンコーダ２０は、予測処理ユニット１００と、ビデオデータメモリ１０１と、残差生成ユニット１０２と、変換処理ユニット１０４と、量子化ユニット１０６と、逆量子化ユニット１０８と、逆変換処理ユニット１１０と、再構築ユニット１１２と、フィルタユニット１１４と、復号ピクチャバッファ１１６と、エントロピー符号化ユニット１１８とを含む。予測処理ユニット１００は、インター予測処理ユニット１２０と、イントラ予測処理ユニット１２６とを含む。インター予測処理ユニット１２０は、動き推定ユニット１２２と、動き補償ユニット１２４とを含む。他の例では、ビデオエンコーダ２０は、より多いか、より少ないか、又は異なる機能的な構成要素を含む場合がある。
[0157]ビデオエンコーダ２０は、ビデオデータを受信することができる。ビデオデータメモリ１０１は、ビデオエンコーダ２０の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオデータメモリ１０１に記憶されるビデオデータは、例えば、ビデオ発信源１８から得られ得る。復号ピクチャバッファ１１６は、例えば、イントラコード化モード又はインターコード化モードでビデオエンコーダ２０によってビデオデータを符号化する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ビデオデータメモリ１０１及び復号ピクチャバッファ１１６は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリ機器を含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような様々なメモリ機器のいずれかによって形成され得る。ビデオデータメモリ１０１及び復号ピクチャバッファ１１６は、同じメモリ機器又は別個のメモリ機器によって提供され得る。様々な例では、ビデオデータメモリ１０１は、ビデオエンコーダ２０の他の構成要素とともにオンチップであるか、又はそれらの構成要素に対してオフチップであり得る。
[0158]ビデオエンコーダ２０は、ビデオデータのピクチャのスライスの中の各ＣＴＵを符号化し得る。幾つかの例では、ＣＴＵの各々は、等しいサイズのルーマコード化ツリーブロック（ＣＴＢ）と、ピクチャの対応するクロマＣＴＢとに関連付けられ得る。ＣＴＵを符号化することの一部として、予測処理ユニット１００は、ＣＴＵのＣＴＢを徐々により小さいブロックに分割するために、４分木区分を実施し得る。より小さいブロックは、ＣＵのコード化ブロックであり得る。例えば、予測処理ユニット１００は、ＣＴＵと関連付けられたＣＴＢを４つの等しいサイズのサブブロックに区分することができ、サブブロックの１つ又は複数を４つの等しいサイズのサブサブブロックに区分することができ、以下同様である。
[0159]ビデオエンコーダ２０は、ＣＵの符号化表現（即ち、コード化ＣＵ）を生成するために、ＣＴＵのＣＵを符号化し得る。ＣＵを符号化することの一部として、予測処理ユニット１００は、ＣＵの１つ又は複数のＰＵの間でＣＵに関連付けられたコード化ブロックを区分し得る。従って、各ＰＵは、ルーマ予測ブロック及び対応するクロマ予測ブロックに関連付けられ得る。ビデオエンコーダ２０及びビデオデコーダ３０は、様々なサイズを有するＰＵをサポートすることができる。上で示されたように、ＣＵのサイズはＣＵのルーマコード化ブロックのサイズを指すことがあり、ＰＵのサイズはＰＵのルーマ予測ブロックのサイズを指すことがある。特定のＣＵのサイズを２Ｎ×２Ｎと仮定すると、ビデオエンコーダ２０及びビデオデコーダ３０は、イントラ予測の場合は２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズをサポートすることができ、インター予測の場合は２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、又は同様の対称のＰＵサイズをサポートすることができる。ビデオエンコーダ２０及びビデオデコーダ３０はまた、インター予測のために、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズに対する非対称区分化をサポートすることができる。
[0160]インター予測処理ユニット１２０は、ＣＵの各ＰＵに対してインター予測を実施することによって、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、ＰＵの予測ブロックとＰＵのための動き情報とを含み得る。インター予測処理ユニット１２０は、ＰＵがＩスライス、Ｐスライス、又はＢスライス中にあるかに応じて、ＣＵのＰＵに対して異なる演算を実施し得る。Ｉスライス中では、全てのＰＵがイントラ予測される。従って、ＰＵがＩスライス中にある場合、インター予測処理ユニット１２０はＰＵに対してインター予測を実施しない。
[0161]ＰＵがＰスライスの中にある場合、動き推定ユニット１２２は、ＰＵのための参照領域について参照ピクチャのリスト（例えば、「ＲｅｆＰｉｃＬｉｓｔ０」）の中で参照ピクチャを探索し得る。ＰＵのための参照領域は、ＰＵの予測ブロックに最も密接に対応するサンプルを含んでいる参照ピクチャ内の領域であり得る。動き推定ユニット１２２は、ＰＵのための参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０中の位置を示す参照インデックスを生成することができる。加えて、動き推定ユニット１２２は、ＰＵのコード化ブロックと参照領域に関連付けられた参照位置との間の空間変位を示す動きベクトルを生成し得る。例えば、動きベクトルは、現在のピクチャにおける座標から参照ピクチャにおける座標までのオフセットを与える２次元ベクトルであり得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照インデックスと動きベクトルとを出力することができる。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。
[0162]ＰＵがＢスライス中にある場合、動き推定ユニット１２２は、ＰＵについての単予測又は双予測を実施し得る。ＰＵについての単予測を実施するために、動き推定ユニット１２２は、ＰＵの参照領域についてＲｅｆＰｉｃＬｉｓｔ０の参照ピクチャ又は第２の参照ピクチャリスト（「ＲｅｆＰｉｃＬｉｓｔ１」）を探索し得る。動き推定ユニット１２２は、ＰＵの動き情報として、参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０又はＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスと、ＰＵの予測ブロックと参照領域に関連付けられた参照位置との間の空間変位を示す動きベクトルと、参照ピクチャがＲｅｆＰｉｃＬｉｓｔ０中にあるかＲｅｆＰｉｃＬｉｓｔ１中にあるかを示す１つ又は複数の予測方向インジケータとを出力することができる。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成することができる。
[0163]ＰＵについての双方向インター予測を実施するために、動き推定ユニット１２２は、ＰＵ用の参照領域について、ＲｅｆＰｉｃＬｉｓｔ０内の参照ピクチャを探索することができ、ＰＵ用の別の参照領域について、ＲｅｆＰｉｃＬｉｓｔ１内の参照ピクチャを探索することもできる。動き推定ユニット１２２は、参照領域を含んでいる参照ピクチャのＲｅｆＰｉｃＬｉｓｔ０及びＲｅｆＰｉｃＬｉｓｔ１中の位置を示す参照インデックスを生成することができる。更に、動き推定ユニット１２２は、参照領域に関連する参照位置とＰＵの予測ブロックとの間の空間変位を示す動きベクトルを生成し得る。ＰＵの動き情報は、ＰＵの参照インデックスと動きベクトルとを含み得る。動き補償ユニット１２４は、ＰＵの動きベクトルによって示された参照位置における実際の又は補間されたサンプルに少なくとも部分的に基づいて、ＰＵの予測ブロックを生成し得る。
[0164]イントラ予測処理ユニット１２６は、ＰＵに対してイントラ予測を実施することによって、ＰＵのための予測データを生成し得る。ＰＵのための予測データは、ＰＵのための予測ブロックと、様々なシンタックス要素とを含み得る。イントラ予測処理ユニット１２６は、Ｉスライス、Ｐスライス、及びＢスライスの中のＰＵに対してイントラ予測を実施し得る。
[0165]ＰＵに対してイントラ予測を実施するために、イントラ予測処理ユニット１２６は、複数のイントラ予測モードを使用して、ＰＵについて予測ブロックの複数セットを生成し得る。特定のイントラ予測モードを使用してイントラ予測を実施するとき、イントラ予測処理ユニット１２６は、隣接ブロックからのサンプルの特定のセットを使用してＰＵの予測ブロックを生成し得る。隣接ブロックは、ＰＵ、ＣＵ、及びＣＴＵについて左から右、上から下の符号化順序を仮定すると、ＰＵの予測ブロックの上、右上、左上、又は左にあり得る。イントラ予測処理ユニット１２６は、様々な数のイントラ予測モード、例えば３３方向のイントラ予測モードを使用することができる。幾つかの例では、イントラ予測モードの数はＰＵの予測ブロックのサイズに依存し得る。
[0166]予測処理ユニット１００は、ＰＵについてインター予測処理ユニット１２０によって生成された予測データ、又はＰＵについてイントラ予測処理ユニット１２６によって生成された予測データの中から、ＣＵのＰＵについての予測データを選択することができる。幾つかの例では、予測処理ユニット１００は、予測データのレート／歪みメトリックのセットに基づいて、ＣＵのＰＵについての予測データを選択する。選択された予測データの予測ブロックは、本明細書では、選択された予測ブロックと呼ばれることがある。
[0167]残差生成ユニット１０２は、ＣＵのコード化ブロック（例えば、ルーマコード化ブロック、Ｃｂコード化ブロック、及びＣｒコード化ブロック）、及びＣＵのＰＵの選択された予測ブロック（例えば、予測ルーマブロック、予測Ｃｂブロック、及び予測Ｃｒブロック）に基づいて、ＣＵの残差ブロック（例えば、ルーマ、Ｃｂ、及びＣｒ残差ブロック）を生成し得る。例えば、残差生成ユニット１０２は、残差ブロックの中の各サンプルが、ＣＵのコード化ブロックの中のサンプルと、ＣＵのＰＵの対応する選択された予測ブロックの中の対応するサンプルとの差分に等しい値を有するように、ＣＵの残差ブロックを生成し得る。
[0168]変換処理ユニット１０４は、ＣＵの残差ブロックをＣＵのＴＵに関連付けられた変換ブロックに区分するために、４分木区分を実施すればよい。従って、ＴＵは、ルーマ変換ブロックと、２つの対応するクロマ変換ブロックとに関連付けられ得る。ＣＵのＴＵのルーマ変換ブロック及びクロマ変換ブロックのサイズ及び位置は、ＣＵのＰＵの予測ブロックのサイズ及び位置に基づく場合も、又は基づかない場合もある。
[0169]変換処理ユニット１０４は、ＴＵの変換ブロックに１つ又は複数の変換を適用することによって、ＣＵのＴＵごとに変換係数ブロックを生成し得る。変換処理ユニット１０４は、ＴＵに関連付けられた変換ブロックに様々な変換を適用し得る。例えば、変換処理ユニット１０４は、離散コサイン変換（ＤＣＴ）、方向性変換、又は概念的に同様の変換を変換ブロックに適用し得る。幾つかの例において、変換処理ユニット１０４は変換ブロックに変換を適用しない。そのような例では、変換ブロックは、変換係数ブロックとして扱われ得る。
[0170]量子化ユニット１０６は、係数ブロック内の変換係数を量子化し得る。量子化プロセスは、変換係数の一部又は全てに関連付けられたビット深度を低減し得る。例えば、量子化中にｎビット変換係数はｍビット変換係数に切り捨てられ得、但し、ｎはｍよりも大きい。量子化ユニット１０６は、ＣＵに関連付けられた量子化パラメータ（ＱＰ）値に基づいてＣＵのＴＵに関連付けられた係数ブロックを量子化し得る。ビデオエンコーダ２０は、ＣＵに関連付けられたＱＰ値を調整することによって、ＣＵに関連付けられた係数ブロックに適用される量子化の程度を調整することができる。量子化は、情報の喪失をもたらすことがあり、従って、量子化された変換係数は、元の係数よりも低い精度を有することがある。
[0171]逆量子化ユニット１０８及び逆変換処理ユニット１１０は、係数ブロックから残差ブロックを再構築するために、それぞれ、係数ブロックに逆量子化と逆変換とを適用することができる。再構築ユニット１１２は、ＴＵに関連付けられる再構築された変換ブロックを生成するために、再構築された残差ブロックを、予測処理ユニット１００によって生成された１つ又は複数の予測ブロックからの対応するサンプルに加算することができる。このようにＣＵの各ＴＵのための変換ブロックを再構築することによって、ビデオエンコーダ２０は、ＣＵのコード化ブロックを再構築することができる。
[0172]フィルタユニット１１４は、ＣＵに関連付けられたコード化ブロックの中のブロック歪み（blocking artifacts）を低減するために、１つ又は複数のデブロッキング動作を実施し得る。復号ピクチャバッファ１１６は、フィルタユニット１１４が、再構築されたコード化ブロックに対して１つ又は複数のデブロッキング動作を実施した後、再構築されたコード化ブロックを記憶することができる。インター予測処理ユニット１２０は、他のピクチャのＰＵに対してインター予測を実施するために、再構築されたコード化ブロックを含んでいる参照ピクチャを使用することができる。加えて、イントラ予測処理ユニット１２６は、ＣＵと同じピクチャ内の他のＰＵに対してイントラ予測を実施するために、復号ピクチャバッファ１１６内の再構築されたコード化ブロックを使用することができる。
[0173]エントロピー符号化ユニット１１８は、ビデオエンコーダ２０の他の機能構成要素からデータを受け取ることができる。例えば、エントロピー符号化ユニット１１８は、量子化ユニット１０６から係数ブロックを受け取ることができ、予測処理ユニット１００からシンタックス要素を受け取ることができる。エントロピー符号化ユニット１１８は、エントロピー符号化データを生成するために、データに対して１つ又は複数のエントロピー符号化演算を実施することができる。例えば、エントロピー符号化ユニット１１８は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）演算、ＣＡＢＡＣ演算、変数間（Ｖ２Ｖ）レングスコード化演算、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）演算、確率間隔区分化エントロピー（ＰＩＰＥ）コード化演算、指数ゴロム符号化演算、又は別のタイプのエントロピー符号化演算をデータに対して実施することができる。ビデオエンコーダ２０は、エントロピー符号化ユニット１１８によって生成されたエントロピー符号化データを含むビットストリームを出力することができる。
[0174]本開示の少なくとも幾つかの例によると、図２のビデオエンコーダ２０は、ビデオデータのコード化表現を含む第１のビットストリーム中に、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを含めることができる。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0175]図３は、例示的なビデオデコーダ３０を示すブロック図である。図３は、説明の目的で与えられており、本開示において広く例示され、説明される技法を限定するものではない。説明のために、本開示は、ＨＥＶＣコード化のコンテキストにおいてビデオデコーダ３０を説明する。しかしながら、本開示の技法は他のコード化規格又は方法に適用可能であり得る。
[0176]図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット１５０と、予測処理ユニット１５２と、逆量子化ユニット１５４と、逆変換処理ユニット１５６と、再構築ユニット１５８と、フィルタユニット１６０と、復号ピクチャバッファ１６２とを含む。予測処理ユニット１５２は、動き補償ユニット１６４とイントラ予測処理ユニット１６６とを含む。他の例では、ビデオデコーダ３０は、より多いか、より少ないか、又は異なる機能的な構成要素を含む場合がある。
[0177]コード化ピクチャバッファ（ＣＰＢ）１５１は、ビットストリームの符号化ビデオデータ（例えば、ＮＡＬ単位）を受信し、記憶することができる。ＣＰＢ１５１に記憶されるビデオデータは、例えば、チャネル１６から、例えば、カメラなどのローカルビデオ発信源から、ビデオデータの有線又はワイヤレスネットワーク通信を介して、又は物理データ記憶媒体にアクセスすることによって、取得され得る。ＣＰＢ１５１は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するビデオデータメモリを形成し得る。復号ピクチャバッファ１６２は、例えば、イントラコード化モード又はインターコード化モードでビデオデコーダ３０によってビデオデータを復号する際に使用するための参照ビデオデータを記憶する参照ピクチャメモリであり得る。ＣＰＢ１５１及び復号ピクチャバッファ１６２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリ機器を含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような様々なメモリ機器のいずれかによって形成され得る。ＣＰＢ１５１及び復号ピクチャバッファ１６２は、同じメモリ機器又は別個のメモリ機器によって提供され得る。様々な例では、ＣＰＢ１５１は、ビデオデコーダ３０の他の構成要素とともにオンチップであってよく、又はそれらの構成要素に対してオフチップであってもよい。
[0178]エントロピー復号ユニット１５０は、ＣＰＢ１５１からＮＡＬ単位を受信することができ、ＮＡＬ単位を解析してビットストリームからシンタックス要素を取得することができる。エントロピー復号ユニット１５０は、ＮＡＬ単位内のエントロピー符号化シンタックス要素をエントロピー復号することができる。予測処理ユニット１５２、逆量子化ユニット１５４、逆変換処理ユニット１５６、再構築ユニット１５８、及びフィルタユニット１６０は、ビットストリームから抽出されたシンタックス要素に基づいて、復号ビデオデータを生成することができる。
[0179]ビットストリームのＮＡＬ単位は、コード化スライスＮＡＬ単位を含む場合がある。ビットストリームを復号することの一部として、エントロピー復号ユニット１５０は、コード化スライスＮＡＬ単位からシンタックス要素を抽出し、エントロピー復号し得る。コード化スライスの各々は、スライスヘッダと、スライスデータとを含む場合がある。スライスヘッダは、スライスに関係するシンタックス要素を含んでいる場合がある。
[0180]本開示の技法の少なくとも幾つかによると、ビデオデコーダ３０（例えば、エントロピー復号ユニット１５０など、ビデオデコーダ３０の１つのある構成要素）は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得することができる。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードであれば、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。幾つかの例では、ビデオデコーダ３０は、ＳＥＩメッセージを取得することなく、又は第１のビットストリームを生じるのに使われた抽出モードを決定することなく、第１のビットストリームを復号され得る。従って、サイズ最適化ビットストリームは、ピクチャのわずかな割合（例えば、レイヤ間予測に使われるもの）のみがそれに対して存在するレイヤを含むことができ、ビデオデコーダ３０は、それにもかかわらず、ピクチャを再構築することと、再構築ピクチャを出力することなく、それらのピクチャをレイヤ間参照ピクチャとして使うこととを、適切に実施することができる。
[0181]ビットストリームからシンタックス要素を取得することに加えて、ビデオデコーダ３０は、ＣＵに対して復号演算を実施し得る。ＣＵに対して復号演算を実施することによって、ビデオデコーダ３０はＣＵのコード化ブロックを再構築し得る。
[0182]ＣＵに対して復号演算を実施することの一部として、逆量子化ユニット１５４は、ＣＵのＴＵに関連付けられた係数ブロックを逆の量子化（inverse quantize）、即ち、逆量子化（de-quantize）し得る。逆量子化ユニット１５４は、量子化の程度を決定するために、また同様に、逆量子化ユニット１５４が適用すべき逆量子化の程度を決定するために、ＴＵのＣＵに関連付けられたＱＰ値を使用することができる。つまり、圧縮比、即ち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用されるＱＰの値を調整することによって制御され得る。圧縮比はまた、採用されるエントロピーコード化の方法に依存し得る。
[0183]逆量子化ユニット１５４が係数ブロックを逆量子化した後、逆変換処理ユニット１５６は、ＴＵに関連付けられた残差ブロックを生成するために、係数ブロックに１つ又は複数の逆変換を適用し得る。例えば、逆変換処理ユニット１５６は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、又は別の逆変換を、係数ブロックに適用し得る。
[0184]ＰＵがイントラ予測を使用して符号化される場合、イントラ予測処理ユニット１６６は、ＰＵのための予測ブロックを生成するために、イントラ予測を実施し得る。イントラ予測処理ユニット１６６は、空間的に隣接するＰＵの予測ブロックに基づいて、ＰＵのための予測ブロック（例えば、予想ルーマブロック、予測Ｃｂブロック、及び予測Ｃｒブロック）を生成するために、イントラ予測モードを使用することができる。イントラ予測処理ユニット１６６は、ビットストリームから復号された１つ又は複数のシンタックス要素に基づいて、ＰＵのためのイントラ予測モードを決定し得る。
[0185]予測処理ユニット１５２は、ビットストリームから抽出されたシンタックス要素に基づいて、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）と第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）とを構築することができる。更に、インター予測を使用してＰＵが符号化される場合、エントロピー復号ユニット１５０は、ＰＵの動き情報を取得し得る。動き補償ユニット１６４は、ＰＵの動き情報に基づいて、ＰＵに対する１つ又は複数の参照領域を決定することができる。動き補償ユニット１６４は、ＰＵのための１つ又は複数の参照ブロックにおけるサンプルブロックに基づいて、ＰＵのための予測ブロック（例えば、予測ルーマブロック、予測Ｃｂブロック、及び予測Ｃｒブロック）を生成することができる。
[0186]再構築ユニット１５８は、ＣＵのコード化ブロック（例えば、ルーマコード化ブロック、Ｃｂコード化ブロック、及びＣｒコード化ブロック）を再構築するために、適宜、ＣＵのＴＵの変換ブロック（例えば、ルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロック）、並びにＣＵのＰＵの予測ブロック（例えば、ルーマ変換ブロック、予測Ｃｂ変換ブロック、及び予測Ｃｒ変換ブロック）からの残差値、即ち、イントラ予測データ又はインター予測データのいずれかを使用し得る。例えば、再構築ユニット１５８は、ＣＵのコード化ブロック（例えば、ルーマコード化ブロック、Ｃｂコード化ブロック、及びＣｒコード化ブロック）を再構築するために、変換ブロック（例えば、ルーマ変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロック）のサンプルを、予測ブロック（例えば、ルーマ予測ブロック、Ｃｂ予測ブロック、及びＣｒ予測ブロック）の対応するサンプルに加算することができる。
[0187]フィルタユニット１６０は、ＣＵのコード化ブロック（例えば、ルーマコード化ブロック、Ｃｂコード化ブロック、及びＣｒコード化ブロック）に関連付けられたブロック歪みを低減するために、デブロッキング演算を実施することができる。ビデオデコーダ３０は、ＣＵのコード化ブロック（例えば、ルーマコード化ブロック、Ｃｂコード化ブロック、及びＣｒコード化ブロック）を復号ピクチャバッファ１６２に記憶することができる。復号ピクチャバッファ１６２は、後続の動き補償、イントラ予測、及び図１の表示装置３２のような表示装置上での提示のために、参照ピクチャを提供することができる。例えば、ビデオデコーダ３０は、復号ピクチャバッファ１６２の中のブロック（例えば、ルーマブロック、Ｃｂブロック、及びＣｒブロック）に基づいて、他のＣＵのＰＵに対してイントラ予測演算又はインター予測演算を実施し得る。このようにして、ビデオデコーダ３０は、有意な係数ブロックの変換係数レベルをビットストリームから抽出し、変換係数レベルを逆量子化し、変換ブロックを生成するため、変換ブロックに少なくとも部分的に基づいてコード化ブロックを生成するため、及びコード化ブロックを表示のために出力するために、変換係数レベルに変換を適用することができる。
[0188]図４は、本開示の１つ又は複数の技法による、例示的な媒介機器１９を示すブロック図である。図４は、説明のために提供されるものであり、本開示において広く例示され記載される技法を限定するものではない。図４の例において、媒介機器１９は、モード決定ユニット１８０と、ビットストリーム抽出ユニット１８２と、ＳＥＩ生成ユニット１８４とを備える。
[0189]モード決定ユニット１８０及びビットストリーム抽出ユニット１８２は、ソースビットストリームを受信し得る。幾つかの例では、モード決定ユニット１８０及びビットストリーム抽出ユニット１８２は、ビデオエンコーダ２０などのビデオエンコーダからソースビットストリームを受信し得る。他の例では、モード決定ユニット１８０及びビットストリーム抽出ユニット１８２は、別のビットストリームからソースビットストリームを抽出した可能性がある別の媒介機器から、ソースビットストリームを受信し得る。
[0190]モード決定ユニット１８０は、存在する場合はどのビットストリーム抽出プロセスをソースビットストリームに適用するべきか決定することができる。一例では、モード決定ユニット１８０は、ソースビットストリームから、ソースビットストリームを生じるのに使われた抽出モードの指示を含むＳＥＩメッセージを取得し得る。この例では、ＳＥＩメッセージが、サイズ最適化ビットストリーム抽出モードがソースビットストリームを生じるのに使われたことを示す場合、モード決定ユニット１８０は、ソースビットストリームにどのビットストリーム抽出プロセスも適用しないと決定してよい。但し、ＳＥＩメッセージが、「完全抽出可能（fully extractable）」ビットストリーム抽出モードが、ソースビットストリームを生じるのに使われたことを示す場合、モード決定ユニット１８０は、「完全抽出可能」ビットストリーム抽出プロセス、又は「サイズ最適化」ビットストリーム抽出プロセスをソースビットストリームに適用するか決定することができる。
[0191]モード決定ユニット１８０が、ソースビットストリームにビットストリーム抽出プロセスを適用するという決定を行ったとき、モード決定ユニット１８０は、決定されたビットストリーム抽出プロセスの指示を、ビットストリーム抽出ユニット１８２及びＳＥＩ生成ユニット１８４に与えることができる。ビットストリーム抽出ユニット１８２は、ソースビットストリームからサブビットストリームを抽出するための、決定するビットストリーム抽出モードを適用することができる。更に、ＳＥＩ生成ユニット１８４は、決定されたビットストリーム抽出モードの指示を含むＳＥＩメッセージを生成することができる。ＳＥＩ生成ユニット１８４は、生成されたＳＥＩメッセージを、ビットストリーム抽出ユニット１８２によって生じたサブビットストリーム中に含めてよい。
[0192]このようにして、媒介機器１９は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得することができる。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードであれば、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0193]更に、媒介機器１９は、第１のビットストリーム中に、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを含めてよい。抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。
[0194]図５Ａは、本開示の１つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャートである。図５Ａの動作は、本開示の他のフローチャートに示す動作とともに、例である。本開示の技法による他の例示的な動作は、より多数の、より少数の、又は異なるアクションを含み得る。
[0195]図５Ａの例において、コンピュータ機器（媒介機器１９や宛先機器１４など）は、ビデオデータのコード化表現を含む第１のビットストリームから、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを取得することができる（２００）。第１のビットストリームは、抽出モードに従って第２のビットストリームから抽出されたサブビットストリームである。抽出モードが第１の抽出モードである場合、第１のビットストリームは、第１のビットストリーム用の目標出力レイヤセットの正しい復号に必要とされない１つ又は複数のコード化ピクチャを含む。抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリームについて、目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含む。幾つかの例では、ＳＥＩメッセージは、上の表７に示されるシンタックスに適合し、その指示が、ｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎシンタックス要素である。
[0196]更に、図５Ａの例において、コンピュータ機器は、抽出モードの指示に基づいて、第１のビットストリームからサブビットストリームを抽出するかどうか決定することができる（２０２）。この決定に基づいて、コンピュータ機器は、第１のビットストリームからサブビットストリームを抽出することができる。上述したように、図５Ａは例である。他の例としては、より多数の、より少数の、又は異なるアクションがあり得る。例えば、本開示の幾つかの例は、アクション２０２を除外する。
[0197]図５Ｂは、本開示の１つ又は複数の技法による、コンピュータ機器の例示的な動作を示すフローチャートである。図５Ｂの例において、コンピュータ機器（発信源機器１２や媒介機器１９など）は、抽出動作を適応的に選ぶことができる（２５０）。コンピュータ機器は、様々な要因に基づいて抽出動作を選んでよい。例えば、コンピュータ機器は、抽出動作から得られるサブビットストリームが、エンドユーザによって使われることを意図されるか、又は意図されないかどうか、若しくはサブビットストリームから更なるサブビットストリームを抽出させるかどうかに基づいて抽出動作を選ぶ場合がある。例えば、サブビットストリーム抽出を実施する機器と、クライアント機器との間のネットワーク経路が比較的短く、及び／又はサブビットストリーム抽出を実施することができる後続機器が、クライアント機器までのネットワーク経路沿いに存在しない場合、機器は、「最適サイズ」抽出モードを選択してよい。一方、抽出機器とクライアント機器との間のネットワーク経路が比較的長く、及び／又はサブビットストリーム抽出を実施することができる１つ又は複数の機器が経路沿いにある場合、抽出機器は「完全抽出可能」モードを選択してよい。
[0198]幾つかの例では、抽出機器はＣＤＮの一部である。ＣＤＮは、多数の顧客（例えば、数十万の顧客）にサービスすることができる。ＣＤＮ中の「アップフロント」機器は、完全抽出可能抽出モードを好むように、又は単にビットストリーム抽出を完全に避けるようにさえも構成され得る。但し、クライアント機器の前の「最終」ＭＡＮＥは、どのようなサブビットストリームが各クライアント機器によって（例えば、それぞれのクライアント機器の復号及びレンダリング能力を決定するクライアントソフトウェアをインストール済みのクライアント機器により）必要とされるかを正確に決定することが可能な場合があり、従って、最終ＭＡＮＥは、サイズ最適抽出モードを「好み」得る。つまり、ネットワーク送信におけるラストマイルが通常、最大のボトルネックであるので、「ラストマイル」に近い「最適サイズ」抽出の選択が好まれ得る。
[0199]更に、図５Ｂの例において、コンピュータ機器は、選ばれた抽出動作を使って、第１のビットストリームを第２のビットストリームから抽出することができる（２５２）。例えば、選ばれた抽出動作に依存して、コンピュータ機器は、ソースビットストリームから完全抽出可能ビットストリームを、又はソースビットストリームからサイズ最適化ビットストリームを抽出することができる。幾つかの例では、コンピュータ機器は第２のビットストリームを生成する。他の例では、コンピュータ機器は、発信源機器１２など、別のコンピュータ機器から第２のビットストリームを受信する。
[0200]コンピュータ機器は、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含むＳＥＩメッセージを生成することができる（２５４）。言い換えると、ＳＥＩメッセージは、選ばれた抽出モードの指示を含む。例えば、抽出モードが第１の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含む。この例では、抽出モードが第２の抽出モードである場合、第１のビットストリームは、目標出力レイヤセットの正しい復号のために必要とされない１つ又は複数のコード化ピクチャを含まない。抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、第１のビットストリームは、第１のビットストリーム用の目標出力レイヤセット中のピクチャを復号し出力するための十分なＮＡＬ単位を含む。幾つかの例では、ＳＥＩメッセージは、上の表７に示されるシンタックスに適合し、その指示が、ｃｏｎｆｏｒｍａｎｃｅ＿ｉｎｄｉｃａｔｉｏｎシンタックス要素である。更に、図５Ｂの例において、コンピュータ機器は、ＳＥＩメッセージを第１のビットストリーム中に含める（２５６）。
[0201]上述したように、図５Ｂは例である。他の例としては、より多数の、より少数の、又は異なるアクションがあり得る。例えば、本開示の幾つかの例は、アクション２５０及び／又は２５２を除外する。
[0202]以下の段落は、本開示による様々な実施例を与える。
[0203]実施例１． ビデオデータを処理するための方法であって、ビットストリーム中のデータに基づいて、指示を取得することと、ここにおいて、ビットストリームはビデオデータの符号化表現を備える、指示に少なくとも部分的に基づいて、ビットストリームからサブビットストリームが抽出され得るかどうか決定することとを備える方法。
[0204]実施例２． 指示が第１の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは、ビットストリームからサブビットストリームを抽出させるビットストリーム抽出プロセスを用いて親ビットストリームから抽出されており、指示が第２の、異なる値を有するとき、ビットストリームは親ビットストリームから抽出されており、サブビットストリームはビットストリームから抽出されなくてよい、実施例１に記載の方法。
[0205]実施例３． 指示が第１の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは完全抽出可能ビットストリームであり、指示が第２の、異なる値を有するとき、ビットストリームは、最適抽出ビットストリームである、実施例１に記載の方法。
[0206]実施例４． ビデオデータを処理するための方法であって、ビットストリームからサブビットストリームが抽出され得るかどうかの指示を与えるデータを含むビットストリームを生成することを備える方法。
[0207]実施例５． 指示が第１の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは、ビットストリームからサブビットストリームを抽出させるビットストリーム抽出プロセスを用いて親ビットストリームから抽出されており、指示が第２の、異なる値を有するとき、ビットストリームは親ビットストリームから抽出されており、サブビットストリームはビットストリームから抽出されなくてよい、実施例４に記載の方法。
[0208]実施例６． 指示が第１の値を有するとき、ビットストリームは、ビットストリーム抽出プロセスを受けていないか、又はビットストリームは完全抽出可能ビットストリームであり、指示が第２の、異なる値を有するとき、ビットストリームは、最適抽出ビットストリームである、実施例４に記載の方法。
[0209]実施例７． ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリームから、出力レイヤセットについての幾つかの適合レベルの指示を取得することと、出力レイヤセットについての適合レベルの各々について、ビットストリームから、適合レベル指示を取得することとを備える方法。
[0210]実施例８． ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリーム中に、出力レイヤセットについての幾つかの適合レベルの指示を含めることと、出力レイヤセットについての適合レベルの各々について、ビットストリーム中に、適合レベル指示を含めることとを備える方法。
[0211]実施例９． ビデオデータを処理する方法であって、ビデオデータの符号化表現を含むビットストリーム中の仮想参照デコーダ（ＨＲＤ）パラメータのセット中に、出力レイヤセットの適合レベルの指示を含めることを備える方法。
[0212]実施例１０． ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームから、ビットストリームを生じるのに使われた抽出モードの指示を含むＳＥＩメッセージを取得することを備え、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0213]実施例１１． ＳＥＩメッセージは、ビットストリームを生成するのに使われた目標出力レイヤセットを示すデータを含む、実施例１０に記載の方法。
[0214]実施例１２． ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリーム中に、ビットストリームを生じるのに使われた抽出モードの指示を含むＳＥＩメッセージを含めることを備え、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0215]実施例１３． ＳＥＩメッセージは、ビットストリームを生成するのに使われた目標出力レイヤセットを示すデータを含む、実施例１２に記載の方法。
[0216]実施例１４． ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームから、プロファイルと、ティアと、レベル情報とを含むシンタックス構造メッセージを取得することを備え、シンタックス構造は、ビットストリームを生じるのに使われた抽出モードの指示を更に含み、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0217]実施例１５． ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリーム中に、プロファイルと、ティアと、レベル情報とを含むシンタックス構造メッセージを含めることを備え、シンタックス構造は、ビットストリームを生じるのに使われた抽出モードの指示を更に含み、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0218]実施例１６． ビデオデータを処理する方法であって、ビデオデータのコード化表現を含むビットストリームを含む、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマットファイル中のメタデータから、ビットストリームを生じるのに使われた抽出モードの指示を取得することを備え、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0219]実施例１７． メタデータはサンプル記述中にある、実施例１６に記載の方法。
[0220]実施例１８． ビデオデータを処理する方法であって、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマットファイル中に、ビデオデータのコード化表現を含むビットストリームを含むメタデータを含めることを備え、メタデータは、ビットストリームを生じるのに使われた抽出モードの指示を含み、ここにおいて、ビットストリームが、第１の抽出モードを使って生じた場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、ビットストリームが、第２の、異なる抽出モードを使って生じた場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0221]実施例１９． メタデータはサンプル記述中にある、実施例１８に記載の方法。
[0222]実施例２０． ビデオデータを処理する方法であって、親ビットストリームから第１のサブビットストリームを抽出する第１のビットストリーム抽出プロセスを実施することを備え、ここにおいて、ビットストリーム抽出プロセスは、目標出力レイヤセットと、目標時間識別子と、第３のパラメータとを入力としてとり、ここにおいて、第３のパラメータは、出力レイヤセットへのインデックス及びビットストリーム抽出モードインジケータ、目標出力レイヤ識別済みリスト及びビットストリーム抽出モードインジケータ、又は目標レイヤ識別子リストであることを許可され、ここにおいて、第１のビットストリーム抽出プロセスを実施することは、目標出力レイヤセットと目標時間識別子とを入力としてとる第２のビットストリーム抽出プロセスを呼び出すことを備える、方法。
[0223]実施例２１． 第２のビットストリーム抽出プロセスは、ビットストリーム抽出モードインジケータを入力として更にとる、実施例２１に記載の方法。
[0224]実施例２２． ビデオデータを処理する方法であって、ファイル中のボックス又は記述子中のデータに少なくとも部分的に基づいて、抽出レベル指示を決定することを備え、ここにおいて、ボックス又は記述子は、少なくとも１つの出力レイヤセットで表される動作点を記述し、ここにおいて、抽出レベル指示が第１の値を有する場合、適合サブビットストリームがビットストリームから抽出可能であり、及びここにおいて、抽出レベル指示が第２の、異なる値を有する場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0225]実施例２３． ファイルは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット又はＭＰＥＧ−２ ＴＳファイルフォーマットに適合する、実施例２２に記載の方法。
[0226]実施例２４． ビデオデータを処理する方法であって、ファイル中のボックス又は記述子中に、抽出レベル指示を示すデータを含めることを備え、ここにおいて、ボックス又は記述子は、少なくとも１つの出力レイヤセットで表される動作点を記述し、ここにおいて、抽出レベル指示が第１の値を有する場合、適合サブビットストリームはビットストリームから抽出可能であり、及びここにおいて、抽出レベル指示が第２の、異なる値を有する場合、どの適合サブビットストリームもビットストリームから抽出可能でない、方法。
[0227]本明細書で開示された実施形態に関して記載された様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップについて、上記では概してそれらの機能性に関して説明した。そのような機能性をハードウェアとして実装するか、ソフトウェアとして実装するかは、特定の適用例及び全体的なシステムに課される設計制約に依存する。当業者は、説明した機能性を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。
[0228]１つ又は複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信機器ハンドセット、又はワイヤレス通信機器ハンドセット及び他の機器における適用例を含む複数の用途を有する集積回路機器などの、様々な機器のいずれかにおいて実装され得る。モジュール又は構成要素として記載された任意の特徴は、集積論理機器内で一緒に、又は個別であるが相互運用可能な論理機器として別々に実装され得る。ソフトウェアで実装される場合、機能は１つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、若しくはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。ソフトウェアに実装された場合、本技法は、実行されると、上記で説明された方法のうちの１つ又は複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、又は、例えば、通信プロトコルに従う、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、又は（２）信号若しくは搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示で説明した技法の実施のために命令、コード、及び／又はデータ構造を取り出すため、に１つ以上のコンピュータ又は１つ以上のプロセッサによってアクセスされ得る任意の使用可能な媒体とされ得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。従って、コンピュータプログラム製品は、コンピュータ可読媒体を含む場合がある。
[0229]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ、ＦＬＡＳＨメモリ、又は他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気ストレージ機器、フラッシュメモリ、又は、命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備え得る。また、任意の接続が、コンピュータ可読媒体と適切に呼ばれる。本技法は、追加又は代替として、伝搬信号又は電波などの、命令又はデータ構造の形態でプログラムコードを搬送又は伝達し、コンピュータによってアクセスされ、読み取られ、及び／又は実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。例えば、命令が、ウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して送信される場合に、同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲の中に含まれるべきである。
[0230]命令は、１つ又は複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の同等の集積された論理回路若しくは個別の論理回路などの、１つ以上のプロセッサによって実行され得る。従って、「プロセッサ」という用語は、本明細書で使用するように、前述の構造のいずれか、又は本明細書で説明された技法の実装に適した任意の他の構造を指し得る。そのようなプロセッサは、本開示に記載された技法のいずれかを実施するように構成され得る。加えて、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成されるか、又は複合コーデックに組み込まれる、専用のハードウェアモジュール及び／又はソフトウェアモジュール内で提供され得る。また、本技法は、１つ又は複数の回路又は論理要素で十分に実装され得る。
[0231]汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロプロセッサ、又は状態機械であり得る。プロセッサはまた、コンピュータ機器の組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、又は任意の他のそのような構成としても実装され得る。従って、本明細書で使用する「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、又は本明細書に記載された技法の実装に適した任意の他の構造若しくは装置のいずれかを指し得る。更に、幾つかの態様では、本明細書に記載された機能は、符号化及び復号のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内に提供され得るか、又は複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。
[0232]本明細書で説明したコード化技法は、例示的なビデオ符号化及び復号システムにおける実施形態であり得る。システムは、宛先機器によって後で復号されるべき符号化ビデオデータを与える発信源機器を含む。特に、発信源機器は、コンピュータ可読媒体を介してビデオデータを宛先機器に与える。発信源機器及び宛先機器は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器及び宛先機器はワイヤレス通信のために装備され得る。
[0233]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明したように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、又は上記で説明した１つ又は複数のプロセッサを含む、適切なソフトウェア及び／又はファームウェアとともに相互動作可能なハードウェアユニットの集合によって提供され得る。
[0234]宛先機器は、コンピュータ可読媒体を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体は、発信源機器から宛先機器に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体は、発信源機器が符号化ビデオデータを宛先機器にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器に送信され得る。通信媒体は、無線周波（ＲＦ）スペクトル又は１つ又は複数の物理伝送線路など、任意のワイヤレス通信媒体又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースネットワーク、又はインターネットなどのグローバルネットワークの一部を形成し得る。通信媒体は、発信源機器から宛先機器への通信を可能にするために有用であり得る、ルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
[0235]幾つかの例では、符号化データは、出力インターフェースから記憶機器に出力され得る。同様に、符号化データは、入力インターフェースによって記憶機器からアクセスされ得る。記憶機器は、ハードドライブ、Ｂｌｕ−ｒａｙディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、若しくは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶機器は、発信源機器によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶機器に対応し得る。宛先機器は、ストリーミング又はダウンロードを介して記憶機器から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）機器、又はローカルディスクドライブがある。宛先機器は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又はその両方の組合せを含み得る。記憶機器からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
[0236]本開示の技法は、ワイヤレス応用又はワイヤレス設定に必ずしも制限されない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ：dynamic adaptive streaming over HTTP）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、又は他の応用例など、様々なマルチメディア応用のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0237]一例では、発信源機器は、ビデオ発信源と、ビデオエンコーダと、出力インターフェースとを含む。宛先機器は、入力インターフェースと、ビデオデコーダと、表示装置とを含み得る。発信源機器のビデオエンコーダは、本明細書で開示する技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は、他の構成要素又は配置を含むことができる。例えば、発信源機器は、外部カメラなどの外部ビデオ発信源からビデオデータを受信し得る。同様に、宛先機器は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。上記の例示的なシステム一例にすぎない。ビデオデータを並列に処理するための技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実施され得る。概して、本開示の技法は、ビデオ符号化機器によって実施されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実施され得る。その上、本開示の技法はビデオプリプロセッサによっても実施され得る。発信源機器及び宛先機器は、発信源機器が宛先機器に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、発信源機器及び宛先機器は、機器の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。従って、例示的なシステムは、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、又はビデオテレフォニーのための、ビデオ機器間の一方向又は双方向のビデオ送信をサポートし得る。
[0238]ビデオ発信源は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源は、ソースビデオとしてのコンピュータラフィックスベースのデータ、又はライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオ発信源がビデオカメラである場合、発信源機器及び宛先機器は、所謂カメラフォン又はビデオフォンを形成し得る。但し、上述のように、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び／又は有線適用例に適用され得る。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオエンコーダによって符号化され得る。符号化されたビデオ情報は、次いで、出力インターフェースによってコンピュータ可読媒体上に出力され得る。
[0239]述べたように、コンピュータ可読媒体は、ワイヤレスブロードキャスト又は有線ネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ−ｒａｙディスク、若しくは他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、発信源機器から符号化ビデオデータを受信し、その符号化ビデオデータを宛先機器に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピュータ機器は、発信源機器から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。従って、コンピュータ可読媒体は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むものと理解され得る。
[0240]宛先機器の入力インターフェースはコンピュータ可読媒体から情報を受信する。コンピュータ可読媒体の情報は、ビデオエンコーダによって定義され、ビデオデコーダによっても使用される、ブロック及び他のコード化されたユニット、例えば、ピクチャグループ（ＧＯＰ）の特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。本発明の様々な実施形態について説明した。
[0241]様々な例が、説明された。これら及び他の例は、以下の特許請求の範囲に含まれる。
[0241]様々な例が、説明された。これら及び他の例は、以下の特許請求の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータを処理する方法であって、前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するために使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することを備え、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、方法。
［２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［１］に記載の方法。
［３］ 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、［１］に記載の方法。
［４］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームのそれぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を、前記目標出力レイヤセット向けに有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１］に記載の方法。
［５］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［４］に記載の方法。
［６］ 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記第１のビットストリームから前記完全抽出可能サブビットストリームが抽出され得ると決定することを更に備え、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、［４］に記載の方法。
［７］ 前記ＳＥＩメッセージは、前記目標出力レイヤセットを示すデータを備える、［１］に記載の方法。
［８］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１］に記載の方法。
［９］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１］に記載の方法。
［１０］ 前記抽出モードの前記指示に基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定することと、前記決定することに基づいて、前記第１のビットストリームから前記サブビットストリームを抽出することとを更に備える、［１］に記載の方法。
［１１］ ビデオデータを処理する方法であって、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成することと、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、前記ＳＥＩメッセージを前記第１のビットストリーム中に含めることとを備える方法。
［１２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［１１］に記載の方法。
［１３］ 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、［１１］に記載の方法。
［１４］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及びｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属するレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１１］に記載の方法。
［１５］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１４］に記載の方法。
［１６］ 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記完全抽出可能サブビットストリームは、前記第１のビットストリームから抽出されてよく、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、［１４］に記載の方法。
［１７］ 前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めることを備える、［１１］に記載の方法。
［１８］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１１］に記載の方法。
［１９］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１１］に記載の方法。
［２０］ 前記抽出モードを適応的に選ぶことと、選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出することとを更に備える、［１１］に記載の方法。
［２１］ ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得するように構成された１つ以上のプロセッサとを備え、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、機器。
［２２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤ識別子リスト中のレイヤの正しい復号に必要とされないコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［２１］に記載の機器。
［２３］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２１］に記載の機器。
［２４］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２３］に記載の機器。
［２５］ 前記１つ以上のプロセッサは、前記抽出モードに基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定し、前記決定に基づいて、前記第１のビットストリームから前記サブビットストリームを抽出するように構成される、［２３］に記載の機器。
［２６］ ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、１つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成し、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、前記ＳＥＩメッセージを前記第１のビットストリーム中に含めるように構成される、機器。
［２７］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２６］に記載の機器。
［２８］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２７］に記載の機器。
［２９］ 前記１つ以上のプロセッサは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めるように構成される、［２６］に記載の機器。
［３０］ 前記１つ以上のプロセッサは、前記抽出モードを適応的に選び、選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出するように構成される、［２６］に記載の機器。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ ビデオデータを処理する方法であって、前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するために使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することを備え、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、方法。
［２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［１］に記載の方法。
［３］ 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、［１］に記載の方法。
［４］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームのそれぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を、前記目標出力レイヤセット向けに有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１］に記載の方法。
［５］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［４］に記載の方法。
［６］ 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記第１のビットストリームから前記完全抽出可能サブビットストリームが抽出され得ると決定することを更に備え、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、［４］に記載の方法。
［７］ 前記ＳＥＩメッセージは、前記目標出力レイヤセットを示すデータを備える、［１］に記載の方法。
［８］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１］に記載の方法。
［９］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１］に記載の方法。
［１０］ 前記抽出モードの前記指示に基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定することと、前記決定することに基づいて、前記第１のビットストリームから前記サブビットストリームを抽出することとを更に備える、［１］に記載の方法。
［１１］ ビデオデータを処理する方法であって、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成することと、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、前記ＳＥＩメッセージを前記第１のビットストリーム中に含めることとを備える方法。
［１２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［１１］に記載の方法。
［１３］ 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、［１１］に記載の方法。
［１４］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及びｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属するレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１１］に記載の方法。
［１５］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［１４］に記載の方法。
［１６］ 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記完全抽出可能サブビットストリームは、前記第１のビットストリームから抽出されてよく、前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、［１４］に記載の方法。
［１７］ 前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めることを備える、［１１］に記載の方法。
［１８］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１１］に記載の方法。
［１９］ 前記抽出モードの前記指示は適合レベルを示し、０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、［１１］に記載の方法。
［２０］ 前記抽出モードを適応的に選ぶことと、選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出することとを更に備える、［１１］に記載の方法。
［２１］ ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得するように構成された１つ以上のプロセッサとを備え、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、機器。
［２２］ 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤ識別子リスト中のレイヤの正しい復号に必要とされないコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、［２１］に記載の機器。
［２３］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２１］に記載の機器。
［２４］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２３］に記載の機器。
［２５］ 前記１つ以上のプロセッサは、前記抽出モードに基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定し、前記決定に基づいて、前記第１のビットストリームから前記サブビットストリームを抽出するように構成される、［２３］に記載の機器。
［２６］ ビデオデータを処理するための機器であって、前記ビデオデータを記憶するメモリと、１つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成し、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、前記ＳＥＩメッセージを前記第１のビットストリーム中に含めるように構成される、機器。
［２７］ 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する、及び ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２６］に記載の機器。
［２８］ 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、［２７］に記載の機器。
［２９］ 前記１つ以上のプロセッサは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めるように構成される、［２６］に記載の機器。
［３０］ 前記１つ以上のプロセッサは、前記抽出モードを適応的に選び、選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出するように構成される、［２６］に記載の機器。
Claims (30)
- ビデオデータを処理する方法であって、
前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するために使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得することを備え、ここにおいて、
前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、
前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、
前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、方法。 - 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、目標出力レイヤセット中に含まれる値の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、前記第２のビットストリームのＮＡＬ単位を除外し、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、請求項１に記載の方法。 - 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、請求項１に記載の方法。
- 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームのそれぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を、前記目標出力レイヤセット向けに有する、及び
ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項１に記載の方法。 - 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、
ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項４に記載の方法。 - 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記第１のビットストリームから前記完全抽出可能サブビットストリームが抽出され得ると決定することを更に備え、
前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、請求項４に記載の方法。 - 前記ＳＥＩメッセージは、前記目標出力レイヤセットを示すデータを備える、請求項１に記載の方法。
- 前記抽出モードの前記指示は適合レベルを示し、
０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、
前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、
前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
１に等しい前記適合レベルは、
前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、
前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、請求項１に記載の方法。 - 前記抽出モードの前記指示は適合レベルを示し、
０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、
前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、
前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、請求項１に記載の方法。 - 前記抽出モードの前記指示に基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定することと、
前記決定することに基づいて、前記第１のビットストリームから前記サブビットストリームを抽出することとを更に備える、請求項１に記載の方法。 - ビデオデータを処理する方法であって、
第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成することと、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、
前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、
前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、
前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、
前記ＳＥＩメッセージを前記第１のビットストリーム中に含めることとを備える方法。 - 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセット中のレイヤの正しい復号に必要とされないいずれかのコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、請求項１１に記載の方法。 - 前記第１の抽出モードは自己完全性を目標とし、前記第２の抽出モードはサイズ最適化を目標とする、請求項１１に記載の方法。
- 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及び
ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属するレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項１１に記載の方法。 - 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、
ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項１４に記載の方法。 - 完全抽出可能サブビットストリーム向けの目標出力レイヤセットが前記第１のビットストリーム向けの前記目標出力レイヤセットを超えない限り、前記完全抽出可能サブビットストリームは、前記第１のビットストリームから抽出されてよく、
前記完全抽出可能サブビットストリームは、前記完全抽出可能サブビットストリーム向けの前記目標出力レイヤセット内のピクチャを復号するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含む、請求項１４に記載の方法。 - 前記ＳＥＩメッセージを生成することは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めることを備える、請求項１１に記載の方法。
- 前記抽出モードの前記指示は適合レベルを示し、
０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、
前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、
前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
１に等しい前記適合レベルは、
前記目標出力レイヤセット中の各レイヤの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子に等しく、前記第１のビットストリームの各アクセス単位が、前記目標出力レイヤセット中の各レイヤからの１つのピクチャを含み、
前記目標出力レイヤセット中にない前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、請求項１１に記載の方法。 - 前記抽出モードの前記指示は適合レベルを示し、
０に等しい前記適合レベルは、現在のレイヤセット中の各レイヤの最も高い時間識別子が前記現在のレイヤセットの最大時間識別子に等しいことと、前記第１のビットストリームの各アクセス単位が、前記現在のレイヤセット中の各レイヤからの１つのピクチャを含むこととを示し、
前記現在のレイヤセットは、前記第１のビットストリーム向けに存在するレイヤのセットであり、
前記現在のレイヤセットの前記最大時間識別子は、前記現在のレイヤセットにあるレイヤ中のピクチャの、最も大きい時間識別子であり、
１に等しい前記適合レベルは、前記現在のレイヤセット中の各それぞれのレイヤについて、前記それぞれのレイヤ中のピクチャの最も高い時間識別子が、前記現在のレイヤセットの前記最大時間識別子である場合、前記現在のレイヤセットの前記最大時間識別子よりも小さいか、又は等しい時間識別子をもつ各アクセス単位が、前記それぞれのレイヤ中にピクチャを含むことを示す、請求項１１に記載の方法。 - 前記抽出モードを適応的に選ぶことと、
選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出することとを更に備える、請求項１１に記載の方法。 - ビデオデータを処理するための機器であって、
前記ビデオデータを記憶するメモリと、
前記ビデオデータのコード化表現を含む第１のビットストリームから、前記第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを取得するように構成された１つ以上のプロセッサとを備え、ここにおいて、
前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、
前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、
前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、機器。 - 前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、目標時間識別子よりも大きい時間識別子を有するとともに、前記目標出力レイヤセット向けの目標出力レイヤ識別子リストに含まれる値の中にないレイヤ識別子を有する、前記第２のビットストリームのＮＡＬ単位を除外し、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤ識別子リスト中のレイヤの正しい復号に必要とされないコード化ピクチャに対応する、前記第２のビットストリームのＮＡＬ単位を更に除外する、請求項２１に記載の機器。 - 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有する、及び
ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項２１に記載の機器。 - 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有し、
ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項２３に記載の機器。 - 前記１つ以上のプロセッサは、
前記抽出モードに基づいて、前記第１のビットストリームからサブビットストリームを抽出するかどうか決定し、
前記決定に基づいて、前記第１のビットストリームから前記サブビットストリームを抽出するように構成される、請求項２３に記載の機器。 - ビデオデータを処理するための機器であって、
前記ビデオデータを記憶するメモリと、
１つ以上のプロセッサとを備え、前記１つ以上のプロセッサは、
第１のビットストリームを第２のビットストリームから抽出するのに使われた抽出モードの指示を含む補足拡張情報（ＳＥＩ）メッセージを生成し、前記第１のビットストリームは前記ビデオデータのコード化表現を含む、ここにおいて、
前記第１のビットストリームは、前記抽出モードに従って前記第２のビットストリームから抽出されたサブビットストリームであり、
前記抽出モードが第１の抽出モードであるか第２の抽出モードであるかにかかわらず、前記第１のビットストリームは、前記第１のビットストリーム向けの目標出力レイヤセット中のピクチャを復号し出力するための十分なネットワーク抽象化レイヤ（ＮＡＬ）単位を含み、
前記抽出モードが前記第１の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない１つ以上のコード化ピクチャを含み、
前記抽出モードが前記第２の抽出モードである場合、前記第１のビットストリームは、前記目標出力レイヤセットの正しい復号のために必要とされない前記１つ以上のコード化ピクチャを含まない、
前記ＳＥＩメッセージを前記第１のビットストリーム中に含めるように構成される、機器。 - 前記抽出モードが前記第２の抽出モードである場合、前記第２のビットストリームの各それぞれのＮＡＬ単位について、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、前記第１のビットストリームを生じるのに使われた前記目標出力レイヤセットについての目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を有する、及び
ｉｉ）前記それぞれのＮＡＬ単位の時間識別子が、前記それぞれのＮＡＬ単位が属すレイヤのピクチャによって使われるレイヤ間参照ピクチャの最大時間識別子よりも大きい、という基準の両方が前記それぞれのＮＡＬ単位について満足される場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項２６に記載の機器。 - 前記抽出モードが前記第２の抽出モードである場合、前記それぞれのＮＡＬ単位は、
ｉ）前記それぞれのＮＡＬ単位が、目標出力レイヤ識別子のリスト中のレイヤ識別子の中にないレイヤ識別子を前記目標出力レイヤセット向けに有し、
ｉｉ）前記それぞれのＮＡＬ単位のフラグが、前記それぞれのＮＡＬ単位に対応するコード化ピクチャが、復号順序で後続のピクチャの復号プロセスにおいて参照ピクチャとして使われないと指定する場合、前記それぞれのＮＡＬ単位が前記第１のビットストリーム中にないように、前記第２のビットストリームから削除される、請求項２７に記載の機器。 - 前記１つ以上のプロセッサは、前記ＳＥＩメッセージ中に、前記目標出力レイヤセットを示すデータを含めるように構成される、請求項２６に記載の機器。
- 前記１つ以上のプロセッサは、
前記抽出モードを適応的に選び、
選ばれた前記抽出モードを使って、前記第１のビットストリームを前記第２のビットストリームから抽出するように構成される、請求項２６に記載の機器。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361891317P | 2013-10-15 | 2013-10-15 | |
| US61/891,317 | 2013-10-15 | ||
| US201461923624P | 2014-01-03 | 2014-01-03 | |
| US61/923,624 | 2014-01-03 | ||
| US14/514,300 | 2014-10-14 | ||
| US14/514,300 US10284858B2 (en) | 2013-10-15 | 2014-10-14 | Support of multi-mode extraction for multi-layer video codecs |
| PCT/US2014/060617 WO2015057787A1 (en) | 2013-10-15 | 2014-10-15 | Support of multi-mode extraction for multi-layer video codecs |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016539544A true JP2016539544A (ja) | 2016-12-15 |
| JP2016539544A5 JP2016539544A5 (ja) | 2017-11-02 |
| JP6700176B2 JP6700176B2 (ja) | 2020-05-27 |
Family
ID=52809627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016522812A Active JP6700176B2 (ja) | 2013-10-15 | 2014-10-15 | マルチレイヤビデオコーデックのためのマルチモード抽出のサポート |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10284858B2 (ja) |
| EP (1) | EP3058743B1 (ja) |
| JP (1) | JP6700176B2 (ja) |
| KR (1) | KR102054040B1 (ja) |
| CN (1) | CN105612752B (ja) |
| BR (1) | BR112016008374B1 (ja) |
| MX (1) | MX364544B (ja) |
| WO (1) | WO2015057787A1 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9374585B2 (en) * | 2012-12-19 | 2016-06-21 | Qualcomm Incorporated | Low-delay buffering model in video coding |
| US10595031B2 (en) * | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
| US9402083B2 (en) * | 2014-04-24 | 2016-07-26 | Vidyo, Inc. | Signaling conformance points using profile space |
| US9699480B2 (en) * | 2014-06-13 | 2017-07-04 | Sharp Laboratories Of America, Inc. | Level limits |
| KR101895176B1 (ko) * | 2014-06-18 | 2018-09-04 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 독립 랜덤 액세스 포인트 화상 |
| JP2017522767A (ja) * | 2014-06-18 | 2017-08-10 | テレフオンアクチーボラゲット エルエム エリクソン（パブル） | ビデオビットストリームにおけるランダムアクセス |
| US9832463B2 (en) * | 2014-06-18 | 2017-11-28 | Telefonaktiebolaget L M Ericsson (Publ) | Robust encoding and decoding of pictures in video |
| US9979983B2 (en) * | 2015-03-16 | 2018-05-22 | Microsoft Technology Licensing, Llc | Application- or context-guided video decoding performance enhancements |
| US10129566B2 (en) | 2015-03-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Standard-guided video decoding performance enhancements |
| US10834153B2 (en) * | 2016-08-24 | 2020-11-10 | Qualcomm Incorporated | System level signaling of SEI tracks for media data streaming |
| US10764575B2 (en) * | 2017-03-03 | 2020-09-01 | Qualcomm Incorporated | Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested |
| US11284112B2 (en) * | 2018-12-06 | 2022-03-22 | Tencent America LLC | Method and apparatus for a primary transform using an 8-bit transform core |
| US11553210B2 (en) * | 2018-12-07 | 2023-01-10 | Interdigital Vc Holdings, Inc. | Managing coding tools combinations and restrictions |
| KR20220065867A (ko) * | 2019-09-24 | 2022-05-20 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 레이어에 대한 hrd 파라미터 |
| US11265567B2 (en) * | 2019-10-08 | 2022-03-01 | Tencent America LLC | Method for output layer set signaling in scalable video stream |
| AU2020406151A1 (en) * | 2019-12-20 | 2022-08-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video data stream, video encoder, apparatus and methods for HRD timing fixes, and further additions for scalable and mergeable bitstreams |
| WO2021134015A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Profile, tier and layer indication in video coding |
| EP4062634A4 (en) | 2019-12-26 | 2022-12-28 | ByteDance Inc. | LIMITATIONS ON SIGNALING HYPOTHETICAL REFERENCE DECODER PARAMETERS IN VIDEO BITSTREAMS |
| US11356681B2 (en) * | 2019-12-27 | 2022-06-07 | Tencent America LLC | Coded video sub-bitstream extraction |
| CN113055668B (zh) * | 2019-12-27 | 2023-06-02 | 腾讯美国有限责任公司 | 从已编码视频比特流中提取子比特流的方法和设备 |
| CN114902567A (zh) | 2019-12-27 | 2022-08-12 | 字节跳动有限公司 | 视频编解码中的子图像信令 |
| EP4074052A4 (en) | 2020-01-09 | 2023-05-31 | ByteDance Inc. | PROCESSING OF FILLER DATA UNITS IN VIDEO STREAMS |
| CN115398912A (zh) | 2020-02-29 | 2022-11-25 | 抖音视界有限公司 | 自适应参数集的语法元素的约束 |
| KR20220155292A (ko) | 2020-03-17 | 2022-11-22 | 바이트댄스 아이엔씨 | 비디오 코딩에서 설정한 비디오 파라미터 세트의 사용 |
| US11297350B1 (en) * | 2020-03-27 | 2022-04-05 | Tencent America LLC | Method for output layer set for multilayered video stream |
| KR20230008795A (ko) * | 2020-05-04 | 2023-01-16 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
| CR20230153A (es) | 2020-05-22 | 2023-05-16 | Ge Video Compression Llc | Codificador de video, decodificador de video, métodos para codificar y decodificar y flujo de datos de video para realizar conceptos avanzados de codificación de video (divisional exp. n°2022-0589) |
| US11431998B2 (en) * | 2020-05-22 | 2022-08-30 | Tencent America LLC | Systems and methods for decoding based on inferred video parameter sets |
| CN115804092A (zh) | 2020-05-22 | 2023-03-14 | 抖音视界有限公司 | 通用约束标志的信令 |
| KR20230025429A (ko) * | 2020-06-06 | 2023-02-21 | 엘지전자 주식회사 | 스케일러빌리티를 위한 서브-비트스트림 추출 기반 영상 코딩 장치 및 방법 |
| WO2021252471A1 (en) * | 2020-06-09 | 2021-12-16 | Bytedance Inc. | Handling of supplemental enhancement information in subpicture sub-bitstream extraction process |
| US12041386B2 (en) | 2020-09-29 | 2024-07-16 | Lemon Inc. | Dependent random access point indication in video bitstreams |
| US11962808B2 (en) | 2021-04-18 | 2024-04-16 | Lemon Inc. | Video usability information in common media application format |
| KR20240004569A (ko) * | 2021-04-23 | 2024-01-11 | 엘지전자 주식회사 | 레이어 식별자 정보를 포함하는 sei 메시지 기반의영상 부호화/복호화 방법, 장치, 및 비트스트림을 전송하는 방법 |
| WO2023222521A1 (en) * | 2022-05-19 | 2023-11-23 | Interdigital Ce Patent Holdings, Sas | Sei adapted for multiple conformance points |
| CN114745600B (zh) * | 2022-06-10 | 2022-09-27 | 中国传媒大学 | 一种基于sei的视频标签标注方法及装置 |
Family Cites Families (68)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7860161B2 (en) * | 2003-12-15 | 2010-12-28 | Microsoft Corporation | Enhancement layer transcoding of fine-granular scalable video bitstreams |
| US7440626B2 (en) * | 2004-12-02 | 2008-10-21 | Mitsubishi Electric Research Laboratories, Inc. | Image transcoding |
| US7728877B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for synthesizing multiview videos |
| DE102005001287A1 (de) * | 2005-01-11 | 2006-07-20 | Siemens Ag | Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten |
| US7756206B2 (en) * | 2005-04-13 | 2010-07-13 | Nokia Corporation | FGS identification in scalable video coding |
| WO2006129184A1 (en) * | 2005-06-03 | 2006-12-07 | Nokia Corporation | Residual prediction mode in scalable video coding |
| CN101317460A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于有效的可伸缩流适配的系统和方法 |
| KR100772868B1 (ko) * | 2005-11-29 | 2007-11-02 | 삼성전자주식회사 | 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치 |
| KR100943914B1 (ko) * | 2006-01-12 | 2010-03-03 | 엘지전자 주식회사 | 다시점 비디오의 처리 방법 및 장치 |
| US7535383B2 (en) * | 2006-07-10 | 2009-05-19 | Sharp Laboratories Of America Inc. | Methods and systems for signaling multi-layer bitstream data |
| US20080037880A1 (en) * | 2006-08-11 | 2008-02-14 | Lcj Enterprises Llc | Scalable, progressive image compression and archiving system over a low bit rate internet protocol network |
| US8170094B2 (en) * | 2006-11-30 | 2012-05-01 | Motorola Mobility, Inc. | Method and system for scalable bitstream extraction |
| WO2008085876A2 (en) * | 2007-01-04 | 2008-07-17 | Thomson Licensing | Method and apparatus for video error concealment using high level syntax reference views in multi-view coded video |
| KR101100413B1 (ko) * | 2007-01-08 | 2011-12-30 | 노키아 코포레이션 | 트랜스코딩된 미디어 스트림들을 위해 상호운용성 포인트의 미리결정된 시그널링을 제공하고 사용하기 위한 시스템 및 방법 |
| US20080317124A1 (en) * | 2007-06-25 | 2008-12-25 | Sukhee Cho | Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access |
| CN101690229A (zh) * | 2007-06-26 | 2010-03-31 | 诺基亚公司 | 用于指示时间层切换点的系统和方法 |
| EP2086237B1 (en) * | 2008-02-04 | 2012-06-27 | Alcatel Lucent | Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions |
| US20100005185A1 (en) * | 2008-06-24 | 2010-01-07 | Zhengye Liu | Substream trading in a peer to peer live streaming system |
| CN101662677B (zh) * | 2008-08-29 | 2011-08-10 | 华为终端有限公司 | 码流转换系统及方法、码流识别单元和方案确定单元 |
| CN102150432A (zh) * | 2008-09-17 | 2011-08-10 | 夏普株式会社 | 可分级视频流解码装置以及可分级视频流生成装置 |
| AU2010238757A1 (en) * | 2009-04-24 | 2011-11-03 | Vidyo, Inc. | Systems, methods and computer readable media for instant multi-channel video content browsing in digital video distribution systems |
| US20120050475A1 (en) * | 2009-05-01 | 2012-03-01 | Dong Tian | Reference picture lists for 3dv |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| US8780999B2 (en) * | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
| AU2011296956A1 (en) * | 2010-09-03 | 2013-02-14 | Sony Corporation | Encoding device and encoding method, as well as decoding device and decoding method |
| EP2630799A4 (en) * | 2010-10-20 | 2014-07-02 | Nokia Corp | METHOD AND DEVICE FOR VIDEO CODING AND DECODING |
| US10034009B2 (en) * | 2011-01-14 | 2018-07-24 | Vidyo, Inc. | High layer syntax for temporal scalability |
| WO2012096981A1 (en) * | 2011-01-14 | 2012-07-19 | Vidyo, Inc. | Improved nal unit header |
| KR101744355B1 (ko) * | 2011-01-19 | 2017-06-08 | 삼성전자주식회사 | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 |
| CN102158733B (zh) | 2011-01-28 | 2015-08-19 | 华为技术有限公司 | 辅助视频补充信息承载方法、处理方法、装置与系统 |
| US20140169449A1 (en) * | 2011-07-05 | 2014-06-19 | Telefonaktiebolaget L M Ericsson (Publ) | Reference picture management for layered video |
| US10237565B2 (en) * | 2011-08-01 | 2019-03-19 | Qualcomm Incorporated | Coding parameter sets for various dimensions in video coding |
| US9591318B2 (en) * | 2011-09-16 | 2017-03-07 | Microsoft Technology Licensing, Llc | Multi-layer encoding and decoding |
| KR20130037194A (ko) * | 2011-10-05 | 2013-04-15 | 한국전자통신연구원 | 비디오 부호화/복호화 방법 및 그 장치 |
| US20130195201A1 (en) * | 2012-01-10 | 2013-08-01 | Vidyo, Inc. | Techniques for layered video encoding and decoding |
| KR101652928B1 (ko) * | 2012-01-31 | 2016-09-01 | 브이아이디 스케일, 인크. | 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링 |
| US20130222537A1 (en) * | 2012-02-29 | 2013-08-29 | Qualcomm Incorporated | Bitstream extraction in three-dimensional video |
| KR20130107861A (ko) * | 2012-03-23 | 2013-10-02 | 한국전자통신연구원 | 인터 레이어 인트라 예측 방법 및 장치 |
| EP2834970B1 (en) * | 2012-04-06 | 2017-07-05 | Vidyo, Inc. | Level signaling for layered video coding |
| US9277533B2 (en) * | 2012-05-17 | 2016-03-01 | Vid Scale, Inc. | Scalable video coding over simultaneous unicast/multicast LTE DL shared channel |
| EP2859724B1 (en) * | 2012-06-22 | 2019-09-04 | MediaTek Inc. | Method and apparatus of adaptive intra prediction for inter-layer coding |
| EP3758376A1 (en) * | 2012-06-28 | 2020-12-30 | Saturn Licensing LLC | Receiving device and corresponding method |
| AU2013285333A1 (en) * | 2012-07-02 | 2015-02-05 | Nokia Technologies Oy | Method and apparatus for video coding |
| KR101664758B1 (ko) * | 2012-09-21 | 2016-10-10 | 노키아 테크놀로지스 오와이 | 비디오 코딩 방법 및 장치 |
| EP3748969B1 (en) * | 2012-09-27 | 2024-01-03 | Dolby Laboratories Licensing Corporation | Inter-layer reference picture processing for coding standard scalability |
| US9479779B2 (en) | 2012-10-01 | 2016-10-25 | Qualcomm Incorporated | Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams |
| US9781413B2 (en) * | 2012-10-02 | 2017-10-03 | Qualcomm Incorporated | Signaling of layer identifiers for operation points |
| US9942545B2 (en) * | 2013-01-03 | 2018-04-10 | Texas Instruments Incorporated | Methods and apparatus for indicating picture buffer size for coded scalable video |
| US9351009B2 (en) * | 2013-04-05 | 2016-05-24 | Sharp Kabushiki Kaisha | Marking pictures for inter-layer prediction |
| US9532067B2 (en) * | 2013-04-05 | 2016-12-27 | Sharp Kabushiki Kaisha | Decoding of inter-layer reference picture set and reference picture list construction |
| KR20140122202A (ko) * | 2013-04-05 | 2014-10-17 | 삼성전자주식회사 | 계층 식별자 확장에 따른 비디오 스트림 부호화 방법 및 그 장치, 계층 식별자 확장에 따른 따른 비디오 스트림 복호화 방법 및 그 장치 |
| US9591321B2 (en) * | 2013-04-07 | 2017-03-07 | Dolby International Ab | Signaling change in output layer sets |
| CN105103563B (zh) * | 2013-04-08 | 2019-05-21 | 寰发股份有限公司 | 关于缩放列表数据信令的方法和装置 |
| US10595031B2 (en) * | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
| CN105379273B (zh) * | 2013-07-14 | 2019-03-15 | 夏普株式会社 | 对来自比特流的视频进行解码的方法和设备 |
| US10057588B2 (en) * | 2013-07-15 | 2018-08-21 | Kt Corporation | Scalable video signal encoding/decoding method and device |
| US9525883B2 (en) * | 2013-07-15 | 2016-12-20 | Qualcomm Incorporated | Cross-layer alignment of intra random access point pictures |
| CN105453564B (zh) * | 2013-07-30 | 2019-05-10 | 株式会社Kt | 支持多个层的图像编码和解码方法以及使用该方法的装置 |
| JP5789004B2 (ja) * | 2013-08-09 | 2015-10-07 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法 |
| US20160249056A1 (en) * | 2013-10-10 | 2016-08-25 | Sharp Kabushiki Kaisha | Image decoding device, image coding device, and coded data |
| US9819941B2 (en) | 2013-10-10 | 2017-11-14 | Qualcomm Incorporated | Signaling for sub-decoded picture buffer (sub-DPB) based DPB operations in video coding |
| US9648333B2 (en) * | 2013-10-11 | 2017-05-09 | Vid Scale, Inc. | High level syntax for HEVC extensions |
| US20160255353A1 (en) * | 2013-10-11 | 2016-09-01 | Sharp Kabushiki Kaisha | Highest temporal sub-layer list |
| KR101670208B1 (ko) * | 2013-10-11 | 2016-10-27 | 텔레폰악티에볼라겟엘엠에릭슨(펍) | 비디오 비트스트림을 트랜스코딩하기 위한 방법 및 어렌지먼트 |
| WO2015052943A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Kabushiki Kaisha | Signaling parameters in vps extension and dpb operation |
| US20150103924A1 (en) * | 2013-10-13 | 2015-04-16 | Sharp Laboratories Of America, Inc. | On operation of decoded picture buffer for interlayer pictures |
| WO2015056158A1 (en) * | 2013-10-14 | 2015-04-23 | Nokia Technologies Oy | Multi-layer hypothetical reference decoder |
| CN105684446B (zh) * | 2013-10-29 | 2020-01-07 | 株式会社Kt | 多层视频信号编码/解码方法和装置 |
-
2014
- 2014-10-14 US US14/514,300 patent/US10284858B2/en active Active
- 2014-10-15 MX MX2016004721A patent/MX364544B/es active IP Right Grant
- 2014-10-15 BR BR112016008374-1A patent/BR112016008374B1/pt active IP Right Grant
- 2014-10-15 KR KR1020167010853A patent/KR102054040B1/ko active IP Right Grant
- 2014-10-15 EP EP14790453.6A patent/EP3058743B1/en active Active
- 2014-10-15 CN CN201480055913.1A patent/CN105612752B/zh active Active
- 2014-10-15 JP JP2016522812A patent/JP6700176B2/ja active Active
- 2014-10-15 WO PCT/US2014/060617 patent/WO2015057787A1/en active Application Filing
Non-Patent Citations (4)
| Title |
|---|
| GERHARD TECH ET AL.: "MV-HEVC Draft Text 4", JCTVC_N0093 CHANGES TO SPECR3.DOC[ONLINE], JPN6019051818, 2 August 2013 (2013-08-02), pages 1 - 4, ISSN: 0004186259 * |
| YE-KUI WANG, YING CHEN: "MV-HEVC/SHVC HLS: On changing of the highest layer ID across AUs and multi-mode bitstream extraction", JCTVC-N0267, JPN6018031969, 15 July 2013 (2013-07-15), ISSN: 0003860039 * |
| YE-KUI WANG, YING CHEN: "MV-HEVC/SHVC HLS: On changing of the highest layer ID across AUs and multi-mode bitstream extraction", JCTVC-N0267[ONLINE], JPN6019013916, 16 July 2013 (2013-07-16), ISSN: 0004186257 * |
| 大久保 榮, 改訂三版Ｈ．２６４／ＡＶＣ教科書, vol. 第1版, JPN6018031970, 1 January 2009 (2009-01-01), ISSN: 0003860040 * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102054040B1 (ko) | 2019-12-09 |
| MX2016004721A (es) | 2016-07-26 |
| JP6700176B2 (ja) | 2020-05-27 |
| EP3058743B1 (en) | 2022-05-25 |
| MX364544B (es) | 2019-04-30 |
| BR112016008374A2 (ja) | 2017-08-01 |
| US20150103888A1 (en) | 2015-04-16 |
| US10284858B2 (en) | 2019-05-07 |
| WO2015057787A1 (en) | 2015-04-23 |
| KR20160070769A (ko) | 2016-06-20 |
| EP3058743A1 (en) | 2016-08-24 |
| CN105612752A (zh) | 2016-05-25 |
| BR112016008374B1 (pt) | 2023-05-09 |
| CN105612752B (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6700176B2 (ja) | マルチレイヤビデオコーデックのためのマルチモード抽出のサポート | |
| KR102384092B1 (ko) | 비디오 코딩에서 파티셔닝 방식들에 대한 가상 참조 디코더 파라미터들의 적합성을 테스트하기 위한 방법 및 디바이스 | |
| KR101751144B1 (ko) | 비디오 코딩에서의 파라미터 세트들 | |
| JP6013614B2 (ja) | 仮想参照デコーダパラメータシンタックス構造 | |
| KR101776448B1 (ko) | 비디오 코딩에 있어서의 비-네스팅된 ｓｅｉ 메시지들 | |
| JP6203852B2 (ja) | ビデオデータのためのファイルフォーマット | |
| KR102119296B1 (ko) | Hevc 멀티-계층 확장물들에서 비-hevc 기본 계층의 지원 | |
| JP6585096B2 (ja) | マルチレイヤビデオコーディング | |
| KR102257861B1 (ko) | 멀티-계층 비트스트림들에 대한 시퀀스 종료 nal 유닛 정보의 유도 | |
| JP2017079480A (ja) | Ｈｅｖｃおよび拡張のためのビデオパラメータセット | |
| TW201515440A (zh) | 多層內容脈絡中之影像塊及波前處理 | |
| KR20160031499A (ko) | 고효율 비디오 코딩 확장물들에서 타겟 출력 계층들의 선택 | |
| JP2014535218A (ja) | ビデオコーディング用の断片化されたパラメータセット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170919 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200430 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6700176 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |