JP2022524354A - ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 - Google Patents
ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022524354A JP2022524354A JP2021552967A JP2021552967A JP2022524354A JP 2022524354 A JP2022524354 A JP 2022524354A JP 2021552967 A JP2021552967 A JP 2021552967A JP 2021552967 A JP2021552967 A JP 2021552967A JP 2022524354 A JP2022524354 A JP 2022524354A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- group
- equal
- picture
- specifies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 230000011664 signaling Effects 0.000 title description 20
- 239000013598 vector Substances 0.000 description 40
- 238000013139 quantization Methods 0.000 description 37
- 238000006243 chemical reaction Methods 0.000 description 35
- 239000000523 sample Substances 0.000 description 34
- 238000012545 processing Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 28
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 27
- 239000011449 brick Substances 0.000 description 25
- 238000004891 communication Methods 0.000 description 22
- 230000006854 communication Effects 0.000 description 22
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 20
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 20
- 230000009466 transformation Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000015654 memory Effects 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000000844 transformation Methods 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000013074 reference sample Substances 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 description 6
- 238000005538 encapsulation Methods 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 4
- 235000019395 ammonium persulphate Nutrition 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000000261 appearance potential spectroscopy Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920000069 polyphenylene sulfide Polymers 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ビデオデータを復号する方法が開示される。方法は、ピクチャパラメータセットを受信することと、ピクチャパラメータセットから、第１のタイルグループに位置するタイルの第１のインデックスと第２のタイルグループに位置するタイルの第２のインデックスとの間の差を指定する第１のシンタックス要素をパースすることと、を含む。
Description
本開示は、ビデオ符号化に関し、より具体的には、符号化されたビデオのタイルグループ情報のための技術に関する。
デジタルビデオ機能は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに取り入れることができる。デジタルビデオは、ビデオ符号化規格に従って符号化することができる。ビデオ符号化規格は、符号化されたビデオデータをカプセル化する準拠ビットストリームのフォーマットを定義する。準拠ビットストリームは、ビデオ復号デバイスによって受信及び復号されて、復元されたビデオデータを生成することができるデータ構造である。ビデオ符号化規格は、ビデオ圧縮技術を取り入れることができる。ビデオ符号化規格の例としては、ISO/IEC MPEG-4 Visual及びITU-T H.264(ISO/IEC MPEG-4 AVCとしても既知である)並びにHigh-Efficiency Video Coding(HEVC)が挙げられる。HEVCは、High Efficiency Video Coding(HEVC),Rec.ITU-T H.265(2016年12月)に記載されており、参照により本明細書に組み込まれ、本明細書ではITU-T H.265と称する。ITU-T H.265の拡張及び改良が、次世代ビデオ符号化規格の開発のために現在検討されている。例えば、ITU-T Video Coding Experts Group(VCEG)及びISO/IEC (Moving Picture Experts Group(MPEG)(Joint Video Exploration Team (JVET)と集合的に呼ばれる)は、現在のHEVC規格の圧縮能力を著しく上回る圧縮能力を有するビデオ符号化技術を規格化するための作業を行っている。参照により本明細書に組み込まれる、The Joint Exploration Model 7 (JEM 7),Algorithm Description of Joint Exploration Test Model 7(JEM 7),ISO/IEC JTC1/SC29/WG11 Document:JVET-G1001(2017年7月),Torino,ITは、ITU-T H.265の能力を超えてビデオ符号化技術を向上させる可能性を有するものとして、JVETによって協調的試験モデル研究が行われていた符号化の特徴を記載している。JEM 7の符号化特徴は、JEM参照ソフトウェアで実施されることに留意すべきである。本明細書で使用されるとき、JEMという用語は、JEM 7に含まれるアルゴリズム及びJEM参照ソフトウェアの実装を集合的に表し得る。更に、VCEGとMPEGによって共に提起された「Joint Call for Proposals on Video Compression with Capabilities beyond HEVC」に応応じて、San Diego,CA.におけるISO/IEC JTC1/SC29/WG11第10回会議(2018年4月16～20日)で様々なグループによる複数のビデオ符号化ツールの記述が提案されている。ビデオ符号化ツールの複数の記述からの結果としてのビデオ符号化仕様の初期ドラフトテキストが、San Diego,CAにおけるISO/IEC JTC1/SC29/WG11第10回会議(2018年4月16～20日)のdocument JVET-J1001-v2「Versatile Video Coding (Draft 1)」に記載されており、参照により本明細書に組み込まれ、JVET-J1001と呼ばれる。VCEG及びMPEGによる次世代ビデオ符号化規格の現在の開発は、Versatile Video Coding(VVC)プロジェクトと呼ばれる。Marrakech,MAにおけるISO/IEC JTC1/SC29/wG11第13回会議(2019年1月9～18日)のdocument JVET-M1001-v5「Versatile Video Coding (Draft 4)」(参照により本明細書に組み込まれ、JVET-M1001と呼ばれる)は、VVCプロジェクトに対応するビデオ符号化仕様のドラフトテキストの現在のバージョンを表す。
ビデオ圧縮技術は、ビデオデータを記憶し送信するためのデータ要件を低減することを可能にする。ビデオ圧縮技術は、ビデオシーケンスにに内在する冗長性を利用することにより、データ要件を低減することができる。ビデオ圧縮技術は、ビデオシーケンスを連続的により小さい部分(すなわち、ビデオシーケンス内のピクチャのグループ、ピクチャのグループ内のピクチャ、ピクチャ内の領域、領域内の小領域など)に細分化することができる。イントラ予測符号化技術(例えば、ピクチャ内の空間予測技術)及びインター予測技術(すなわち、ピクチャ間技術(時間に関する))を使用して、符号化されるビデオデータのユニットとビデオデータの参照ユニットとの間の差値を生成することができる。差値は、残差データと称されることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニット(例えば、イントラ予測モードインデックス、及び動き情報)とを関連付けることができる。残差データ及びシンタックス要素は、エントロピ符号化することができる。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームを形成するデータ構造に含めることができる。
一実施例では、ビデオデータを復号する方法であって、方法は、ピクチャパラメータセットを受信することと、ピクチャパラメータセットから、第1のタイルグループに位置するタイルの第1のインデックスと、第2のタイルグループに位置するタイルの第2のインデックスとの間の差を指定する第1のシンタックス要素をパースすることと、を含む。
一実施例では、1つ以上のプロセッサを備えるデバイスであって、デバイスは、ピクチャパラメータセットを受信し、ピクチャパラメータセットから、第1のタイルグループに位置するタイルの第1のインデックスと、第2のタイルグループに位置するタイルの第2のインデックスとの間の差を指定する第1のシンタックス要素をパースする、ように構成されている。
概して、本開示は、ビデオデータを符号化する様々な技術を説明する。具体的には、本開示は、符号化されたビデオデータに対するタイルグループ情報をシグナリングするための技術を説明する。具体的には、本開示は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスを示しかつ決定するための技術を説明する。本開示の技術は、ITU-T H.264、ITU-T H.265、JEM、及びJVET-M1001に関して説明されているが、本開示の技術は、ビデオ符号化に一般的に適用可能であることに留意すべきである。例えば、本明細書で説明する符号化技術は、ITU-T H.265、JEM及びJVET-M1001に含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び/又はエントロピ符号化技術を含むビデオ符号化システム(将来のビデオ符号化規格に基づくビデオ符号化システムを含む)に取り入れることができる。したがって、ITU-T H.264、ITU-T H.265、JEM及び/又はJVET-M1001に言及したことは、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。更に、文書の参照による本明細書への組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定や曖昧さを生じさせるように解釈されるべきではないことに留意すべきである。例えば、組み込まれた参照が、別の組み込まれた参照と異なる、かつ/又は用語が本明細書で使用されるときと異なる用語の定義を与える場合、その用語は、それぞれの定義を幅広く含むように、かつ/又は個々の定義のそれぞれを含むように選択的に解釈されるべきである。
一実施例では、ビデオデータを復号するためのタイルグループ情報をシグナリングする方法は、タイルグループ内の特定の位置にあるタイルのインデックスを、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差としてシグナリングすることを含む。
一実施例では、デバイスは、タイルグループ内の特定の位置にあるタイルのインデックスを、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差としてシグナリングするように構成された1つ以上のプロセッサを備える。
一実施例では、非一時的コンピュータ可読記憶媒体は、実行されると、デバイスの1つ以上のプロセッサに、タイルグループ内の特定の位置にあるタイルのインデックスを、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差としてシグナリングさせる、その上に記憶された命令を含む。
一実施例では、装置は、タイルグループ内の特定の位置にあるタイルのインデックスを、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差としてシグナリングするための手段を備える。
一実施例では、ビデオデータを復号する方法は、タイルグループ内の特定の位置にあるタイルのインデックスを、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として示すシンタックス要素をパースすることと、インデックスに基づいてビデオデータを生成することと、を含む。
一実施例では、デバイスは、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素を、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差としてパースし、インデックスに基づいてビデオデータを生成するように構成された、1つ以上のプロセッサを含む。
一実施例では、非一時的コンピュータ可読記憶媒体は、実行されると、デバイスの1つ以上のプロセッサに、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素を、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスとの間の差としてパースさせ、インデックスに基づいてビデオデータを生成させる、記憶された命令を含む。
一実施例では、装置は、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素を、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスとの差としてパースするための手段と、インデックスに基づいてビデオデータを生成するための手段と、を含む。
1つ以上の実施例の詳細は、添付の図面及び以下の説明に記述されている。他の特徴、目的、及び利点は、説明及び図面から、並びに特許請求の範囲から明白である。
ビデオコンテンツは、一連のフレーム(又はピクチャ)からなるビデオシーケンスを含む。一連のフレームはまた、ピクチャのグループ(group of pictures、GOP)と呼ばれることがある。各ビデオフレーム又はピクチャは、1つ以上の領域に分割されてもよい。領域は、ベースユニット(例えば、ビデオブロック)及び領域を定義する規則のセットに従って定義することができる。例えば、領域を定義する規則は、領域が矩形に配置された整数個のビデオブロックでなければならない、ということであり得る。更に、領域内のビデオブロックは、走査パターン(例えば、ラスタ走査)に従って順序付けすることができる。本明細書で使用されるとき、ビデオブロックという用語は、一般的に、ピクチャの領域を指してもよく、又は、より具体的には、予測的に符号化することができるサンプル値の最大アレイ、その再分割部分、及び/又は対応する構造を指してもよい。更に、現在のビデオブロックという用語は、符号化又は復号されるピクチャの領域を指すことがある。ビデオブロックは、サンプル値のアレイとして定義することができる。いくつかの場合では、画素値は、ビデオデータの各成分のサンプル値を含むものとして説明されてもよく、また、色成分(例えば、輝度(Y)と彩度(Cb及びCr)成分、あるいは赤色、緑色、及び青色成分)とも呼ばれることがあることに留意すべきである。いくつかの場合では、画素値及びサンプル値という用語は互換的に使用されることに留意すべきである。更に、いくつかの場合では、画素又はサンプルはペルと呼ぶことができる。彩度フォーマットと称されることもあるビデオサンプリングフォーマットは、ビデオブロックに含まれる輝度サンプルの数に対するビデオブロックに含まれる彩度サンプルの数を規定することができる。例えば、4:2:0サンプリングフォーマットの場合は、輝度成分のサンプリングレートは、水平方向及び垂直方向の両方について彩度成分のサンプリングレートの2倍である。
ビデオエンコーダは、ビデオブロック及びその再分割部分に対して予測符号化を実行することができる。ビデオブロック及びその再分割部分は、ノードと称されることがある。ITU-T H.264は、16×16の輝度サンプルを含むマクロブロックを指定している。すなわち、ITU-T H.264では、ピクチャはマクロブロックに分割される。ITU-T H.265は、類似の符号化ツリーユニット(Coding Tree Unit)(CTU)構造を指定し、これは、最大符号化ユニット(LCU)と称され得る。ITU-T H.265では、ピクチャはCTUに分割される。ITU-T H.265では、1つのピクチャに関して、CTUサイズは、16×16、32×32、又は64×64の輝度サンプルを含むものとして設定することができる。ITU-T H.265では、CTUは、ビデオデータの各成分(例えば、輝度(Y)及び彩度(Cb及びCr)についてのそれぞれの符号化ツリーブロック(CTB)(Coding Tree Block)から構成される。1つの輝度成分及び2つの対応する彩度成分を有するビデオは、2つのチャネル、すなわち、輝度チャネル及び彩度チャネルを有するものとして記述され得ることに留意すべきである。更に、ITU-T H.265では、CTUを四分ツリー(QT)分割構造に従って分割することができ、その結果、CTUのCTBが、符号化ブロック(CB:Coding Block)に区画される。すなわち、ITU-T H.265では、CTUを四分ツリーリーフノードに分割することができる。ITU-T H.265によれば、2つの対応する彩度CB及び関連するシンタックス要素を伴う1つの輝度CBは、符号化ユニット(CU)と呼ばれる。ITU-T H.265では、CBの最小許容サイズをシグナリングすることができる。ITU-T H.265では、輝度CBの最も小さい最小許容サイズは、8×8の輝度サンプルである。ITU-T H.265では、イントラ予測又はインター予測を用いてピクチャ領域を符号化する決定は、CUレベルで行われる。
ITU-T H.265では、CUは、ルートをCUに有する予測ユニット(PU)構造に関連付けられている。ITU-T H.265では、PU構造は、対応する参照サンプルを生成する目的で、輝度CB及び彩度CBを分割することを可能にする。すなわち、ITU-T H.265では、輝度CB及び彩度CBを、それぞれの輝度及び彩度予測ブロック(PB)に分割することができ、ここでPBは、同じ予測が適用されるサンプル値のブロックを含む。ITU-T H.265では、CBを1、2、又は4個のPBに分割することができる。ITU-T H.265は、64×64のサンプルから4×4のサンプルまでのPBサイズをサポートする。ITU-T H.265では、正方形のPBがイントラ予測のためにサポートされており、CBがPBを形成してもよく、又はCBが4つの正方形のPBに分割されてもよい。ITU-T H.265では、正方形のPBの他に、矩形のPBがインター予測のためにサポートされ、ここでCBを垂直又は水平に二等分してPBを形成することができる。更に、ITU-T H.265では、インター予測のために、4つの非対称PB分割がサポートされ、ここでCBは、CBの4分の1の高さ(上部又は下部で)又は幅(左又は右)で2つのPBに分割されることに留意すべきである。PBに対応するイントラ予測データ(例えば、イントラ予測モードシンタックス要素)又はインター予測データ(例えば、動きデータシンタックス要素)を使用して、PBに関する参照サンプル値及び/又は予測サンプル値が生成される。
JEMは、256×256の輝度サンプルの最大サイズを有するCTUを規定している。JEMは、四分ツリー+二分ツリー(quadtree plus binary tree:QTBT)ブロック構造を指定している。JEMでは、QTBT構造は、四分ツリーリーフノードを二分ツリー構造(BT)によって更に分割することを可能にする。すなわち、JEMでは、二分ツリー構造は、四分ツリーリーフノードを垂直又は水平に再帰的に分割することを可能にする。JVET-M1001では、CTUは、四分ツリー+マルチタイプツリー(QTMT)構造に従って分割される。JVET-M1001におけるQTMTは、JEMにおけるQTBTと類似している。しかしながら、JVET-M1001では、二元分割を示すことに加えて、マルチタイプツリーは、いわゆる三元(又は三重ツリー(TT))分割を示し得る。三元分割は、ブロックを垂直又は水平に3つのブロックに分割する。垂直TT分割の場合、ブロックは左縁部からその幅の1/4、右縁部からその幅の1/4で分割され、水平TTの場合、ブロックは上縁部からその高さの1/4、底縁部からその高さの1/4にある。
上述のように、各ビデオフレーム又はピクチャは、1つ以上の領域に分割されてもよい。例えば、ITU-T H265によれば、各ビデオフレーム又はピクチャは、1つ以上のスライスを含むように分割されてもよく、1つ以上のタイルを含むように更に分割されてもよく、各スライスは、CTUのシーケンス(例えば、ラスタ走査順)を含み、タイルは、ピクチャの矩形領域に対応するCTUのシーケンスである。ITU-T H265では、スライスは、独立スライスセグメントから始まり、次の独立スライスセグメント(もしあれば)に先行する全ての後続従属スライスセグメント(もしあれば)を含む、1つ以上のスライスセグメントのシーケンスであることに留意すべきである。スライスと同様に、スライスセグメントは、CTUのシーケンスである。したがって、いくつかの場合において、用語スライス及びスライスセグメントは、ラスタ走査順序で配列されたCTUのシーケンスを示すものとして互換的に使用されてもよい。更に、ITU-T H.265では、タイルは、2つ以上のスライスに包含されるCTUからなっていてもよく、スライスは、2つ以上のタイルに包含されるCTUからなっていてもよいことに留意すべきである。しかしながら、ITU-T H.265は、以下の条件のうちの1つ又は両方が満たされなければならないと規定している。(1)あるスライス中の全てのCTUは同じタイルに属する。(2)あるタイル内の全てのCTUは同じスライスに属する。JVET-M1001に関して、スライスは、整数個のCTUからなる必要があるだけでなく、整数個の完全なタイルで構成されている必要がある。したがって、ピクチャの矩形領域を形成しないCTUのセットを含むスライスは、一部のビデオ符号化技術においてサポートされることもあり、サポートされないこともある。更に、整数個の完全なタイルからなる必要があるスライスをタイルグループと呼ぶ。本明細書で説明する技術は、スライス、タイル、及び/又はタイルグループに適用可能であり得る。図2は、タイルグループを含むピクチャのグループの例を示す概念図である。図2に示す例では、Pic3は、2つのタイルグループ(すなわち、タイルグループ1及びタイルグループ2)を含むものとして図示されている。場合によっては、タイルグループ1及びタイルグループ2は、スライス及び/又はタイルとして分類され得ることに留意すべきである。
イントラ予測符号化のために、イントラ予測モードは、ピクチャ内の参照サンプルの位置を指定することができる。ITU-T H.265では、定義された可能なイントラ予測モードは、プレーナ(すなわち、表面適合)予測モード、DC(すなわち、フラットな全体平均化)予測モード、及び33個の角度予測モード(predMode:2-34)を含む。JEMでは、定義された可能なイントラ予測モードは、プレーナ予測モード、DC予測モード、及び65個の角度予測モードを含む。プレーナ予測モード及びDC予測モードは、非方向性予測モードと称されることがあり、角度予測モードは、方向性予測モードと称されることがあることに留意すべきである。本明細書で説明する技術は、定義された可能な予測モードの数にかかわらず、一般的に適用可能であり得ることに留意すべきである。
インター予測符号化のために、参照ピクチャが決定され、動きベクトル(MV)が、現在のビデオブロックの予測を生成するために使用される参照ピクチャ内のサンプルを識別する。例えば、現在のビデオブロックは、1つ以上の以前に符号化されたピクチャ(単数又は複数)に位置する参照サンプル値を使用して予測することができ、現在のビデオブロックに対する参照ブロックの位置を示すために動きベクトルを使用することができる。動きベクトルは、例えば、動きベクトルの水平変位成分(すなわち、MVx)、動きベクトルの垂直変位成分(すなわち、MVy)、及び動きベクトルの解像度(例えば、1/4画素精度、1/2画素精度、1画素精度、2画素精度、4画素精度)を記述することができる。現在のピクチャの前又は後のピクチャ出力を含み得る、以前に復号されたピクチャは、参照ピクチャリストの1つ以上に編成され、参照ピクチャインデックス値を使用して識別されてもよい。また、インター予測符号化において、単方向予測とは、単一の参照ピクチャからのサンプル値を使用して予測を生成することを指し、双方向予測とは、2つの参照ピクチャからのそれぞれのサンプル値を使用して予測を生成することを指す。すなわち、単方向予測では、単一の参照ピクチャ及び対応する動きベクトルを使用して、現在のビデオブロックの予測を生成し、双方向予測では、第1の参照ピクチャ及び対応する第1の動きベクトル並びに第2の参照ピクチャ及び対応する第2の動きベクトルを使用して、現在のビデオブロックの予測を生成する。双方向予測では、それぞれのサンプル値を組み合わせて(例えば、加算され、四捨五入され、切り捨てられ、又は重みに従って平均化されて)、予測を生成する。ピクチャ及びその領域は、どのタイプの予測モードがそのビデオブロックを符号化するために利用され得るかに基づいて分類され得る。すなわち、Bタイプ(例えば、Bタイルグループ)を有する領域では、双方向予測モード、単方向予測モード及びイントラ予測モードを利用することができ、Pタイプ(例えば、Pタイルグループ)を有する領域では、単方向予測モード、及びイントラ予測モードを利用することができ、Iタイプ(例えば、Iタイルグループ)を有する領域では、イントラ予測モードのみを利用することができる。上述したように、参照ピクチャは参照符号を介して識別される。例えば、Pタイルについては、単一の参照ピクチャリストRefPicList0が存在してもよく、Bタイルについては、RefPicList0に加えて、第2の独立した参照ピクチャリストRefPicList1が存在してもよい。Bタイルグループにおける単方向予測については、RefPicList0又はRefPicList1のうちの1つを使用して予測を生成してもよいことに留意すべきである。更に、復号プロセス中、ピクチャの復号の開始時に、復号されたピクチャバッファ(decoded picture buffer、DPB)に記憶された以前に復号されたピクチャから参照ピクチャリスト(単数又は複数)が生成されることに留意すべきである。
更に、符号化規格は、様々なモードの動きベクトル予測をサポートすることができる。動きベクトル予測により、別の動きベクトルに基づいて、現在のビデオブロックの動きベクトルの値を導出することができる。例えば、関連付けられた動き情報を有する候補ブロックのセットは、空間的近隣ブロック及び時間的近隣ブロックから現在のビデオブロックに導出されてもよい。更に、生成された(又はデフォルトの)動き情報は、動きベクトル予測に使用されてもよい。動きベクトル予測の例としては、高度動きベクトル予測(advanced motion vector prediction)(AMVP)、時間動きベクトル予測(temporal motion vector prediction)(TMVP)、いわゆる「結合」モード、並びに「スキップ」及び「ダイレクト」動き推測が挙げられる。更に、動きベクトル予測の他の例には、高度時間動きベクトル予測(advanced temporal motion vector prediction)(ATMVP)及び空間時間動きベクトル予測(Spatial-temporal motion vector prediction)(STMVP)が含まれる。動きベクトル予測については、ビデオエンコーダ及びビデオデコーダの両方が、候補のセットを導出するために同じプロセスを実行する。したがって、現在のビデオブロックについては、符号化及び復号の間に、同じセットの候補が生成される。
上記したように、イントラ予測データ又はインター予測データが、サンプル値のブロックの参照サンプル値を生成するために使用される。現在のPB又は別の種類のピクチャ領域構造に含まれるサンプル値と、関連する参照サンプル(例えば、予測を用いて生成された参照サンプル)との差は、残差データと称されることがある。残差データは、ビデオデータの各成分に対応する差値のそれぞれのアレイを含むことができる。残差データは、画素領域内とすることができる。離散コサイン変換(discrete cosine transform)(DCT)、離散サイン変換(discrete sine transform)(DST)、整数変換、ウェーブレット変換、又は概念的に類似した変換などの変換を、差値のアレイに適用して、変換係数を生成することができる。ITU-T H.265及びJVET-M1001では、CUは、ルートをCUレベルに有する変換ユニット(TU)構造に関連することに留意すべきである。すなわち、変換係数を生成する目的で、差値のアレイを分割することができる(例えば、4つの8×8変換を残差値の16×16のアレイに適用することができる)。ビデオデータの各成分について、差値のこのような再分割部分は、変換ブロック(TB)(Transform Block)と称されることがある。いくつかの場合では、コア変換及び後続の二次変換を(ビデオエンコーダで)適用して変換係数を生成することができる。ビデオデコーダに対しては、変換の順序は逆転される。JVET-M1001では、P又はBタイルグループに含まれる符号化ユニットは、CUスキップモードに従って符号化されてもよく、CUスキップモードが指示されると、符号化ユニットは、動きベクトル予測モードのサブセットに従って符号化され、符号化ユニットは、予測から直接符号化され、すなわち、残差データは、ビデオブロックを符号化するために使用されないことに留意すべきである。
量子化プロセスは、変換係数又は残留サンプル値に直接実行され得る(例えば、パレット符号化量子化の場合)。量子化は、特定の値のセットに制限された振幅によって変換係数を概算する。量子化は、基本的に、変換係数のグループを表すために必要なデータの量を変化させるために、変換係数をスケーリングする。量子化は、変換係数(又は、変換係数にオフセット値を加算する結果として生じる値)の量子化倍率による除算及び任意の関連する四捨五入機能(例えば、最も近い整数への四捨五入)を含むことができる。量子化された変換係数は、係数レベル値と称されることがある。逆量子化(Inverse quantization又はdequantization)は、係数レベル値の量子化倍率による乗算と、任意の逆数四捨五入又はオフセット加算演算と、を含み得る。本明細書で使用されるとき、量子化プロセスという用語は、いくつかの場合には、倍率による除算によってレベル値を生成することと、いくつかの場合においては、倍率による乗算によって変換係数を復元することを指すことがあることに留意すべきである。すなわち、量子化プロセスは、いくつかの場合には、量子化、かつ、いくつかの場合には、逆量子化を指すことがある。更に、以下の例の一部では、量子化プロセスは、10進数表記に関連付けられた算術演算に関して説明されるが、そのような説明は例示を目的としたものであり、限定するものとして解釈されるべきではないことに留意すべきである。例えば、本明細書で説明する技術は、2進演算などを使用するデバイスにおいて実装されてもよい。例えば、本明細書で説明する乗算演算及び除算演算は、ビットシフト演算などを使用して実施されてもよい。
量子化された変換係数及びシンタックス要素(例えば、ビデオブロックの符号化構造を示すシンタックス要素)は、エントロピ符号化技術に従ってエントロピ符号化することができる。エントロピ符号化プロセスは、可逆データ圧縮アルゴリズムを使用してシンタックス要素の値を符号化することを含む。エントロピ符号化技術の例としては、コンテンツ適応型可変長符号化(content adaptive variable length coding)(CAVLC)、コンテキスト適応型バイナリ算術符号化(context adaptive binary arithmetic coding)(CABAC)、確率間隔分割エントロピ符号化(probability interval partitioning entropy coding)(PIPE)などが挙げられる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、ビデオデコーダでビデオデータを再生するために使用することができる準拠ビットストリームを形成することができる。エントロピ符号化プロセス、例えばCABACは、シンタックス要素での二値化の実行を含むことができる。二値化は、シンタックス要素の値を一連の1つ以上のビットに変換するプロセスを指す。これらのビットは、「二値」と呼ばれることがある。二値化は、以下の符号化技術、すなわち、固定長符号化、単項符号化、短縮単項符号化、短縮Rice符号化、Golomb符号化、k次指数Golomb符号化、及びGolomb-Rice符号化のうちの1つ又は組み合わせを含むことができる。例えば、二値化は、8ビットの固定長二値化技術を使用して、シンタックス要素の整数値5を00000101として表すこと、又は単項符号化二値化技術を使用して、整数値5を11110として表すことを含んでもよい。本明細書で使用されるとき、固定長符号化、単項符号化、短縮単項符号化、短縮Rice符号化、Golomb符号化、k次指数Golomb符号化、及びGolomb-Rice符号化という用語のそれぞれは、これらの技術の一般的な実装、及び/又はこれらの符号化技術のより具体的な実装を指すことが可能である。例えば、Golomb-Rice符号化の実装は、ビデオ符号化規格に従って具体的に定義することができる。CABACの例では、特定の二値について、二値の最も可能性のある状態(MPS)値(すなわち、二値のMPSは0又は1のうちの1つである)、及び、二値がMPSである、又は最も可能性の低い状態(LPS)である確率値を、コンテキストが提供する。例えば、コンテキストは、二値のMPSが0であり、二値が1である確率が0.3であることを示してもよい。コンテキストは、現在のシンタックス要素及び以前に符号化されたシンタックス要素内の二値を含む、以前に符号化された二値の値に基づいて決定され得ることに留意すべきである。例えば、隣接するビデオブロックに関連付けられたシンタックス要素の値を使用して、現在の二値に関するコンテキストを決定することができる。
本明細書で使用される式に関して、以下の算術演算子が使用され得る。
更に、以下の数学関数を使用することができる。
Log2(x)、2を底とするxの対数;
Ceil(x)x以上である最小整数。
本明細書で使用されるシンタックスの例に関して、以下の論理演算子の定義が適用され得る。
x&&y xとyとのブール論理「積」
x||y xとyとのブール論理「和」
!ブール論理「否」
x?y:z xが真であるか又は0に等しくない場合はyになり、
そうでない場合はzになる。
更に、以下の関係演算子が適用されてもよい。
> 大なり
>= 大なり又は等しい
< 小なり
<= 小なり又は等しい
== 等しい
!= 等しくない
更に、本明細書で使用されるシンタックス記述子において、以下の記述子が適用されてもよいことに留意すべきである。
-b(8):任意のパターンのビットストリングを有するバイト(8ビット)。この記述子のパースプロセスは、関数read_bit(8)の戻り値によって指定される。
-f(n):左ビットが最初に(左から右に)書き込まれたnビットを使用した固定パターンビットストリング。この記述子のパースプロセスは、関数read_bit(n)の戻り値によって指定される。
-u(n):nビットを使用した符号なし整数。
-ue(v):左ビットを最初に有する、符号なしの整数0次指数ゴロム式符号化シンタックス要素。
-se(v):左ビットを最初に有する、符号付きの整数0次指数ゴロム式ム符号化シンタックス要素。
上述のように、ビデオコンテンツは、一連のフレーム(又はピクチャ)からなるビデオシーケンスを含み、各ビデオフレーム又はピクチャは、1つ以上の領域に分割されてもよい。符号化ビデオシーケンス(CVS)は、アクセスユニットのシーケンスとしてカプセル化(又は構造化)されてもよく、各アクセスユニットは、ネットワーク抽象レイヤ(NAL)ユニットとして構造化されたビデオデータを含む。ビットストリームは、1つ以上のCVSを形成するNALユニットのシーケンスを含むものとして説明され得る。マルチレイヤ拡張は、ビデオ表示がベースレイヤ及び1つ以上の追加のエンハンスメントレイヤを含むことを可能にすることに留意すべきである。例えば、ベースレイヤは、基本レベルの品質(例えば、高解像度レンダリング及び/又は30Hzのフレームレート)を有するビデオ表示を可能にすることができ、エンハンスメントレイヤは、強化された品質レベル(例えば、超高解像度レンダリング及び/又は60Hzのフレームレート)を有するビデオ表示を可能にすることができる。ベースレイヤを参照することによってエンハンスメントレイヤを符号化することができる。すなわち、例えば、エンハンスメントレイヤ内のピクチャは、ベースレイヤ内の1つ以上のピクチャ(その拡大/縮小したバージョンを含む)を参照することによって、(例えば、インター予測技術を使用して)符号化されてもよい。各NALユニットは、NALユニットが関連付けられているビデオデータのレイヤを示す識別子を含んでもよい。サブビットストリーム抽出とは、準拠ビットストリームを受信しているデバイスが、受信ビットストリーム内のデータを破棄及び/又は修正することによって、新たな準拠ビットストリームを形成するプロセスを指し得ることに留意すべきである。例えば、サブビットストリーム抽出を使用して、ビデオ(例えば、高品質表現)の特定の表現に対応する新しい準拠ビットストリームを形成することができる。
更に、以下の数学関数を使用することができる。
Log2(x)、2を底とするxの対数;
Ceil(x)x以上である最小整数。
本明細書で使用されるシンタックスの例に関して、以下の論理演算子の定義が適用され得る。
x&&y xとyとのブール論理「積」
x||y xとyとのブール論理「和」
!ブール論理「否」
x?y:z xが真であるか又は0に等しくない場合はyになり、
そうでない場合はzになる。
更に、以下の関係演算子が適用されてもよい。
> 大なり
>= 大なり又は等しい
< 小なり
<= 小なり又は等しい
== 等しい
!= 等しくない
更に、本明細書で使用されるシンタックス記述子において、以下の記述子が適用されてもよいことに留意すべきである。
-b(8):任意のパターンのビットストリングを有するバイト(8ビット)。この記述子のパースプロセスは、関数read_bit(8)の戻り値によって指定される。
-f(n):左ビットが最初に(左から右に)書き込まれたnビットを使用した固定パターンビットストリング。この記述子のパースプロセスは、関数read_bit(n)の戻り値によって指定される。
-u(n):nビットを使用した符号なし整数。
-ue(v):左ビットを最初に有する、符号なしの整数0次指数ゴロム式符号化シンタックス要素。
-se(v):左ビットを最初に有する、符号付きの整数0次指数ゴロム式ム符号化シンタックス要素。
上述のように、ビデオコンテンツは、一連のフレーム(又はピクチャ)からなるビデオシーケンスを含み、各ビデオフレーム又はピクチャは、1つ以上の領域に分割されてもよい。符号化ビデオシーケンス(CVS)は、アクセスユニットのシーケンスとしてカプセル化(又は構造化)されてもよく、各アクセスユニットは、ネットワーク抽象レイヤ(NAL)ユニットとして構造化されたビデオデータを含む。ビットストリームは、1つ以上のCVSを形成するNALユニットのシーケンスを含むものとして説明され得る。マルチレイヤ拡張は、ビデオ表示がベースレイヤ及び1つ以上の追加のエンハンスメントレイヤを含むことを可能にすることに留意すべきである。例えば、ベースレイヤは、基本レベルの品質(例えば、高解像度レンダリング及び/又は30Hzのフレームレート)を有するビデオ表示を可能にすることができ、エンハンスメントレイヤは、強化された品質レベル(例えば、超高解像度レンダリング及び/又は60Hzのフレームレート)を有するビデオ表示を可能にすることができる。ベースレイヤを参照することによってエンハンスメントレイヤを符号化することができる。すなわち、例えば、エンハンスメントレイヤ内のピクチャは、ベースレイヤ内の1つ以上のピクチャ(その拡大/縮小したバージョンを含む)を参照することによって、(例えば、インター予測技術を使用して)符号化されてもよい。各NALユニットは、NALユニットが関連付けられているビデオデータのレイヤを示す識別子を含んでもよい。サブビットストリーム抽出とは、準拠ビットストリームを受信しているデバイスが、受信ビットストリーム内のデータを破棄及び/又は修正することによって、新たな準拠ビットストリームを形成するプロセスを指し得ることに留意すべきである。例えば、サブビットストリーム抽出を使用して、ビデオ(例えば、高品質表現)の特定の表現に対応する新しい準拠ビットストリームを形成することができる。
図2に示す例を参照すると、Pic3に含まれるビデオデータの各タイルグループ(すなわち、タイルグループ1及びタイルグループ2)は、NALユニットにカプセル化されているものとして示されている。JVET-M1001では、ビデオシーケンス、GOP、ピクチャ、タイルグループ、及びCTUのそれぞれは、ビデオ符号化特性を記述するメタデータに関連付けられてもよい。JVET-M1001は、ビデオデータ特性及び/又はビデオ符号化特性を記述するために使用され得るパラメータセットを定義する。JVET-M1001では、パラメータセットは、特殊な種別のNALユニットとしてカプセル化されてもよく、又はメッセージとしてシグナリングされてもよい。符号化されたビデオデータ(例えばタイルグループ)を含むNALユニットは、VCL(ビデオ符号化レイヤ)NALユニットと呼ばれることがあり、メタデータ(例えばパラメータセット)を含むNALユニットは、非VCL NALユニットと呼ばれることがある。更に、JVET-M1001は、補足エンハンスメント情報(SEI)メッセージがシグナリングされることを可能にする。JVET-M1001では、SEIメッセージは、復号、表示、又は他の目的に関連するプロセスを支援するが、SEIメッセージは、復号プロセスによって輝度サンプルマ又はクロマサンプルを作成するために必要とされない場合がある。JVET-M1001では、SEIメッセージが、非VCL NALユニットを使用してビットストリームでシグナリングされてもよい。更に、SEIメッセージは、ビットストリーム内に存在することによる以外の何らかの手段(すなわち、帯域外でシグナリングされる)によって伝達されてもよい。
上述のように、インター予測符号化に関しては、以前に符号化されたピクチャ内の参照サンプルが、現在のピクチャ内のビデオブロックを符号化するために使用される。現在のピクチャを符号化する際に参照として使用するために利用可能である、以前に符号化されたピクチャは、参照ピクチャと呼ばれる。復号順序は、映像出力順序、すなわち、ビデオシーケンス内のピクチャの時間的順序に必ずしも対応しなくてもよいことに留意すべきである。ITU-T H.265では、ピクチャが復号されると、ピクチャは復号されたピクチャバッファ(decoded picture buffer、DPB)(フレームバッファ、参照バッファ、参照ピクチャバッファなどと称され得る)に記憶される。ITU-T H.265では、DPBに記憶されたピクチャは、出力されるとDPBから除去され、後続のピクチャを符号化するためにもはや必要とされない。ITU-T H.265では、ピクチャをDPBから除去すべきかどうかの判定は、スライスヘッダを復号した後、すなわち、ピクチャの復号の開始時に、ピクチャごとに1回実行される。例えば、図2を参照すると、Pic3は、Pic2を参照することが図示されている。同様に、Pic4は、Pic1を参照することが図示されている。図2について、ピクチャ番号が復号順序に対応すると仮定すると、DPBは以下のようにポピュレートされる。Pic1を復号した後、DPBは{Pic1}を含む。Pic2の復号開始時、DPBは{Pic1}を含んでいる。Pic2を復号後、DPBは{Pic1,Pic2}を含む。Pic3の復号開始時、DPBは{Pic1,Pic2}を含んでいる。次いで、Pic3は、Pic2を参照して復号され、Pic3を復号した後、DPBは{Pic1,Pic2,Pic3}を含む。Pic4の復号の開始時に、ピクチャPic2及びPic3は、Pic4(又は図示されていない任意の後続のピクチャ)を復号するために必要ではないのでDPBから除去するようにマークされ、Pic2及びPic3が出力されたと仮定すると、DPBは{Pic1}を含むように更新される。次いで、Pic4がPic-1を参照して復号される。ピクチャをDPBから除去するためにマーキングするプロセスは、参照ピクチャセット(RPS)管理と称されてもよい。
図3は、複数のCVSを含むビットストリームの一例を示しており、CVSは、それぞれのアクセスユニットに含まれるNALユニットによって表される。図3に例示する実施例では、非VCL NALユニットは、それぞれのパラメータセットNALユニット(すなわち、シーケンスパラメータセット(SPS)、及びピクチャパラメータセット(PPS)ユニット)、SEIメッセージNALユニット、並びにアクセスユニットデリミタNALユニットを含む。上述したように、JVET-M1001において、非VCL NALユニットは、それぞれのパラメータセットNALユニットを含む。表1は、JVET-M1001に規定されるピクチャパラメータセットのシンタックスを示す。
表1に関して、JVET-M1001は、以下のセマンティクスを規定する。
pps_pic_parameter_set_idは、他のシンタックス要素による参照のためのPPSを識別する。pps_pic_parameter_set_idの値は、両端値を含んで、0～63の範囲にあるものとする。
pps_seq_parameter_set_idは、アクティブSPSについてのsps_seq_parameter_set_idの値を指定する。pps_seq_parameter_set_idの値は、両端値を含んで、0～15の範囲にあるものとする。
1に等しいsingle_tile_in_pic_flagは、各ピクチャ内にPPSを参照する1つのタイルのみが存在することを指定する。0に等しいsingle_tile_in_pic_flagは、各ピクチャ内にPPSを参照する2つ以上のタイルが存在することを指定する。
CVS内のアクティブ化された全てのPPSについてsingle_tile_in_pic_flagの値が同じであることが、ビットストリームの適合性の要件である。
num_tile_columns_minus1プラス1は、ピクチャを分割するタイル列の数を指定する。num_tile_columns_minus1は、両端を含んで、0～PicWidthlnCtbsY-1の範囲にあるものとする。存在しない場合、num_tile_columns_minus1の値は0に等しいと推測される。
num_tile_rows_minus1プラス1は、ピクチャを分割するタイル行の数を指定する。num_tile_rows_minus1は、両端値を含んで、0～PicHeightInCtbsY-1の範囲にあるものとする。存在しない場合、num_tile_rows_minus1の値は0に等しいと推測される。
変数NumTilesInPicは、(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)に等しく設定される。
single_tile_in_pic_flagが0である場合、NumTilesInPicは1よりも大きいものとする。
1に等しいuniform_tile_spacing_flagは、タイル列境界及び同様にタイルの行境界が、ピクチャ全体にわたり均一に分布されることを指定する。uniform_tile_spacing_flag equal to 0は、タイル列境界及び同様にタイルの行境界は、ピクチャ全体にわたり均一に分布されるのではなく、シンタックス要素tile_column_width_minus1[i]とtile_row_height_minus1[i]とを使用して明示的にシグナリングされることを指定する。uniform_tile_spacing_flagが存在しない場合、uniform_tile_spacing_flagの値は1に等しいと推測される。
tile_column_width_minus1[i]プラス1は、CTBのユニットにおけるi番目のタイル列の幅を指定する。
tile_row_height_minus1[i]プラス1は、CTBのユニットにおけるi番目のタイル行の高さを指定する。
以下の変数は、CTBラスタ及びタイル走査変換プロセスを呼び出すことによって導出される:
-両端値を含んで0～num_tile_columns_minus1の範囲のiについてCTBユニットのi番目のタイル列の幅を指定するリストColWidth[i]
-両端値を含んで0～num_tile_rows_minus1の範囲のjについてCTBユニットのj番目のタイル行の高さを指定するリストRowHeight[j]
-両端値を含んで0～num_tile_columns_minus1+1の範囲のiについてCTBユニットのi番目のタイル列境界の場所を指定するリストColBd[i]
-両端値を含んで0～num_tile_rows_minus1+1の範囲のjについてCTBユニットのj番目のタイル行境界の場所を指定するリストRowBd[j]
-両端値を含んで0～PicSizeInCtbsY-1の範囲のctbAddrRsについて、ピクチャのCTBラスタ走査におけるCTBアドレスからタイル走査におけるCTBアドレスへの変換を指定するリストCtbAddrRsToTs[ctbAddrRs]
-両端値を含んで0～PicSizeInCtbsY-1の範囲のctbAddrTsについて、タイル走査におけるCTBアドレスからピクチャのCTBラスタ走査におけるCTBアドレスへの変換を指定するリストCtbAddrTsToRs[ctbAddrTs]
-両端値を含んで0～PicSizeInCtbsY-1の範囲のctbAddrTsについて、タイル走査におけるCTBアドレスからタイルIDへの変換を指定するリストTileId[ctbAddrTs]
-両端値を含んで0～NumTilesInPic-1の範囲のtileIdxについて、タイルインデックスからタイルにおけるCTUの数への変換を指定するリストNumCtusInTile[tileIdx]
-両端値を含んで0～NumTilesInPic-1の範囲のtileIdxについて、タイルIDから、タイル内の第1のCTBのタイル走査におけるCTBアドレスへの変換を指定するリストFirstCtbAddrTs[tileIdx]AddrTs[tileIdx]
-両端値を含んで0～num_tile_columns_minus1の範囲のiについて、輝度サンプルのユニットのi番目のタイル列の幅を指定するリストColumnWidthInLumaSamples[i]
-両端値を含んで0～num_tile_rows_minus1の範囲のjについて、輝度サンプルのユニットのj番目のタイル行の高さを指定するリストRowHeightInLumaSamples[j]
両端値を含んで0～num_tile_columns_minus1の範囲のiについてのColumnWidthInLumaSamples[i]の値、及び両端値を含んで0～num_tile_rows_minus1の範囲のjについてのRowHeightInLumaSamples[j]の値は、全て0を超えるものとする。
1に等しいsingle_tile_per_tile_groupは、このPPSを指す各タイルグループが1つのタイルを含むことを指定する。0に等しいsingle_tile_per_tile_groupは、このPPSを指すタイルグループが2つ以上のタイルを含み得ることを指定する。
0に等しいrect_tile_group_flagは、各タイルグループ内のタイルがラスタ走査順であり、タイルグループ情報は、PPSにおいてシグナリングされないことを指定する。1に等しいrect_tile_group_flagは、各タイルグループ内のタイルがピクチャの矩形領域を覆い、タイルグループ情報がPPS内にシグナリングされることを指定する。single_tile_per_tile_group_flagが1に等しい場合、rect_tile_group_flagは、1に等しいと推測される。
num_tile_groups_in_pic_minus1プラス1は、各ピクチャ内のPPSを参照するタイルグループの数を指定する。num_tile_groups_in_pic_minus1の値は、両端値を含んで、0～NumTilesInPic-1の範囲にあるものとする。num_tile_groups_in_pic_minus1が存在せず、かつsingle_tile_per_tile_group_flaが1に等しい場合、num_tile_groups_in_pic_minus1の値はNumTilesInPic-1に等しいと推測される。
top_left_tile_idx[i]は、i番目のタイルグループの左上の角に配置されるタイルのタイルインデックスを指定する。jに等しくない任意のiについて、top_left_tile_idx[i]の値は、top_left_tile_idx[j]の値に等しくないものとする。top_left_tile_idx[i]が存在しない場合、top_left_tile_idx[i]の値はiに等しいと推測される。top_left_tile_idx[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic)ビットである。
bottom_right_tile_idx[i]は、i番目のタイルグループの右下の角に配置されるタイルのタイルインデックスを指定する。single_tile_per_tile_group_flagが1に等しい場合、bottom_right_tile_idx[i]は、top_left_tile_idx[i]に等しいと推測される。bottom_right_tile_idx[i]シンタックス要素の長さはCeil(Log2(NumTilesInPic))ビットである。
任意の特定のタイルが1つのタイルグループにのみ含まれることは、ビットストリームの適合性の要件である。
i番目のタイルグループのタイルの数を指定する変数であるNumTilesInTileGroup[i]及び関連する変数は、以下のように導出される。
1に等しいloop_filter_across_tiles_enabled_flagは、PPSを参照するピクチャ内のタイル境界を越えるインループフィルタリング操作が実行され得ることを指定する。0に等しいloop_filter_across_tiles_enabled_flagは、PPSを参照するピクチャ内のタイル境界を越えるインループフィルタリング操作が実行されないことを指定する。インループフィルタリング操作は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、及び適応ループフィルタ操作を含む。loop_filter_across_tiles_enabled_flagが存在しない場合、loop_filter_across_tiles_enabled_flagの値は1に等しいと推測される。
1に等しいloop_filter_across_tile_groups_enabled_flagは、PPSを参照するピクチャ内のタイルグループ境界を越えるインループフィルタリング操作が実行され得ることを指定する。0に等しいloop_filter_across_tile_group_enabled_flagは、インループフィルタリング操作が、PPSを参照するピクチャ内のタイルグループ境界を越えて実行されないことを指定する。インループフィルタリング操作は、デブロッキングフィルタ、サンプル適応オフセットフィルタ、及び適応ループフィルタ操作を含む。loop_filter_across_tile_groups_enabled_flagが存在しない場合、loop_filter_across_tile_groups_enabled_flagの値は0に等しいと推測される。
1に等しいsignalled_tile_group_id_flagは、各タイルグループのタイルグループIDがシグナリングされることを指定する。0に等しいsignalled_tile_group_id_flagは、タイルグループIDがシグナリングされないことを指定する。rect_tile_group_flagが0に等しい場合、signalled_tile_group_index_flagの値は、0に等しいと推測される。
signalled_tile_group_id_length_minus1プラス1は、シンタックス要素tile_group_id[i]が存在する場合、シンタックス要素tile_group_id[i]及びシンタックス要素tile_group_addressをタイルグループヘッダ内に表すために使用されるビット数を指定する。signalled_tile_group_index_length_minus1の値は、両端値を含んで、0～15の範囲にあるものとする。signalled_tile_group_index_length_minus1が存在しない場合、signalled_tile_group_index_length_minus1の値はCeil(Log2(num_tile_groups_in_pic_minus1+1))-1に等しいと推測される。
tile_group_id[i]は、i番目のタイルグループのタイルグループIDを指定する。tile_group_id[i]シンタックス要素の長さは、tile_set_id_length_minus1+1ビットである。tile_group_id[i]が存在しない場合、tile_group_id[i]の値は、両端値を含んで、0～num_tile_groups_in_pic_minus1の範囲の各iについて、iに等しいと推測される。
num_ref_idx_default_active_minus1[i]プラス1は、iが0に等しい場合、num_ref_idx_active_override_flagが0に等しいP又はBタイルグループについての変数NumRefIdxActive[0]の推定値を指定し、iが1に等しい場合、num_ref_idx_active_override_flagが0に等しい、BタイルグループについてのNumRefIdxActive[1]の推定値を指定する。num_ref_idx_default_active_minus1[i]の値は、両端値を含んで、0～14の範囲にあるものとする。
0に等しいrpll_idx_present_flagは、ref_pic_list_sps_flag[1]及びref_pic_list_idx[1]がタイルグループヘッダ内に存在しないことを指定する。1に等しいrpll_idx_present_flagは、ref_pic_list_sps_flag[1]及びref_pic_list_idx[1]がタイルグループヘッダに存在し得ることを指定する。
init_qp_minus26プラス26は、PPSを参照している各タイルグループのTileGroupQpyの初期値を指定する。TileGroupQpyの初期値は、tile_group_qp_deltaの非ゼロ値が復号されたときにタイルグループレイヤで修正される。init_qp_minus26の値は、両端値を含んで、-(26+QpBdOffsetY)～+37の範囲にあるものとする。
1に等しいtransform_skip_enabled_flagは、transform_skip_flagが変換ユニットシンタックスに存在し得ることを指定する。0に等しいtransform_skip_enabled_flagは、transform_skip_flagが変換ユニットシンタックスに存在しないことを指定する。
log2_transform_skip_max_size_minus2は、変換スキップに使用される最大ブロックサイズを指定し、0～3の範囲にあるものとする。
log2_transform_skip_max_size_minus2が存在しない場合、log2_transform_skip_max_size_minus2の値は0に等しいと推測される。
変数MaxTsSizeは、1<<(log2_transform_skip_max_size_minus2+2)に等しく設定される。
1に等しいcu_qp_delta_enabled_flagは、diff_cu_qp_delta_depthシンタックス要素がPPS中に存在し、cu_qp_delta_absが変換ユニットシンタティック内に存在し得ることを指定する。0に等しいcu_qp_delta_enabled_flagは、diff_cu_qp_delta_depthシンタックス要素がPPS内に存在しないことと、cu_qp_delta_absが変換ユニットシンタックス内に存在しないこととを指定する。
diff_cu_qp_delta_depthは、最小符号化ツリー深さの符号化ユニットと、cu_qp_delta_abs及びcu_qp_delta_sign_flagを搬送する最大符号化ツリー深さの符号化ユニットとの間の、符号化ツリー深さ差を指定する。diff_cu_qp_delta_depthの値範囲は、以下のように指定される。
-タイルグループタイプが1に等しい場合、diff_cu_qp_delta_depthの値は、両端値を含んで、0～log2_ctu_size_minus2-log2_min_qt_size_intra_tile_group_minus2+MaxMttDepthYの範囲にあるものとする。
-そうでなければ(tile_group_typeは1に等しくない)、diff_cu_qp_delta_depthの値は、両端値を含んで、0～log2_ctu_size_minus2-log2_min_qt_size_inter_tile_group_minus2+MaxMttDepthYの範囲にあるものとする。
diff_cu_qp_delta_depthが存在しない場合、diff_cu_qp_delta_depthの値は0に等しいと推測される。
pps_cb_qp_offset及びpps_cr_qp_offsetは、それぞれQp’Cb及びQp’Crを導出するために使用される輝度量子化パラメータQp’Yへのオフセットを指定する。pps_cb_qp_offset、及びpps_cr_qp_offsetの値は、両端値を含んで、-12～+12の範囲にあるものとする。ChromaArrayTypeが0に等しい場合、pps_cb_qp_offset、及びpps_cr_qp_offsetは復号プロセスでは使用されず、デコーダはそれらの値を無視するものとする。
1に等しいpps_tile_group_chroma_qp_offsets_present_flagは、tile_group_cb_qp_offsetとtile_group_cr_qp_offsetシンタックス要素が関連するタイルグループヘッダ内に存在することを示す。
0に等しいpps_tile_group_chroma_qp_offset_present_flagは、これらのシンタックス要素が関連するタイルグループヘッダ内に存在しないことを示す。ChromaArrayTypeが0に等しい場合、pps_tile_group_chroma_qp_offsets_present_flagは0であるものとする。
0に等しいweighted_pred_flagは、重み付き予測がPタイルグループに適用されないことを指定する。1に等しいweighted_pred_flagは、重み付き予測がPタイルグループに適用されることを指定する。
0に等しいweighted_bipred_flagは、デフォルトの重み付き予測がBタイルグループに適用されることを指定する。1に等しいweighted_bipred_flagは、重み付き予測がBタイルグループに適用されることを指定する。
1に等しいdeblocking_filter_control_present_flagは、PPS内のデブロッキングフィルタ制御シンタックス要素の存在を指定する。0に等しいdeblocking_filter_filter_present_flagは、PPS内にデブロッキングフィルタ制御シンタックス要素が存在しないことを指定する。
1に等しいdeblocking_filter_override_enabled_flagは、PPSを参照するピクチャのタイルグループヘッダ内のdeblocking_filter_override_flagの存在を指定する。0に等しいdeblocking_filter_override_enabled_flagは、PPSを参照するピクチャのタイルグループヘッダ内のdeblocking_filter_override_flagが存在しないことを指定する。deblocking_filter_override_enabled_flagが存在しない場合、deblocking_filter_override_enabled_flagの値は0に等しいと推測される。
1に等しいpps_deblocking_filter_disabled_flagは、tile_group_deblocking_filter_deabled_flagが存在しないPPSを参照するタイルグループに対して、デブロッキングフィルタの動作が適用されないことを指定する。
0に等しいpps_deblocking_filter_deabled_flagは、tile_group_deblocking_filter_deabled_flagが存在しないPPSを参照するタイルグループに対して、デブロッキングフィルタの動作が適用されることを指定する。pps_deblocking_filter_disabled_flagが存在しない場合、pps_deblocking_filter_disabled_flagの値は0に等しいと推測される。
デフォルトのデブロッキングパラメータオフセットが、PPSを参照するタイルグループのタイルグループヘッダに存在するデブロッキングパラメータオフセットによって上書きされない限り、pps_beta_offset_div2及びpps_tc_offset_div2は、PPSを参照するタイルグループのために適用される、β及びtC(2で割ったもの)に対するデフォルトのデブロッキングパラメータオフセットを指定する。pps_beta_offset_div2及びpps_tc_offset_div2の値は両方とも、両端値を含んで、-6～6の範囲にあるものとする。pps_beta_offset_div2及びpps_tc_offset_div2が存在しない場合、pps_beta_offset_div2及びpps_tc_offset_div2の値は0に等しいと推測される。
0に等しいpps_extension_flagは、PPS RBSPシンタックス構造において、pps_extension_data_flagシンタックス要素が存在しないことを指定し、1に等しいpps_extension_flagは、PPS RBSPシンタックス構造において、pps_extension_data_flagシンタックス要素が存在することを指定する。
pps_extension_data_flagは、任意の値を有することができる。その存在及び値は、本明細書のこのバージョンで指定されたプロファイルに対するデコーダの適合性に影響を与えない。本明細書のこのバージョンに適合するデコーダは、全てのpps_extension_data_flagシンタックス要素を無視するものとする。
更に上述したように、JVET-M1001において、タイルグループは、ビデオ符号化特性を記述するメタデータに関連付けられてもよい。表2は、JVET-M1001に規定されるタイルグループヘッダシンタックスを示す。
表2に関して、JVET-M1001は、以下のセマンティクスを規定する。
存在する場合、タイルグループヘッダシンタックス要素tile_group_pic_parameter_set_id及びtile_group_pic_order_cnt_lsbのそれぞれの値は、符号化されたピクチャのタイルグループヘッダの全てにおいて同じであるものとする。
tile_group_pic_parameter_set_idは、使用中のPPSのpps_pic_parameter_set_idの値を指定する。tile_group_pic_parameter_set_idの値は、両端値を含んで、0～63の範囲にあるものとする。
現在のピクチャのTemporalIdの値が、tile_group_pic_parameter_set_idに等しいpps_pic_parameter_set_idを有するPPSのTemporalIdの値以上であることが、ビットストリームの適合性の要件である。
tile_group_addressは、タイルグループ内の第1のタイルのタイルアドレスを指定する。tile_group_addressが存在しない場合、tile_group_addressの値は0に等しいと推測される。
rect_tile_group_flagが0に等しい場合、以下を適用する。
-タイルアドレスは、以下のように指定されたタイルIDである。
タイル走査におけるCTBアドレスからタイルIDへの変換を指定する、両端値を含んで0～PicSizeInCtbsY-1の範囲のCtbAddrTsに対するリストTileId[ctbAddrTs]は、以下のように導出される。
-タイルグループアドレスの長さはCeil(Log2(NumTilesInPic))ビットである。
-タイルグループアドレスの値は、両端値を含んで、0～NumTilesInPic-1の範囲にあるものとする。
そうでなければ(rect_tile_group_flagが1に等しい)、以下を適用する。
-タイルアドレスはタイルグループのタイルグループIDである。
-tile_group_addressの長さは、signalled_tile_group_index_length_minus1+1ビットである。
-signalled_tile_group_id_flagが0に等しい場合、tile_group_addressの値は、両端値を含んで、0～num_tile_groups_in_pic_minus1の範囲にあるものとする。そうでなければ、tile_group_addressの値は、両端値を含んで、0～2(signalled_tile_group_index_length_minus1+1)-1の範囲にあるものとする。
以下の制約条件が適用されることがビットストリームの適合性の要件である。
-tile_group_addressの値は、同じ符号化ピクチャの任意の他の符号化されたタイルグループNALユニットのtile_group_addressの値と等しくないものとする。
-ピクチャのタイルグループは、それらのtile_group_address値の昇順であるものとする。
-ピクチャのタイルグループの形状は、各タイルが復号されると、ピクチャの境界からなる、又は以前に復号されたタイル(単数又は複数)の境界からなる、左境界全体及び上部境界全体を有するものとする。
num_tiles_in_tile_group_minus1は、存在する場合、タイルグループ内のタイルの数マイナス1を指定する。num_tiles_in_tile_group_minus1の値は、両端値を含んで、0～NumTilesInPic-1の範囲にあるものとする。num_tiles_in_tile_group_minus1が存在しない場合、num_tiles_in_tile_group_minus1の値は0に等しいと推測される。
現在のタイルグループ内のタイルの数を指定する変数NumTilesInCurrTileGroup、及びi番目のタイルグループ内のi番目のタイルのタイルインデックスを指定するTgTileIdx[i]は、以下のように導出される。
tile_group_typeは、表3に従ってタイルグループの符号化タイプを指定する。
nal_unit_typeがIRAP_NUTに等しい場合、すなわち、ピクチャはIRAPピクチャである場合、tile_group_typeは2に等しい。
tile_group_pic_order_cnt_lsbは、現在のピクチャのピクチャ順序カウントであるモジュロMaxPicOrderCntLsbを指定する。tile_group_pic_order_cnt_lsbシンタックス要素の長さは、log2_max_pic_order_cnt_lsb_minus4+4ビットである。tile_group_pic_order_cnt_lsbの値は、両端値を含んで、0～MaxPicOrderCntLsb-1の範囲にあるものとする。
1に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、アクティブSPS内のiに等しいlistIdxを有するref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のうちの1つに基づいて導出されることを指定する。0に等しいref_pic_list_sps_flag[i]は、現在のピクチャの参照ピクチャリストiが、現在のピクチャのタイルグループヘッダに直接含まれるiに等しいlistIdxを有するref_pic_list_struct(listIdx,rplsIdx)シンタックス構造に基づいて導出されることを指定する。num_ref_pic_lists_in_sps[i]が0に等しい場合、ref_pic_list_sps_flag[i]の値は、0に等しいと推測される。rpl1_idx_present_flagが0に等しい場合、ref_pic_list_sps_flag[1]の値は、ref_pic_list_sps_flag[0]に等しいと推測される。
ref_pic_list_idx[i]は、アクティブSPSに含まれるiに等しいlistIdxを有するref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のリストに、現在のピクチャの参照ピクチャリストiを導出するために使用されるiに等しいlistIdxを有するref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のインデックスを指定する。シンタックス要素rcf_pic_list_idx[i]はCeil(Log2(num_ref_pic_lists_in_sps[i])ビットで表される。ref_pic_list_idx[i]が存在しない場合、ref_pic_list_idx[i]の値は0に等しいと推測される。ref_pic_list_idx[i]の値は、両端値を含んで、0～num_ref_pic_lists_in_sps[i]-1の範囲にあるものとする。ref_pic_list_sps_flag[i]が1に等しく、num_ref_pic_lists_in_sps[i]が1に等しい場合、ref_pic_list_idx[i]の値は、0に等しいと推測される。ref_pic_list_sps_flag[i]が1に等しく、rpl1_idx_present_flagが0に等しい場合、ref_pic_list_idx[1]の値はref_pic_list_idx[0]に等しいと推測される。
変数RplsIdx[i]は、以下のように導出される。
RplsIdx[i]=ref_pic_list_sps_flag[i]?ref_pic_list_idx[i]:num_ref_pic_lists_in_sps[i]
1に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在することを指定する。0に等しいdelta_poc_msb_present_flag[i][j]は、delta_poc_msb_cycle_lt[i][j]が存在しないことを指定する。
prevTid0Picは、0に等しいTemporalIdを有し、RASL又はRADLピクチャではない、復号順における前のピクチャとする。setOfPrevPocValsは、以下からなるセットとする。
-prevTid0PicのPicOrderCntVal
-RefPicList[0]のエントリと、prevTid0PicのRefPicList[1]のエントリとによって参照される、各ピクチャのPicOrderCntVal
-復号順でprevTid0Picに続き、復号順で現在のピクチャに先行する、各ピクチャのPicOrderCntVal
値モジュロMaxPicOrderCntLsbがpoc_lsb_lt[i][RplsIdxt[i]][j]に等しい、setOfPrevPocVals内の2つ以上の値が存在する場合、delta_poc_msb_present_flag[i][j]の値は1に等しいものとする。
delta_poc_msb_cycle_lt[i][j]は、以下のように変数FullPocLt[i][j]の値を指定する:
delta_poc_msb_cycle_lt[i][j]の値は、両端値を含んで、0～2(32-log2_max_pic_order_cnt_lsb_minus4-4)の範囲にあるものとする。delta_poc_msb_cycle_lt[i][j]が存在しない場合、delta_poc_msb_cycle_lt[i][j]の値は0に等しいと推測される。
1に等しいnum_ref_idx_active_override_flagは、Pタイルグループ及びBタイルグループについて、シンタックス要素num_ref_idx_active_minus1[0]が存在すること、及びBタイルグループについて、シンタックス要素num_ref_idx_active_minus1[1]が存在することを指定する。0に等しいnum_ref_idx_active_override_flagは、シンタックス要素num_ref_idx_active_minus1[0]及びnum_ref_idx_active_minus1[1]が存在しないことを指定する。
num_ref_idx_active_minus1[i]は、以下に指定される変数NumRefIdxActive[i]の導出に使用される。num_ref_idx_active_minus1[i]の値は、両端値を含んで、0～14の範囲にあるものとする。
0又は1に等しいiに対して、現在のタイルグループがBタイルグループであり、num_ref_idx_active_override_flagが1に等しく、かつnum_ref_idx_active_minus1[i]が存在しない場合、num_ref_idx_active_minus1[i]は0に等しいと推測される。
現在のタイルグループがPタイルグループであり、num_ref_idx_active_override_flagが1に等しく、かつnum_ref_idx_active_minus1[0]が存在しない場合、num_ref_idx_active_minus1[0]は0に等しいと推測される。
変数NumRefIdxActive[i]は、以下のように導出される。
NumRefIdxActive[i]の値-1は、タイルグループを復号するために使用され得る参照ピクチャリストiの最大参照インデックスを指定する。NumRefIdxActive[i]の値が0に等しいとき、参照ピクチャリストiの参照インデックスは、タイルグループを復号するために使用されなくてもよい。
現在の復号されたピクチャが現在のタイルグループの唯一の参照ピクチャであることを指定する変数CurrPicIsOnlyRefは、以下のように導出される。
1に等しいpartition_constraints_override_flagは、分割制約パラメータがタイルグループヘッダ内に存在することを指定する。0に等しいpartition_constraints_override_flagは、分割制約パラメータがタイルグループヘッダ内に存在しないことを指定する。partition_constraints_override_flagが存在しない場合、partition_constraints_override_flagの値は0に等しいと推測される。
tile_group_log2_diff_min_qt_min_cb_lumaは、CTUの四分ツリー分割から生じる輝度リーフブロックの輝度サンプルにおける最小サイズの二進対数と、現在のタイルグループ内の輝度CUの輝度サンプルにおける最小符号化ブロックサイズの二進対数との間の差を指定する。tile_group_log2_diff_min_qt_min_cb_lumaの値は、両端値を含んで、0～CtbLog2SizeY-MinCbLog2SizeYの範囲にあるものとする。tile_group_log2_diff_min_qt_min_cb_lumaが存在しない場合、tile_group_log2_diff_min_qt_min_cb_lumaの値は以下のように推測される。
-tile_group_typeが2(I)に等しい場合、tile_group_log2_diff_min_qt_min_cb_lumaの値は、sps_log2_diff_min_qt_min_cb_intra_tile_group_lumaに等しいと推測される。
-そうでなければ(tile_group_typeが0(B)又は1(P)に等しい)、tile_group_log2_diff_min_qt_min_cb_lumaの値は、sps_log2_diff_min_qt_min_cb_inter_tile_groupに等しいと推測される。
tile_group_max_mtt_hierarchy_depth_lumaは、現在のタイルグループ内の四分ツリーリーフのマルチタイプツリー分割から生じる符号化ユニットの最大階層深さを指定する。tile_group_max_mtt_hierarchy_depth_lumaの値は、両端値を含んで、0～CtbLog2SizeY-MinCbLog2SizeYの範囲にあるものとする。tile_group_max_mtt_hierarchy_depth_lumaが存在しない場合、tile_group_max_mtt_hierarchy_depth_lumaの値は以下のように推測される。
-tile_group_typeが2に等しい場合、tile_group_max_mtt_hierarchy_depth_lumaの値は、sps_max_mtt_hierarchy_depth_intra_tile_group_lumaに等しいと推測される。
-そうでなければ(tile_group_typeが0(B)又は1(P)に等しい)、tile_group_max_mtt_hierarchy_depth_lumaの値は、sps_max_mtt_hierarchy_depth_inter_tile_groupに等しいと推測される。
tile_group_log2_diff_max_bt_min_qt_lumaは、二元分割を使用して分割され得る輝度符号化ブロックの輝度サンプルにおける最大サイズ(幅又は高さ)と、現在のタイルグループにおけるCTUの四分ツリー分割から生じる輝度リーフブロックの輝度サンプルにおける最小サイズ(幅又は高さ)との間での二進対数の差を指定する。tile_group_log2_diff_max_bt_min_qt_lumaの値は、両端値を含んで、0～CtbLog2SizeY-MinQtLog2SizeYの範囲にあるものとする。tile_group_log2_diff_max_bt_min_qt_lumaが存在しない場合、tile_group_log2_diff_max_bt_min_qt_lumaの値は以下のように推測される。
-tile_group_typeが2(I)に等しい場合、tile_group_log2_diff_max_bt_min_qt_lumaの値は、sps_log2_diff_max_bt_min_qt_intra_tile_group_lumaに等しいと推測される。
-そうでなければ(tile_group_typeが0(B)又は1(P)に等しい)では、tile_group_log2_diff_max_bt_min_qt_lumaの値は、sps_log2_diff_max_bt_min_qt_inter_tile_groupに等しいと推測される。
tile_group_log2_diff_max_tt_min_qt_Iumaは、三元分割を使用して分割され得る輝度符号化ブロックの輝度サンプルにおける最大サイズ(幅又は高さ)と、現在のタイルグループにおけるCTUの四分ツリー分割から生じる輝度リーフブロックの輝度サンプルにおける最小サイズ(幅又は高さ)との間での二進対数の差を指定する。tile_group_log2_diff_max_tt_min_qt_lumaの値は、両端値を含んで、0～CtbLog2SizeY-MinQtLog2SizeYの範囲にあるものとする。tile_group_log2_diff_max_tt_min_qt_lumaが存在しない場合、tile_group_log2_diff_max_tt_min_qt_lumaの値は以下のように推測される。
-tile_group_typeが2(I)に等しい場合、tile_group_log2_diff_max_tt_min_qt_lumaの値は、sps_log2_diff_max_tt_min_qt_intra_tile_group_lumaに等しいと推測される。
-そうでなければ(tile_group_typeが0(B)又は1(P)に等しい)、tile_group_log2_diff_max_tt_min_qt_lumaの値は、sps_log2_diff_max_tt_min_qt_inter_tile_groupに等しいと推測される。
tile_group_log2_diff_min_qt_min_cb_chromaは、DUAL_TREE_CHROMAに等しいtreeTypeを有する彩度CTUの四分ツリー分割から生じる輝度リーフブロックの輝度サンプルにおける最小サイズの二進対数と、現在のタイルグループ内のDUAL_TREE_CHROMAに等しいtreeTypeを有する彩度CUのための輝度サンプルにおける最小符号化ブロックサイズの二進対数との間の差を指定する。tile_group_log2_diff_min_qt_min_cb_chromaの値は、両端値を含んで、0～CtbLog2SizeY-MinCbLog2SizeYの範囲にあるものとする。tile_group_log2_diff_min_qt_min_cb_chromaが存在しない場合、tile_group_log2_diff_min_qt_min_cb_chromaの値はsps_log2_diff_min_qt_min_cb_intra_tile_group_chromaに等しいと推測される。
tile_group_max_mtt_hierarchy_depth_chromaは、現在のタイルグループ内のDUAL_TREE_CHROMAに等しいtreeTypeを有する四分ツリーリーフのマルチタイプツリー分割から生じる符号化ユニットの最大階層深さを指定する。tile_group_max_mtt_hierarchy_depth_chromaの値は、両端値を含んで、0～CtbLog2SizeY-MinCbLog2SizeYの範囲にあるものとする。Tile_group_max_mtt_hierarchy_depth_chromaが存在しない場合、tile_group_max_mtt_hierarchy_depth_chromaの値はsps_max_mtt_hierarchy_depth_intra_tile_groups_chromaに等しいと推測される。
tile_group_log2_diff_max_bt_min_qt_chromaは、二元分割を使用して分割され得る彩度符号化ブロックの輝度サンプルにおける最大サイズ(幅又は高さ)の二進対数と、現在のタイルグループにおけるDUAL_TREE_CHROMAに等しいツリータイプを有する彩度CTUの四分ツリー分割から生じる彩度リーフブロックの輝度サンプルにおける最小サイズ(幅又は高さ)との間の差を指定する。tile_group_log2_diff_max_bt_min_qt_chromaの値は、両端値を含んで、0～CtbLog2SizeY-MinQtLog2SizeCの範囲にあるものとする。tile_group_log2_diff_max_bt_min_qt_chromaが存在しない場合、tile_group_log2_diff_max_bt_min_qt_chromaの値はsps_log2_diff_max_bt_min_qt_intra_tile_group_chromaに等しいと推測される。
tile_group_log2_diff_max_tt_min_qt_chromaは、三元分割を使用して分割され得る彩度符号化ブロックの輝度サンプルにおける最大サイズ(幅又は高さ)の二進対数と、現在のタイルグループにおけるDUAL_TREE_CHROMAに等しいツリータイプを有する彩度CTUの四分ツリー分割から生じる彩度リーフブロックの輝度サンプルにおける最小サイズ(幅又は高さ)との間の差を指定する。tile_group_log2_diff_max_tt_min_qt_chromaの値は、両端値を含んで、0～CtbLog2SizeY-MinQtLog2SizeCの範囲にあるものとする。tile_group_log2_diff_max_tt_min_qt_chromaが存在しない場合、tile_group_log2_diff_max_tt_min_qt_chromaの値はsps_log2_diff_max_tt_min_qt_intra_tile_group_chromaに等しいと推測される。
変数MinQtLog2SizeY、MinQtLog2SizeC、MinQtSizeY、MinQtSizeC、MaxBtSizeY、MaxBtSizeC、MinBtSizeY、MaxTtSizeY、MaxTtSizeC、MinTtSizeY、MaxMttDepthY及びMaxMttDepthCは、以下のように導出される。
tile_group_temporal_mvp_enabled_flagは、時間的動きベクトル予測因子がインター予測のために使用され得るかどうかを指定する。tile_group_temporal_mvp_enabled_flagが0に等しい場合、現在のピクチャのシンタックス要素は、現在のピクチャの復号に時間的動きベクトル予測因子が使用されないように制約されるものとする。そうでなければ(tile_group_temporal_mvp_enabled_flagは1に等しい)、時間的動きベクトル予測因子は、現在のピクチャの復号に使用されてもよい。tile_group_temporal_mvp_enabled_flagが存在しない場合、tile_group_temporal_mvp_enabled_flagの値は0に等しいと推測される。
1に等しいmvd_l1_zero_flagは、mvd_coding(x0,y0,1)シンタックス構造がパースされず、compIdx=0～1についてMvdL1[x0][y0][compIdx]が0に等しく設定されていることを示す。0に等しいmvd_l1_zero_flagは、mvd_coding(x0,y0,1)シンタックス構造がパースされることを示す。
1に等しいcollocated_from_10_flagは、時間動きベクトル予測に使用されるコロケートされたピクチャが参照ピクチャリスト0から導出されることを指定する。0に等しいcollocated_from_10_flagは、時間動きベクトル予測に使用されるコロケートされたピクチャが参照ピクチャリスト1から導出されることを指定する。collocated_from_10_flagが存在しない場合、これは1に等しいと推測される。
six_minus_max_num_merge_candは、6から減算される、タイルグループでサポートされる結合される動きベクトル予測(MVP)候補の最大数を指定する。MVP候補が結合される最大数MaxNumMergeCandは、以下のように導出される。
MaxNumMergeCand=6-six_minus_max_num_merge_cand
MaxNumMergeCandの値は、両端値を含んで、1～6の範囲にあるものとする。
five_minus_max_num_subblock_merge_candは、5から減算される、タイルグループでサポートされるサブブロックベースの結合される動きベクトル予測(MVP)候補の最大数を指定する。five_minus_max_num_subblock_merge_candが存在しない場合、これは5-sps_sbtmvp_enabled_flagに等しいと推測される。サブブロックベースの結合されるMVP候補の最大数MaxNumMergeCandは、以下のように導出される。
MaxNumSubblockMergeCand=5-five_minus_max_num_subblock_merge_cand
MaxNumSubblockMergeCandの値は、両端値を含んで、0～5の範囲にあるものとする。
1に等しいtile_group_fpel_mmvd_enabled_flagは、動きベクトル差を有するマージモードが、現在のタイルグループ内の整数サンプル精度を使用することを指定する。0に等しいtile_group_fpel_mmvd_abled_flagは、動きベクトル差を有するマージモードが、現在のタイルグループにおける小数サンプル精度を使用できることを指定する。tile_group_fpel_mmvd_enabled_flagが存在しない場合、tile_group_fpel_mmvd_enabled_flagの値は0に等しいと推測される。
tile_group_qp_deltaは、符号化ユニットレイヤ内のCuQpDeltaValの値によって修正されるまでタイルグループ内の符号化ブロックに使用される、QPYの初期値を指定する。タイルグループのQPY量子化パラメータの初期値TileGroupQPYは、以下のように導出される。
TileGroupQPY=26+init_qp_minus26+tile_group_qp_delta
TileGroupQPYの値は、両端値を含んで、-QpBdOffsetY～+63の範囲にあるものとする。
tile_group_cb_qp_offsetは、Qp’Cb量子化パラメータの値を決定するときにpps_cb_qp_offsetの値に加算される差を指定する。tile_group_cb_qp_offsetの値は、両端値を含んで、-12～+12の範囲にあるものとする。tile_group_cb_qp_offsetが存在しない場合、これは0に等しいと推測される。pps_cb_qp_offset+tile_group_cb_qp_offsetの値は、両端値を含んで、-12～+12の範囲にあるものとする。
tile_group_cr_qp_offsetは、Qp’Cr量子化パラメータの値を決定するときに、pps_cr_qp_offsetの値に加算される差を指定する。tile_group_cr_qp_offsetの値は、両端値を含んで、-12～+12の範囲にあるものとする。tile_group_cr_qp_offsetが存在しない場合、これは0に等しいと推測される。pps_cr_qp_offset+tile_group_cr_qp_offsetの値は、両端値を含んで、-12～+12の範囲にあるものとする。
1に等しいtile_group_sao_luma_flagは、SAOが現在のタイルグループの輝度成分に対して有効であることを指定し、0に等しいtile_group_sao_luma_flagは、SAOが現在のタイルグループ内の輝度成分に対して無効であることを指定する。tile_group_sao_luma_flagが存在しない場合、これは0に等しいと推測される。
1に等しいtile_group_sao_chroma_flagは、SAOが現在のタイルグループ内の彩度成分に対して有効であることを指定し、0に等しいtile_group_sao_chroma_flagは、SAOが現在のタイルグループ内の彩度成分に対して無効であることを指定する。tile_group_sao_chroma_flagが存在しない場合、これは0に等しいと推測される。
1に等しいtile_group_alf_enabled_flagは、適応ループフィルタが有効でありタイルグループ内のY、Cb、又はCr色成分に適用され得ることを指定する。0に等しいtile_group_alf_enabled_flagは、適応ループフィルタがタイルグループ内の全ての色成分に対して無効であることを指定する。
tile_group_aps_idは、タイルグループが参照するAPSのadaptation_parameter_set_idを指定する。tile_group_aps_idに等しいadaptation_parameter_set_idを有するAPS NALユニットのTemporalIdは、符号化されたタイルグループNALユニットのTemporalId以下とする。
adaptation_parameter_set_idの同じ値を有する複数のAPSが、同じピクチャの2つ以上のタイルグループによって参照される場合、adaptation_parameter_set_idの同じ値を有する複数のAPSは、同じコンテンツを有するものとする。
0に等しいdep_quant_enabled_flagは、依存量子化が無効化されることを指定する。1に等しいdep_quant_enabled_flagは、依存量子化が有効化されることを指定する。
0に等しいsign_data_hiding_enabled_flagは、符号ビットハイディングが無効化されることを指定する。1に等しいsign_data_hiding_enabled_flagは、符号ビットハイディングが有効化されることを指定する。sign_data_hiding_enabled_flagが存在しない場合、これは0に等しいと推測される。
1に等しいdeblocking_filter_override_flagは、デブロッキングパラメータがタイルグループヘッダ内に存在することを指定する。0に等しいdeblocking_filter_override_flagは、デブロッキングパラメータがタイルグループヘッダ内に存在しないことを指定する。deblocking_filter_override_flagが存在しない場合、deblocking_filter_override_flagの値は0に等しいと推測される。
1に等しいtile_group_deblocking_filter_disabled_flagは、デブロッキングフィルタの動作が現在のタイルグループに対して適用されないことを指定する。0に等しいtile_group_deblocking_filter_disabled_flagは、デブロッキングフィルタの動作が現在のタイルグループに対して適用されることを指定する。tile_group_deblocking_filter_disabled_flagが存在しない場合、これはpps_deblocking_filter_disabled_flagに等しいと推測される。
tile_group_beta_offset_div2及びtile_group_tc_offset_div2は、現在のタイルグループのためのβ及びtC(2で割ったもの)に対するデブロッキングパラメータオフセットを指定する。tile_group_beta_offset_div2及びtile_group_tc_offset_div2の値は両方とも、両端値を含んで、-6～6の範囲にあるものとする。tile_group_beta_offset_div2及びtile_group_tc_offset_div2が存在しない場合、tile_group_beta_offset_div2及びtile_group_tc_offset_div2の値は、それぞれ、pps_beta_offset_div2及びpps_tc_offset_div2に等しいと推測される。
offset_len_minus1プラス1は、entry_point_offset_minus1[i]シンタックス要素の長さ(ビット)を指定する。offset_len_minus1の値は、両端値を含んで、0～31の範囲にあるものとする。
entry_point_offset_minus1[i]プラス1は、i番目のエントリポイントオフセット(バイト)を指定し、offset_len_minus1プラス1ビットで表される。タイルグループのヘッダに続くタイルグループデータは、NumTilesInCurrTileGroupサブセットからなり、サブセットインデックス値は、両端値を含んで、0～NumTilesInCurrTileGroup-1の範囲である。
タイルグループトデータの第1のバイトは、バイト0と見なされる。存在する場合、符号化されたタイルグループNALユニットのタイルグループデータ部分に現れるエミュレーション防止バイトは、サブセット識別の目的上、タイルグループデータの一部としてカウントされる。サブセット0は、符号化されたタイルグループデータ、サブセットkのバイト0～entry_point_offset_minus1[0](両端値を含む)からなる。kは、1～NumTilesInCurrTileGroup-2(両端値を含む)の範囲であり、符号化されたタイルグループデータのバイト、firstByte[k]～lastByte[k](両端値を含む)からなり、firstByte[k]及びlastByte[k]は、以下のとおり定義される。
最後のサブセット(サブセットインデックスがNumTilesInCurrTileGroup-1に等しい)は、符号化されたタイルグループデータの残りのバイトからなる。
各サブセットは、同じタイル内にあるタイルグループ内の全てのCTUの全ての符号化されたビットからなるものとする。
JVET-M1001に規定されるピクチャパラメータセット及びタイルグループヘッダのシンタックス及びセマンティクスは、理想的ではない場合がある。具体的には、情報が、ピクチャ内のどこにタイル及び/又はタイルグループが位置するかを指定する方法が理想的ではない場合がある。本開示は、タイル及び/又はタイルグループがピクチャ内に位置する場所を効率的に指定するための技術を説明する。本明細書に記載した技術によれば、ビデオエンコーダは、本明細書に記載されるシンタックス及びセマンティクスを使用してタイルグループ情報などをシグナリングすることができる。ビデオデコーダは、本明細書に記載されたシンタックス及びセマンティクスを使用したシグナリングをパースすることによってタイルグループ情報などを判定し、パースされたシグナリングに基づいてビデオ復号を実行することができる。
図1は、本開示の1つ以上の技術による、ビデオデータを符号化する(符号化及び/又は復号する)ように構成することができるシステムの例を示すブロック図である。システム100は、本開示の1つ以上の技術に従って、ビデオデータをカプセル化することができるシステムの例を表す。図1に示すように、システム100は、ソースデバイス102と、通信媒体110と、目的デバイス120と、を含む。図1に示す例では、ソースデバイス102は、ビデオデータを符号化し、符号化したビデオデータを通信媒体110に送信するように構成された、任意のデバイスを含むことができる。目的デバイス120は、通信媒体110を介して符号化したビデオデータを受信し、符号化したビデオデータを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス102及び/又は目的デバイス120は、有線及び/又は無線通信用に装備された演算デバイスを含むことができ、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ、又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、及び、例えば、スマートフォン、セルラー電話、パーソナルゲームデバイスを含むモバイルデバイス、を含むことができる。
通信媒体110は、無線及び有線の通信媒体及び/又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体110としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体110は、1つ以上のネットワークを含むことができる。例えば、通信媒体110は、ワールドワイドウェブへのアクセスを可能にするように構成されたネットワーク、例えば、インターネットを含むことができる。ネットワークは、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、かつ/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、Digital Video Broadcasting(DVB)規格、Advanced Television Systems Committee(ATSC)規格、Integrated Services Digital Broadcasting(ISDB)規格、Data Over Cable Service Interface Specification(DOCSIS)規格、Global System Mobile Communications(GSM)規格、符号分割多重アクセス(code division multiple access、CDMA)規格、第三世代パートナーシッププロジェクト(3rd Generation Partnership Project、3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute、ETSI)規格、インターネットプロトコル(Internet Protocol、IP)規格、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol、WAP)規格、及びInstitute of Electrical and Electronics Engineers(IEEE)規格が挙げられる。
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。揮発性メモリの例としては、ランダムアクセスメモリ(random access memory、RAM)、ダイナミックランダムアクセスメモリ(dynamic random access memory、DRAM)、及びスタティックランダムアクセスメモリ(static random access memory、SRAM)を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ(electrically programmable memory、EPROM)若しくは電気的消去可能及びプログラム可能メモリ(electrically erasable and programmable、EEPROM)の形態を挙げることができる。記憶デバイス(単数又は複数)としては、メモリカード(例えば、セキュアデジタル(Secure Digital、SD)メモリカード)、内蔵/外付けハードディスクドライブ、及び/又は内蔵/外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶することができる。
図4は、システム100の一実装形態に含まれ得るコンポーネントの一例を示す概念的描画である。図4に示す例示的な実装形態では、システム100は、1つ以上の演算デバイス402A～402N、テレビサービスネットワーク404、テレビサービスプロバイダサイト406、ワイドエリアネットワーク408、ローカルエリアネットワーク410、及び1つ以上のコンテンツプロバイダサイト412A～412Nを含む。図4に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス402A～402Nなどの複数の演算デバイスに配布され、かつ、それらによってアクセスされることが可能となるように構成され得るシステムの一例を表す。図4に示す例では、演算デバイス402A～402Nは、テレビサービスネットワーク404、ワイドエリアネットワーク408、及び/又はローカルエリアネットワーク410のうちの1つ以上からデータを受信するように構成されている任意のデバイスを含むことができる。例えば、演算デバイス402A～402Nは、有線及び/又は無線通信用に装備してもよく、1つ以上のデータチャネルを通じてサービスを受信するように構成してもよく、いわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含んでもよい。更に、演算デバイス402A～402Nは、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラー電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含んでもよい。
テレビサービスネットワーク404は、テレビサービスを含み得る、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク404は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び/又は頭越し型(over the top)サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスの提供を可能にするために主に使用され得るが、テレビサービスネットワーク404はまた、本明細書に記載された電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意すべきである。更に、いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスプロバイダサイト406と、演算デバイス402A～402Nのうちの1つ以上との間の双方向通信を可能にすることができることに留意すべきである。テレビサービスネットワーク404は、無線通信メディア及び/又は有線通信メディアの任意の組み合わせを含むことができる。テレビサービスネットワーク404は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。テレビサービスネットワーク404は、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、かつ/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、DVB規格、ATSC規格、ISDB規格、DTMB規格、DMB規格、ケーブルによるデータサービスインターフェース標準(Data Over Cable Service Interface Specification、DOCSIS)規格、HbbTV規格、W3C規格、及びUPnP規格が挙げられる。
図4を再び参照すると、テレビサービスプロバイダサイト406は、テレビサービスネットワーク404を介してテレビサービスを配信するように構成することができる。例えば、テレビサービスプロバイダサイト406は、1つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含み得る。例えば、テレビサービスプロバイダサイト406は、衛星アップリンク/ダウンリンクを介したテレビプログラムを含む送信を、受信するように構成することができる。更に、図4に示すように、テレビサービスプロバイダサイト406は、ワイドエリアネットワーク408と通信することができ、コンテンツプロバイダサイト412A～412Nからデータを受信するように構成することができる。いくつかの実施例では、テレビサービスプロバイダサイト406は、テレビスタジオを含むことができ、コンテンツはそこから発信できることに留意すべきである。
ワイドエリアネットワーク408は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、専用の態様を含むことができ、かつ/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、汎欧州デジタル移動電話方式(Global System Mobile Communications、GSM)規格、符号分割多元接続(code division multiple access、CDMA)規格、3rd Generation Partnership Project(3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute、ETSI)規格、欧州規格(EN)、IP規格、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol、WAP)規格、及び例えば、IEEE802規格のうちの1つ以上(例えば、Wi-Fi)などの電気電子技術者協会(Institute of Electrical and Electronics Engineers、IEEE)規格が挙げられる。ワイドエリアネットワーク408は、無線通信メディア及び/又は有線通信メディアの任意の組み合わせを含むことができる。ワイドエリアネットワーク408は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。一実施例では、ワイドエリアネットワーク408はインターネットを含んでもよい。ローカルエリアネットワーク410は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。ローカルエリアネットワーク410は、アクセスのレベル及び/又は物理インフラストラクチャに基づいてワイドエリアネットワーク408と区別することができる。例えば、ローカルエリアネットワーク410は、セキュアホームネットワークを含んでもよい。
図4を再び参照すると、コンテンツプロバイダサイト412A～412Nは、マルチメディアコンテンツをテレビサービスプロバイダサイト406及び/又は演算デバイス402A～402Nに提供することができるサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び/又はストリームをテレビサービスプロバイダサイト406に提供するように構成されている、1つ以上のスタジオコンテンツサーバを有するスタジオを含むことができる。一実施例では、コンテンツプロバイダのサイト412A～412Nは、IPスイートを使用してマルチメディアコンテンツを提供するように構成してもよい。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル(RTSP)、HTTPなどに従って、マルチメディアコンテンツを受信デバイスに提供するように構成されてもよい。更に、コンテンツプロバイダサイト412A～412Nは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク408を通じて、受信デバイス、演算デバイス402A～402N、及び/又はテレビサービスプロバイダサイト406のうちの1つ以上に提供するように構成してもよい。コンテンツプロバイダサイト412A～412Nは、1つ以上のウェブサーバを含んでもよい。データプロバイダサイト412A～412Nによって提供されるデータは、データフォーマットに従って定義することができる。
図1を再び参照すると、ソースデバイス102は、ビデオソース104と、ビデオエンコーダ106と、データカプセル化部107と、インターフェース108とを含む。ビデオソース104は、ビデオデータをキャプチャ及び/又は記憶するように構成された任意のデバイスを含むことができる。例えば、ビデオソース104は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。ビデオエンコーダ106は、ビデオデータを受信し、ビデオデータを表す準拠ビットストリームを生成するように構成された、任意のデバイスを含むことができる。準拠ビットストリームは、ビデオデコーダが受信し、それからビデオデータを再生することができるビットストリームを指すことがある。準拠ビットストリームの態様は、ビデオ符号化規格に従って定義することができる。準拠ビットストリームを生成するとき、ビデオエンコーダ106は、ビデオデータを圧縮することができる。圧縮は、非可逆的(視聴者に認識可能若しくは認識不可能)又は可逆的とすることができる。図5は、本明細書で説明するビデオデータを符号化するための技術を実装することができる、ビデオエンコーダ500の例を示すブロック図である。例のビデオエンコーダ500は、別個の機能ブロックを有するように示されているが、そのような例示は、説明のためのものであり、ビデオエンコーダ500及び/又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意すべきである。ビデオエンコーダ500の機能は、ハードウェア、ファームウェア、及び/又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
ビデオエンコーダ500は、ピクチャ領域のイントラ予測符号化及びインター予測符号化を実行することができ、このような点から、複合ビデオエンコーダと称されることがある。図5に示す例では、ビデオエンコーダ500は、ソースビデオブロックを受信する。いくつかの例では、ソースビデオブロックは、符号化構造に従って分割されているピクチャの領域を含むことができる。例えば、ソースビデオデータは、マクロブロック、CTU、CB、その再分割部分、及び/又は別の同等の符号化ユニットを含むことができる。いくつかの例では、ビデオエンコーダ500は、ソースビデオブロックの追加の再分割部分を実行するように構成することができる。本明細書で説明する技術は、符号化の前及び/又は符号化中にソースビデオデータがどのように分割されるかにかかわらず、ビデオ符号化に一般的に適用可能であることに留意すべきである。図5に示す例では、ビデオエンコーダ500は、加算器502と、変換係数生成装置504と、係数量子化部506と、逆量子化及び変換係数処理部508と、加算器510と、イントラ予測処理部512と、インター予測処理部514と、フィルタ部516と、エントロピ符号化部518と、を含む。図5に示すように、ビデオエンコーダ500は、ソースビデオブロックを受信し、ビットストリームを出力する。
図5に示す例では、ビデオエンコーダ500は、ソースビデオブロックから予測ビデオブロックを減算することにより、残差データを生成することができる。予測ビデオブロックの選択を、以下に詳細に記載する。加算器502は、この減算演算を実行するように構成されたコンポーネントを表す。一例では、ビデオブロックの減算は、画素領域で行われる。変換係数生成装置504は、離散コサイン変換(DCT)、離散サイン変換(DST)、又は概念的に類似の変換などの変換を残差ブロック又はその再分割部分に適用し(例えば、4つの8×8の変換を残差値の16×16のアレイに適用することができる)、残差変換係数のセットを生成する。変換係数生成装置504は、離散三角変換の近似物を含め離散三角変換のファミリーに含まれる変換の任意の及び全ての組み合わせを実行するように構成することができる。変換係数生成装置504は、変換係数を係数量子化部506に出力することができる。係数量子化部506は、変換係数の量子化を実行するように構成することができる。量子化プロセスは、係数の一部又は全てに関連付けられたビット深度を低減し得る。量子化の程度により、符号化したビデオデータの速度-歪(すなわち、ビデオのビットレート対品質)が変更され得る。量子化の程度は、量子化パラメータ(QP)を調節することにより、修正することができる。量子化パラメータは、スライスレベル値及び/又はCUレベル値(例えば、CUデルタQP値)に基づいて決定することができる。QPデータは、特定の変換係数のセットを量子化するQPを決定するために使用される任意のデータを含み得る。図5に示すように、量子化された変換係数(レベル値と呼んでもよい)は、逆量子化及び変換係数処理部508に出力される。逆量子化及び変換係数処理部508は、逆量子化及び逆変換を適用して、復元された残差データを生成するように構成することができる。図5に示すように、加算器510において、復元された残差データを、予測ビデオブロックに加算することができる。このようにして、符号化されたビデオブロックを復元することができ、結果として得られる復元されたビデオブロックを使用して、所与の予測、変換、及び/又は量子化についての符号化品質を評価することができる。ビデオエンコーダ500は、複数の符号化パスを実行する(例えば、予測、変換パラメータ及び量子化パラメータの1つ以上を変更しながら符号化を実行する)ように構成することができる。ビットストリームの速度-歪又は他のシステムパラメータは、復元されたビデオブロックの評価に基づいて最適化することができる。更に、復元されたビデオブロックは、その後のブロックを予測するための参照として記憶して使用することができる。
図5を再び参照すると、イントラ予測処理部512は、符号化されるビデオブロックに対してイントラ予測モードを選択するように構成することができる。イントラ予測処理部512は、現在のブロックを符号化するために、フレームを評価し、使用するイントラ予測モードを決定するように構成することができる。上記したように、可能なイントラ予測モードは、平面予測モード、DC予測モード、及び角度予測モードを含んでもよい。更に、いくつかの例では、クロマ成分に対する予測モードは、輝度予測モードに対する予測モードから推測できることに留意すべきである。イントラ予測処理部512は、1つ以上の符号化パスを実行した後にイントラ予測モードを選択してもよい。更に、一実施例では、イントラ予測処理部512は、速度-歪解析に基づいて予測モードを選択してもよい。図5に示すように、イントラ予測処理部512は、イントラ予測データ(例えば、シンタックス要素)をエントロピ符号化部518及び変換係数生成装置504に出力する。上述のように、残差データに対して実行される変換は、モード依存性であってもよい(例えば、二次変換行列は、予測モードに基づいて決定することができる)。
図5を再び参照すると、インター予測処理部514は、現在のビデオブロックに対してインター予測符号化を実行するように構成することができる。インター予測処理部514は、ソースビデオブロックを受信し、ビデオブロックのPUのために動きベクトルを計算するように構成することができる。動きベクトルは、参照フレーム内の予測ブロックに対する、現在のビデオフレーム内のビデオブロックのPUの変位を示すことができる。インター予測符号化は、1つ以上の参照ピクチャを使用することができる。更に、動き予測は、単一予測(1つの動きベクトルを用いる)又は双予測(2つの動きベクトルを用いる)とすることができる。インター予測処理部514は、例えば、絶対差の合計(sum of absolute difference)(SAD)、平方差の合計(sum of square difference)(SSD)、又は他の差の測定法によって判定された画素差を計算することにより、予測ブロックを選択するように構成することができる。上記したように、動きベクトルは、動きベクトル予測に従って判定及び特定することができる。インター予測処理部514は、上記したように、動きベクトル予測を実行するように構成することができる。インター予測処理部514は、動き予測データを用いて予測ブロックを生成するように構成することができる。例えば、インター予測処理部514は、フレームバッファ(図5に示されていない)内に予測ビデオブロックを配置することができる。インター予測処理部514は、復元された残差ブロックに1つ以上の補間フィルタを適用して、動き予測に使用するための整数未満の画素値を算出するように更に構成することができることに留意すべきである。インター予測処理部514は、計算された動きベクトルに対する動き予測データをエントロピ符号化部518に出力することができる。
図5を再び参照すると、フィルタ部516は、復元されたビデオブロック及び符号化パラメータを受信し、変更した復元されたビデオデータを出力する。フィルタ部516は、デブロッキング及び/又はサンプル適応オフセット(Sample Adaptive Offset)(SAO)フィルタリングを実行するように構成することができる。SAOフィルタリングは、復元されたビデオデータにオフセットを加えることにより復元を向上するために使用することができる、非線形振幅マッピングである。図5に示すように、イントラ予測処理部512及びインター予測処理部514は、フィルタ部216を介して、変更した復元されたビデオブロックを受信することができることに留意すべきである。エントロピ符号化部518は、量子化された変換係数及び予測シンタックスデータ(すなわち、イントラ予測データ、動き予測データ)を受信する。いくつかの例では、係数量子化部506は、係数がエントロピ符号化部518に出力される前に、量子化された変換係数を含む行列の走査を実行することができることに留意すべきである。他の例では、エントロピ符号化部518は、走査を実行することができる。エントロピ符号化部518は、本明細書で説明する技術の1つ以上に従ってエントロピ符号化を実行するように構成することができる。このように、ビデオエンコーダ500は、本開示の1つ以上の技術に従って符号化されたビデオデータを生成するように構成されているデバイスの一例を表す。
図1を再び参照すると、データカプセル化部107は、符号化されたビデオデータを受信し、定義されたデータ構造に従って準拠ビットストリーム、例えば、一連のNALユニットなどの準拠ビットストリームを生成することができる。準拠ビットストリームを受信するデバイスは、そこからビデオデータを再生することができる。更に、上述のように、サブビットストリーム抽出とは、受信ビットストリーム内のデータを破棄及び/又は修正することによって、ITU-T H.265準拠ビットストリームを受信しているデバイスが、新たなITU-T H.265準拠ビットストリームを形成するプロセスを指し得る。準拠ビットストリーム(compliant bitstream)という用語の代わりに適合ビットストリーム(conforming bitstream)という用語が使用され得ることに留意すべきである。一実施例では、データカプセル化部107は、本明細書に記載される1つ以上の技術に従ってシンタックスを生成するように構成することができる。データカプセル化部107は、ビデオエンコーダ106と同じ物理デバイス内に配置される必要はないことに留意すべきである。例えば、ビデオエンコーダ106及びデータカプセル化部107によって実行されるものとして説明される機能は、図4に示すデバイス間で分散されてもよい。
上述したように、情報が、JVET-M1001のピクチャ内のどこにタイル及び/又はタイルグループが位置するかを指定する方法が理想的ではない場合がある。一実施例では、本明細書の技術によれば、i番目のタイルグループの右下の角に位置するタイルの右下タイルインデックスは、そのi番目のタイルグループの左上の角に位置するタイルのインデックス(top_right_tile_idx[i])に対するタイルインデックス差として指定することができる。このようにi番目のタイルグループの右下の角に位置するタイルの右下タイルインデックスを特定することにより、ビットの節約がもたらされる。
表3は、本明細書の技術による、i番目のタイルグループの右下の角に位置するタイルの右下タイルインデックスを指定するための例示的なピクチャパラメータセットのシンタックスを示す。
表3に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づくことができ、シンタックス要素bottom_right_tile_idx_deltaについては、一実施例では、以下のセマンティクスを使用することができる。
bottom_right_tile_idx_delta[i]は、i番目のタイルグループの右下の角に位置するタイルのタイルインデックスと、i番目のタイルグループの左上の角に位置するタイルのタイルインデックス(すなわち、top_left_tile_idx[i])のタイルインデックスとの間の差を指定する。single_tile_per_tile_group_flagが1に等しい場合、bottom_right_tile_idx_delta[i]は、0に等しいと推測される。bottom_right_tile_idx_delta[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-top_left_tile_idx[i]))ビットである。
任意の特定のタイルが1つのタイルグループにのみ含まれることは、ビットストリームの適合性の要件である。
i番目のタイルグループのタイルの数を指定する変数NumTilesInTileGroup[i]、及び関連する変数は、以下のように導出される。
別の例では、変数NumTilesInTileGroupは、以下のように導出され得る。
表3に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づくことが可能であり、シンタックス要素single_tile_per_tile_groupについて、一実施例では、以下のセマンティクスを使用することができる。
1に等しいsingle_tile_per_tile_groupは、このPPSを指す各タイルグループが1つのタイルを含むことを指定する。0に等しいsingle_tile_per_tile_groupは、このPPSを指すタイルグループが2つ以上のタイルを含み得ることを指定する。
single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、1に等しいと推測される。
別の実施例では、single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、0に等しいと推測される。
一実施例では、本明細書の技術によれば、i番目のタイルグループの左上の角に位置するタイルの左上タイルインデックスは、その(i-1)番目のタイルグループの左上の角に位置するタイルのインデックスに対するタイルインデックス差として指定することができる。このため、PPS中のタイルグループについての情報をシグナリングするとき、タイルグループは、左上タイルインデックスの昇順で順序付けられる。このように、左上のタイルインデックスを指定することにより、ビットの節約がもたらされる。加えて、タイルグループ情報をこの順序でシグナリングすることにより、より容易なエラーチェックを可能にし、タイルグループに関するより構造化された既知のシグナリング方法を提供する。
表4は、本明細書の技術による、i番目のタイルグループの左上の角に位置するタイルに対する左上タイルインデックスを、その(i-1)番目のタイルグループの左上の角に位置するタイルのインデックスに関するタイルインデックス差として指定するための、例示的なピクチャパラメータセットのシンタックスを示す。
表4に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づくことができ、シンタックス要素top_left_tile_idx_delta及びbottom_right_tile_idxについては、一実施例では、以下のセマンティクスを使用することができる。
top_left_tile_idx_delta[i]は、iが0より大きいときに、i番目のタイルグループの左上の角に位置するタイルのタイルインデックスと、(i-1)番目のタイルグループの左上の角に位置するタイルのタイルインデックスとの間の差を指定する。top_left_tile_idx_delta[0]は、タイルのタイルインデックスは、0番目のタイルグループの左上の角に位置するタイルのタイルインデックスを指定する。iが0より大きいときに、top_left_tile_idx_delta[i]の値は0に等しくないものとする。top_left_tile_idx_delta[i]が存在しない場合、かつ、rect_tile_group_flagが1に等しい場合、top_left_tile_idx_delta[i]の値は、iが0より大きいときには1に等しく、iが0に等しいときには0に等しいと推測される。iが0より大きいときに、top_left_tile_idx_delta[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-TopLeftTileIdx[i-1])ビットである。0番目のタイルグループの左上の角に位置するタイルのタイルインデックスを指定するTopLeftTileIdx[i]は、0に等しいと推測される。
別の例では、top_left_tile_idx_delta[i]は、以下のセマンティクスを有するシンタックス要素top_left_tile_idx_delta_minus1[i]で置き換えられてもよい。
top_left_tile_idx_delta_minus1[i]プラス1は、iが0より大きいときに、i番目のタイルグループの左上の角に位置するタイルのタイルインデックスと、(i-1)番目のタイルグループの左上の角に位置するタイルのタイルインデックスとの間の差を指定する。top_left_tile_idx_delta_minus1[i]が存在しない場合、かつ、rect_tile_group_flagが1に等しい場合、iが0より大きいときに、top_left_tile_idx_delta_minus1[i]は0に等しいと推測される。iが0より大きいときに、top_left_tile_idx_delta_minus1[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-TopLeftTileIdx[i-1]-1)ビットである。0番目のタイルグループの左上の角に位置するタイルのタイルインデックスを指定するTopLeftTileIdx[0]は、0に等しいと推測される。iが0より大きいときのTopLeftTileIdx[i]は、TopLeftTileIdx[i]=TopLeftTileIdx[i-1]+top_left_tile_idx_delta_minus1[i]+1として計算される。
bottom_right_tile_idx[i]は、i番目のタイルグループの右下の角に位置するタイルのタイルインデックスを指定する。single_tile_per_tile_group_flagが1に等しい場合、bottom_right_tile_idx[i]は、top_left_tile_idx[i]に等しいと推測される。bottom_right_tile_idx[i]シンタックス要素の長さはCeil(Log2(NumTilesInPic))ビットである。
任意の特定のタイルが1つのタイルグループにのみ含まれることは、ビットストリームの適合性の要件である。
i番目のタイルグループのタイルの数を指定する変数NumTilesInTileGroup[i]、及び関連する変数は、以下のように導出される。
表4に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づき、シンタックス要素single_tile_per_tile_groupについては、一実施例では、以下のセマンティクスを使用することができる。
1に等しいsingle_tile_per_tile_groupは、このPPSを指す各タイルグループが1つのタイルを含むことを指定する。0に等しいsingle_tile_per_tile_groupは、このPPSを指すタイルグループが2つ以上のタイルを含み得ることを指定する。single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、1に等しいと推測される。別の実施例では、single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、0に等しいと推測される。
更に、表4に関して、対応するタイルグループヘッダのセマンティクスは、表2に関して上記に規定されたセマンティクスに基づくことが可能であり、シンタックス要素num_tiles_in_tile_group_minus1については、一実施例では、以下のセマンティクスを使用することができる。
num_tiles_in_tile_group_minus1は、存在する場合、タイルグループ内のタイルの数マイナス1を指定する。num_tiles_in_tile_group_minus1の値は、両端値を含んで、0～NumTilesInPic-1の範囲にあるものとする。num_tiles_in_tile_group_minus1が存在しない場合、num_tiles_in_tile_group_minus1の値は0に等しいと推測される。
現在のタイルグループ内のタイルの数を指定する変数NumTilesInCurrTileGroup、及びi番目のタイルグループ内のi番目のタイルのタイルインデックスを指定するTgTileIdx[i]は、以下のように導出される。
一実施例では、本明細書の技術によると、i番目のタイルグループの右下の角に位置するタイルの右下タイルインデックスは、そのi番目のタイルグループの左上の角に位置するタイルのインデックスに対するタイルインデックス差として指定することができ、i番目のタイルグループの左上の角に位置するタイルの左上タイルインデックスは、(i-1)番目のタイルグループの左上の角に位置するタイルのインデックスに対するタイルインデックス差として指定することができる。このように、右下タイルインデックス及び左上タイルインデックスを指定することにより、ビットの節約がもたらされる。加えて、タイルグループをこの順序でシグナリングすることにより、より容易なエラーチェックを可能にし、タイルグループに関するより構造化された既知のシグナリング方法を提供する。
表5は、i番目のタイルグループの右下の角に位置するタイルの右下タイルインデックスを、そのi番目のタイルグループの左上の角に位置するタイルのインデックスに対するタイルインデックス差として指定するための、そして、i番目のタイルグループの左上の角に位置するタイルの左上タイルインデックスを、その(i-1)番目のタイルグループの左上の角に位置するタイルのインデックスに対するタイルインデックス差として指定するための、本明細書の技術による、例示的なピクチャパラメータセットのシンタックスを示す。
表5に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づくことができ、シンタックス要素top_left_tile_idx_delta及びbottom_right_tile_idx_deltaについては、一実施例では、以下のセマンティクスを使用することができる。
top_left_tile_idx_delta[i]は、iが0より大きいときに、i番目のタイルグループの左上の角に位置するタイルのタイルインデックスと、(i-1)番目のタイルグループの左上の角に位置するタイルのタイルインデックスとの間の差を指定する。top_left_tile_idx_delta[0]は、0番目のタイルグループの左上の角に位置するタイルのタイルインデックスを指定する。iが0より大きいときに、top_left_tile_idx_delta[i]の値は0に等しくないものとする。top_left_tile_idx_delta[i]が存在しない場合、かつ、rect_tile_group_flagが1に等しい場合、top_left_tile_idx_delta[i]の値は、iが0より大きいときには1に等しく、iが0に等しいときには0に等しいと推測される。iが0より大きいときに、top_left_tile_idx_delta[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-TopLeftTileIdx[i-1])ビットである。0番目のタイルグループの左上の角に配置されるタイルのタイルインデックスを指定するTopLeftTileIdx[0]は、0に等しいと推測される。
別の例では、top_left_tile_idx_delta[i]は、以下のセマンティクスを有するシンタックス要素top_left_tile_idx_delta_minus1[i]で置き換えられてもよい。
top_left_tile_idx_delta_minus1[i]プラス1は、iが0より大きいときに、i番目のタイルグループの左上の角に位置するタイルのタイルインデックスと、(i-1)番目のタイルグループの左上の角に位置するタイルのタイルインデックスとの間の差を指定する。top_left_tile_idx_delta_minus1[i]が存在しない場合、かつ、rect_tile_group_flagが1に等しい場合、iが0より大きいときに、top_left_tile_idx_delta_minus1[i]は0に等しいと推測される。iが0より大きいときに、top_left_tile_idx_delta_minus1[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-TopLeftTileIdx[i-1]-1)ビットである。0番目のタイルグループの左上の角に位置するタイルのタイルインデックスを指定するTopLeftTileIdx[0]は、0に等しいと推測される。iが0より大きいときのTopLeftTileIdx[i]は、TopLeftTileIdx[i]=TopLeftTileIdx[i-1]+top_left_tile_idx_delta_minus1[i]+1として計算される。
bottom_right_tile_idx_delta[i]は、i番目のタイルグループの右下の角に位置するタイルのタイルインデックスと、i番目のタイルグループの左上の角に位置するタイルのタイルインデックス(すなわち、top_left_tile_idx[i])のタイルインデックスとの間の差を指定する。single_tile_per_tile_group_flagが1に等しい場合、bottom_right_tile_idx_delta[i]は、0に等しいと推測される。bottom_right_tile_idx_delta[i]シンタックス要素の長さは、Ceil(Log2(NumTilesInPic-top_left_tile_idx[i]))ビットである。
任意の特定のタイルが1つのタイルグループにのみ含まれることは、ビットストリームの適合性の要件である。
i番目のタイルグループのタイルの数を指定する変数NumTilesInTileGroup[i]、及び関連する変数は、以下のように導出される。
表4に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づくことが可能であり、シンタックス要素single_tile_per_tile_groupについては、一実施例では、以下のセマンティクスを使用することができる。
1に等しいsingle_tile_per_tile_groupは、このPPSを指す各タイルグループが1つのタイルを含むことを指定する。0に等しいsingle_tile_per_tile_groupは、このPPSを指すタイルグループが2つ以上のタイルを含み得ることを指定する。single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、1に等しいと推測される。別の実施例では、single_tile_per_tile_group_flagが存在しない場合、single_tile_per_tile_group_flagは、0に等しいと推測される。
更に、表5に関して、対応するタイルグループヘッダのためのセマンティクスは、表2に関して上記に規定されたセマンティクスに基づき、シンタックス要素num_tiles_in_tile_group_minus1については、一実施例では、以下のセマンティクスを使用することができる。
num_tiles_in_tile_group_minus1は、存在する場合、タイルグループ内のタイルの数マイナス1を指定する。num_tiles_in_tile_group_minus1の値は、両端値を含んで、0～NumTilesInPic-1の範囲にあるものとする。num_tiles_in_tile_group_minus1が存在しない場合、num_tiles_in_tile_group_minus1の値は0に等しいと推測される。
一実施例では、推測規則は、以下のように変更されてもよい。num_tiles_in_tile_group_minus1が存在しない場合、single_tile_per_tile_group_flagが1に等しい場合、num_tiles_in_tile_group_minus1の値は0に等しいと推測される。num_tiles_in_tile_group_minus1が存在しない場合、num_tiles_in_tile_group_minus1の値はNumTilesInTileGroup[tileGroupIdx]に等しいと推測され、そうでない場合(すなわち、rect_tile_group_flagが1に等しく、かつsingle_tile_per_tile_group_flagが0に等しい場合)、そこで、tileGroupIdxは以下に示すように導出される。
現在のタイルグループ内のタイルの数を指定する変数NumTilesInCurrTileGroup、及びi番目のタイルグループ内のi番目のタイルのタイルインデックスを指定するTgTileIdx[i]は、以下のように導出される。
図3に関して上述したように、CVSは、それぞれのアクセスユニットに含まれるNALユニットによって表される。JVET-M1001は、NALユニットに含まれる生(raw)バイトシーケンスペイロード(RBSP)データ構造の種別を指定するNALユニットヘッダセマンティクスを定義する。表1は、JVET-M1001に規定されているNALユニットヘッダのシンタックスを示す。
JVET-M1001は、表6に示すそれぞれのシンタックス要素に対して以下の定義を規定する。
forbidden_zero_bitは、0に等しいものとする。
nuh_temporal_id_plus1マイナス1は、NALユニットに対する時間識別子を指定する。nuh_temporal_id_plus1の値は、0に等しくないものとする。
変数TemporalIdは、以下のように導出される。
TemporalId=nuh_temporal_id_plusl-1
nal_unit_typeがIRAP_NUTに等しい場合、符号化されたタイルグループはIRAPピクチャに属し、TemporalIdは0に等しいものとする。
TemporalIdの値は、アクセスユニットの全てのVCL NALユニットに対して同じであるものとする。符号化ピクチャ又はアクセスユニットのTemporalIdの値は、符号化ピクチャ又はアクセスユニットのVCL NALユニットのTemporalIdの値である。
非VCL NALユニットに対するTemporalIdの値は、以下のように制約される。
-nal_unit_typeがSPS_NUTに等しい場合、TemporalIdは0に等しく、NALユニットを含むアクセスユニットのTemporalIdは0に等しいものとする。
-そうでなければ、nal_unit_typeがAPS_NUTに等しい場合、TemporalIdは、NALユニットを含むアクセスユニットのものに等しいものとする。
-そうでなければ、nal_unit_typeがEOS_NUT又はEOB_NUTに等しい場合、TemporalIdは0に等しいものとする。
-そうでなければ、TemporalIdは、NALユニットを含むアクセスユニットのTemporalId以上であるものとする。
注記-NALユニットが非VCL NALユニットである場合、TemporalIdの値は、非VCL NALユニットが該当する全てのアクセスユニットのTemporalId値の最小値に等しい。nal_unit_typeがPPS_NUTに等しい場合、全てのピクチャパラメータセット(PPS)がビットストリームの先頭に含まれてもよく、第1の符号化されたピクチャは、0に等しいTemporalIdを有するため、TemporalIdは、収容アクセスユニットのTemporalId以上であり得る。nal_unit_typeがPREFIX_SEI_NUT又はSUFFIX_SEI_NUTに等しい場合、SEI NALユニットを含むアクセスユニットのTemporalIdよりもTemporalId値が大きいアクセスユニットを含むビットストリームサブセットに適用される情報をSEI NALユニットが含み得るため、TemporalIdは、収容アクセスユニットのTemporalId以上であり得る。
nuh_reserved_zero_7bitsは「0000000」に等しいものとする。nuh_reserved_zero_7bitsの他の値は、後で指定されてもよい。デコーダは、「0000000」に等しくないnuh_reserved_zero_7bitsの値を有するNALユニットを無視する(すなわち、ビットストリームから除去して破棄する)。
シンタックス要素nal_unit_typeに関して、nal_unit_typeは、NALユニットに含まれるRBSPデータ構造のタイプを指定する。JVET-M1001は、nal_unit_typeに次のセマンティクスを規定する。
nal_unit_typeは、表7に示すように、NALユニットに含まれるRBSPデータ構造のタイプを指定する。セマンティクスが指定されていない、両端値を含んで、UNSPEC28～UNSPEC31の範囲内にあるnal_unit_typeを有するNALユニットは、本明細書で指定される復号プロセスに影響を与えない。
注記1-UNSPEC28～UNSPEC31の範囲のNALユニットタイプは、アプリケーションによって決定されるように使用されてもよい。本明細書では、これらのnal_unit_typeの値に対する復号プロセスは指定されない。異なるアプリケーションが、これらのNALユニットタイプを異なる目的のために使用し得るため、これらのnal_unit_type値を有するNALユニットを生成するエンコーダの設計、及びこれらのnal_unit_type値を有するNALユニットの内容を解釈するデコーダの設計において、特に注意を払わなければならない。本明細書は、これらの値のいかなる管理も定義しない。これらのnal_unit_type値は、使用の「衝突」(すなわち、同じnal_unit_type値に対するNALユニットコンテンツの意味の、異なる定義)が、重要でないか可能でないか、又は、例えば、制御アプリケーション若しくはトランスポート仕様において定義若しくは管理されている、又はビットストリームが流通される環境を制御することにより管理されている、コンテキストでの使用にのみ好適であり得る。デコーダは、nal_unit_typeの予約された値を使用する全てのNALユニットの内容を、ビットストリームの復号ユニット内のデータの量を判断する以外の目的においては無視する(ビットストリームから除去し、破棄する)。
注記2-この要件は、本明細書への互換性のある拡張が、将来定義されることを許容する。
注記3-クリーンランダムアクセス(CRA)ピクチャは、ビットストリーム内に存在する関連するRASL又はRADLピクチャを有してもよい。
注記4-IDR_N_LPに等しいnal_unit_typeを有する瞬時復号リフレッシュ(IDR)ピクチャは、ビットストリーム内に存在する関連するリーディングピクチャを有さない。IDR_W_RADLに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム内に存在する関連するRASLピクチャを有しないが、ビットストリーム内に関連するRADLピクチャを有してもよい。
IRAPピクチャは、その復号プロセスにおけるインター予測のためにそれ自体以外のあらゆるピクチャを参照しないピクチャであることに留意すべきである。典型的には、復号順のビットストリームの第1のピクチャは、IRAPピクチャでなければならない。いくつかのタイプのIRAPピクチャが存在し得る。例えば、IRAPピクチャは、リンク切れアクセス(BLA)ピクチャ、クリーンランダムアクセス(CRA)ピクチャ、又は瞬時デコーダリフレッシュ(IDR)ピクチャであってもよい。リーディングピクチャは、関連するIRAPピクチャに出力順序で先行するピクチャである。トレイリングピクチャは、関連するIRAPピクチャに出力順序で続く非IRAPピクチャである。IRAPピクチャに関連するトレイリングピクチャもまた、復号順でIRAPピクチャに続く。IDRピクチャについては、IDRピクチャの前に復号されるピクチャを参照する必要があるトレイリングピクチャは存在しない。CRAピクチャは、復号順でCRAピクチャに続くリーディングピクチャを有し、CRAピクチャの前に復号されたピクチャに対するピクチャ間予測参照を含むことができる。したがって、CRAピクチャがランダムアクセスポイントとして使用される場合、これらのリーディングピクチャは、復号可能でなくてもよく、ランダムアクセススキップリーディング(RASL)ピクチャとして識別される。BLAピクチャはまた、RASLピクチャに追従されることができる。これらのRASLピクチャは、常にBLAピクチャに対して廃棄され、CRAピクチャが復号可能でない場合、すなわちデコーダがCRAポイントで復号プロセスを開始する時に、CRAピクチャに対して廃棄される。復号順でIRAPピクチャに続き、出力順序でそれに先行することができる他のタイプのピクチャが、ランダムアクセス復号可能リーディング(RADL)ピクチャであり、これは、復号順でIRAPピクチャに先行する任意のピクチャへの参照を含むことができない。
一実施例では、本明細書の技術によれば、シンタックス要素tile_group_typeは、IRAPピクチャに対応するNALユニットのタイルグループヘッダ内でシグナリングされなくてもよい。すなわち、タイルグループヘッダがIRAPピクチャに対応するNALユニットに含まれるかどうかの判定を行うことができ、タイルグループヘッダがIRAPピクチャに対応するNALユニットに含まれる場合、tile_group_typeの値は、Iタイルグループを示す値に等しいと推測される(例えば、tile_group_typeが表3に従って2であると推測される)。このようにしてシンタックス要素tile_group_typeの値をシグナリング及び推測しないことは、IRAPピクチャの各タイルグループのタイルグループヘッダ内の3ビットを節約する。表8は、例示のタイルグループヘッダシンタックスを示し、シンタックス要素tile_group_typeは、タイルグループヘッダがIRAPピクチャに対応するNALユニットに含まれるかどうかに基づいて条件付きでシグナリングされ、tile_group_typeの値は、本明細書の技術に従って、シグナリングされていないときに、Iタイルグループを示す値に等しいと推測される。
表8に関して、シンタックス要素のセマンティクスは、上記に規定されたセマンティクスと同じであってもよい。しかしながら、シンタックス要素tile_group_typeのセマンティクスは、以下の通りであってもよい。
tile_group_typeは、表3に従ってタイルグループの符号化タイプを指定する。tile_group_typeが存在しない場合、tile_group_typeは、2に等しい(すなわち、Iタイルグループ)と推測される。
本明細書に記載される技術は、シンタックス要素nal_unit_typeに従って指定されたIRAPピクチャのタイプの数にかかわらず、一般的に適用可能であり得ることに留意すべきである。すなわち、以下の条件:
if(nal_unit_type < IDR_W_RADL ||(nal_unit_type > RSVJRAP_VCL13 && nal_unit_type<=RSV_VCH5))
を適宜変更して、nal_unit_typeの値がIRAPを示すかどうかを決定してもよい。
JVET-M1001は、general_constraint_info()シンタックス構造内に以下の定義を有するシンタックス要素intra_only_constraint_flagを含むことに留意すべきである。
1に等しいintra_only_constraint_flagは、tile_group_typeがIに等しいことはビットストリームの適合性の要件である、ということを指定する。0に等しいintra_only_constraint_flagは、制約を課さない。
別の例では、tile_group_typeは、シンタックス要素intra_only_constraint_flagの値に更に基づいて条件付きでシグナリングされてもよい。すなわち、一実施例では、次の条件:
if(nal_unit_type < IDR_W_RADL ||(nal_unit_type > RSV_IRAP_VCL13 && nal_unit_type<=RS V_VCL15))
は、以下のように変更することができる。
if((nal_unit_type < IDR W RADL ||(nal unit type > RSVJRAPVCL13 && nal_unit_type<=RSV_VCL15))|| !intra_only_constraint_flag)
本明細書の技術は、intra_only_constraint_flagがどこでシグナリングされるかにかかわらず、一般的に適用可能であり得ることに留意すべきである。更に、一実施例では、条件!intra_only_constraint_flagは、単独で(nal unit type条件なしで)使用されて、シンタックス要素tile_group_typeがシグナリング又は推測されるかどうかを示すことができる。したがって、この場合、一実施例では、次の条件:
if(nal_unit_type < IDR W RADL ||(nal_unit_type > RSV_IRAP_VCL13 && nal_unit_type<=RSV_VCL15))
は、以下のように変更することができる。
if(!intra_only_constraint_flag)
上述のように、タイルグループは、整数個の完全なタイルを形成するCTUのセットである。したがって、タイルグループは1つ以上のタイルを含む。1つ以上のタイルのセットをタイルセットと呼ぶことができる。更に、タイルセットは、依存性を符号化するための境界(例えば、イントラ予測依存性、エントロピ符号化依存性など)を定義するために使用されてもよく、そのため、符号化及び関心領域符号化における並列処理を可能にすることができる、ということに留意すべきである。例えば、図2に示す例示のビデオシーケンスについては、タイルグループ1は、タイルグループ2に含まれる1つ以上のタイルセットとは異なる視覚的関心領域に対応する1つ以上のタイルセットを含んでもよい(例えば、タイルグループ2は、ビデオの前景内のバスケットボールのコートに対応してもよく、タイルグループ1は、ビデオの背景の観客に対応してもよい)。ITU-T H.265は、動き制約タイルセット(MCTS)を有効にするシグナリングを定義する。動き制約タイルセットは、ピクチャ間予測依存性が参照ピクチャ内のコロケーションされたタイルセットに限定されるタイルセットを含んでもよい。この結果、所与のMCTSに対する動き補償を、MCTSの外側にある他のタイルセットの復号とは無関係に実行することが可能である。したがって、例えば、図2を参照すると、タイルグループ2がPic1～Pic4のMCTSである場合、動き補償は、符号化されたタイルグループ1とは独立して、タイルグループ2に対して行われてもよい。
表8に関して、シンタックス要素のセマンティクスは、上記に規定されたセマンティクスと同じであってもよい。しかしながら、シンタックス要素tile_group_typeのセマンティクスは、以下の通りであってもよい。
tile_group_typeは、表3に従ってタイルグループの符号化タイプを指定する。tile_group_typeが存在しない場合、tile_group_typeは、2に等しい(すなわち、Iタイルグループ)と推測される。
本明細書に記載される技術は、シンタックス要素nal_unit_typeに従って指定されたIRAPピクチャのタイプの数にかかわらず、一般的に適用可能であり得ることに留意すべきである。すなわち、以下の条件:
if(nal_unit_type < IDR_W_RADL ||(nal_unit_type > RSVJRAP_VCL13 && nal_unit_type<=RSV_VCH5))
を適宜変更して、nal_unit_typeの値がIRAPを示すかどうかを決定してもよい。
JVET-M1001は、general_constraint_info()シンタックス構造内に以下の定義を有するシンタックス要素intra_only_constraint_flagを含むことに留意すべきである。
1に等しいintra_only_constraint_flagは、tile_group_typeがIに等しいことはビットストリームの適合性の要件である、ということを指定する。0に等しいintra_only_constraint_flagは、制約を課さない。
別の例では、tile_group_typeは、シンタックス要素intra_only_constraint_flagの値に更に基づいて条件付きでシグナリングされてもよい。すなわち、一実施例では、次の条件:
if(nal_unit_type < IDR_W_RADL ||(nal_unit_type > RSV_IRAP_VCL13 && nal_unit_type<=RS V_VCL15))
は、以下のように変更することができる。
if((nal_unit_type < IDR W RADL ||(nal unit type > RSVJRAPVCL13 && nal_unit_type<=RSV_VCL15))|| !intra_only_constraint_flag)
本明細書の技術は、intra_only_constraint_flagがどこでシグナリングされるかにかかわらず、一般的に適用可能であり得ることに留意すべきである。更に、一実施例では、条件!intra_only_constraint_flagは、単独で(nal unit type条件なしで)使用されて、シンタックス要素tile_group_typeがシグナリング又は推測されるかどうかを示すことができる。したがって、この場合、一実施例では、次の条件:
if(nal_unit_type < IDR W RADL ||(nal_unit_type > RSV_IRAP_VCL13 && nal_unit_type<=RSV_VCL15))
は、以下のように変更することができる。
if(!intra_only_constraint_flag)
上述のように、タイルグループは、整数個の完全なタイルを形成するCTUのセットである。したがって、タイルグループは1つ以上のタイルを含む。1つ以上のタイルのセットをタイルセットと呼ぶことができる。更に、タイルセットは、依存性を符号化するための境界(例えば、イントラ予測依存性、エントロピ符号化依存性など)を定義するために使用されてもよく、そのため、符号化及び関心領域符号化における並列処理を可能にすることができる、ということに留意すべきである。例えば、図2に示す例示のビデオシーケンスについては、タイルグループ1は、タイルグループ2に含まれる1つ以上のタイルセットとは異なる視覚的関心領域に対応する1つ以上のタイルセットを含んでもよい(例えば、タイルグループ2は、ビデオの前景内のバスケットボールのコートに対応してもよく、タイルグループ1は、ビデオの背景の観客に対応してもよい)。ITU-T H.265は、動き制約タイルセット(MCTS)を有効にするシグナリングを定義する。動き制約タイルセットは、ピクチャ間予測依存性が参照ピクチャ内のコロケーションされたタイルセットに限定されるタイルセットを含んでもよい。この結果、所与のMCTSに対する動き補償を、MCTSの外側にある他のタイルセットの復号とは無関係に実行することが可能である。したがって、例えば、図2を参照すると、タイルグループ2がPic1～Pic4のMCTSである場合、動き補償は、符号化されたタイルグループ1とは独立して、タイルグループ2に対して行われてもよい。
MCTSに従ってビデオデータを符号化することは、全方向ビデオプレゼンテーションを含むビデオアプリケーションに有用であり得る。すなわち、タイルセットは、全方向性ビデオの最も関心のある領域を形成してもよい。更に、このタイルセットは、最も関心のある領域内に含まれるMCTSであってもよい。ビューポート依存ビデオ符号化は、ビューポート依存部分ビデオ符号化とも呼ばれることもあり、ビデオ領域全体の一部のみの復号を可能にするために使用することができる。すなわち、例えば、ビューポート依存ビデオ符号化を使用して、現在のFOVをレンダリングするのに十分な情報を提供することができる。例えば、全方向ビデオは、ビューポートをカバーする可能性のある各領域が経時的に他の領域から独立して復号され得るように、MCTSを使用して符号化することができる。この場合、例えば、特定の現在のビューポートに対して、ビューポートをカバーするタイルの最小セットがクライアントに送信され、復号され、及び/又はレンダリングされてもよい。このプロセスは、単純タイルベース部分復号(STPD)と呼ばれることがある。
一実施例では、本明細書の技術によれば、シンタックス要素は、矩形タイルグループが動き制約タイルセットであるかどうかを示すようにシグナリングされてもよい。このような指示は、360度ビデオビットストリームの書き換えシナリオに有用であり得る。表9は、矩形タイルグループが本明細書の技術による動き制約タイルセットであるかどうかを指定するための例示的なピクチャパラメータセットのシンタックスを示す。
表9に関して、このセマンティクスは、表1に関して上記に規定されたセマンティクスに基づき、シンタックス要素is_mcts_flagについては、一実施例では、以下のセマンティクスを使用することができる。
1に等しいis_mcts_flagは、i番目のタイルグループが動き制約タイルセットであることを指定する。0に等しいis_mcts_flag[i]は、i番目のタイルグループが動き制約タイルセットでないことを指定する。
別の実施例では、is_mcts_flag[i]をシグナリングするための条件は、
から、以下に変更されてもよい。
本明細書の技術によれば、シンタックス要素is_mcts_flagは、本明細書に記載される例示的なピクチャパラメータセットのそれぞれに条件付きで存在してもよく、例えば、ピクチャパラメータセットは、top_left_tile_idx_delta及び/又はbottom_right_tile_idx_deltaを含む。
別の実施例では、タイルグループが動き制約タイルセットであるか否かは、タイルグループヘッダ内に追加的に又は代替的にシグナリングされ得る。表10は、シンタックス要素is_mcts_flagを含む、例示的なタイルグループヘッダシンタックスを示す。
表10に関して、いくつかの実施例では、シンタックス要素tile_group_タイプは、上述の技術に従って(例えば、if(nal_unit_type<IDR_W_RADL||(nal_unit_type>RSV_IRAP_VCL13&&nal_unit_type<=RSV_VCL15))に従って)条件付きでシグナリング及び推測され得ることに留意すべきである。更に、シンタックス要素のセマンティクスは、上記に規定されたセマンティクスと同じであってもよい。シンタックス要素is_mcts_flagのセマンティクスは、以下のようにすることができる。
1に等しいis_mcts_flagは、このタイルセットが動き制約タイルセットであることを指定する。0に等しいis_mcts_flagは、このタイルセットが動き制約タイルセットでないことを指定する。
表11は、シンタックス要素is_mcts_flagを含む別の例示的なタイルグループヘッダシンタックスを示す。
この場合、シンタックス要素のセマンティクスはis_mcts_flagであり、表10に関して上記で規定したものと同じであってもよい。表11については、rect_tile_groupの値に関係なくタイルグループヘッダにis_mcts_flagが含まれているため、表11の例はラスタ走査タイルグループにも適用可能であることに留意すべきである。
上述のように、タイルグループは、整数個の完全なタイルを形成するCTUのセットであり、タイルグループは1つ以上のタイルを含み、1つ以上のタイルのセットをタイルセットと呼ぶことができる。更に、上述のように、タイルグループ、タイル、及びタイルセットを使用して、符号化依存性のための境界を定義することができる。場合によっては、符号化依存性及び/又はCTU処理順序のための境界を定義するためにサブタイル構造を設定することが有用であり得る。例えば、図2に示す例示のビデオシーケンスについて、図7は、タイルグループ1が、タイル1及びタイル2を含み、タイルグループ2が、タイル3、タイル4及びタイル5を含む実施例を示す。更に、タイル3及びタイル4は、タイルセットを形成するものとして示されている。タイル2については、各CTUはラスタ走査処理順序従ってすなわち0～20に、番号付けされる。図7は、タイル2のサブタイル構造の実施例を更に示す。すなわち、図7において、タイル2は、一実施例では、CTUの上部2つの行を含む第1のサブタイル構造及びCTUの最下部行を含む第2のサブタイル構造を含むものとして示され(すなわち、左側の実施例)、そしてタイル2は、別の実施例では、CTUの4つの左の列を含む第1のサブタイル構造及びCTUの3つの右の列を含む第2のサブタイル構造を含むものとして示されている(すなわち、右側の実施例)。1つ以上のタイルをCTUの1つ以上の列に分割することは、タイルを1つ以上のブリックに分割することと呼ばれてもよいことに留意すべきである。すなわち、タイル内にCTUの1つ以上の列を含むように制約されるサブタイル構造のタイプは、ブリックと呼ばれてもよい。更に、一実施例では、ブリック内のCTUはラスタ走査順序で処理されてもよい。
タイルをサブタイル構造に分割することを可能にする方法、及びサブタイル構造がシグナリングされる方法により、様々なタイプのシグナリングの柔軟性及び/又は符号化効率の改善を可能にすることができる。表12は、本明細書の技術による、矩形タイルグループが、サブタイル構造に更に分割されたタイルを含むかどうかを指定するための例示的なピクチャパラメータセットのシンタックスを示す。表12に示す実施例では、タイルは、1つ以上の行を含むサブタイル構造に水平に分割されてもよい。すなわち、表12の実施例では、タイルは、いわゆるブリックに分割されてもよい。
表12に関して、このセマンティクスは、表9に関して上記に規定されたセマンティクスに基づくことができ、シンタックス要素signalled_brick_id_flag、signaled_brick_id_length_minus1、num_bricks_in_tile_minus1、num_ctu_rows_in_brick_minus1、及びbrick_idについては、一実施例では、以下のセマンティクスを使用することができる。
1に等しいsignalled_brick_id_flagは、各タイルグループの各タイルの各ブリックのブリックIDがシグナリングされることを指定する。0に等しいsignalled_brick_id_flagは、ブリックIDがシグナリングされないことを指定する。rect_tile_group_flagが0に等しい場合、signalled_brick_id_flagの値は、0に等しいと推測される。
signalled_brick_id_length_minus1プラス1は、存在する場合、シンタックス要素brick_id[i][j][k]、及びタイルグループヘッダ内のシンタックス要素start_brick_addressを表すために使用されるビット数を指定する。signalled_brick_id_length_minus1の値は、両端値を含んで、0～31の範囲にあるものとする。別の実施例では、31以外のいくつかの他の上限が使用されてもよい。signalled_brick_id_length_minu1が存在しない場合、signalled_brick_id_length_minu1の値はCeil(Log2(numTotalBricks))-1に等しいと推測される。
num_bricks_in_tile_minus1[i][j]プラス1は、i番目のタイルグループのj番目のタイルのブリックの数を指定する。num_bricks_in_tile_minus1[i][j]の値は、両端値を含んで、0～<Number Of Maximum Bricks Allowed In Pic>-1の範囲にあるものとし、<Number Of Maximum Bricks Allowed In Pic>の値は、プロファイル/階層/レベルによって指定され得る。
num_ctu_rows_in_brick_minus1[i][j][k]プラス1は、i番目のタイルグループのj番目のタイルのk番目のブリックのCTU行の数を指定する。num_ctu_rows_in_brick_minus1[i][j][k]の値は、両端値を含んで、0～<total CTU rows in the j-th tile in the i-th tile group>-1の範囲にあるものとする。
brick_id[i][j][k]は、i番目のタイルグループのj番目のタイルのk番目のブリックのブリックIDを指定する。brick_id[i][j][k]シンタックス要素の長さは、signalled_brick_id__length__minus1+1ビットである。brick_id[i][j][k]が存在しない場合、brick_id[i][j][k]の値は以下のように推測される。
シンタックス要素signalled_brick_id_length_minus1及びbrick_idは、サブタイル構造がデフォルトの順序付けられた番号付け識別以外の方法で一意に識別されることに留意すべきである。このようなサブタイル構造の識別を可能にすることは、ビットストリームの書き換えケースに特に有用であり得る。書き換えケースでは、tile_group_addressを変更する必要なく、ピクチャからの1つ以上のブリックを抽出し、他のブリック(単数又は複数)によって置き換えてもよい。更に、これ以上分割されないタイルは、1つのブリックを有し、ピクチャ全体がただ1つのタイルを有してもよく、したがって、1つのブリックを有してもよいことに留意すべきである。1つの実施例では、NALユニット中のタイル、ブリック、及びタイルグループをカプセル化する場合、以下の規則のうちの1つ以上が適用されてもよい。
・NALユニットには、1つのブリックが存在し得る
・NALユニットには、同じタイルから複数のブリックが存在し得る
・NALユニットには、1つ以上の完全なタイルが存在し得る。
・タイルは、1つ以上のブリックからなる。
更に、brick_id[i][j][k]をシグナリングする利点は、タイルをブリックに更に分割することが可能になり、これは、NALユニットを介して送信され得るより細かい粒径を提供することである。
表12に関して、一実施例では、表13は、対応するタイルグループヘッダシンタックスの一例を示す。
表13に関して、このセマンティクスは、表10に関して上記に規定されたセマンティクスに基づくことができ、シンタックス要素start_brick_address_flag及びnum_bricks_minus1については、一実施例では、以下のセマンティクスを使用することができる。
start_brick_addressは、tile_group_data()がこのタイルグループヘッダに続くtile_group_addressによって指定されたタイルグループ内の第1のブリックのブリックアドレスを指定する。
start_brick_addressが存在しない場合、start_brick_addressの値は0に等しいと推測される。以下が適用される。
-start_brick_addressの長さは、signalled_brick_id_length_minus1+1ビットである。
-signalled_brick_id_flagが0に等しい場合、start_brick_addressの値は、両端値を含んで、0～<このタイルグループのブリックの最大数>の範囲にあるものとする。そうでなければ、start_brick_addressの値は、両端値を含んで、0～2(signalled_brick_id_length_minus1+1)-1の範囲にあるものとする。
num_bricks_minus1は、tile_group_data()がこのタイルグループヘッダに続くtile_group_addressによって指定されたタイルグループのstart_brick_addressで開始されるブリックの数を指定する。start_brick_addressが存在しない場合、start_brick_addressの値は0に等しいと推測される。
別の実施例では、num_bricks_minus1の代わりに、end_tile_addressがシグナリングされてもよい。
いくつかの実施例では、u(v)で符号化されることが示されるシンタックス要素は、ue(v)として符号化されてもよく、いくつかの実施例では、ue(v)で符号化されることが示されるシンタックス要素はu(v)として符号化されてもよいことに留意すべきである。
いくつかの実施例では、表12及び表13のシンタックスは、本明細書に記載されるシンタックスの他の実施例と組み合わされてもよいことに留意すべきである。例えば、一実施例では、シンタックス要素is_mcts_flagを表12及び/又は表13に含めることができる。
このようにして、ソースデバイス102は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスをシグナリングするように構成されたデバイスの一実施例を表す。このようにして、ソースデバイス102は、タイルグループが動き制約タイルセットであるかどうかをシグナリングするように構成されたデバイスの一実施例を表す。
図1を再び参照すると、インターフェース108は、データカプセル化部107によって生成されたデータを受信し、そのデータを通信媒体に送信及び/又は記憶するように構成された任意のデバイスを含むことができる。インターフェース108は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び/若しくは受信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース108は、ファイルを記憶デバイス上に記憶することを可能にすることができるコンピュータシステムインターフェースを含むことができる。例えば、インターフェース108は、Peripheral Component Interconnect(PCI)及びPeripheral Component Interconnect Express(PCIe)バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス(Universal Serial Bus、USB)プロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理構造及び物理構造をサポートする、チップセットを含むことができる。
図1を再び参照すると、目的デバイス120は、インターフェース122と、データデカプセル化部123と、ビデオデコーダ124と、ディスプレイ126とを含む。インターフェース122は、通信媒体からデータ受信するように構成されている任意のデバイスを含むことができる。インターフェース122は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び/若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース122は、準拠ビデオビットストリームを記憶デバイスから取得することを可能にするコンピュータシステム用インターフェースを含むことができる。例えば、インターフェース122は、PCI及びPCIeバスプロトコル、独自のバスプロトコル、USBプロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理構造及び物理構造をサポートする、チップセットを含むことができる。データデカプセル化部123は、本明細書に記載される例示的なシンタックス構造のうちのいずれかを受信及びパースするように構成されてもよい。
ビデオ復号器124は、ビットストリーム(例えば、MCTSサブビットストリーム抽出)及び/又はその許容可能な変形を受信し、そこからビデオデータを再生するように構成されている任意のデバイスを含むことができる。ディスプレイ126は、ビデオデータを表示するように構成された任意のデバイスを含むことができる。ディスプレイ126は、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの1つを含むことができる。ディスプレイ126は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。図1に示す例では、ビデオデコーダ124は、データをディスプレイ126に出力するように説明されているが、ビデオデコーダ124は、ビデオデータを様々な種類のデバイス及び/又はそのサブコンポーネントに出力するように構成することができることに留意すべきである。例えば、ビデオデコーダ124は、本明細書で説明するような任意の通信媒体にビデオデータを出力するように構成することができる。
図6は、本開示の1つ以上の技術による、ビデオデータを復号するように構成することができるビデオデコーダの例を示すブロック図である。一実施例では、ビデオデコーダ600は、変換データを復号し、復号された変換データに基づいて変換係数から残差データを復元するように構成することができる。ビデオデコーダ600は、イントラ予測復号及びインター予測復号を実行するように構成される場合があり、そのために、ハイブリッドデコーダと称される場合がある。ビデオデコーダ600は、上記の表1～11に記載されたシンタックス要素の任意の組み合わせをパースするように構成することができる。ビデオデコーダ600は、上述したプロセスに基づいて、又はそれに従ってピクチャを復号することができる。
図6に示す例では、ビデオデコーダ600は、エントロピ復号部602、逆量子化部及び変換係数処理部604、イントラ予測処理部606、インター予測処理部608、加算部610、ポストフィルタ部612、並びに参照バッファ614を含む。ビデオデコーダ600は、ビデオ符号化システムと合致するようにしてビデオデータを復号するように構成することができる。例のビデオデコーダ600が別個の機能ブロックを有するように示されているが、そのような例示は説明のためのものであり、ビデオデコーダ600及び/又はそのサブコンポーネントを特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意すべきである。ビデオデコーダ600の機能は、ハードウェア、ファームウェア、及び/又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
図6に示すように、エントロピ復号部602は、エントロピ符号化されたビットストリームを受信する。エントロピ復号部602は、エントロピ符号化プロセスとは逆の(reciprocal)プロセスに従って、ビットストリームからシンタックス要素及び量子化された係数を復号するように構成することができる。エントロピ復号部602は、上記したエントロピ符号化技術のいずれかに従ってエントロピ復号を実行するように構成することができる。エントロピ復号部602は、ビデオ符号化規格と合致するようにして、符号化されたビットストリーム中のシンタックス要素の値を決定することができる。図6に示すように、エントロピ復号部602は、ビットストリームから量子化パラメータ、量子化された係数の値、変換データ、及び予測データを判定することができる。図6に示す実施例では、逆量子化部及び変換係数処理部604は、量子化パラメータ、量子化された係数の値、変換データ、及び予測データをエントロピ復号部602から受信し、復元された残差データを出力する。
図6を再び参照すると、復元された残差データが加算部610に提供されてもよく、加算部610は、復元された残差データを予測ビデオブロックに追加し、復元されたビデオデータを生成することができる。予測ビデオブロックは、予測ビデオ技術(すなわち、イントラ予測及びフレーム間予測)に従って判定することができる。イントラ予測処理部606は、イントラ予測シンタックス要素を受信し、参照バッファ614から予測ビデオブロックを取得するように構成することができる。参照バッファ614は、ビデオデータの1つ以上のフレームを記憶するように構成されたメモリデバイスを含むことができる。イントラ予測シンタックス要素は、上記したイントラ予測モードなどのイントラ予測モードを識別することができる。インター予測処理部608は、インター予測シンタックス要素を受信し、動きベクトルを生成して、参照バッファ616に記憶された1つ以上の参照フレーム内の予測ブロックを識別することができる。インター予測処理部608は、場合によっては補間フィルタに基づく補間を実行して、動き補償されたブロックを生成することができる。シンタックス要素には、画素未満の精度を有する動き予測に使用されることになる補間フィルタの識別子を含めることができる。インター予測処理部608は、補間フィルタを使用して、参照ブロックのサブ整数の画素に対する補間された値を算出することができる。ポストフィルタ部614は、復元されたビデオデータに対してフィルタリングを実行するように構成することができる。例えば、ポストフィルタ部614は、例えば、ビットストリームで規定されたパラメータに基づいて、デブロッキング及び/又はサンプル適応オフセット(SAO)フィルタリングを実行するように構成することができる。更に、いくつかの例では、ポストフィルタ部614は、独自の任意フィルタリング(例えば、モスキートノイズリダクションなどの視覚強調)を実行するように構成することができることに留意すべきである。図6に示すように、復元されたビデオブロックは、ビデオデコーダ600によって出力することができる。このようにして、ビデオデコーダ600は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素をパースし、インデックスに基づいてビデオデータを生成するように構成された、デバイスの一例を表す。
1つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の1つ以上の命令又はコードとして記憶するか又は伝送され、ハードウェアベースの処理部によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的な有形のコンピュータ可読記憶媒体、又は(2)信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実現のための命令、コード、及び/又はデータ構造を取り出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROM、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、フラッシュメモリ、又は任意の他の媒体、すなわち命令若しくはデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(digital subscriber line、DSL)、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解すべきである。本発明で使用する場合、ディスク(disk)及びディスク(disc)は、コンパクトディスク(Compact Disc、CD)、レーザーディスク(laser disc)、光学ディスク(optical disc)、デジタル多用途ディスク(Digital Versatile Disc、DVD)、フロッピーディスク(floppy disk)及びブルーレイ(登録商標)ディスク(Blu-ray(登録商標)disc)を含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、又は他の同等の集積又はディスクリートロジック回路などの1つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、上記の任意の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書に記載の機能は、符号化及び復号化するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び/又はソフトウェアモジュール内に設けられ得る。また、この技術は、1つ以上の回路又は論理素子中に完全に実装することができる。
本開示の技術は、無線ハンドセット、集積回路(integrated circuit、IC)、又はICのセット(例えば、チップセット)を含む多種多様なデバイス又は装置に実装することができる。様々なコンポーネント、モジュール、又はユニットを本開示中に示し、開示された技術を実行するように構成されたデバイスの機能的な態様を強調しているが、異なるハードウェアユニットによって実現することは必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットに組み合わせてもよく、又は好適なソフトウェア及び/又はファームウェアと共に、前述の1つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供することができる。
更に、上記の各実装形態で用いた基地局装置や端末装置の各機能ブロックや各種の機能は、一般的には集積回路又は複数の集積回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け又は汎用アプリケーション集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェアコンポーネント、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上記した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成されてもよい。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
様々な実施例について説明した。これら及び他の実施例は、以下の特許請求の範囲内である。
<概要>
一実施例では、ビデオデータを復号するためのタイルグループ情報をシグナリングする方法は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスをシグナリングすることを含む。一実施例では、ビデオデータを復号する方法は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素をパースすることと、インデックスに基づいてビデオデータを生成することと、を含む。
一実施例では、ビデオデータを復号するためのタイルグループ情報をシグナリングする方法は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスをシグナリングすることを含む。一実施例では、ビデオデータを復号する方法は、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素をパースすることと、インデックスに基づいてビデオデータを生成することと、を含む。
一実施例では、方法において、特定の位置にあるタイルは左上タイルであり、別の定義されたタイルは、前のタイルグループの左上タイルである。
一実施例では、方法において、特定の位置にあるタイルは右下タイルであり、別の定義されたタイルは、現在のタイルグループ内の左上タイルである。
一実施例では、方法において、タイルグループ内の特定の位置にあるタイルのインデックスと別の定義されたタイルのインデックスとの間の差として、タイルグループ内の特定の位置にあるタイルのインデックスを示すシンタックス要素が、ピクチャパラメータセットに含まれる。
一実施例では、方法は、タイルグループが動き制約タイルセットであるかどうかを示すシンタックス要素をシグナリングすることを更に含む。
一実施例では、方法は、タイルグループが動き制約タイルセットであるかどうかを示すシンタックス要素をパースすることを更に含む。
一実施例では、デバイスは、ステップのいずれか及び全ての組み合わせを実行するように構成された1つ以上のプロセッサを備える。
一実施例では、デバイスはビデオエンコーダを含む。
一実施例では、デバイスはビデオデコーダを含む。
一実施例では、システムは、デバイスと、デバイスと、を備える。
一実施例では、装置は、ステップのいずれか及び全ての組み合わせを実行するための手段を備える。
一実施例では、そこに記憶された命令を含む非一時的コンピュータ可読記憶媒体は、命令が実行されると、デバイスの1つ以上のプロセッサに、ステップのいずれか及び全ての組み合わせを実行させる。
一実施例では、ビデオデータを復号する方法は、ピクチャパラメータセットを受信することと、ピクチャパラメータセットから、第1のタイルグループに位置するタイルの第1のインデックスと第2のタイルグループに位置するタイルの第2のインデックスとの間の差を指定する第1のシンタックス要素をパースすることと、を含む。
一実施例では、方法において、第1のタイルグループは、第1の整数個の完全なタイルからなるスライスであり、第2のタイルグループは、第2の整数個の完全なタイルからなるスライスである。
一実施例では、方法において、第1のインデックスは第1のタイルグループ内の左上タイルであり、第2のインデックスは第2のタイルグループ内の左上タイルである。
一実施例では、方法は、ピクチャパラメータセットから、第1のタイルグループ及び第2のタイルグループのそれぞれの中のタイルがピクチャの矩形領域を覆い、タイルグループ情報がピクチャパラメータセット内でシグナリングされることを指定する、第2のシンタックス要素をパースすることを更に含む。
一実施例では、方法は、ピクチャパラメータセットから、ピクチャ内のタイルグループの数を指定する第3のシンタックス要素をパースすることを更に含む。
一実施例では、方法において、第1のシンタックス要素は、第2のシンタックス要素がゼロに等しくないときに条件付きで存在し、第3のシンタックス要素は1以上である。
一実施例では、デバイスは、ピクチャパラメータセットを受信し、ピクチャパラメータセットから、第1のタイルグループに位置するタイルの第1のインデックスと第2のタイルグループに位置するタイルの第2のインデックスとの間の差を指定する第1のシンタックス要素をパースする、ように構成された1つ以上のプロセッサを備える。
一実施例では、デバイスにおいて、第1のタイルグループ及び第2のタイルグループのそれぞれは、整数個の完全なタイルからなるスライスである。
一実施例では、デバイスにおいて、第1のインデックスは第1のタイルグループ内の左上タイルであり、第2のインデックスは第2のタイルグループ内の左上タイルである。
一実施例では、デバイスにおいて、1つ以上のプロセッサは、ピクチャパラメータセットから、第1のタイルグループ及び第2のタイルグループのそれぞれの中のタイルがピクチャの矩形領域を覆い、タイルグループ情報がピクチャパラメータセット内でシグナリングされることを指定する、第2のシンタックス要素をパースするように更に構成されている。
一実施例では、デバイスにおいて、1つ以上のプロセッサが、ピクチャパラメータセットから、ピクチャ内のタイルグループの数を指定する第3のシンタックス要素をパースするように更に構成されている。
一実施例では、デバイスにおいて、第1のシンタックス要素は、第2のシンタックス要素がゼロに等しくないときに条件付きで存在し、第3のシンタックス要素は1以上である。
一実施例では、デバイスはビデオデコーダである。
<相互参照>
この非仮出願は、米国特許法119条のもと、米国特許仮出願第62/814,748号(2019年3月6日出願)、第62/816,815号(2019年3月11日出願)、第62/823,563号(2019年3月25日出願)に基づく優先権を主張するものであり、その内容の全体が参照により本明細書に組み込まれる。
この非仮出願は、米国特許法119条のもと、米国特許仮出願第62/814,748号(2019年3月6日出願)、第62/816,815号(2019年3月11日出願)、第62/823,563号(2019年3月25日出願)に基づく優先権を主張するものであり、その内容の全体が参照により本明細書に組み込まれる。
Claims (13)
- ビデオデータを復号する方法であって、
ピクチャパラメータセットを受信することと、
前記ピクチャパラメータセットから、第１のタイルグループに位置するタイルの第１のインデックスと、第２のタイルグループに位置するタイルの第２のインデックスとの間の差を指定する第１のシンタックス要素をパースすることと、
を含む、方法。 - 前記第１のタイルグループが、第１の整数個の完全なタイルからなるスライスであり、前記第２のタイルグループが、第２の整数個の完全なタイルからなるスライスである、請求項１に記載の方法。
- 前記第１のインデックスが、前記第１のタイルグループ内の左上タイルであり、前記第２のインデックスが、前記第２のタイルグループ内の左上タイルである、請求項１に記載の方法。
- 前記ピクチャパラメータセットから、前記第１のタイルグループ及び前記第２のタイルグループのそれぞれの中のタイルがピクチャの矩形領域を覆い、タイルグループ情報が前記ピクチャパラメータセット内でシグナリングされることを指定する、第２のシンタックス要素をパースすることを更に含む、請求項１に記載の方法。
- 前記ピクチャパラメータセットから、前記ピクチャ内のタイルグループの数を指定する第３のシンタックス要素をパースすることを更に含む、請求項４に記載の方法。
- 前記第１のシンタックス要素は、前記第２のシンタックス要素がゼロに等しくなく、かつ前記第３のシンタックス要素が１以上であるときに条件付きで存在する、請求項５に記載の方法。
- １つ以上のプロセッサを備えるデバイスであって、
ピクチャパラメータセットを受信し、
前記ピクチャパラメータから、第１のタイルグループに位置するタイルの第１のインデックスと、第２のタイルグループに位置するタイルの第２のインデックスとの間の差を指定する第１のシンタックス要素をパースする、
ように構成されている、デバイス。 - 前記第１のタイルグループ及び前記第２のタイルグループのそれぞれが、整数個の完全なタイルからなるスライスである、請求項７に記載のデバイス。
- 前記第１のインデックスが、前記第１のタイルグループ内の左上タイルであり、前記第２のインデックスが、前記第２のタイルグループ内の左上タイルである、請求項７に記載のデバイス。
- 前記１つ以上のプロセッサは、前記ピクチャパラメータセットから、前記第１のタイルグループ及び前記第２のタイルグループのそれぞれの中のタイルがピクチャの矩形領域を覆い、タイルグループ情報が前記ピクチャパラメータセット内でシグナリングされることを指定する、第２のシンタックス要素をパースするように更に構成されている、請求項７に記載のデバイス。
- 前記１つ以上のプロセッサが、前記ピクチャパラメータセットから、前記ピクチャ内のタイルグループの数を指定する第３のシンタックス要素をパースするように更に構成されている、請求項１０に記載のデバイス。
- 前記第１のシンタックス要素は、前記第２のシンタックス要素がゼロに等しくなく、かつ前記第３のシンタックス要素が１以上であるときに条件付きで存在する、請求項１１に記載のデバイス。
- 前記デバイスがビデオデコーダである、請求項１２に記載のデバイス。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962814748P | 2019-03-06 | 2019-03-06 | |
| US62/814,748 | 2019-03-06 | ||
| US201962816815P | 2019-03-11 | 2019-03-11 | |
| US62/816,815 | 2019-03-11 | ||
| US201962823563P | 2019-03-25 | 2019-03-25 | |
| US62/823,563 | 2019-03-25 | ||
| PCT/JP2020/008495 WO2020179713A1 (en) | 2019-03-06 | 2020-02-28 | Systems and methods for signaling tile group information in video coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022524354A true JP2022524354A (ja) | 2022-05-02 |
| JP7427688B2 JP7427688B2 (ja) | 2024-02-05 |
Family
ID=72338714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021552967A Active JP7427688B2 (ja) | 2019-03-06 | 2020-02-28 | ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11997297B2 (ja) |
| EP (1) | EP3935859A4 (ja) |
| JP (1) | JP7427688B2 (ja) |
| KR (1) | KR20210135292A (ja) |
| CN (1) | CN113632489B (ja) |
| WO (1) | WO2020179713A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022061954A (ja) * | 2020-10-07 | 2022-04-19 | レモン インコーポレイテッド | ビデオコーディングにおける適応パラメータセットの格納 |
| US11711518B2 (en) | 2020-09-17 | 2023-07-25 | Lemon Inc. | Decoding capability information storage in video coding |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11997297B2 (en) | 2019-03-06 | 2024-05-28 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile group information in video coding |
| CN112789860A (zh) * | 2019-04-17 | 2021-05-11 | 株式会社 Xris | 用于对图像信号进行编码/解码的方法及其装置 |
| US11405649B2 (en) * | 2020-02-18 | 2022-08-02 | Mediatek Inc. | Specifying slice chunks of a slice within a tile |
| GB2624318A (en) * | 2020-03-20 | 2024-05-15 | Canon Kk | High level syntax for video coding and decoding |
| US11611778B2 (en) * | 2020-05-20 | 2023-03-21 | Sharp Kabushiki Kaisha | Systems and methods for signaling general constraint information in video coding |
| US11729381B2 (en) * | 2020-07-23 | 2023-08-15 | Qualcomm Incorporated | Deblocking filter parameter signaling |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7376186B2 (en) * | 2002-07-15 | 2008-05-20 | Thomson Licensing | Motion estimation with weighting prediction |
| US9584819B2 (en) | 2011-10-24 | 2017-02-28 | Qualcomm Incorporated | Grouping of tiles for video coding |
| US9749661B2 (en) * | 2012-01-18 | 2017-08-29 | Qualcomm Incorporated | Sub-streams for wavefront parallel processing in video coding |
| TWI561063B (en) | 2012-01-30 | 2016-12-01 | Samsung Electronics Co Ltd | Apparatus for decoding video |
| US9270994B2 (en) | 2012-06-29 | 2016-02-23 | Cisco Technology, Inc. | Video encoder/decoder, method and computer program product that process tiles of video data |
| US9554133B2 (en) | 2012-09-18 | 2017-01-24 | Vid Scale, Inc. | Method and apparatus for region of interest video coding using tiles and tile groups |
| CN105075271A (zh) | 2013-04-08 | 2015-11-18 | 索尼公司 | 利用shvc的关注区域可伸缩性 |
| GB2550912B (en) * | 2016-05-27 | 2019-09-04 | Canon Kk | Method, device and computer program for encapsulating and parsing timed media data |
| US10841602B2 (en) | 2018-07-16 | 2020-11-17 | Tencent America LLC | Hierarchical tiles |
| US10757389B2 (en) * | 2018-10-01 | 2020-08-25 | Telefonaktiebolaget Lm Ericsson (Publ) | Client optimization for providing quality control in 360° immersive video during pause |
| US11997297B2 (en) | 2019-03-06 | 2024-05-28 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile group information in video coding |
| CN112789860A (zh) * | 2019-04-17 | 2021-05-11 | 株式会社 Xris | 用于对图像信号进行编码/解码的方法及其装置 |
| JP7492542B2 (ja) * | 2019-06-20 | 2024-05-29 | エックスリス、コーポレーション | 映像信号の符号化／復号化方法及びそのための装置 |
-
2020
- 2020-02-28 US US17/436,200 patent/US11997297B2/en active Active
- 2020-02-28 KR KR1020217032152A patent/KR20210135292A/ko unknown
- 2020-02-28 JP JP2021552967A patent/JP7427688B2/ja active Active
- 2020-02-28 WO PCT/JP2020/008495 patent/WO2020179713A1/en unknown
- 2020-02-28 EP EP20766385.7A patent/EP3935859A4/en active Pending
- 2020-02-28 CN CN202080019098.9A patent/CN113632489B/zh active Active
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11711518B2 (en) | 2020-09-17 | 2023-07-25 | Lemon Inc. | Decoding capability information storage in video coding |
| US11750815B2 (en) | 2020-09-17 | 2023-09-05 | Lemon, Inc. | Versatile video coding track coding |
| JP2022061954A (ja) * | 2020-10-07 | 2022-04-19 | レモン インコーポレイテッド | ビデオコーディングにおける適応パラメータセットの格納 |
| US11611752B2 (en) | 2020-10-07 | 2023-03-21 | Lemon Inc. | Adaptation parameter set storage in video coding |
| JP7307777B2 (ja) | 2020-10-07 | 2023-07-12 | レモン インコーポレイテッド | ビデオコーディングにおける適応パラメータセットの格納 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7427688B2 (ja) | 2024-02-05 |
| US11997297B2 (en) | 2024-05-28 |
| EP3935859A4 (en) | 2023-01-04 |
| CN113632489B (zh) | 2024-10-25 |
| KR20210135292A (ko) | 2021-11-12 |
| EP3935859A1 (en) | 2022-01-12 |
| US20220132151A1 (en) | 2022-04-28 |
| WO2020179713A1 (en) | 2020-09-10 |
| CN113632489A (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021079948A1 (en) | Systems and methods for signaling picture information in video coding | |
| US11611778B2 (en) | Systems and methods for signaling general constraint information in video coding | |
| US12114018B2 (en) | Device, and method of decoding video data | |
| JP7521077B2 (ja) | 符号化されたビデオのピクチャ用のタイル構造をシグナリングするシステム及び方法 | |
| JP7427688B2 (ja) | ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法 | |
| US20230085937A1 (en) | Systems and methods for signaling picture information in a slice header in video coding | |
| JP2022501915A (ja) | ビデオ符号化におけるパラメータをシグナリングするためのシステム及び方法 | |
| US11856236B2 (en) | Systems and methods for signaling sequence parameter information in video coding | |
| CN114270864A (zh) | 用于在视频编码中发送信号通知图片信息的系统和方法 | |
| JP7018447B2 (ja) | 仮想現実アプリケーション用の、動き制約タイルセットのシグナリングのためのシステム及び方法 | |
| US20230007291A1 (en) | Systems and methods for signaling temporal sublayer information in video coding | |
| US20230026475A1 (en) | Systems and methods for signaling reference picture lists in video coding | |
| CN113892271A (zh) | 用于在视频编码中发送信号通知假想参考解码器参数的系统和方法 | |
| US20230068404A1 (en) | Systems and methods for signaling subpicture information in video coding | |
| US20230016439A1 (en) | Systems and methods for signaling picture timing and decoding unit information in video coding | |
| CN118632031A (zh) | 用于在视频编码中发送信号通知参考图片的系统和方法 | |
| US12088848B2 (en) | Systems and methods for signaling output layer set information in video coding | |
| US20230134652A1 (en) | Systems and methods for applying deblocking filters in video coding | |
| WO2020230798A1 (en) | Systems and methods for signaling tile group information in video coding | |
| JP2024055731A (ja) | ビデオ符号化においてニューラルネットワークポストフィルタ情報更新をシグナリングするためのシステム及び方法 | |
| JP2024087742A (ja) | ビデオ符号化においてニューラルネットワークポストフィルタ目的情報をシグナリングするためのシステム及び方法 | |
| CN118784866A (zh) | 用于在视频编码中发送信号通知神经网络后置滤波器滤波强度控制信息的系统和方法 | |
| CN118890493A (zh) | 对视频数据执行神经网络滤波的方法、以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7427688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |