JP2019513320A - ビデオの符号化・復号装置、方法、およびコンピュータプログラム - Google Patents
ビデオの符号化・復号装置、方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2019513320A JP2019513320A JP2018548418A JP2018548418A JP2019513320A JP 2019513320 A JP2019513320 A JP 2019513320A JP 2018548418 A JP2018548418 A JP 2018548418A JP 2018548418 A JP2018548418 A JP 2018548418A JP 2019513320 A JP2019513320 A JP 2019513320A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- prediction
- layer
- sample
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 166
- 238000004590 computer program Methods 0.000 title description 6
- 239000000470 constituent Substances 0.000 claims abstract description 157
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 30
- 238000009738 saturating Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims description 226
- 239000013598 vector Substances 0.000 claims description 115
- 230000008569 process Effects 0.000 claims description 90
- 230000015654 memory Effects 0.000 claims description 31
- 238000011049 filling Methods 0.000 claims description 17
- 238000003780 insertion Methods 0.000 abstract description 3
- 230000037431 insertion Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 392
- 239000000523 sample Substances 0.000 description 241
- 239000011229 interlayer Substances 0.000 description 99
- 238000012937 correction Methods 0.000 description 53
- 230000002123 temporal effect Effects 0.000 description 48
- 238000003860 storage Methods 0.000 description 46
- 238000012545 processing Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 29
- 238000012952 Resampling Methods 0.000 description 27
- 238000001914 filtration Methods 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000013507 mapping Methods 0.000 description 18
- 238000012856 packing Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 15
- 238000000638 solvent extraction Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 10
- 238000003491 array Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000007774 longterm Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000003139 buffering effect Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 241000122133 Panicum mosaic virus Species 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000002265 prevention Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 102100024282 Dynein axonemal assembly factor 11 Human genes 0.000 description 1
- 108010014173 Factor X Proteins 0.000 description 1
- 101000831210 Homo sapiens Dynein axonemal assembly factor 11 Proteins 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
好適な実施形態の一例は、非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを第１のピクチャ内とすることと；前記符号化の一環として、前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または、前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること；を含む。好適な実施形態の別の例は、有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、符号化ピクチャを復号することと；パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または、復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること；を含む。【選択図】図７ａ、７ｂ
Description
本発明は、ビデオの符号化・復号装置、方法、およびコンピュータプログラムに関する。
本セクションは、請求項に記載の発明に背景や文脈を添えることを意図したものである。本稿の説明は、特許化可能であって、既に必ずしも概念化、特許化されていないものを含みうる。したがって、本稿で別途記載しない限り、本セクションの内容は、本願の明細書および請求項に対する先行技術ではなく、本セクションに含めることで先行技術として認められるものではない。
ビデオの符号化システムは、記憶／送信に適した圧縮表現に入力ビデオを変換するエンコーダと、圧縮ビデオ表現を視聴可能な形態に解凍可能なデコーダとを含む。エンコーダは、元のビデオシーケンスにおける一部の情報を破棄し、ビデオをよりコンパクトな形態としてもよい。これにより、例えば当該ビデオ情報を破棄しなかった場合と比較して、より低ビットレートで記憶／送信を実現できる。
いくつかの実施形態は、ビデオ情報を符号化、復号する方法を提供する。本発明のいくつかの実施形態によると、ビデオを符号化する方法、装置、コンピュータプログラムプロダクトが提供される。
第１の態様に係る方法は、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を含む。
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を含む。
第２の態様に係る装置は、少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、
前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
第３の態様に係るコンピュータ可読記憶媒体は、装置によって使用 されるコードを含み、前記コードはプロセッサによって実行されると、前記装置に対して、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
第４の態様に係る装置は、
符号化ピクチャを受信する手段と、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号する手段と、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行する手段と、
を備える。
符号化ピクチャを受信する手段と、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号する手段と、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行する手段と、
を備える。
第５の態様に係る方法は、
符号化に対する有効ピクチャエリアを有する第1のピクチャの構成フレームを得ることと、
下記の処理、すなわち、
・ 前記構成フレームに対する境界拡張部を形成するべく、前記構成フレームの前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を含む。
符号化に対する有効ピクチャエリアを有する第1のピクチャの構成フレームを得ることと、
下記の処理、すなわち、
・ 前記構成フレームに対する境界拡張部を形成するべく、前記構成フレームの前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を含む。
第６の態様に係る装置は、少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
第７の態様に係るコンピュータ可読記憶媒体は、装置によって使用されるコードを含み、前記コードはプロセッサによって実行されると、前記装置に対して、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
第８の態様に係る装置は、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とする手段と、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行する手段と、
を備える。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とする手段と、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行する手段と、
を備える。
さらなる態様では、少なくとも複数の装置と、上述の方法を実施するように構成された非一時的メモリ媒体に記憶されたコンピュータプログラムプロダクト／コードとを含む。
本発明をよりよく理解できるように、以下の添付図面を、例示的に参照する。
図１は、本発明の実施形態が適用された電子デバイスを概略的に示す。
図２は、本発明の実施形態の適用に好適なユーザ端末を概略的に示す。
図３は、無線および有線ネットワーク接続によって接続された、本発明の実施形態が適用された電子デバイスを概略的に示す。
図４は、本発明の実施形態の実施に好適なエンコーダを概略的に示す。
図５ａは、ある実施形態に係る候補動きベクトル予測部の空間的候補ソースを示す。
図５ｂは、ある実施形態に係る候補動きベクトル予測部の時間的候補ソースを示す。
図６ａは、動きベクトルの好ましくない対応に関する問題を示す。
図６ｂは、ある実施形態に係る境界拡張部の例を示す。
図６ｃは、ある実施形態に係る候補動きベクトル予測部の空間的候補ソースを示す。
図６ｄは、ある実施形態に係る候補動きベクトル予測部の時間的候補ソースを示す。
図７ａは、ある実施形態に係るピクチャの符号化のフローチャートを示す。
図７ｂは、ある実施形態に係るピクチャの復号のフローチャートを示す。
図８は、本発明の実施形態の実施に好適なデコーダの概略図を示す。
図９は、各種実施形態が実施可能なマルチメディア通信システムの一例の概略図を示す。
図１０ａは、ある実施形態に係るピラミッドマッピングを示す。
図１０ｂは、ある実施形態に係るピラミッドマッピングを示す。
図１０ｃは、ある実施形態に係るピラミッドマッピングを示す。
以下に、本発明のいくつかの実施形態を、ビデオ符号化の１つの構成の文脈に準じて説明する。ただし、本発明がこの特定の構成に限定されないことが理解されよう。実際に、異なる様々な実施形態は、非スケーラブル、スケーラブルおよび／またはマルチビュービデオ符号化の向上が求められる任意の環境に幅広く適用されうる。例えば、本発明は、ストリーミングシステム等のビデオの符号化システム、ＤＶＤプレーヤ、デジタルテレビ、パーソナルビデオレコーダ、パーソナルコンピュータ、携帯用コンピュータ、および通信デバイス内のシステムおよびコンピュータプログラム、ビデオデータが扱われるトランスコーダやクラウドコンピューティング構成等のネットワーク要素に適用可能であってもよい。
いくつかの実施形態の実現に適した装置および、利用可能な機構をさらに詳細に説明する。そのために、まずは図１と図２を参照する。図１は、例示的実施形態に係るビデオ符号化システムのブロック図であり、例示的装置または電子デバイス５０の概略的ブロック図である。電子デバイス５０は、本発明の実施形態に係るコーデックを内蔵してもよい。図２は、例示的実施形態に係る装置の構成を示す。次に、図１および図２の要素を説明する。
電子デバイス５０は、例えば、無線通信システムにおける携帯端末またはユーザ端末であってもよい。ただし、本発明の各実施形態は、ビデオ映像の符号化および／または復号を必要とする可能性のある任意の電子デバイスや装置内に実装してもよいことが理解されよう。
デバイス５０は、これを収容、保護する筐体３０を備えてもよい。デバイス５０はさらに、液晶ディスプレイであるディスプレイ３２を備えてもよい。本発明の別の実施形態では、ディスプレイは画像またはビデオ表示に適した任意の表示技術を採用してもよい。デバイス５０は、さらにキーパッド３４を備えてもよい。本発明の別の実施形態では、任意の好適なデータまたはユーザインタフェース機構を利用してもよい。例えば、このユーザインタフェースは、タッチ感知ディスプレイの一部としてのバーチャルキーボードまたはデータ入力システムとして実現されてもよい。
デバイス５０は、マイク３６または任意の好適な音声入力（デジタル信号入力であってもアナログ信号入力であってもよい）を備えてもよい。デバイス５０は、音声出力装置をさらに備えてもよい。本発明の各実施形態では、該音声出力装置は、受話口３８、スピーカー、アナログ音声出力接続部またはデジタル音声出力接続部のいずれかであってもよい。デバイス５０は、バッテリ４０をさらに備えてもよい（または本発明の別の実施形態では、デバイスが、太陽電池、燃料電池、またはゼンマイ式発電機等の任意の好適な可搬性エネルギー装置によって電源供給されてもよい）。またデバイス５０は、画像や動画の記録や撮像が可能なカメラ４２を備えてもよい。デバイス５０はさらに、別のデバイスとの短直線距離通信用の赤外線ポートを備えてもよい。別の実施形態では、デバイス５０はさらに、例えばＢｌｕｅｔｏｏｔｈ（登録商標）無線接続またはＵＳＢ／ＦｉｒｅＷｉｒｅ有線接続等の、任意の好適な近距離通信手段を備えてもよい。
デバイス５０は、これを制御するコントローラ５６またはプロセッサを備えてもよい。コントローラ５６は、メモリ５８に接続されてもよい。本発明の実施形態において、メモリ５８は、画像および音声のいずれの形式のデータ、および／またはコントローラ５６において実行される命令を格納してもよい。コントローラ５６はさらに、音声および／またはビデオデータの符号化・復号の実行や、コントローラが実行する符号化・復号の補助に適したコーデック回路５４に接続されてもよい。
デバイス５０は、ユーザ情報を提供し、ネットワークにおけるユーザを認証、承認するための認証情報の提供に適した、例えばＵＩＣＣ（Universal Integrated Circuit Card）およびＵＩＣＣリーダー等のカードリーダー４８およびスマートカード４６をさらに備えてもよい。
デバイス５０は、コントローラに接続され、例えば携帯通信ネットワーク、無線通信システム、または無線ローカルエリアネットワークと通信するための無線通信信号の生成に適した無線インタフェース回路５２をさらに備えてもよい。デバイス５０は、無線インタフェース回路５２に接続され、無線インタフェース回路５２で生成された無線周波数信号を１つ以上の別の装置に送信し、１つ以上の別の装置から無線周波数信号を受信するためのアンテナ４４をさらに備えてもよい。
デバイス５０は、個別のフレームを記録、検出可能なカメラを備えてもよい。該フレームはその後、コーデック５４またはコントローラに送られて処理される。デバイス５０は、伝送や格納の前に、別のデバイスから処理用のビデオ映像データを受信してもよい。デバイス５０は、符号化／復号用の画像を無線または有線接続を介して受信してもよい。
図３は、本発明の各実施形態を利用可能なシステムの例を示している。システム１０は、１つ以上のネットワークを介して通信可能な複数の通信デバイスを含む。システム１０は、有線ネットワークや無線ネットワークの任意の組合せを含んでもよい。これらのネットワークとしては、ＧＳＭ（登録商標）、ＵＭＴＳ（Universal Mobile Telecommunications System）、符号分割多元接続（Code Division Multiple Access：ＣＤＭＡ）ネットワーク等）、ＩＥＥＥ８０２．ｘのいずれかの規格で規定されるもの等の無線ローカルエリアネットワーク（Wireless Local Area Network：ＷＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）パーソナルエリアネットワーク、イーサネット（登録商標）ローカルエリアネットワーク、トークンリングローカルエリアネットワーク、広域ネットワーク、インターネット等が挙げられるが、これらに限定されない。
システム１０は、本発明の各実施形態の実現に適した有線および無線通信のデバイスおよび／または装置５０を備えてもよい。
例えば、図３に示すシステムは、携帯電話ネットワーク１１と、インターネット２８を表現したものとを示している。インターネット２８への接続は、長距離無線接続、近距離無線接続、および各種有線接続を含んでもよいが、これらに限定されない。有線接続には、電話回線、ケーブル回線、電力線、その他同様の通信経路等が含まれるが、これらに限定されない。
システム１０内に示される通信デバイスの例は、電子デバイスまたは装置５０、携帯情報端末（Personal Digital Assistant：ＰＤＡ）と携帯電話１４との組合せ、ＰＤＡ１６、統合通信デバイス（Integrated Messaging Device：ＩＭＤ）１８、デスクトップコンピュータ２０、ノート型コンピュータ２２を備えてもよいが、これらに限定されない。デバイス５０は固定型でもよく、移動する人が持ち運べる携帯型でもよい。また、デバイス５０は移動手段に設けられてもよい。こうした移動手段には、自動車、トラック、タクシー、バス、列車、船、飛行機、自転車、バイク、その他同様の好適な移動手段を備えてもよいが、これらに限定されない。
実施形態はさらに、ディスプレイや無線通信に対応する性能を有しても有していなくてもよい、セットトップボックス、すなわちデジタルテレビ、ハードウェア、ソフトウェア、またはエンコーダ／デコーダ実装の組合せを含むタブレットまたは（ノート型）パーソナルコンピュータ（ＰＣ）、各種オペレーティングシステム、チップセット、プロセッサ、ＤＳＰおよび／または組み込みシステム（ハードウェア／ソフトウェアによる符号化を実現）で実施されてもよい。
いくつかのまたはさらなる装置は、呼び出しやメッセージを送受信して、基地局２４への無線接続２５を介してサービスプロバイダと通信してもよい。基地局２４は、携帯電話ネットワーク１１とインターネット２８との間の通信を可能にするネットワークサーバ２６に接続されてもよい。システムは、さらなる通信デバイスや、各種通信デバイスを備えてもよい。
これらの通信デバイスは各種伝送技術を用いて通信してもよく、こうした技術には、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、時分割多元接続（Time Divisional Multiple Access：ＴＤＭＡ）、周波数分割多元接続（Frequency Division Multiple Access：ＦＤＭＡ）、ＴＣＰ‐ＩＰ（Transmission Control Protocol‐Internet Protocol）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージサービス（ＭＭＳ）、電子メール、インスタントメッセージングサービス（ＩＭＳ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ ８０２．１１、その他同様の無線通信技術を含むが、これらに限定されない。本発明の様々な実施形態の実施に関わる通信デバイスは、様々な媒体を介して通信できる。こうした媒体には、無線、赤外線、レーザー、ケーブル接続、その他好適な接続が含まれるが、これらに限定されない。
ビデオコーデックは、記憶／送信に適した圧縮表現に入力ビデオを変換するエンコーダと、圧縮ビデオ表現を視聴可能な形態に解凍可能なデコーダからなる。ビデオエンコーダおよび／またはビデオデコーダは、それぞれ別に設けられてもよい。すなわち、コーデックを形成しなくてもよい。典型的には、エンコーダは、元のビデオシーケンスにおける一部の情報を破棄し、ビデオをよりコンパクトな形態（すなわち、より低ビットレート）としてもよい。以下に定義するように、ビデオエンコーダは画像シーケンスを符号化するために使用されてもよい。ビデオデコーダは符号化画像シーケンスを復号するように構成されてもよい。ビデオエンコーダ、ビデオエンコーダのイントラ符号化部、または画像エンコーダを使用して、画像を符号化してもよい。ビデオデコーダ、ビデオデコーダのインター復号部、または画像デコーダを使用して、符号化画像を復号してもよい。
例えばＩＴＵ−Ｔ Ｈ．２６３やＨ．２６４等の多くのエンコーダ実装例のような一部のハイブリッドビデオエンコーダは、ビデオ情報を２段階で符号化する。第１段階で、例えば動き補償手段（符号化されるブロックと密接に対応する、先に符号化済みのビデオフレームの１つにあるエリアを探して示す手段）や空間手段（特定の方法で符号化されるブロックの周辺の画素値を用いる手段）によって、特定のピクチャエリア（または「ブロック」）の画素値が予測される。第２段階で、予測誤差、すなわち画素の予測ブロックとその画素の元のブロックとの間の差分が符号化される。これは通常、特定の変換（例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）やその変形）を用いて画素値の差分を変換し、係数を量子化し、量子化済み係数をエントロピー符号化することによって行われる。量子化処理の忠実度を変えることによって、エンコーダは画素表現の正確性（ピクチャ品質）と結果として得られる符号化ビデオ表現のサイズ（ファイルサイズまたは伝送ビットレート）との間のバランスを調整することができる。
時間的予測では、予測のソースとなるのは過去に復号したピクチャ（参照ピクチャとも称する）である。イントラブロックコピー（イントラブロックコピー予測とも称する）では、予測は時間的予測と同様だが、参照ピクチャは現ピクチャであって、過去に復号したサンプルのみが予測処理において参照可能である。インターレイヤ予測またはインタービュー予測は、時間的予測と同様に適用できるが、参照ピクチャは、それぞれ別のスケーラブルレイヤまたは別の視点からの復号ピクチャとなる。場合によっては、インター予測とは時間的予測のみを指すものでありうる。あるいは、インター予測は、時間的予測並びに、イントラブロックコピー、インターレイヤ予測、インタービュー予測のいずれか（時間的予測と同一または同様にして実施されるものとする）を総称するものであってもよい。インター予測または時間的予測は、動き補償または動き補償予測とも称される場合がある。
イントラ予測は、同一のピクチャ内の隣接画素同士に相関がある可能性が高いという事実に基づく。イントラ予測は、空間ドメインまたは変換ドメインで行うことができる。すなわち、サンプル値または変換係数のいずれかを予測することができる。イントラ符号化では通常イントラ予測が利用され、インター予測は適用されない。
符号化方式において、異なる様々な種類のイントラ予測モードが利用できる場合もある。その際、エンコーダが使用するものを例えばブロックまたは符号化ごとに選択、指示してもよい。デコーダは、指示されたイントラ予測モードを復号して、それに応じて予測ブロックを再構成してもよい。例えば、互いに方向性が異なるいくつかの方向性イントラ予測モードが利用可能でありうる。方向性イントラ予測は、線形予測方向に沿って隣接するブロックの境界サンプルを外挿するものとも考えられる。これに加えて、またはこれに代えて、Ｐｌａｎｅｒ予測モードが利用可能であってもよい。Ｐｌａｎｅｒ予測は、基本的に予測ブロックを形成するものとも考えられる。予測ブロックの各サンプルは、現ブロックに対して、左側に隣接するサンプル列における垂直に並んだサンプルと、現ブロックに対して、上側に隣接するサンプル行において平行に並んだサンプルの平均として指定できる。これに加えて、またはこれに代えて、ＤＣ予測モードが利用可能であってもよい。このＤＣ予測モードにおける予測ブロックは基本的に、近接した１つまたは複数のブロックの平均サンプル値である。
符号化処理の結果の１つとして、動きベクトルと量子化変換係数のような符号化パラメータセットが得られる。多くのパラメータは、最初に空間的または時間的に隣接するパラメータから予測することで、より効率的にエントロピー符号化することができる。例えば、動きベクトルは空間的に隣接する動きベクトルから予測されてもよく、動きベクトル予測器に対する相対差のみが符号化されてもよい。符号化パラメータの予測およびイントラ予測は、まとめてピクチャ内予測とも呼ばれる。
Ｈ．２６４／ＡＶＣ規格は、ＩＴＵ−Ｔ（国際電気通信連合の電気通信標準化部門）のビデオの符号化専門家グループ（ＶＣＥＧ）およびＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議）の動画専門家グループ（ＭＰＥＧ）による統合ビデオチーム（ＪＶＴ）によって開発された。Ｈ．２６４／ＡＶＣ規格は、その元となる両標準化機構によって公開されており、ＩＴＵ−Ｔ勧告Ｈ．２６４およびＩＳＯ／ＩＥＣ国際規格１４４９６−１０と呼ばれ、ＭＰＥＧ−４パート１０高度ビデオ符号化方式（Advanced Video Coding：ＡＶＣ）としても知られている。Ｈ．２６４／ＡＶＣ規格には複数のバージョンがあり、それぞれが仕様に新たな拡張や特徴を統合している。これらの拡張には、スケーラブルビデオ符号化（Scalable Video Coding：ＳＶＣ）やマルチビュービデオ符号化（Multiview Video Coding：ＭＶＣ）が挙げられる。
高効率ビデオ符号化（High Efficiency Video Coding：Ｈ．２６５／ＨＥＶＣまたはＨＥＶＣ）規格のバージョン１は、ＶＣＥＧとＭＰＥＧのビデオの符号化共同研究開発チーム（ＪＣＴ−ＶＣ）によって開発された。この規格は、その元となる両標準化機構によって公開されており、ＩＴＵ−Ｔ勧告Ｈ．２６５およびＩＳＯ／ＩＥＣ国際規格２３００８−２と呼ばれ、ＭＰＥＧ−Ｈパート２高効率ビデオ符号化（ＨＥＶＣ）として知られている。Ｈ．２６５／ＨＥＶＣのバージョン２は、スケーラブル拡張、マルチビュー拡張、および忠実度範囲拡張を含み、それぞれＳＨＶＣ、ＭＶ−ＨＥＶＣ、およびＲＥＸＴと略称される。Ｈ．２６５／ＨＥＶＣのバージョン２は、ＩＴＵ−Ｔ勧告Ｈ．２６５（２０１４年１０月）として刊行され、ＩＳＯ／ＩＥＣ２３００８−２の第２版としても刊行された。Ｈ．２６５／ＨＥＶＣのさらなる拡張版を開発する標準化プロジェクトも現在進められている。当該拡張版には、３次元およびスクリーンコンテンツ符号化拡張（それぞれ、３Ｄ−ＨＥＶＣ、ＳＣＣと略称される）が含まれている。
ＳＨＶＣ、ＭＶ−ＨＥＶＣ、および３Ｄ−ＨＥＶＣは、ＨＥＶＣ規格のバージョン２の添付資料（Annex）Ｆに規定されている共通基準仕様を用いている。この共通基準は、例えば高レベルのシンタックスおよび意味を含む。これによって例えばインターレイヤ依存性等のビットストリームのレイヤの一部の特性や、インターレイヤ参照ピクチャを含む参照ピクチャリスト構造やマルチレイヤビットストリームに対するピクチャ順カウント導出等の復号処理が規定される。添付資料Ｆは、さらにＨＥＶＣの後続のマルチレイヤ拡張にも使用できる。以下において、ビデオエンコーダ、ビデオデコーダ、符号化方法、復号方法、ビットストリーム構造、および／または実施形態は、ＳＨＶＣおよび／またはＭＶ−ＨＥＶＣといった特定の拡張を参照して説明されるが、これらはＨＥＶＣの任意のマルチレイヤ拡張にも広く適用可能であり、さらには任意のマルチレイヤビデオの符号化方式にも適用可能であることは理解されよう。
ここでは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣの重要な定義やビットストリーム、符号化の構造、概念の一部が、実施形態を実施可能なビデオエンコーダやデコーダ、符号化方法、復号方法、ビットストリーム構造の例として説明される。Ｈ．２６４／ＡＶＣの重要な定義やビットストリーム、符号化の構造、概念の中にはＨＥＶＣにおける規格と同一のものもある。したがって、以下ではこれらも一緒に説明される。本発明の態様は、Ｈ．２６４／ＡＶＣやＨＥＶＣに限定されるものではなく、本明細書は本発明が部分的にまたは全体として実現される上で可能な原理を説明するためのものである。
先行する多くのビデオの符号化規格と同様に、Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、エラーのないビットストリームのための復号処理に加えてビットストリームのシンタックスと意味についても規定している。符号化処理については規定されていないが、エンコーダは適合するビットストリームを生成する必要がある。ビットストリームとデコーダの適合性は、仮想参照デコーダ（Hypothetical Reference Decoder：ＨＲＤ）を用いて検証できる。これらの規格は、伝送エラーや伝送損失対策を助ける符号化ツールを含むが、こうしたツールを符号化で用いることは任意に選択可能であって、ビットストリームのエラーに対する復号処理は規定されていない。
現存の規格に関する記述においても例示的実施形態の記述と同様に、シンタックス要素はビットストリームで表されるデータの要素として定義することができる。シンタックス構造は、特定の順序でビットストリームにおいて共存する０以上のシンタックス要素として定義されてもよい。現存の規格に関する記述においても例示的実施形態の記述と同様に、「外部手段によって」や「外部手段を介して」という表現が使用できる。例えば、シンタックス構造や復号処理において用いられる変数の値といったエンティティは、「外部手段によって」該復号処理に提供されてもよい。「外部手段によって」という表現は、このエンティティがエンコーダによって作成されたビットストリームに含まれるものではなく、ビットストリームの外部から、例えば制御プロトコルを用いて持ち込まれたことを示しうる。これに代えて、または加えて、「外部手段によって」という表現は、該エンティティがエンコーダによって作成されたものではなく、例えばデコーダを用いるプレーヤまたは復号制御論理回路等によって作成されたことを示しうる。このデコーダは、変数値等の外部手段を入力するインタフェースを有してもよい。
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダへの入力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダからの出力の基本単位は、それぞれピクチャである。エンコーダへの入力として与えられたピクチャはソースピクチャとも呼ばれ、デコーダによって復号されたピクチャは復号ピクチャとも呼ばれる。
ソースピクチャおよび復号ピクチャは、それぞれ以下のサンプル配列のセットのいずれかのような、１つ以上のサンプル配列からなっている。
・輝度（Luma）（Ｙ）のみ（モノクロ）
・輝度および２つのクロマ（ＹＣｂＣｒまたはＹＣｇＣｏ）
・緑、青、赤（ＧＢＲまたはＲＧＢ）
・その他の非特定モノクロまたは三刺激色サンプリングを示す配列（例えば、ＹＺＸ、またはＸＹＺ）
・輝度（Luma）（Ｙ）のみ（モノクロ）
・輝度および２つのクロマ（ＹＣｂＣｒまたはＹＣｇＣｏ）
・緑、青、赤（ＧＢＲまたはＲＧＢ）
・その他の非特定モノクロまたは三刺激色サンプリングを示す配列（例えば、ＹＺＸ、またはＸＹＺ）
以下では、これらの配列は、実際に使用されている色表現方法に関わらず、輝度（ＬまたはＹ）およびクロマと呼ばれ、２つのクロマ配列はＣｂおよびＣｒとも呼ばれてもよい。実際に使用されている色表現方法は、例えばＨ．２６４／ＡＶＣおよび／またはＨＥＶＣのビデオユーザビリティ情報（ＶＵＩ）シンタックスを使用して、符号化されたビットストリームにおいて示すことができる。ある成分が、３つのサンプル配列（輝度および２つのクロマ）の内の１つから配列または単一のサンプルとして定義されるか、モノクロフォーマットのピクチャを構成する配列または配列の単一のサンプルとして定義されてもよい。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、ピクチャはフレームまたはフィールドのいずれかであってもよい。フレームは、輝度サンプルと場合により対応するクロマサンプルの行列を含む。フィールドは、フレームの１つおきのサンプル行の組であり、ソース信号がインターレースされている場合、エンコーダ入力として用いられてもよい。クロマサンプル配列はなくてもよく（よって、モノクロサンプリングが使用される）、または輝度サンプル配列と比較されるときにサブサンプリングされてもよい。クロマフォーマットは、以下のようにまとめられる。
・モノクロサンプリングでは、サンプル配列が１つのみ存在し、名目上輝度配列とみなされる。
・４：２：０サンプリングでは、２つのクロマ配列のそれぞれが輝度配列の半分の高さと半分の幅を有する。
・４：２：２サンプリングでは、２つのクロマ配列のそれぞれが輝度配列と同じ高さと半分の幅を有する。
・４：４：４サンプリングでは、別個の色平面が使用されない場合、２つのクロマ配列のそれぞれが輝度配列と同じ高さと幅を有する。
・モノクロサンプリングでは、サンプル配列が１つのみ存在し、名目上輝度配列とみなされる。
・４：２：０サンプリングでは、２つのクロマ配列のそれぞれが輝度配列の半分の高さと半分の幅を有する。
・４：２：２サンプリングでは、２つのクロマ配列のそれぞれが輝度配列と同じ高さと半分の幅を有する。
・４：４：４サンプリングでは、別個の色平面が使用されない場合、２つのクロマ配列のそれぞれが輝度配列と同じ高さと幅を有する。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、サンプル配列を別個の色平面としてビットストリームに符号化し、そのビットストリームから別個に符号化された色平面をそれぞれ復号することができる。別個の色平面が使用される場合、そのそれぞれは（エンコーダおよび／またはデコーダによって）モノクロサンプリングのピクチャとして別々に処理される。
パーティショニングとは、１つのセットの各要素が正確にサブセットの１つであるように、そのセットを複数のサブセットに分割することと定義することができる。
Ｈ．２６４／ＡＶＣでは、マクロブロックとは、１６×１６ブロックの輝度サンプルと対応するクロマサンプルのブロックである。例えば、４：２：０サンプリングパターンでは、１つのマクロブロックには各クロマ成分について、１つの８×８ブロックのクロマサンプルを含む。Ｈ．２６４／ＡＶＣでは、ピクチャが１つ以上のスライスグループに分割（パーティショニング）され、１つのスライスグループには１つ以上のスライスを含む。Ｈ．２６４／ＡＶＣでは、スライスは整数のマクロブロックからなり、特定のスライスグループ内でラスタースキャンの順に連続している。
ＨＥＶＣ符号化および／または復号の動作の記述に関して、以下の用語が用いられる場合がある。符号化ブロックは、符号化ツリーブロックが符号化ブロックへパーティショニングにより分割されるように、何らかの値ＮについてのサンプルのＮ×Ｎブロックとして定義することができる。符号化ツリーブロック（Coding Tree Block：）は、ある成分の符号化ツリーブロックへパーティショニングにより分割されるように、何らかの値ＮについてのサンプルのＮ×Ｎブロックとして定義することができる。符号化ツリー単位（Coding Tree Unit：ＣＴＵ）は、輝度サンプルの符号化ツリーブロックとして定義することができ、これは３つのサンプル配列を有するピクチャのクロマサンプルの２つの対応する符号化ツリーブロックや、モノクロピクチャのサンプルまたは３つの別個の色平面やサンプルを符号化するために使用されるシンタックス構造を用いて符号化されるピクチャのサンプルの符号化ツリーブロックである。符号化単位（Coding Unit：ＣＵ）は、輝度サンプルの符号化ブロックとして定義することができ、これは３つのサンプル配列を有するピクチャのクロマサンプルの２つの対応する符号化ブロックや、モノクロピクチャのサンプルまたは３つの別個の色平面やサンプルを符号化するために使用されるシンタックス構造を用いて符号化されるピクチャのサンプルの符号化ブロックである。
高効率ビデオ符号化（ＨＥＶＣ）コーデック等の一部のビデオコーデックでは、ビデオピクチャは、ピクチャのエリアを網羅する複数の符号化単位（ＣＵ）に分割される。ＣＵは、ＣＵ内のサンプルに対する予測処理を定義する１つ以上の予測単位（Prediction Unit：ＰＵ）と、該ＣＵ内のサンプルに対する予測誤差符号化処理を定義する１つ以上の変換単位（Transform Unit：ＴＵ）からなる。通常ＣＵは、正方形のサンプルブロックからなり、規定されている可能なＣＵサイズの組から選択可能なサイズを有する。最大許容サイズのＣＵは、最大符号化単位（Largest Coding Unit：ＬＣＵ）または符号化ツリー単位（ＣＴＵ）と呼ばれることもあり、ビデオピクチャは重なり合わないＬＣＵに分割される。ＬＣＵは、例えば該ＬＣＵと分割の結果得られるＣＵを再帰的に分割することによってさらに小さいＣＵの組合せに分割されることもある。分割の結果得られる各ＣＵは通常、少なくとも１つのＰＵとそれに関連する少なくとも１つのＴＵを有する。ＰＵとＴＵはそれぞれ、予測処理と予測誤差符号化処理の粒度を上げるために、さらに小さい複数のＰＵとＴＵに分割されることもある。各ＰＵは、そのＰＵ内の画素に適用される予測の種類を定義する、該ＰＵに関連した予測情報（例えば、インター予測されたＰＵに対しては動きベクトルの情報、イントラ予測されたＰＵに対してはイントラ予測の方向情報）を有する。
各ＴＵは、当該ＴＵ内のサンプルに対する予測誤差復号処理を表す情報（例えばＤＣＴ係数情報を含む）に対応付けられてもよい。各ＣＵについて、予測誤差符号化が適用されるか否かが、ＣＵレベルにてシグナリングされてもよい。ＣＵに対応付けられた予測誤差残差がない場合、当該ＣＵに対してはＴＵが存在しないとみなせる。画像のＣＵへの分割、ＣＵのＰＵおよびＴＵへの分割は、ビットストリームにおいてシグナリングされてもよい。これにより、デコーダはこれらの単位の意図された構造を再生可能となる。
ＨＥＶＣにおいては、ピクチャは、タイルに分割できる。タイルは四角形状で、整数個のＬＣＵを含む。ＨＥＶＣにおいては、タイルへの分割により、１または複数のタイル列と１または複数のタイル行を含む格子が形成される。符号化タイルは、バイトアラインメントされてもよい。これは、バイトアラインメントビットを、符号化タイルの端に加えていくことで実現されうる。
ＨＥＶＣにおいて、スライスは、１つの独立スライスセグメントと、同じアクセス単位内の（存在する場合）次の独立スライスセグメントより前の、（存在する場合）すべての後続の従属スライスセグメントに含まれる整数個の符号化ツリー単位と定義されている。ＨＥＶＣにおいて、スライスセグメントは、タイルスキャンにおいて連続し、１つのＮＡＬ単位に含まれる複数個の符号化ツリー単位と定義されている。各ピクチャをスライスセグメントに分割することを、パーティショニングという。ＨＥＶＣにおいて、独立スライスセグメントは、スライスセグメントヘッダのシンタックス要素の値が、それ以前のスライスセグメントの値から推測されないスライスセグメントと定義される。従属スライスセグメントは、スライスセグメントヘッダのいくつかのシンタックス要素の値が、復号順で前の独立スライスセグメントの値から推定されるスライスセグメントと定義される。ＨＥＶＣにおいて、スライスヘッダは、現スライスセグメントである独立スライスセグメント、または現従属スライスセグメントの前の独立スライスセグメントのスライスセグメントヘッダと定義される。スライスセグメントヘッダは、スライスセグメントで表される最初のまたはすべての符号化ツリー単位に関するデータ要素を含む、符号化されたスライスセグメントの一部と定義される。ＣＵは、タイル内、あるいはタイルが使用されない場合はピクチャ内のＬＣＵのラスタースキャンの順で走査される。ＬＣＵ内で、ＣＵは特定の順序で走査される。
ＨＥＶＣにおいて、タイルは整数個の符号化ツリー単位を含み、複数のスライスに含まれる符号化ツリー単位からなるものであってもよい。同様に、スライスは複数のタイルに含まれる符号化ツリー単位からなるものであってもよい。ＨＥＶＣにおいて、あるスライス内のすべての符号化ツリー単位は同一のタイルに属し、さらに／あるいはあるタイル内のすべての符号化ツリー単位は同一のスライスに属する。さらに、ＨＥＶＣにおいて、あるスライスセグメント内のすべての符号化ツリー単位は同一のタイルに属し、さらに／あるいはあるタイル内のすべての符号化ツリー単位は同一のスライスセグメントに属する。
動き制約タイルセットは、符号化においてインター予測処理に制約を与えるものである。すなわち、動き制約タイルセット内のあらゆるサンプルのインター予測に対して、動き制約タイルセット外のサンプル値も、動き制約タイルセット外の１つ以上のサンプル値を使用して得られた部分サンプル位置におけるサンプル値も使用されない。
なお、インター予測で用いられるサンプル位置は飽和している。すなわち、ピクチャの外であった位置も飽和することで、ピクチャの対応する境界サンプルを示す。したがって、タイル境界がピクチャ境界でもあるならば、動きベクトルは効果的に当該境界をまたぐか、サンプル位置が境界に飽和しているため、動きベクトルは当該境界外の位置を参照するような部分サンプル補間を効果的に実現しうる。
ＨＥＶＣの、時間的動き制約タイルセットのＳＥＩメッセージにより、ビットストリームにおける動き制約タイルセットの存在を示すことができる。
レイヤ間制約タイルセットは、符号化においてレイヤ間予測インターレイヤ予測処理に制約を与えるものである。すなわち、レイヤ間制約タイルセット内のあらゆるサンプルのレイヤ間予測インターレイヤ予測に対して、関連する各参照タイルセット外のサンプル値も、関連する各参照タイルセット外の１つ以上のサンプル値を使用して得られた部分サンプル位置でのサンプル値も使用されない。
ＨＥＶＣの、レイヤ間制約タイルセットのＳＥＩメッセージにより、ビットストリームにおけるレイヤ間制約タイルセットの存在を示すことができる。
デコーダは、予測された画素ブロックの表現を形成して（エンコーダが作成し、圧縮表現に格納された、動き情報または空間情報を使用）、予測誤差を復号するために（空間画素ドメインで量子化された予測誤差信号を回復する、予測誤差符号化の逆操作を使用）、エンコーダと同様の予測手段を適用することによって出力ビデオを再構成する。予測および予測誤差復号手段の適用後、デコーダは、出力ビデオフレームを形成するために予測信号と予測誤差信号（画素値）を足し合わせる。デコーダ（およびエンコーダ）は、出力ビデオをディスプレイに送る、および／または後続フレーム用予測の参照としてビデオシーケンスに格納する前に、出力ビデオの品質を向上するために追加フィルタリング手段を適用することもできる。
フィルタリングは、例えば、デブロッキング、適応サンプルオフセット（Sample Adaptive Offset：ＳＡＯ）、および／または適応ループフィルタリング（Adaptive Loop Filtering：ＡＬＦ）の内の１つ以上を含んでもよい。Ｈ．２６４／ＡＶＣはデブロッキングを含み、一方、ＨＥＶＣはデブロッキングとＳＡＯの両方を含む。
典型的なビデオコーデックでは、動き情報は、予測単位等の動き補償された画像ブロックのそれぞれに関連する動きベクトルで示される。こうした動きベクトルはそれぞれ、（エンコーダ側で）符号化されるピクチャまたは（デコーダ側で）復号されるピクチャの画像ブロックと、先に符号化または復号されたピクチャの１つにおける予測元ブロックとの間の移動量を表す。動きベクトルを効率よく表現するために、動きベクトルは通常、ブロック固有の予測動きベクトルに関して差動符号化されてもよい。典型的なビデオコーデックにおいて、予測動きベクトルは所定の方法、例えば、隣接ブロックの符号化／復号動きベクトルの中央値を計算することによって生成される。動きベクトル予測を行う別の方法は、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックから予測候補のリストを作成し、選択された候補を動きベクトルの予測として信号で伝えるものである。動きベクトルの値の予測に加え、いずれの参照ピクチャが動き補償予測に用いられるかを予測することができ、この予測情報を例えば先に符号化／復号されたピクチャの参照インデックスによって表すことができる。参照インデックスは通常、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックから予測される。また、典型的な高効率ビデオコーデックでは追加的な動き情報符号化／復号機構を用い、通常、マージングまたはマージモードと呼ばれる。ここで、すべての動きフィールド情報は、利用可能な参照ピクチャリストの各々について動きベクトルと対応する参照ピクチャインデックスを含んで、予測され、その他の変更／修正を行わずに使用される。同様に、動きフィールド情報の予測は、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックの動きフィールド情報を用いて行われ、使用された動きフィールド情報は、利用可能な隣接／並置されたブロックの動きフィールド情報が含まれる動きフィールド候補のリストに信号で伝えられる。
典型的なビデオコーデックは、単予測と双予測の使用が可能である。単予測では単一の予測ブロックを符号化／復号対象ブロックに使用し、双予測では２つの予測ブロックを組み合わせて、符号化／復号対象ブロックに対する予測を実現する。一部のビデオコーデックでは、残差情報を加える前に予測ブロックのサンプル値が重み付けされる重み付け予測が可能である。例えば、乗法重み付け係数および加法補正値を適用することができる。一部のビデオコーデックによって実現される直接的な重み付け予測では、重み付け係数および補正値は、例えば許容される参照ピクチャインデックスごとにスライスヘッダにおいて符号化されてもよい。一部のビデオコーデックによって実現される間接的な重み付け予測では、重み付け係数および／または補正値は符号化されず、例えば参照ピクチャの相対ピクチャ順数（Relative Picture Order Count：ＰＯＣ）の距離に基づいて導出される。
典型的なビデオコーデックにおいて、動き補償後の予測残差は最初に（ＤＣＴのような）変換カーネルで変換され、次に符号化される。これは、残差間にも相関があり、こうした変換が多くの場合でこのような相関を小さくするのに役立ち、より高い効率での符号化を可能にするからである。
典型的なビデオエンコーダは、例えば所望のマクロブロックモードおよび関連する動きベクトルといった最適な符号化モードを探索するために、ラグランジュコスト関数を利用する。この種のコスト関数は、非可逆符号化方法による（正確な、または推定された）画像歪みと、画像エリアの画素値を表現するのに必要である（正確な、または推定された）情報量を一緒に固定するために、重み付け係数λを使用する。
Ｃ＝Ｄ＋λＲ （式１）
ここで、Ｃは最小化すべきラグランジュコスト、Ｄはそのモードおよび考慮される動きベクトルによる画像歪み（例えば平均二乗誤差）、Ｒはデコーダで画像ブロックを再構成するために必要なデータ（候補の動きベクトルを表すためのデータ量を含む）を表すのに必要なビット数である。
Ｃ＝Ｄ＋λＲ （式１）
ここで、Ｃは最小化すべきラグランジュコスト、Ｄはそのモードおよび考慮される動きベクトルによる画像歪み（例えば平均二乗誤差）、Ｒはデコーダで画像ブロックを再構成するために必要なデータ（候補の動きベクトルを表すためのデータ量を含む）を表すのに必要なビット数である。
ビデオ符号化規格および標準は、エンコーダが符号化ピクチャを符号化スライス等に分割可能にするものであってもよい。通常、スライス境界をまたぐピクチャ内予測は無効である。したがって、スライスは符号化ピクチャを独立に復号可能な部分に分割する方法だと考えられる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、スライス境界をまたぐピクチャ内予測が無効でもよい。したがって、スライスは符号化ピクチャを独立に復号可能な部分に分割する方法だと考えられることもあり、このため、伝送の基本単位とみなされることが多い。多くの場合、エンコーダは、ピクチャ内予測のどの種類がスライス境界をまたぐ際に止められているかをビットストリームで示してもよい。この情報は、デコーダの動作によって、どの予測ソースが利用可能であるかを決定する際等に考慮される。例えば、隣接するマクロブロックやＣＵが別のスライスに存在する場合、その隣接するマクロブロックやＣＵからのサンプルはイントラ予測には利用できないとみなされてもよい。
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダの出力およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの入力それぞれの基本単位は、ネットワーク抽象化層（Network Abstraction Layer：ＮＡＬ）単位である。パケット指向ネットワークを介した転送、または構造化ファイルへの記憶のため、ＮＡＬ単位はパケットまたは同様の構造にカプセル化されてもよい。ＮＡＬ単位は、後続のデータの種類の標示と、適宜スタートコードエミュレーション防止バイトが散在するＲＢＳＰ形式の、当該データを含むバイトを含むシンタックス構造と定義できる。未加工のバイトシーケンスペイロード（Raw Byte Sequence Payload：ＲＢＳＰ）は、ＮＡＬ単位にカプセル化された整数個のバイトを含むシンタックス構造と定義できる。ＲＢＳＰは、空であるか、シンタックス要素を含み、ＲＢＳＰストップビットが続き、さらに０以上の後続ビット（＝０）が続くシンタックス要素を含むデータビット列の形式をとる。ＮＡＬ単位はヘッダとペイロードからなる。
ＨＥＶＣでは、規定されるＮＡＬ単位のすべての種類に対して２バイトのＮＡＬ単位ヘッダが使用される。ＮＡＬ単位ヘッダには、１ビットの予約ビットと６ビットのＮＡＬ単位種類の標示、時間レベルに対する３ビットのnuh_temporal_id_plus1標示（１以上であることが必要な場合がある）、６ビットのnuh_layer_idシンタックス要素が含まれる。temporal_id_plus1シンタックス要素はＮＡＬ単位の時間識別子とみなされ、ゼロベースのＴｅｍｐｏｒａｌＩＤ変数は次のように算出することができる。
ＴｅｍｐｏｒａｌＩＤ＝temporal_id_plus1−１
ＴｅｍｐｏｒａｌＩＤが０のときは、最下位時間レベルに対応する。２つのＮＡＬ単位ヘッダバイトを含む開始コードエミュレーションを避けるために、temporal_id_plus1の値は０でない値が求められる。選択された値以上のＴｅｍｐｏｒａｌＩＤを持つすべてのＶＣＬ−ＮＡＬ単位を除外し、それ以外のすべてのＶＣＬ−ＮＡＬ単位を含めることによって生成されたビットストリームが適合するものである。その結果、ＴＩＤと等しいＴｅｍｐｏｒａｌＩＤを持つピクチャは、ＴＩＤより大きいＴｅｍｐｏｒａｌＩＤを持つどのピクチャもインター予測の参照として使用しない。サブレイヤまたは時間サブレイヤは、ＴｅｍｐｏｒａｌＩＤ変数の特定の値を持つＶＣＬ−ＮＡＬ単位および関連する非ＶＣＬ−ＮＡＬ単位からなる時間スケーラブルビットストリームの時間スケーラブルレイヤとして定義されてもよい。nuh_layer_idは、スケーラビリティレイヤ識別子として理解される。
ＴｅｍｐｏｒａｌＩＤ＝temporal_id_plus1−１
ＴｅｍｐｏｒａｌＩＤが０のときは、最下位時間レベルに対応する。２つのＮＡＬ単位ヘッダバイトを含む開始コードエミュレーションを避けるために、temporal_id_plus1の値は０でない値が求められる。選択された値以上のＴｅｍｐｏｒａｌＩＤを持つすべてのＶＣＬ−ＮＡＬ単位を除外し、それ以外のすべてのＶＣＬ−ＮＡＬ単位を含めることによって生成されたビットストリームが適合するものである。その結果、ＴＩＤと等しいＴｅｍｐｏｒａｌＩＤを持つピクチャは、ＴＩＤより大きいＴｅｍｐｏｒａｌＩＤを持つどのピクチャもインター予測の参照として使用しない。サブレイヤまたは時間サブレイヤは、ＴｅｍｐｏｒａｌＩＤ変数の特定の値を持つＶＣＬ−ＮＡＬ単位および関連する非ＶＣＬ−ＮＡＬ単位からなる時間スケーラブルビットストリームの時間スケーラブルレイヤとして定義されてもよい。nuh_layer_idは、スケーラビリティレイヤ識別子として理解される。
ＮＡＬ単位は、ビデオ符号化層（Video Coding Layer：ＶＣＬ）のＮＡＬ単位と、非ＶＣＬ−ＮＡＬ単位とに分類できる。Ｈ．２６４／ＡＶＣでは、符号化スライスＮＡＬ単位は１つ以上の符号化マクロブロックを表すシンタックス要素を含み、そのそれぞれが非圧縮ピクチャにおけるサンプルの１ブロックに対応する。ＨＥＶＣでは、ＶＣＬ−ＮＡＬ単位は１つ以上のＣＵを表すシンタックス要素を含む。
ＨＥＶＣにおいては、符号化されたスライスＮＡＬ単位は以下の内のいずれか
１種類であると示すことができる。
１種類であると示すことができる。
ＨＥＶＣでは、ピクチャ種類の略語は、末尾（ＴＲＡＩＬ）ピクチャ、時間サブレイヤアクセス（Temporal Sub-layer Access：ＴＳＡ）、段階的時間サブレイヤアクセス（Step-wise Temporal Sub-layer Access：ＳＴＳＡ）、ランダムアクセス復号可能先頭（Random Access Decodable Leading：ＲＡＤＬ）ピクチャ、ランダムアクセススキップ先頭（Random Access Skipped Leading：ＲＡＳＬ）ピクチャ、リンク切れアクセス（Broken Link Access：ＢＬＡ）ピクチャ、瞬時復号リフレッシュ（ＩＤＲ）ピクチャ、クリーンランダムアクセス（ＣＲＡ）ピクチャと定義することができる。
ランダムアクセスポイント（ＲＡＰ）ピクチャは、イントラランダムアクセスポイント（ＩＲＡＰ）とも称するが、スライスまたはスライスセグメントが、１６以上２３以下のNAL_unit_typeを有するピクチャである。独立レイヤ内のＩＲＡＰピクチャは、自身の復号処理におけるインター予測において、自身以外のピクチャの参照を伴わない。イントラブロックコピーが使用されない場合、独立レイヤにおけるＩＲＡＰピクチャはイントラ符号化されたスライスのみを含む。nuh_layer_id値がcurrLayerIdである予測レイヤに属するＩＲＡＰピクチャは、Ｐ，Ｂ，Ｉスライスを含んでもよく、nuh_layer_idがcurrLayerIdに等しいその他のピクチャによるインター予測を使用できず、その直接参照レイヤからのインターレイヤ予測を利用してもよい。最新版のＨＥＶＣにおいて、ＩＲＡＰピクチャはＢＬＡピクチャ、ＣＲＡピクチャ、またはＩＤＲピクチャであってもよい。基本レイヤを含むビットストリームの最初のピクチャは、基本レイヤにおけるＩＲＡＰピクチャである。必要なパラメータセットが、アクティブ化される必要がある際に利用可能であれば、独立レイヤにおけるＩＲＡＰピクチャと、独立レイヤにおいて復号順でそれに続くすべての非ＲＡＳＬピクチャは、復号順でＩＲＡＰピクチャよりも前のあらゆるピクチャに対する復号処理を行わずに、正しく復号できる。また、すべての必要なパラメータが、アクティブ化される必要があるときに利用可能で、nuh_layer_idがcurrLayerIdに等しいレイヤの各直接参照レイヤの復号が開始していれば（すなわち、nuh_layer_idがcurrLayerIdに等しいレイヤの直接参照レイヤのすべてのnuh_layer_id値等しいrefLayerIdに対して、LayerInitializedフラグ[ refLayerId ]が１に等しい場合）、nuh_layer_id値がcurrLayerIdの予測レイヤに属するＩＲＡＰピクチャと、nuh_layer_idがcurrLayerIdに等しい、復号順でそれに続くすべての非ＲＡＳＬピクチャは、復号順でＩＲＡＰピクチャよりも前の、nuh_layer_idがcurrLayerIdに等しいあらゆるピクチャに対する復号処理を行わずに、正しく復号できる。ビットストリームにおいて、ＩＲＡＰピクチャではないイントラ符号化されたスライスのみを含むピクチャも存在しうる。
ＨＥＶＣでは、ＣＲＡピクチャが復号順でビットストリームの最初のピクチャであってもよく、ビットストリームの後の方で現れてもよい。ＨＥＶＣではＣＲＡピクチャによって、いわゆる先頭ピクチャが復号順でＣＲＡピクチャの後であるが出力順ではそれより前になる。先頭ピクチャの中のいわゆるＲＡＳＬピクチャは、参照としてＣＲＡピクチャより前に復号されるピクチャを用いてもよい。復号順および出力順で共にＣＲＡピクチャより後のピクチャは、ＣＲＡピクチャでランダムアクセスが行われる場合に復号可能となり、そのため、クリーンランダムアクセスは、ＩＤＲピクチャのクリーンランダムアクセス機能と同様にして実現される。
ＣＲＡピクチャは、関連するＲＡＤＬまたはＲＡＳＬピクチャを有することもある。ＣＲＡピクチャが復号順でビットストリームの最初のピクチャである場合、ＣＲＡピクチャは、復号順で符号化ビデオシーケンスの最初のピクチャであり、いずれの関連するＲＡＳＬピクチャもデコーダから出力されず、復号できない可能性がある。その理由は、これらのピクチャにはビットストリームに現れないピクチャに対する参照が含まれる可能性があるためである。
先頭ピクチャは、出力順で関連するＲＡＰピクチャよりも先のピクチャである。関連するＲＡＰピクチャは、（存在する場合は）復号順で前のＲＡＰピクチャである。先頭ピクチャはＲＡＤＬピクチャまたはＲＡＳＬピクチャのいずれかである。
すべてのＲＡＳＬピクチャは、関連するＢＬＡまたはＣＲＡピクチャの先頭ピクチャである。関連するＲＡＰピクチャがＢＬＡピクチャまたはビットストリームにおける最初の符号化ピクチャである場合、ＲＡＳＬピクチャは出力されず、正しく復号されない可能性がある。その理由は、ＲＡＳＬピクチャにはビットストリームに現れないピクチャに対する参照が含まれうるためである。しかし、ＲＡＳＬピクチャの関連するＲＡＰピクチャより前のＲＡＰピクチャから復号が始まっていた場合、ＲＡＳＬピクチャを正しく復号することができる。ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号処理のための参照ピクチャとして使用されない。すべてのＲＡＳＬピクチャは、存在する場合、復号順で同一の関連するＲＡＰピクチャのすべての末尾ピクチャよりも前にある。ＨＥＶＣ規格のドラフトの中には、ＲＡＳＬピクチャを破棄用タグ付き（Tagged for Discard：ＴＦＤ）ピクチャと呼ぶものもあった。
すべてのＲＡＤＬピクチャは先頭ピクチャである。ＲＡＤＬピクチャは、同一の関連するＲＡＰピクチャにおける末尾ピクチャの復号処理のための参照ピクチャとして使用されない。すべてのＲＡＤＬピクチャは、存在する場合、復号順で同一の関連するＲＡＰピクチャのすべての末尾ピクチャよりも前にある。ＲＡＤＬピクチャは、復号順で関連するＲＡＰピクチャより前のいずれのピクチャも参照しない。したがって、復号が関連するＲＡＰピクチャから始まる場合、該ＲＡＤＬピクチャを正しく復号することができる。
ＣＲＡピクチャから始まるビットストリームの一部が別のビットストリームに含まれる場合、このＣＲＡピクチャに関連するＲＡＳＬピクチャは、その参照ピクチャの一部が合成ビットストリームにも存在しない可能性があるため、正しく復号されない可能性がある。こうした接合動作を直接的に行うために、ＣＲＡピクチャのＮＡＬ単位種類は、それがＢＬＡピクチャであることを示すように変更することができる。ＢＬＡピクチャに関連するＲＡＳＬピクチャは正しく復号できない可能性があり、よって、出力／表示もされない。また、ＢＬＡピクチャに関連するＲＡＳＬピクチャでは復号処理を省略することもある。
ＢＬＡピクチャが復号順でビットストリームの最初のピクチャであってもよく、ビットストリームの後の方で現れてもよい。各ＢＬＡピクチャは新たな符号化ビデオシーケンスを開始し、復号処理に対してＩＤＲピクチャと同様の影響を及ぼす。しかし、ＢＬＡピクチャは、空でない参照ピクチャセットを特定するシンタックス要素を含む。ＢＬＡピクチャは、BLA_W_LPに等しいnal_unit_typeを有する場合、関連するＲＡＳＬピクチャを有する場合もあり、これらのＲＡＳＬピクチャはデコーダから出力されず、復号できない可能性がある。これは、これらのピクチャにはビットストリームに現れないピクチャに対する参照が含まれうるためである。ＢＬＡピクチャはBLA_W_LPに等しいnal_unit_typeを有する場合、関連するＲＡＤＬピクチャを備えてもよく、これらのＲＡＤＬピクチャは復号されるものとして特定される。ＢＬＡピクチャは、BLA_W_RADLに等しいnal_unit_typeを有する場合、関連するＲＡＳＬピクチャを有さず、関連するＲＡＤＬピクチャを備えてもよく、これらのＲＡＤＬピクチャは復号されるものとして特定される。ＢＬＡピクチャは、BLA_N_LPに等しいnal_unit_typeを有する場合、関連する先頭ピクチャを有さない。
IDR_N_LPに等しいnal_unit_typeを有するＩＤＲピクチャは、ビットストリームに関連する先頭ピクチャを有さない。IDR_W_LPに等しいnal_unit_typeを有するＩＤＲピクチャは、ビットストリームに関連するＲＡＳＬピクチャを有さず、ビットストリームに関連するＲＡＤＬピクチャを備えてもよい。
nal_unit_typeの値が、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、またはRSV_VCL_N14に等しい場合、復号ピクチャは同一時間サブレイヤの他のピクチャに対する参照として使用されない。すなわち、ＨＥＶＣでは、nal_unit_typeの値が、TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、またはRSV_VCL_N14に等しい場合、復号ピクチャは、ＴｅｍｐｏｒａｌＩＤが同じ値のピクチャのRefPicSetStCurrBefore、RefPicSetStCurrAfter、RefPicSetLtCurrのいずれにも含まれない。nal_unit_typeがTRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12、またはRSV_VCL_N14に等しい符号化ピクチャは、ＴｅｍｐｏｒａｌＩＤが同じ値の他のピクチャの復号可能性に影響を与えないように破棄されてもよい。
末尾ピクチャは、出力順で関連するＲＡＰピクチャより後のピクチャとして定義することができる。末尾ピクチャであるいずれのピクチャも、RADL_N、RADL_R、RASL_N、またはRASL_Rに等しいnal_unit_typeを有さない。先頭ピクチャであるピクチャはいずれも、復号順で、同一のＲＡＰピクチャに関連するすべての末尾ピクチャより前であるように制限されてもよい。nal_unit_typeがBLA_W_RADLまたはBLA_N_LPであるＢＬＡピクチャに関連するＲＡＳＬピクチャは、ビットストリームには存在しない。BLA_N_LPに等しいnal_unit_typeを有するＢＬＡピクチャまたはIDR_N_LPに等しいnal_unit_typeを有するＩＤＲピクチャに関連するＲＡＤＬピクチャは、ビットストリームには存在しない。ＣＲＡまたはＢＬＡピクチャに関連するＲＡＳＬピクチャはいずれも、出力順で、ＣＲＡまたはＢＬＡピクチャに関連するいずれのＲＡＤＬピクチャよりも前にあるように制限されてもよい。ＣＲＡピクチャに関連するＲＡＳＬピクチャはいずれも、復号順でＣＲＡピクチャよりも前にある他のいずれのＲＡＰピクチャよりも、出力順で後になるように制限されてもよい。
ＨＥＶＣでは、ＴＳＡとＳＴＳＡという２つのピクチャ種類があり、時間サブレイヤの切替えポイントを示すために使用することができる。ＴＳＡまたはＳＴＳＡピクチャの手前まで、およびＴＳＡまたはＳＴＳＡピクチャのＴｅｍｐｏｒａｌＩＤがＮ＋１に等しくなるまで、ＴｅｍｐｏｒａｌＩＤがＮまでの時間サブレイヤが復号されてきた場合、ＴＳＡまたはＳＴＳＡピクチャは、ＴｅｍｐｏｒａｌＩＤがＮ＋１である（復号順で）すべての後続のピクチャの復号を可能にする。ＴＳＡピクチャ種類は、ＴＳＡピクチャ自体に加え、同一のサブレイヤにおいて復号順でそのＴＳＡピクチャより後のすべてのピクチャに対して制限を加えてもよい。こうしたピクチャはいずれも、同一のサブレイヤにおいて復号順でＴＳＡピクチャより前のピクチャからのインター予測の使用が許容されない。ＴＳＡの規定は、上位サブレイヤにおいて復号順でＴＳＡピクチャに続くピクチャに対して制限をさらに加えてもよい。これらのピクチャはいずれも、ＴＳＡピクチャと同一または上位のサブレイヤに属する場合、復号順でＴＳＡピクチャより前のピクチャに対する参照が許容されない。ＴＳＡピクチャは０より大きいＴｅｍｐｏｒａｌＩＤを有する。ＳＴＳＡはＴＳＡピクチャと同様であるが、上位サブレイヤにおいて復号順でＳＴＳＡピクチャより後のピクチャに対して制限を加えない。したがって、ＳＴＳＡピクチャが存在するサブレイヤに対してのみアップスイッチングが可能となる。
非ＶＣＬ−ＮＡＬ単位は、例えば、シーケンスパラメータセット、ピクチャパラメータセット、補助拡張情報（Supplemental Enhancement Information：ＳＥＩ）ＮＡＬ単位、アクセス単位区切り、シーケンスＮＡＬ単位の一端、ビットストリームＮＡＬ単位の一端、または補充データＮＡＬ単位のいずれかの種類であってもよい。パラメータセットは復号ピクチャの再構成に必要であってもよいが、他の非ＶＣＬ−ＮＡＬ単位の多くは、復号サンプル値の再構成には必要ない。
符号化ビデオシーケンスで不変のパラメータがシーケンスパラメータセットに含まれてもよい。復号処理に必要なパラメータに加え、シーケンスパラメータセットがビデオユーザビリティ情報（Video Usability Information：ＶＵＩ）を任意で含んでもよい。これには、バッファリングやピクチャ出力タイミング、レンダリング、およびリソース予約に重要なパラメータが含まれる。ＨＥＶＣでは、シーケンスパラメータセットＲＢＳＰには、１つ以上のピクチャパラメータセットＲＢＳＰ、またはバッファリング期間ＳＥＩメッセージを含む１つ以上のＳＥＩ−ＮＡＬ単位によって参照可能なパラメータが含まれる。ピクチャパラメータセットは、複数の符号化ピクチャで不変であるようなパラメータを含む。ピクチャパラメータセットＲＢＳＰは、１つ以上の符号化ピクチャの符号化スライスＮＡＬ単位によって参照可能なパラメータを含んでもよい。
ＨＥＶＣでは、ビデオパラメータセット（ＶＰＳ）は、０以上の符号化ビデオシーケンス全体に対して適用するシンタックス要素を含むシンタックス構造として定義することができる。該ビデオシーケンスは、各スライスセグメントヘッダにおいて探索されるシンタックス要素によって参照されるＰＰＳにおいて探索されるシンタックス要素によって参照されるＳＰＳにおいて探索されるシンタックス要素のコンテンツによって決定される。ビデオパラメータセットＲＢＳＰは、１つ以上のシーケンスパラメータセットＲＢＳＰによって参照可能なパラメータを含んでもよい。
ビデオパラメータセット（ＶＰＳ）、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）の間の関係および階層は次のように記述できる。ＶＰＳは、スケーラビリティおよび／または３Ｄビデオの文脈において、パラメータセット階層でＳＰＳの１段上に位置する。ＶＰＳは、すべての（スケーラビリティまたはビュー）レイヤにわたって全スライスに共通なパラメータを符号化ビデオシーケンス全体に含んでもよい。ＳＰＳは、特定の（スケーラビリティまたはビュー）レイヤにおける全スライスに共通なパラメータを符号化ビデオシーケンスの全体に含み、複数の（スケーラビリティまたはビュー）レイヤで共有されてもよい。ＰＰＳは、特定のレイヤ表現（１つのアクセス単位における１つのスケーラビリティまたはビューレイヤの表現）における全スライスに共通なパラメータを含み、これらのパラメータは複数のレイヤ表現における全スライスで共有される傾向にある。
ＶＰＳは、符号化ビデオシーケンス全体においてすべての（スケーラビリティまたはビュー）レイヤにわたって全スライスに適用可能なその他多くの情報を提供しうるが、さらにビットストリーム内のレイヤの依存関係に関する情報を提供してもよい。ＶＰＳは、基本ＶＰＳおよびＶＰＳ拡張の２つの部分を含むとみなされてもよく、この内、ＶＰＳ拡張が含まれるかは任意に選択可能であってもよい。ＨＥＶＣでは、基本ＶＰＳは、vps_extension( )シンタックス構造を含まず、video_parameter_set_rbsp( )シンタックス構造を含むとみなされてもよい。video_parameter_set_rbsp( )シンタックス構造は、ＨＥＶＣのバージョン１で既に規定されており、基本レイヤの復号に使用できるシンタックス要素を含む。ＨＥＶＣでは、ＶＰＳ拡張は、vps_extension( )シンタックス構造を含むとみなされてもよい。vps_extension( )シンタックス構造は、ＨＥＶＣのバージョン２で特にマルチレイヤ拡張について規定されており、レイヤ依存関係を示すシンタックス要素等の１つ以上の非基本レイヤの復号に使用できるシンタックス要素を含む。
ＶＰＳ拡張におけるシンタックス要素 max_tid_il_ref_pics_plus1は、非ＩＲＡＰピクチャがインターレイヤ予測で参照に用いられないこと、あるいはインターレイヤ予測で参照に用いられない時間サブレイヤを示すことができる。
０に等しいmax_tid_il_ref_pics_plus1[ i ][ j ]は、nuh_layer_idがlayer_id_in_nuh[ i ]に等しい非ＩＲＡＰピクチャが、nuh_layer_idがlayer_id_in_nuh[ j ]に等しいピクチャに対するインターレイヤ予測におけるソースピクチャとして使用されないことを指定する。０より大きいmax_tid_il_ref_pics_plus1[ i ][ j ]は、nuh_layer_idがlayer_id_in_nuh[ i ]に等しく、ＴｅｍｐｏｒａｌＩｄがmax_tid_il_ref_pics_plus1[ i ][ j ]-1より大きいピクチャが、nuh_layer_idがlayer_id_in_nuh[ j ]に等しいピクチャのインターレイヤ予測においてソースピクチャとして使用されないことを指定する。存在しない場合、max_tid_il_ref_pics_plus1[ i ][ j ]の値は、７に等しいと推定される。
０に等しいmax_tid_il_ref_pics_plus1[ i ][ j ]は、nuh_layer_idがlayer_id_in_nuh[ i ]に等しい非ＩＲＡＰピクチャが、nuh_layer_idがlayer_id_in_nuh[ j ]に等しいピクチャに対するインターレイヤ予測におけるソースピクチャとして使用されないことを指定する。０より大きいmax_tid_il_ref_pics_plus1[ i ][ j ]は、nuh_layer_idがlayer_id_in_nuh[ i ]に等しく、ＴｅｍｐｏｒａｌＩｄがmax_tid_il_ref_pics_plus1[ i ][ j ]-1より大きいピクチャが、nuh_layer_idがlayer_id_in_nuh[ j ]に等しいピクチャのインターレイヤ予測においてソースピクチャとして使用されないことを指定する。存在しない場合、max_tid_il_ref_pics_plus1[ i ][ j ]の値は、７に等しいと推定される。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣのシンタックスでは様々なパラメータセットの事例が許容され、各事例は固有の識別子で識別される。パラメータセットに必要なメモリ使用量を制限するために、パラメータセット識別値域は制限されている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、各スライスヘッダは、そのスライスを含むピクチャの復号に対してアクティブなピクチャパラメータセットの識別子を含む。各ピクチャパラメータセットは、アクティブなシーケンスパラメータセットの識別子を含む。その結果、ピクチャとシーケンスパラメータセットの伝送がスライスの伝送と正確に同期されている必要がない。実際に、アクティブシーケンスとピクチャパラメータセットはそれらが参照される前までに受け取られていれば十分であり、スライスデータ用のプロトコルよりも信頼性の高い伝送機構を使って「帯域外」でパラメータセットを伝送することが可能になる。例えば、パラメータセットはリアルタイム転送プロトコル（Realtime Transport Protocol：ＲＴＰ）セッション用のセッション記述でのパラメータとして含まれてもよい。パラメータセットは、帯域内で伝送される場合、エラー耐性を高めるために繰り返されることもある。
さらに／あるいは、アウトオブバンド伝送、シグナリング、または記憶を伝送エラーに対する耐性以外の目的、すなわちアクセスまたはセッションネゴシエーションを行いやすくするために利用できる。例えば、ＩＳＯ ＢＭＦＦに対応するファイルにおけるトラックのサンプルエントリは、パラメータセットを含み、ビットストリーム内の符号化データは、ファイルの別の箇所またはその他のファイルに記憶されてもよい。アウトオブバンドデータがビットストリームに関連付けられるようにアウトオブバンド転送、シグナリング、記憶を行うことを指すために、「ビットストリームに沿った」という表現（例えば、「ビットストリームに沿っている」ことを示す用語）を請求項で使用し、実施形態で記載する場合がある。また、「ビットストリームに沿って復号」等の表現は、ビットストリームに関連した参照アウトオブバンドデータ（アウトオブバンド転送、シグナリング、または記憶により得られうる）を復号することを指す場合がある。符号化ピクチャは、ピクチャの符号化された表現である。
ＨＥＶＣでは、符号化ピクチャは、ピクチャのすべての符号化ツリー単位を含むピクチャの符号化された表現として定義することができる。ＨＥＶＣでは、アクセス単位（ＡＵ）は、特定の分類ルールに基づき互いに関連付けられ、復号順で連続し、nuh_layer_idが任意の特定の値である最大で１つのピクチャを含む、ＮＡＬ単位の組と定義することができる。アクセス単位は、符号化ピクチャのＶＣＬ−ＮＡＬ単位を含むことに加えて、非ＶＣＬ−ＮＡＬ単位を含んでもよい。
アクセス単位内で、符号化ピクチャが所定の順序で現れる必要がありうる。例えば、nuh_layer_idがnuhLayerIdAに等しい符号化ピクチャは、同じアクセス単位内で、nuh_layer_id greaterがnuhLayerIdAよりも大きいすべての符号化ピクチャよりも復号順で前にある必要がありうる。通常ＡＵは、出力時間および／または撮像時間が同じすべての符号化ピクチャを含む。
ビットストリームは、ＮＡＬ単位ストリームまたはバイトストリームの形式で、符号化ピクチャおよび１つ以上の符号化ビデオシーケンスを形成する関連するデータの表現を形成する、ビットのシーケンスとして定義することができる。同一のファイルや、通信プロトコルの同一の接続のように、同一の論理経路において、第１のビットストリームの後に第２のビットストリームが続いてもよい。（ビデオの符号化において）基本ストリームは、１つ以上のビットストリームのシーケンスと定義することができる。第１のビットストリームの終端は特定のＮＡＬ単位によって示されてもよく、これはビットストリーム終端（End of Bitstrem：ＥＯＢ）のＮＡＬ単位と呼ばれ、該ビットストリームの最後のＮＡＬ単位である。ＨＥＶＣおよび現在検討中のその拡張版では、ＥＯＢのＮＡＬ単位は０に等しいnuh_layer_idを有する必要がある。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、フレーミング構造を提供しない送信または記憶環境のために、バイトストリーム形式が指定されている。バイトストリーム形式では、各ＮＡＬ単位の前にスタートコードを付けることで、ＮＡＬ単位を互いに分離している。ＮＡＬ単位境界を誤検出しないよう、エンコーダはバイト指向スタートコードエミュレーション防止アルゴリズムを動作させる。これにより、スタートコードが生じてしまうような場合に、ＮＡＬ単位ペイロードにエミュレーション防止バイトが加えられる。例えば、パケット指向システムおよびストリーム指向システム間で、単純なゲートウェイ動作を可能とするため、バイトストリーム形式が使用されるか否かを問わず、常にスタートコードエミュレーション防止を実施してもよい。第１のバイトの最上位ビット（Most Significant Bit：ＭＳＢ）から始まり、第１のバイトの最下位ビット（Least Significant Bit：ＬＳＢ）まで、そして第２のバイトのＭＳＢが続く（以下同様）ようにバイトストリーム形式のビット順序を指定してもよい。バイトストリーム形式は、バイトストリームＮＡＬ単位シンタックス構造シーケンスからなるものととらえられる。各バイトストリームＮＡＬ単位シンタックス構造は、１つのスタートコードプレフィックスを含み、それに１つのＮＡＬ単位シンタックス構造が続くものと考えられる（すなわち、シンタックス要素名が参照される場合、nal_unit（NumBytesInNalUnit）シンタックス構造）。バイトストリームＮＡＬ単位はさらに、追加のzero_byteシンタックス要素を含んでもよい。さらに、１つ以上の追加のシンタックス要素trailing_zero_8bitsを含んでもよい。バイトストリームＮＡＬ単位が、ビットストリームにおける第１のバイトストリームＮＡＬ単位であれば、追加のシンタックス要素eading_zero_8bitsをさらに含んでもよい。バイトストリームＮＡＬ単位のシンタックスは以下のとおりに指定できる。
バイトストリームにおけるバイトストリームＮＡＬ単位の順序は、バイトストリームＮＡＬ単位内に含まれるＮＡＬ単位の復号順に従う必要がありうる。シンタックス要素の意味は、以下のとおりに指定されうる。leading_zero_8bitsは、０ｘ００に等しいバイトである。シンタックス要素leading_zero_8bitsは、ビットストリームの第１のバイトストリームＮＡＬ単位内のみに存在してもよい。ＮＡＬ単位シンタックス構造の後で、４バイトのシーケンス０ｘ０００００００１（start_code_prefix_one_3bytesが続くzero_byteと考えられる）の前の、０ｘ００に等しいあらゆるバイトは、前のバイトストリームＮＡＬ単位の一部であるシンタックス要素trailing_zero_8bitsであると考えられるためである。zero_byteは、０ｘ００に等しい、単一のバイトである。start_code_prefix_one_3bytesは、０ｘ０００００１に等しい３バイトの固定値シーケンスである。このシンタックス要素は、スタートコードプレフィックス（または単純にスタートコード）と称されうる。trailing_zero_8bitsは、０ｘ００に等しいバイトである。
ＮＡＬ単位は、後続のデータの種類の標示と、適宜エミュレーション防止バイトが散在するＲＢＳＰ形式の、当該データを含むバイトを含むシンタックス構造と定義できる。未加工のバイトシーケンスペイロード（ＲＢＳＰ）は、ＮＡＬ単位にカプセル化された整数個のバイトを含むシンタックス構造と定義できる。ＲＢＳＰは、空であるか、シンタックス要素を含み、ＲＢＳＰストップビットが続き、さらに０以上の後続ビット（＝０）が続くシンタックス要素を含むデータビット列の形式をとる。
ＮＡＬ単位は、ヘッダとペイロードからなる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ＮＡＬ単位ヘッダはＮＡＬ単位の種類を示す。
次に、シンタックス構造nal_unit（NumbytesInNalUnit）のＨＥＶＣシンタックスをＮＡＬ単位のシンタックスの例として示す。
ＨＥＶＣでは、符号化ビデオシーケンス（Coded Video Sequence：ＣＶＳ）が、例えば、復号順で、NoRaslOutputFlagが１に等しいＩＲＡＰアクセス単位と、その後のNoRaslOutputFlagが１に等しいＩＲＡＰアクセス単位である任意のアクセス単位の手前までの、後続のすべてのアクセス単位を含む、NoRaslOutputFlagが１に等しいＩＲＡＰアクセス単位ではない０以上のアクセス単位とからなる、アクセス単位のシーケンスとして定義することができる。ＩＲＡＰアクセス単位は、基本レイヤピクチャがＩＲＡＰピクチャであるアクセス単位として定義することができる。ビットストリームにおいて復号順で特定のレイヤの最初のピクチャである各ＩＤＲピクチャ、各ＢＬＡピクチャ、および各ＩＲＡＰピクチャに対して、NoRaslOutputFlagの値が１に等しいのは、復号順で、同一の値のnuh_layer_idを有するシーケンスＮＡＬ単位の一端に続く最初のＩＲＡＰピクチャである。マルチレイヤＨＥＶＣでは、nuh_layer_idが、LayerInitializedFlag[ nuh_layer_id ]が０に等しく、IdDirectRefLayer[ nuh_layer_id ][ j ]に等しいすべてのrefLayerIdの値に対してLayerInitializedFlag[ refLayerId ]が１に等しくなる（ここで、jは０からNumDirectRefLayers[ nuh_layer_id ]−１までの範囲にある）場合に、各ＩＲＡＰピクチャに対してNoRaslOutputFlagの値が１に等しくなる。この条件が満たされなければ、NoRaslOutputFlagの値がHandleCraAsBlaFlagに等しくなる。１に等しいNoRaslOutputFlagの影響として、NoRaslOutputFlagが設定されたＩＲＡＰピクチャに関連付けられているＲＡＳＬピクチャがデコーダから出力されないことが挙げられる。デコーダを制御しうるプレーヤまたは受信機等の外部エンティティからデコーダに対してHandleCraAsBlaFlagの値を提供するための手段が設けられてもよい。
例えばビットストリームにおける新たな位置を探索し、ブロードキャストを受け、復号を開始し、その後ＣＲＡピクチャから復号を開始するプレーヤによって、HandleCraAsBlaFlagは１に設定されてもよい。ＣＲＡピクチャに対してHandleCraAsBlaFlagが１に等しい場合、ＣＲＡピクチャはＢＬＡピクチャと同様に取り扱われ、復号される。
ＨＥＶＣでは、上記の仕様に加えて、またはこれに代えて、シーケンス終端（End of Sequence：ＥＯＳ）のＮＡＬ単位とも呼ばれる特定のＮＡＬ単位がビットストリームに現れ、そのnuh_layer_idが０に等しい場合、符号化ビデオシーケンスが終了するように規定されてもよい。
グループ・オブ・ピクチャ（ＧＯＰ）とその特徴は以下のように定義される。ＧＯＰは、前のピクチャのいずれかが復号されたか否かにかかわらず、復号可能である。オープンＧＯＰは、オープンＧＯＰの開始イントラピクチャから復号が始まる場合、出力順序が開始イントラピクチャよりも早いピクチャが正しく復号できない可能性のあるようなピクチャ群である。すなわち、オープンＧＯＰにおけるピクチャは、（インター予測において）前のＧＯＰに属するピクチャを参照しうる。ＨＥＶＣデコーダは、オープンＧＯＰを開始するイントラピクチャを認識できる。特定のＮＡＬ単位種類、ＣＲＡ ＮＡＬ単位種類を、その符号化されたスライスに使用可能なためである。クローズドＧＯＰは、クローズドＧＯＰの開始イントラピクチャから復号が始まる場合、すべてのピクチャが正しく復号できるようなピクチャ群である。すなわち、クローズドＧＯＰにおけるピクチャは、前のＧＯＰの内のいずれのピクチャも参照しない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいて、クローズドＧＯＰはＩＤＲピクチャから開始してもよい。ＨＥＶＣにおいて、クローズドＧＯＰはBLA_W_RADLまたはBLA_N_LPピクチャから開始してもよい。オープンＧＯＰ符号化構造は、参照ピクチャがより柔軟に選択できるため、クローズドＧＯＰ符号化構造よりも圧縮構造が高効率となりうる。
ＳＯＰ（ストラクチャ・オブ・ピクチャ）は、復号順で連続した少なくとも１つの符号化ピクチャとして定義できる。ここで、復号順で最初の符号化ピクチャが、最下時間サブレイヤの参照ピクチャとなり、復号順で最初の符号化ピクチャはＲＡＰピクチャとなりうるが、それ以外の符号化ピクチャはＲＡＰピクチャとならない。前のＳＯＰのすべてのピクチャは、現ＳＯＰのすべてのピクチャよりも復号順で前にあり、次のＳＯＰのすべてのピクチャは、現ＳＯＰのすべてのピクチャよりも復号順で後にある。ＳＯＰは、階層的かつ反復的なインター予測構造を表しうる。グループ・オブ・ピクチャ（ＧＯＰ）という用語は、ＳＯＰと同義で、ＳＯＰと同じ意味でありうる。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣのビットストリームシンタックスは、特定のピクチャが別のピクチャのインター予測のための参照ピクチャであるか否かを示す。符号化の任意の種類（Ｉ、Ｐ、Ｂ）のピクチャは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣの参照ピクチャまたは非参照ピクチャでありうる。
ＨＥＶＣでは、参照ピクチャセット（Reference Picture Set：ＲＰＳ）のシンタックス構造と復号処理が使用される。あるピクチャに有効またはアクティブな参照ピクチャセットには、そのピクチャに対する参照として使われるすべての参照ピクチャと、復号順で後続の任意のピクチャに対して「参照に使用済」とマークされたままであるすべての参照ピクチャとが挙げられる。参照ピクチャセットには６つのサブセットがあり、それぞれRefPicSetStCurr0（またはRefPicSetStCurrBefore）、RefPicSetStCurr1（またはRefPicSetStCurrAfter）、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr、RefPicSetLtFollと呼ばれる。また、RefPicSetStFoll0およびRefPicSetStFoll1は、まとめて１つのサブセットRefPicSetStFollを形成するものとされてもよい。この６つのサブセットの表記法は次のとおりである。「Curr」は現ピクチャの参照ピクチャリストに含まれる参照ピクチャを表し、このため、現ピクチャに対するインター予測参照として使用されてもよい。「Foll」は現ピクチャの参照ピクチャリストに含まれない参照ピクチャを表すが、復号順で後続のピクチャでは参照ピクチャとして使用されてもよい。「St」は短期参照ピクチャを表し、通常、ＰＯＣ値の特定数の最下位ビットで識別されてもよい。「Lt」は長期参照ピクチャを表し、特定の方法で識別され、通常、現ピクチャに対するＰＯＣ値の差分は、前述した特定数の最下位ビットによって表されるものよりも大きい。「0」は現ピクチャのＰＯＣ値よりも小さいＰＯＣ値を持つ参照ピクチャを表す。「1」は現ピクチャのＰＯＣ値よりも大きいＰＯＣ値を持つ参照ピクチャを表す。RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1はまとめて、参照ピクチャセットの短期サブセットと呼ばれる。RefPicSetLtCurrおよびRefPicSetLtFollはまとめて、参照ピクチャセットの長期サブセットと呼ばれる。
ＨＥＶＣでは、参照ピクチャセットは、シーケンスパラメータセットで特定され、参照ピクチャセットへのインデックスを介してスライスヘッダ用に取り込まれてもよい。参照ピクチャセットはスライスヘッダで特定されてもよい。参照ピクチャセットは独立に符号化されてもよく、別の参照ピクチャセットから予測されてもよい（インターＲＰＳ予測と呼ばれる）。参照ピクチャセット符号化の両方の種類で、各参照ピクチャに対してフラグ（used_by_curr_pic_X_flag）が追加で送信される。このフラグは、その参照ピクチャが参照として現ピクチャに用いられる（＊Ｃｕｒｒリストに含まれる）か否か（＊Ｆｏｌｌリストに含まれる）を示す。現スライスが使う参照ピクチャセットに含まれるピクチャは「参照に使用」とマークされ、現スライスが使う参照ピクチャセットに含まれないピクチャは「参照に未使用」とマークされる。現ピクチャがＩＤＲピクチャである場合、RefPicSetStCurr0、RefPicSetStCurr1、RefPicSetStFoll0、RefPicSetStFoll1、RefPicSetLtCurr、およびRefPicSetLtFollはすべて空に設定される。
復号ピクチャバッファ（Decoded Picture Buffer：ＤＰＢ）はエンコーダおよび／またはデコーダで使用されてもよい。復号ピクチャをバッファする理由は２つある。１つはインター予測で参照するため、もう１つは復号ピクチャを出力順に並べ換えるためである。Ｈ．２６４／ＡＶＣおよびＨＥＶＣは参照ピクチャのマーキングと出力の並べ換えの両方で相当な柔軟性を与えるため、参照ピクチャのバッファリングと出力ピクチャのバッファリングで別々のバッファを使うことはメモリリソースを浪費する可能性がある。このためＤＰＢは、参照ピクチャと出力並べ換えのための統合された復号ピクチャバッファリング処理を含んでもよい。復号ピクチャは、参照として使用されず出力される必要がなくなると、ＤＰＢから削除されてもよい。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣ等の多くの符号化モードでは、インター予測用参照ピクチャは参照ピクチャリストへのインデックスで示される。このインデックスは可変長符号化で符号化されてもよい。可変長符号化によって多くの場合、インデックスを小さくして対応するシンタックス要素に対してより小さい値を持つことができる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、双予測（Ｂ）スライスにはそれぞれ２つの参照ピクチャリスト（参照ピクチャリスト０および参照ピクチャリスト１）が作成され、インター符号化（Ｐ）スライスにはそれぞれ１つの参照ピクチャリスト（参照ピクチャリスト０）が形成される。
参照ピクチャリスト０および参照ピクチャリスト１等の参照ピクチャリストは通常、２つのステップで作成される。第１ステップでは、初期参照ピクチャリストが作成される。初期参照ピクチャリストは例えば、frame_numやＰＯＣ、temporal_id（またはＴｅｍｐｏｒａｌＩＤや類似のもの）、ＧＯＰ構造等の予測階層に関する情報、またはこれらの組合せに基づいて作成されてもよい。第２ステップでは、参照ピクチャリスト並べ換え（Reference Picture List Reordering：ＲＰＬＲ）命令によって初期参照ピクチャリストが並べ換えられてもよい。ＲＰＬＲ命令は参照ピクチャリスト変更シンタックス構造とも呼ばれ、スライスヘッダに含まれてもよい。参照ピクチャセットが用いられる場合、参照ピクチャリスト０はRefPicSetStCurr0、RefPicSetStCurr1、RefPicSetLtCurrをこの順序で含むように初期化されてもよい。参照ピクチャリスト１はRefPicSetStCurr1、RefPicSetStCurr0をこの順序で含むように初期化されてもよい。ＨＥＶＣでは、初期参照ピクチャリストは参照ピクチャリスト変更シンタックス構造を通じて変更されてもよい。初期参照ピクチャリストのピクチャはリストに対するエントリインデックスを通じて識別されてもよい。換言すれば、ＨＥＶＣでは、参照ピクチャリスト変更を最後の参照ピクチャリストにおける各エントリのループを含むシンタックス構造に符号化し、各ループエントリが初期参照ピクチャリストへの固定長符号化インデックスであり、最後の参照ピクチャリストにおける位置の昇順でピクチャを示す。
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くの符号化規格は、参照ピクチャリストに対する参照ピクチャインデックスを導出するための復号処理が含まれてもよい。これによって、複数の参照ピクチャのいずれを使用して特定のブロックのインター予測を行うかが示されうる。参照ピクチャインデックスは、エンコーダによってビットストリームへと何らかのインター符号化モードで符号化されてもよく、または（エンコーダおよびデコーダによって）例えば何らかの他のインター符号化モードで隣接ブロックを使用して導出されてもよい。
ビットストリームにおいて効率的に動きベクトルの順序を示すために、動きベクトルは、ブロック特有予測動きベクトルとは異なる符号化が施されてもよい。多くのビデオコーデックにおいて、予測動きベクトルは、所定の方法で生成される。一例として、隣接するブロックの、符号化または復号動きベクトルの中央値を計算してもよい。動きベクトル予測を生成するさらなる方法として、高度な動きベクトル予測（Advanced Motion Vector Prediction：ＡＭＶＰ）とも呼ばれる手法がある。すなわち、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックからの予測候補のリストを生成し、選択された候補を動きベクトル予測子としてシグナリングする手法である。動きベクトル値を予測することに加え、符号化済み／復号済みピクチャの参照インデックスも予測できる。典型的には、参照インデックスは時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックから予測される。通常、スライス境界をまたぐ動きベクトルの差動符号化はできない。
スケーラブルビデオ符号化とは、コンテンツに関して、例えばビットレート、解像度、またはフレームレートが異なる複数の表現を１つのビットストリームが格納できるような符号化構造を指してもよい。このような場合、受信機は、その特性（例えば、ディスプレイ装置に最適な解像度）に応じて望ましい表現を抽出することができる。あるいは、サーバまたはネットワーク要素が、例えばネットワーク特性や受信機の処理能力に応じて受信機に送信されるように、ビットストリームの一部を抽出することもできる。スケーラブルビットストリームの特定の部分のみを復号することにより、有意な復号された表現を生成することができる。スケーラブルビットストリームは、通常、利用可能な最低品質動画を提供する１層の「基本レイヤ」と、下位レイヤと共に受信、復号されるとビデオ品質を高める１層以上の「拡張レイヤ」から構成される。拡張レイヤに対する符号化効率を高めるために、レイヤの符号化された表現は、通常、下位レイヤに依存する。例えば、拡張レイヤの動き情報およびモード情報が下位レイヤから予測されてもよい。同様に、拡張レイヤ予測を作成するために、下位レイヤの画素データを用いることもできる。
スケーラブルビデオ符号化方式によっては、ビデオ信号は１層の基本レイヤおよび１層以上の拡張レイヤに符号化されてもよい。拡張レイヤは、例えば、時間分解能（すなわち、フレームレート）や空間分解能を上げたり、別のレイヤやその一部によって表されるビデオコンテンツの品質を単に上げたりしてもよい。各レイヤは、それぞれのすべての従属レイヤと合わせて、例えば、特定の空間分解能、時間分解能、および品質レベルでのビデオ信号の一表現となる。本明細書では、すべての従属レイヤを伴うスケーラブルレイヤを「スケーラブルレイヤ表現」と呼ぶ。特定の忠実度で元の信号表現を生成するために、スケーラブルレイヤ表現に対応するスケーラブルビットストリームの一部が抽出され復号される。
スケーラビリティモードまたはスケーラビリティの次元には以下のものを含むが、これらに限定されない。
・品質スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い品質で符号化され、これは例えば基本レイヤにおいて、拡張レイヤにおけるものより大きな量子化パラメータ値（すなわち変換係数量子化に対してより大きなサイズの量子化ステップ）によって実現可能である。
・空間スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い解像度（すなわち、より少ないサンプル）で符号化される。空間スケーラビリティおよび品質スケーラビリティは、特にその粗粒子スケーラビリティ種類について、同種のスケーラビリティとみなされる場合がある。
・ビット深度スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャ（例えば１０または１２ビット）よりも低いビット深度（例えば８ビット）で符号化される。
・動的範囲スケーラビリティ：スケーラブルレイヤは、異なるトーンマッピング機能および／または異なる光学伝達機能を使用して得られた異なる動的範囲および／または画像を表す。
・クロマフォーマットスケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャ（例えば４：４：４フォーマット）よりも、クロマサンプル配列（例えば４：２：０クロマフォーマットで符号化される）においてより低い空間解像度となる。
・色域スケーラビリティ：拡張レイヤピクチャは、基本レイヤピクチャよりも豊富な、または幅広い色表現範囲を有する。例えば、拡張レイヤは超高精細テレビ（ＵＨＤＴＶ、ＩＴＵ−Ｒ ＢＴ．２０２０規格）の色域を有し、一方、基本レイヤはＩＴＵ−Ｒ ＢＴ．７０９規格の色域を有しうる。
・ビュースケーラビリティは、マルチビュー符号化とも呼ばれる。基本レイヤは第１のビューを表し、拡張レイヤは第２のビューを表す。
・深度スケーラビリティは、深度が拡張された符号化とも呼ばれる。ビットストリームの複数のレイヤの内、１層または一部のレイヤはテクスチャビューを表し、他のレイヤは深度ビューを表してもよい。
・関心領域スケーラビリティ（後述）。
・インターレース化−進行性スケーラビリティ（フィールド−フレームスケーラビリティとしても知られる）：基本レイヤの符号化されたインターレース化ソースコンテンツ材料は、拡張レイヤによって拡張され、進行性ソースコンテンツを表す。
・ハイブリッドコーデックスケーラビリティ（符号化規格スケーラビリティとしても知られる）：ハイブリッドコーデックスケーラビリティでは、ビットストリームシンタックスや意味、ならびに基本レイヤおよび拡張レイヤの復号処理が、異なるビデオ符号化規格で規定されている。このため、基本レイヤピクチャは拡張レイヤピクチャとは異なる符号化規格またはフォーマットで符号化される。例えば、基本レイヤはＨ．２６４／ＡＶＣで符号化され、拡張レイヤはＨＥＶＣマルチレイヤ拡張で符号化されてもよい。
・品質スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い品質で符号化され、これは例えば基本レイヤにおいて、拡張レイヤにおけるものより大きな量子化パラメータ値（すなわち変換係数量子化に対してより大きなサイズの量子化ステップ）によって実現可能である。
・空間スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャよりも低い解像度（すなわち、より少ないサンプル）で符号化される。空間スケーラビリティおよび品質スケーラビリティは、特にその粗粒子スケーラビリティ種類について、同種のスケーラビリティとみなされる場合がある。
・ビット深度スケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャ（例えば１０または１２ビット）よりも低いビット深度（例えば８ビット）で符号化される。
・動的範囲スケーラビリティ：スケーラブルレイヤは、異なるトーンマッピング機能および／または異なる光学伝達機能を使用して得られた異なる動的範囲および／または画像を表す。
・クロマフォーマットスケーラビリティ：基本レイヤピクチャは、拡張レイヤピクチャ（例えば４：４：４フォーマット）よりも、クロマサンプル配列（例えば４：２：０クロマフォーマットで符号化される）においてより低い空間解像度となる。
・色域スケーラビリティ：拡張レイヤピクチャは、基本レイヤピクチャよりも豊富な、または幅広い色表現範囲を有する。例えば、拡張レイヤは超高精細テレビ（ＵＨＤＴＶ、ＩＴＵ−Ｒ ＢＴ．２０２０規格）の色域を有し、一方、基本レイヤはＩＴＵ−Ｒ ＢＴ．７０９規格の色域を有しうる。
・ビュースケーラビリティは、マルチビュー符号化とも呼ばれる。基本レイヤは第１のビューを表し、拡張レイヤは第２のビューを表す。
・深度スケーラビリティは、深度が拡張された符号化とも呼ばれる。ビットストリームの複数のレイヤの内、１層または一部のレイヤはテクスチャビューを表し、他のレイヤは深度ビューを表してもよい。
・関心領域スケーラビリティ（後述）。
・インターレース化−進行性スケーラビリティ（フィールド−フレームスケーラビリティとしても知られる）：基本レイヤの符号化されたインターレース化ソースコンテンツ材料は、拡張レイヤによって拡張され、進行性ソースコンテンツを表す。
・ハイブリッドコーデックスケーラビリティ（符号化規格スケーラビリティとしても知られる）：ハイブリッドコーデックスケーラビリティでは、ビットストリームシンタックスや意味、ならびに基本レイヤおよび拡張レイヤの復号処理が、異なるビデオ符号化規格で規定されている。このため、基本レイヤピクチャは拡張レイヤピクチャとは異なる符号化規格またはフォーマットで符号化される。例えば、基本レイヤはＨ．２６４／ＡＶＣで符号化され、拡張レイヤはＨＥＶＣマルチレイヤ拡張で符号化されてもよい。
スケーラビリティ種類の内の多くが組み合わされて、まとめて適用されうることも理解されよう。例えば、色域スケーラビリティとビット深度スケーラビリティを組み合わせてもよい。
「レイヤ」という語は、ビュースケーラビリティや深度拡張等、スケーラビリティの任意の種類の文脈において使用することができる。拡張レイヤは、ＳＮＲ拡張、空間拡張、マルチビュー拡張、深度拡張、ビット深度拡張、クロマフォーマット拡張、および／または色域拡張等の拡張の任意の種類を指してもよい。基本レイヤは、ベースビュー、ＳＮＲ／空間スケーラビリティに対する基本レイヤ、または深度が拡張されたビデオの符号化に対するテクスチャベースビュー等のベースビデオシーケンスの任意の種類を指してもよい。
三次元（３Ｄ）ビデオコンテンツを提供するための各種技術が現在、研究開発されている。立体視または２ビュービデオにおいて、１つのビデオシーケンスまたはビューは左目用に、平行ビューは右目用に供されるものとする場合がある。同時により多くのビューを提供し、ユーザが異なる視点でコンテンツを観察可能にするようなビューポイントスイッチングや、裸眼立体視ディスプレイを可能にする用途のためには、２以上の平行ビューが必要である場合がある。
ビューは、１つのカメラまたは視点を表すピクチャのシーケンスとして定義することができる。ビューを表すピクチャは、ビュー成分とも呼ばれる。換言すれば、ビュー成分は単一のアクセス単位におけるビューの符号化された表現として定義することができる。マルチビュービデオの符号化では、ビットストリームにおいて２つ以上のビューが符号化される。複数のビューは通常、立体視用ディスプレイやマルチビュー裸眼立体視ディスプレイに表示されること、またはその他の３Ｄ構成に使用されることを目的としていることから、通常は同一のシーンを表し、コンテンツによっては異なる視点を表しながら部分的に重畳する。このように、マルチビュービデオの符号化にインタービュー予測を用いることによって、ビュー間の相関関係を活用し圧縮効率を向上させてもよい。インタービュー予測を実現する方法としては、第１のビュー中の符号化または復号されているピクチャの参照ピクチャリストに１つ以上のその他のビューの１つ以上の復号ピクチャを含めることが挙げられる。ビュースケーラビリティはこのようなマルチビュービデオの符号化またはマルチビュービデオのビットストリームを指してもよく、これらによって１つ以上の符号化されたビューを削除または省略することができ、その結果としてのビットストリームは適合性を保ちながら、元のものよりも少ない数のビューでビデオを表す。関心領域（Region of Interest：ＲＯＩ）の符号化は、より高い忠実度でのビデオ内の特定の領域の符号化を指すと定義することができる。
ＲＯＩスケーラビリティは、スケーラビリティの一種であって、拡張レイヤによって参照レイヤピクチャの一部のみを、例えば空間的に、品質に応じ、ビット深度において、および／または別のスケーラビリティの次元で拡張するものと定義することができる。ＲＯＩスケーラビリティは他の種類のスケーラビリティと併用できることから、スケーラビリティの種類の新たな分類を形成するととらえることができる。異なる要件を伴う、ＲＯＩ符号化に対する様々な異なる用途があるが、ＲＯＩスケーラビリティによって実現可能である。例えば、拡張レイヤを送信して、基本レイヤ内の領域の品質および／または解像度を向上させることができる。拡張レイヤおよび基本レイヤのビットストリームの両者を受け取ったデコーダは、両レイヤを復号し、復号ピクチャを互いに重ね、最終的に完成したピクチャを表示してもよい。
参照レイヤピクチャおよび拡張レイヤピクチャの空間的対応性が、推定されてもよく、あるいは、１つまたは複数の種類のいわゆる参照レイヤ位置補正値によって標示されてもよい。ＨＥＶＣにおいては、参照レイヤ位置補正値は、エンコーダにより、ＰＰＳ内において含まれていてもよく、デコーダにより、ＰＰＳから復号されてもよい。参照レイヤ位置補正値は、ＲＯＩスケーラビリティの実現のために使用されてもよいが、これに限定されるものではない。参照レイヤ位置補正値は、２つのレイヤ間にインターレイヤ予測の関係がない場合であっても、当該２つのレイヤまたはそのピクチャ間で標示されてもよい。参照レイヤ位置補正値は、スケーリングされた参照レイヤ補正値、参照領域補正値、およびリサンプリングフェーズセットの内の１つまたは複数を有していてもよい。スケーリングされた参照レイヤ補正値は、並置された現ピクチャ内のサンプルと参照レイヤ内の復号されたピクチャ内の参照領域の左上輝度サンプルの間における水平方向および垂直方向の補正値と、並置された現ピクチャ内のサンプルと参照レイヤ内の復号されたピクチャ内の参照領域の右下輝度サンプルの間における水平方向および垂直方向補正値と、を規定するものとみなされてもよい。別の方法は、スケーリングされた参照レイヤ補正値が、拡張レイヤピクチャの個々のコーナーサンプルとの関係においてアップサンプリングされた参照領域のコーナーサンプルの位置を規定しているとみなすというものである。スケーリングされた参照レイヤ補正値には、符号が付与されてもよく、一般的に０であってもよい。参照領域補正値は、参照レイヤ内の復号されたピクチャ内の参照領域の左上輝度サンプルと同一の復号されたピクチャの左上輝度サンプルの間の水平方向および垂直方向補正値と、参照レイヤ内の復号されたピクチャ内の参照領域の右下輝度サンプルと同一の復号されたピクチャの右下輝度サンプルの間の水平方向および垂直方向補正値と、を規定するものとみなされてもよい。参照領域補正値には、符号が付与されてもよく、一般的に０であってもよい。リサンプリングフェーズセットは、インターレイヤ予測のためのソースピクチャのリサンプリング処理において使用される位相補正値を規定しているとみなされてもよい。異なるフェーズ補正値が、輝度およびクロマ成分のために提供されてもよい。
フレームパッキングは、複数の入力ピクチャ（（入力）構成フレームと称されうる）を、出力ピクチャに配列することを含むと定義されうる。通常、フレームパッキングはある特定の種類の構成フレームに限定されるものではなく、構成フレーム間に特定の関係がなくてもよい。多くの場合、フレームパッキングは立体ビデオクリップの構成フレームを単一のピクチャシーケンスに配列するために使用される。これを次の段落でより詳細に説明する。配列することは、出力ピクチャ内で、空間的に重複しない領域に入力ピクチャを配置することを含んでもよい。例えば、並べて配置する場合、２つの入力ピクチャが出力ピクチャ内で、水平方向に隣接して配置される。配列することは、１つ以上の入力ピクチャを２つ以上の構成フレーム区域にパーティショニングし、構成フレーム区域を出力ピクチャ内で、空間的に重複しない領域に入力ピクチャを配置することを含んでもよい。例えば、出力ピクチャまたは、フレームパッキングされた出力ピクチャのシーケンスは、ビデオエンコーダによりビットストリームに符号化されてもよい。例えば、ビットストリームは、ビデオデコーダにより復号されてもよい。デコーダ、または復号後の後処理動作において、例えば表示用に復号ピクチャ（複数可）から復号構成フレームを抽出してもよい。
フレーム互換性立体ビデオ（すなわち、立体ビデオのフレームパッキング）においては、エンコーダ側で、立体写真が単一フレームに空間的パッキングされる符号化用の前処理が行われ、その後、フレームパックキングされたフレームが従来のＮＡＬ ２Ｄビデオ符号化方式で符号化される。デコーダが生成する出力フレームは、立体写真の構成フレームを含む。
典型的な動作モードにおいて、各ビューでの元のフレームと、パッケージ化された単一フレームは、空間的解像度が同一である。この場合、パッキング動作の前に、エンコーダは立体ビデオの２つのビューをダウンサンプリングする。空間的パッキングは、例えば横並び、上下並び形式を利用してもよく、それに応じてダウンサンプリングを実施するべきである。
フレームパッキングは、例えば以下の理由からマルチビュービデオの符号化（例えば、Ｈ．２６４／ＡＶＣのＭＶＣ拡張、Ｈ．２６５／ＨＥＶＣのＭＶ−ＨＥＶＣ拡張）よりも優先してもよい。
・後処理ワークフローが、単一ビデオ信号のために調整されている可能性がある。後処理ツールによっては、２つの異なるピクチャシーケンスに対応不能である、さらに／あるいは異なるピクチャシーケンスの同期状態を維持できない可能性がある。
・送信プロトコル等の配信システムは、単一の符号化シーケンスのみ対応する、さらに／あるいは異なる符号化シーケンスの同期状態を維持できない、さらに／あるいは異なる符号化シーケンスの同期状態を維持するためにバッファリングまたはレイテンシを増やす必要がありうる。
・マルチビュービデオの符号化ツールによるビットストリームの復号は、プレーヤで利用不能な特定の符号化モードへの対応が必要となりうる。例えば、スマートフォンの多くはＨ．２６５／ＨＥＶＣ Ｍａｉｎプロファイル復号に対応するが、Ｍａｉｎプロファイルに対して高レベル追加するだけでよいにもかかわらず、Ｈ．２６５／ＨＥＶＣ Ｍｕｌｔｉｖｉｅｗ Ｍａｉｎプロファイル復号に対応できない場合がある。
・後処理ワークフローが、単一ビデオ信号のために調整されている可能性がある。後処理ツールによっては、２つの異なるピクチャシーケンスに対応不能である、さらに／あるいは異なるピクチャシーケンスの同期状態を維持できない可能性がある。
・送信プロトコル等の配信システムは、単一の符号化シーケンスのみ対応する、さらに／あるいは異なる符号化シーケンスの同期状態を維持できない、さらに／あるいは異なる符号化シーケンスの同期状態を維持するためにバッファリングまたはレイテンシを増やす必要がありうる。
・マルチビュービデオの符号化ツールによるビットストリームの復号は、プレーヤで利用不能な特定の符号化モードへの対応が必要となりうる。例えば、スマートフォンの多くはＨ．２６５／ＨＥＶＣ Ｍａｉｎプロファイル復号に対応するが、Ｍａｉｎプロファイルに対して高レベル追加するだけでよいにもかかわらず、Ｈ．２６５／ＨＥＶＣ Ｍｕｌｔｉｖｉｅｗ Ｍａｉｎプロファイル復号に対応できない場合がある。
水平視界３６０度、垂直視界１８０度（したがって球体となる）のパノラマ画像の、長方形の２次元画像平面に対する特定のプロジェクションマッピング手法である、正距円筒図法が知られている。この手法では、横座標は、経度と同等とされ、縦座標は緯度と同等とされ、変換もスケーリングも適用されない。水平視界は３６０度だが、垂直視界が１８０度未満のパノラマコンテンツを特殊な正距円筒図法としてとらえる場合もある。この場合、球の極域は二次元画像平面にマッピングされない。さらに、正距円筒図法形式のその他特徴を満たすが、水平視界が３６０度未満で、垂直視界が１８０度となるパノラマもありうる。
キューブマッププロジェクション形式では、球状ビデオが、立方体の六面（すなわち、側面）に投影される。キューブマップは、まず球状のシーンを、一視点から６度レンダリングすることで生成される。各ビューは、立方体の各面を表す９０度視体積で画定される。各立方体側面を、同一のフレームにフレームパッキングしてもよいし、（例えば符号化において）それぞれ個別に扱ってもよい。立方体側面を様々な順序でフレームに配置してもよいし、さらに／あるいは立方体側面を回転、反転してもよい。フレームパッキングのためのフレーム幅および高さは、例えば立方体側面格子３ｘ２として、立方体側面に「ぴったりと」はまるように選択されてもよいし、あるいは未使用構成フレームを含んで立方体側面格子４ｘ３としてもよい。
イントラブロックコピー（ＩＢＣ）と呼ばれる符号化ツールまたはモードは、インター予測と同様であるが、符号化または復号されている現ピクチャを参照ピクチャとする。当然、符号化または復号されている現ブロックの前に符号化または復号されたブロックのみが、予測に使用可能である。ＨＥＶＣのスクリーンコンテンツ符号化（Screen Content Coding：ＳＣＣ）拡張は、ＩＢＣを含む予定である。
ＨＥＶＣ ＳＣＣでは、ＩＢＣはサンプル予測のみに用いる。ＨＥＶＣ ＳＣＣ仕様書の記載において、現ピクチャをＴＭＶＰの並置されたピクチャに使用することが明確に禁じられている。
インター予測処理は、少なくとも以下の２つの理由により、ピクチャ境界外のサンプル位置を参照することを含んでもよい（ただしこれらに限られない）。
１．動きベクトルが、ピクチャ境界外の予測ブロックを示しうる。
２．動きベクトルが、ピクチャ境界外の位置からの入力サンプルを使用するフィルタリングにより補間されるサンプル値に対応する、非整数サンプル位置を示しうる。
１．動きベクトルが、ピクチャ境界外の予測ブロックを示しうる。
２．動きベクトルが、ピクチャ境界外の位置からの入力サンプルを使用するフィルタリングにより補間されるサンプル値に対応する、非整数サンプル位置を示しうる。
Ｈ．２６３、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ等、いくつかのビデオ符号化規格において、動きベクトルは、予測ブロックを取得するため、ピクチャ境界外の領域を示してもよく、部分サンプル補間は、ピクチャ境界外のサンプル位置を利用してもよい。予測処理の一環として、ピクチャ境界外のサンプルを取得するため、ピクチャ境界の各サンプルを有効にコピーしてもよい。これを図５ａに示す。図５ａ、５ｂにおいて、点線の四角形は参照ピクチャのサンプル列を示し、実線の正方形は、サンプル列の各サンプルを示す。正方形内で、上側の値は対応するサンプルの位置のｘ座標を示し、下側の値は対応するサンプルの位置のｙ座標を示す。
図５ａは、インター予測処理において、ピクチャ境界外のサンプルを参照する際の扱いの例を示す。ここで、境界のサンプルはピクチャ境界外の領域にコピーされる。
様々な構成により、インター予測処理において、ピクチャ境界外のサンプル位置に対応可能となる。一例として、復号ピクチャサイズよりも大きい、すなわち当該画像の上下左右にマージンをとったサンプル列を割り当ててもよい。そのようなマージンをとることに加えて／代えて、予測に使用するサンプル（予測ブロックに対する部分サンプル補間のための入力、または予測ブロックそのもののサンプル）の位置が、ピクチャ境界（マージンを取る場合、それも含む）を超えないように飽和してもよい。このようにして、いくつかのビデオ符号化規格でピクチャ境界をまたぐ動きベクトルに対応することが記載されている。
例えば、ＨＥＶＣにおいては、（中間）予測ブロックを生成するための部分サンプル補間に対して、以下の式を用いて（参照ピクチャの）所与の輝度サンプル列refPicLXL内の位置（xAi, j, yAi, j）を求める。
xAi,j = Clip3( 0, pic_width_in_luma_samples - 1, xIntL + i)
yAi,j = Clip3( 0, pic_height_in_luma_samples - 1, yIntL + j)
式中、（xIntL, yIntL）は全サンプル単位内の輝度位置を示し、ｉとｊは補間フィルタウィンドウ内の相対位置を示し、pic_width_in_luma_samplesは輝度サンプルにおけるピクチャ幅を示し、pic_height_in_luma_samplesは輝度サンプルにおけるピクチャ高さを示し、Clip3()は以下のとおりである。
xAi,j = Clip3( 0, pic_width_in_luma_samples - 1, xIntL + i)
yAi,j = Clip3( 0, pic_height_in_luma_samples - 1, yIntL + j)
式中、（xIntL, yIntL）は全サンプル単位内の輝度位置を示し、ｉとｊは補間フィルタウィンドウ内の相対位置を示し、pic_width_in_luma_samplesは輝度サンプルにおけるピクチャ幅を示し、pic_height_in_luma_samplesは輝度サンプルにおけるピクチャ高さを示し、Clip3()は以下のとおりである。
サンプル位置の座標が、（Clip3動作の前に）負の値であれば、Clip3動作により０に飽和させる。同様に、サンプル位置が幅（水平位置）または高さ（垂直位置）を超える場合、それぞれ幅−１または高さ−１で飽和される。
クロマ成分のインター予測のための部分サンプル補間において、クロマサンプル位置がクロマサンプル列境界内に収まるように飽和するように、同様の式が存在する。
３６０度パノラマビデオにおいては、予測処理が水平方向でピクチャ境界外のサンプルを必要とする場合、境界サンプルを使用する代わりに、ピクチャの互いに反対側のサンプル値を使用してもよい。これを図５ｂに示す。図５ｂは、ある実施形態に係るパノラマビデオの符号化におけるピクチャ境界に跨る動きベクトルの扱いを示す。
すなわち、参照ピクチャを拡大して、符号化ピクチャよりも（幅および／または高さを）大きくすることでピクチャ境界外の画素の扱うことができる。以下に示す別の実施例も可能である。
図５ｂの例では、水平サンプル位置をラッピングして、インター予測処理における参照サンプルとしてもよい。例えば、参照ピクチャ境界（ｘ＝−１）の左側に隣接する列は、参照ピクチャの最も右側の列（ｘ＝ｗ−１）のサンプル値を参照したものであってもよく、その左側の列（ｘ＝−２）は、参照ピクチャの右から２番目の列（ｘ＝ｗ−２）のサンプル値を参照したものであってもよい。言い換えると、負の値の水平位置を０に飽和し、幅−１超の水平サンプル位置を幅−１（すなわち、ピクチャの最も右側のサンプル列の水平サンプル位置）に飽和する代わりに、ピクチャ境界外の参照水平サンプル位置をラッピングしてもよい。すなわち、幅−１超の水平サンプル位置を、ピクチャの左側のサンプル列を参照するようにラッピングしてもよい。反対に、０未満の水平サンプル位置を、ピクチャの右側のサンプル列を参照するようにラップオーバーする。
したがって、関数Wrap()を以下のように指定できる。
ＨＥＶＣにおいて、部分輝度サンプル補間のために上記式を参照する場合、次の式
xAi,j＝Clip3( 0, pic_width_in_luma_samples - 1, xIntL + i)
の代わりに、次の式を使用してもよい。
xAi,j＝Wrap( 0, pic_width_in_luma_samples - 1, xIntL + i)
xAi,j＝Clip3( 0, pic_width_in_luma_samples - 1, xIntL + i)
の代わりに、次の式を使用してもよい。
xAi,j＝Wrap( 0, pic_width_in_luma_samples - 1, xIntL + i)
有効ピクチャエリアは、表示に使用できる復号サンプルを含む、ピクチャエリアまたは、復号ピクチャ内のサンプルまたはサンプル位置群として定義できる。有効ピクチャエリア外の領域は、表示には使用不能かもしれないが、例えば符号化で使用するブロック格子に、ピクチャ幅または高さを合わせるために存在してもよい。
フレームパッキングは、例えば以下の理由から、マルチビュービデオの符号化よりも圧縮性能（すなわち、レート歪み性能）が劣りうる。フレームパッキングにおいては、ビュー間で、インタービューサンプル予測およびインタービュー動き予測ができない。さらに、フレームパッキングにおいて、構成フレームの境界外（別の構成フレーム）を指す動きベクトルまたは、構成フレームの境界外の（別の構成フレーム内の）サンプルを使用するサブピクセル補間を生じさせるようなものに対する対応は好ましくない場合がある。従来のマルチビュービデオの符号化において、インター予測およびサブピクセル補間で使用されるサンプル位置を、ピクチャ境界内となるように飽和してもよい。同じく、再構成ピクチャにおけるピクチャ境界外の領域を、境界サンプル値でパディングしてもよい。
図６ａは、このような動きベクトルの好ましくない対応に関する問題を示す。この例において、フレーム＃Ｎ＋１の構成フレーム＃１ ６０１における第２のブロック行の、最も右側のブロック６０４は、図６ａにおいてブロック６０３として示された、フレーム＃Ｎ内の構成フレーム＃１の領域に対して部分的に外側の領域から動いている。矢印６０５は、インター予測が好ましくない、あるいは並列復号能力を有するビットストリームの場合、不可能でありうる例を示す。上述のように、非フレームパッキング符号化では、インター予測においてピクチャ境界外の領域はパディングするようにしてもよい。これは、インター予測または部分サンプル補間で使用されるサンプル位置を飽和してピクチャ境界内となるようにすることに等しい。フレームパッキングされたビデオの符号化では、このようなパディングまたはサンプル位置飽和は不可能であるため、非フレームパッキングマルチビュービデオの符号化よりも、構成フレーム間の境界近傍での圧縮性能が劣りうる。
１つ以上の構成フレームの境界を拡大する、またはインター予測処理で使用されるサンプル位置を、構成フレームの境界内に飽和することの実施形態を以下に説明する。以下では、「構成フレームの境界を拡大する」、または「パディングする」という表現は、構成フレームの有効ピクチャエリアの信号を外挿することを指す。これは例えば、境界画素をコピーすること、または３６０度パノラマコンテンツを表す有効ピクチャエリアの信号を有効ピクチャの反対側からコピーすることで実現される。以下に詳細に説明する。
図６ｂは、ある実施形態に係る境界拡張部の例を示す。図６ｂにおいて、構成フレーム＃１ ６０１は、１つのブロック列６０６により右側に拡大され、構成フレーム＃２ ６０２は、１つのブロック列６０７により左側に拡大されている（例えばＨＥＶＣにおいては、ＣＴＵ列）。ただし、より一般的な状況では、構成フレームのサブセットのみが境界拡張部される。例えば、境界拡張部分６０６、６０７内のサンプルは、それぞれ対応する構成フレームの有効ピクチャエリアの境界サンプル値を含む。矢印６０８は、構成フレーム＃１ ６０１の有効ピクチャエリアをまたぐ動きベクトルによるインター予測の例を示す。
境界拡張部領域を符号化および／または復号するいくつかの方法の実施形態を以下に示す。
エンコーダは、少なくとも１つの符号化ピクチャを取得してもよい（図７ａのフローチャートにおけるブロック７１）。ある実施形態によると、エンコーダは、符号化（ブロック７４）の前に、非圧縮ピクチャを、境界拡張部のためのブロック行（複数可）および／またはブロック列（複数可）を含むように配列する（ブロック７３）か、符号化中に符号化ピクチャに境界拡張部のためのブロック行（複数可）および／またはブロック列（複数可）を含める（ブロック７５）かを判断する（ブロック７２）。ある実施形態によると、以下にさらに詳細に説明するように、ブロック７５において、イントラ予測、イントラブロックコピー予測、またはインター予測により境界拡張部を形成する。別の実施形態によると、以下にさらに詳細に説明するように、ブロック７５において、参照フレームパディングにより境界拡張部を形成する。
これに応じて、デコーダは、復号する少なくとも１つの符号化ピクチャを受信してもよい（図７ｂのフローチャートにおけるブロック８１）。ある実施形態によると、デコーダは適宜、ピクチャを復号して再構成フレーム（複数可）を取得し（ブロック８２）、有効ピクチャエリア外の領域を埋めるようにフレームパディングを行って、必要に応じてパディングされた参照ピクチャを生成する（ブロック８３）。
ある実施形態では、構成フレームを右側に拡大するブロック列（例えば、図６ｂの構成フレーム＃１ ６０１の境界拡張部６０６）は、水平イントラ予測により符号化される。ある実施形態では、エンコーダは予測誤差符号化を介さずに境界拡張部を符号化することを選択してもよい。別の実施形態では、エンコーダは予測誤差符号化を常に介さずに境界拡張部を符号化する。
ある実施形態では、構成フレームを下側に拡大するブロック行（例えば、上下フレームパッキング構成における、構成フレーム＃１の境界拡張部）は、垂直イントラ予測により符号化される。エンコーダは予測誤差符号化を介さずに境界拡張部を符号化することを選択してもよい。別の実施形態では、エンコーダは予測誤差符号化を常に介さずに境界拡張部を符号化する。
ある実施形態では、エンコーダはビットストリームにおいて、予測誤差符号化ブロックが存在しないか、ゼロ値予測誤差を含むことを示す。ある実施形態では、エンコーダは境界拡張部に予測誤差が含まれないと推定して、ビットストリーム内で境界拡張部のシンタックス要素に関連するあらゆる予測誤差の符号化を省略する。ある実施形態では、デコーダはどのブロックが境界拡張部に属するかを判断し、ビットストリーム内で境界拡張部のシンタックス要素に関連するあらゆる予測誤差の復号を省略する。
別の実施形態と共に、または別の実施形態から独立して適用可能なある実施形態では、同じマルチビュー（例えば、立体視）コンテンツの、第１のビューを表す第１の構成フレームと、第２のビューを表す第２の構成フレームがフレームパッキングされる。符号化において、第１の構成フレームから第２の構成フレームへのイントラブロックコピー予測は可能だが、符号化において、第２の構成フレームから第１の構成フレームへのイントラブロックコピー予測はできない。したがって、基本的には、インタービュー予測は、異なるビューの構成フレーム間で、イントラブロックコピー予測を適用することでインタービュー予測が実現される。したがって、イントラブロックコピー予測を介さないフレームパッキングされたマルチビューコンテンツの符号化よりも高圧縮効率が実現できる。
ある実施形態では（例えば、エンコーダにより）イントラブロックコピー予測の適用が第２の構成フレーム内のみに限定されることが示される。第２の構成フレームの各ブロック（ここでは符号化／復号されているブロックと称する）に対して、以下のように符号化が限定される。以下では、並置されたブロックは、符号化／復号されているブロックと並置された、第１の構成フレーム内のブロックとする。「並置」であるとは、以下の性質として定義されうる。
・そのブロックを含む構成フレームの左上角に対して、水平および垂直座標が同じ。
・符号化ツリー単位単位の、垂直および／または水平補正値の合計としての座標が同じ。
補正値（複数可）は、エンコーダによりビットストリーム内で示されてもよいし、さらに／あるいはデコーダによりビットストリームから復号されてもよい。ブロック走査順で、第１の構成フレーム内の並置されたブロックに続くブロックのサンプル値は、イントラブロックコピー予測で使用されない。
・そのブロックを含む構成フレームの左上角に対して、水平および垂直座標が同じ。
・符号化ツリー単位単位の、垂直および／または水平補正値の合計としての座標が同じ。
補正値（複数可）は、エンコーダによりビットストリーム内で示されてもよいし、さらに／あるいはデコーダによりビットストリームから復号されてもよい。ブロック走査順で、第１の構成フレーム内の並置されたブロックに続くブロックのサンプル値は、イントラブロックコピー予測で使用されない。
ある実施形態では、アプリケーションプログラミングインタフェース（ＡＰＩ）等を介して、エンコーダは構成フレーム間の、垂直および／または水平方向の最大差を把握する。あるいは、エンコーダはソースコンテンツを分析し、構成フレーム間の、垂直および／または水平方向の最大差を確認する。あるいは、エンコーダは構成フレーム間の垂直および／または水平方向の最大差を仮定する。エンコーダは、垂直および／または水平方向の最大差に応じて、インターブロックコピー予測のサーチ範囲を限定する。例えば、垂直方向の最大差を０と仮定して、サーチ範囲が現ブロックと同じ行に限定される。
フレームパッキングマルチビューコンテンツのインタービュー予測を実現するためにイントラブロックコピー予測を使用することが記載された上述の実施形態と共に、または当該実施形態から独立して使用可能なある実施形態では、構成フレーム（例えば、図６ｂの構成フレーム＃１ ６０１の境界拡張部６０６）を右側に拡大するブロック列は、当該構成フレームの最も左側のブロック列からのイントラブロックコピー予測により符号化される。エンコーダは予測誤差符号化を介さず、境界拡張ブロック列を符号化すると判断してもよい。この動作モードは、３６０度パノラマ（例えば正距円筒パノラマ）の構成フレームに適する。イントラブロックコピー予測による境界拡張部が適用することで、信号の連続性が有効ピクチャ境界をまたいで維持されるためである。本実施形態は、ピクチャが単一の構成フレームのみ有する場合、すなわち平面視パノラマ符号化のような場合にも適用可能である。
ある実施形態では、構成フレームを左側に拡大するブロック列（例えば、図６ｂの構成フレーム＃２ ６０２の境界拡張部６０７）は、ピクチャ内の別の構成フレームからのイントラブロックコピー予測により符号化される。ある実施形態では、構成フレームを上側に拡大するブロック行（例えば、上下フレームパッキング構成における、構成フレーム＃２ ６０２の境界拡張部６０７）は、ピクチャ内の別の構成フレームからのイントラブロックコピー予測により符号化される。これら２つの実施形態は、境界領域を埋めるためにインタービュー予測を適用することともみなせる。これは、ＩＢＣ予測により、境界拡張部にコピーされたサンプル間の差分または距離が安定しており、有効ピクチャエリアの境界サンプルのものと一致する場合に有効でありうる。
ある実施形態では、境界拡張部におけるブロックがインター予測される。これは、復号順で前のピクチャ（複数可）が境界拡張部に適したサンプルを含むような動きに対して有効でありうる。すなわち、カメラが適切にパンニングした場合、カメラとピクチャコンテンツが不動であった場合、前のピクチャの境界拡張部が現ピクチャの境界拡張部にもなりうるような場合等に有効でありうるのである。
ある実施形態では、エンコーダが、例えばＰＰＳ、ＳＰＳ、ＶＰＳ、ＳＥＩメッセージ、またはＶＵＩにおいて、構成フレームの有効ピクチャを示す。ある実施形態では、デコーダは構成フレームの有効ピクチャエリアの標示を復号する。ある実施形態では、デコーダに出力される前の復号ピクチャに適用される出力切り取り処理の一環として、デコーダは復号ピクチャを切り取って、有効ピクチャエリア外の領域を取り除く。ある実施形態では、デコーダは構成フレームの有効ピクチャエリアの復号標示を出力する。ある実施形態では、デコーダまたは表示処理は、表示処理において、構成フレームの有効ピクチャエリアのみを使用し、表示処理から境界拡張部（複数可）は取り除かれる。
ある実施形態では、ファイル生成器等は、コンテナファイルにおける構成フレームの有効ピクチャエリアを示す。ある実施形態では、ファイルパーサ等が、コンテナファイルからの構成フレームの有効ピクチャエリアの標示を復号する。ある実施形態では、ファイルパーサ等は、復号ピクチャを表示する前に、有効ピクチャエリア外の領域を除いて、復号ピクチャを切り取る。ある実施形態では、表示処理は、境界拡張部（複数可）を除いた構成フレームの有効ピクチャエリアのみを使用する。
別の例示的実施形態では、境界拡張ブロックがまず従来通りに符号化され、中間参照フレームに再構成されるが、あらゆるサンプル値を含みうる。同様に、境界拡張ブロックがまず従来通りに中間参照フレームに復号される。その後、中間参照フレームの境界拡張部が修正される。例えば、有効ピクチャエリアの境界サンプルの再構成サンプル値を、境界拡張部内の同じサンプル行におけるサンプルを埋めるために使用されてもよい。構成フレームが３６０度パノラマピクチャを表す場合、有効ピクチャエリアの反対側の再構成サンプルを使用して、境界拡張部内のサンプルを埋めてもよい。例えば、サンプル行ごとに、有効ピクチャエリアの反対側から復号サンプルをコピーすることで、境界拡張部内のサンプルを埋めてもよい。すなわち、有効ピクチャエリア外（境界拡張部内）の第１のサンプルは、有効ピクチャエリア内で反対側の第１のサンプルからコピーされる。有効ピクチャエリア外の第２のサンプルは、有効ピクチャエリア内で反対側の第２のサンプルからコピーされる。以下同様である。当該コピーのためのソース領域を、境界領域とも称する。例えば、境界拡張部が有効ピクチャエリアの右側にあれば、有効ピクチャエリアの最も左側のサンプル列から復号サンプルをコピーすることで、境界拡張部の最も左側のサンプル列が埋められる。さらに、有効ピクチャエリアの左から２番目のサンプル列から復号サンプルをコピーすることで境界拡張部の左から２番目のサンプル列が埋められる。以下同様である。
ループ内参照フレームパディングに関するある実施形態では、例えばエンコーダはＰＰＳまたはＳＰＳ等のパラメータセット内で、構成フレームの有効ピクチャを標示する。ある実施形態では、デコーダはこの標示を復号して、それにより境界拡張を終了する。
ある実施形態では、例えばエンコーダは境界拡張部または構成フレームごとに、例えばＰＰＳまたはＳＰＳにおいて、中間参照フレームの境界拡張部を埋める方法を標示する。ある実施形態では、デコーダはこの標示を復号し、標示された方法により中間参照フレームの境界拡張部を埋める。ある実施形態では、デコーダは中間参照フレームの境界拡張部を埋める方法を完了し、例えば構成フレームが３６０度パノラマピクチャであることが示されていれば、有効ピクチャエリアの反対側からのコピーを行い、そうでなければ境界サンプルコピーを行う。
符号化されるピクチャ（複数可）が、少なくとも第１の構成フレームおよび第２の構成フレームを含む場合に適用可能なある実施形態では、エンコーダは、第１のタイルセットが第１の構成フレームとその境界拡張部（複数可）全体を網羅し、第２の構成フレームからのデータを含まず、第２のタイルセットが第２の構成フレームとその境界拡張部（複数可）全体を網羅し、第１の構成フレームからのデータを含まないように、タイルパーティショニングを選択する、または利用するように構成される。
ある実施形態では、エンコーダは第１のタイルセットを、動き制約タイルセットとして符号化し、第２のタイルセットを別の動き制約タイルセットとして符号化する。エンコーダは、例えばＨＥＶＣの時間動き制約タイルセットのＳＥＩメッセージ等の、ＳＥＩメッセージにより、動き制約下で、第１および第２のタイルセットが符号化されたことを示してもよい。
ある実施形態では、デコーダ、プレーヤ等は、例えば動き制約下で、第１および第２のタイルセットが符号化されたことを示す、ＨＥＶＣの時間動き制約タイルセットのＳＥＩメッセージ等のＳＥＩメッセージからの標示を復号する。ある実施形態では、デコーダ、プレーヤ等は、復号された標示に基づいて、第１のタイルセットを第１のデコーダインスタンス（例えば、第１の復号処理）で復号し、第２のタイルセットを第２のデコーダインスタンス（例えば、第２の復号処理）で復号すると判断する。
ある実施形態では、エンコーダは第１のタイルセットを動き制約タイルセットとして符号化する。ある実施形態では、エンコーダは第２のタイルセットを動き制約タイルセットとして符号化するが、イントラブロックコピー予測等において、現ピクチャを参照する場合はこの限りではない（別の実施形態で説明する）。ある実施形態では、本段落に記載のとおり、エンコーダは動き制約タイルセットを符号化で使用したことを、ビットストリーム内、例えばＳＥＩメッセージ内で示す。
ある実施形態では、デコーダ、プレーヤ等は、動き制約下で第１および第２のタイルセットが符号化されたこと、ただし、イントラブロックコピー予測等において現ピクチャを参照する場合はこの限りではない（別の実施形態で説明する）ことを示す、ＨＥＶＣの時間動き制約タイルセットのＳＥＩメッセージ等のＳＥＩメッセージからの標示を復号する。ある実施形態では、デコーダ、プレーヤ等は、復号された標示に基づいて、第１のタイルセットを第１のデコーダインスタンス（例えば、第１の復号処理）で復号し、第２のタイルセットを第２のデコーダインスタンス（例えば、第２の復号処理）で復号すると判断する。第１のデコーダインスタンスは、第２のデコーダインスタンスにより同じピクチャの第２のタイルセットが復号される前に、第１のタイルセットを復号するように構成される。ただし、第２のデコーダインスタンスにより現ピクチャの第２のタイルセットが復号される一方で、第１のデコーダインスタンスにより復号順で（現ピクチャに続く）後続ピクチャの第１のタイルセットを復号してもよい。
構成フレーム境界上のサンプル位置の飽和またはラップオーバーに関する例示的実施形態において、構成フレームは連続して、すなわちフレーム間に境界拡張部領域を設けないでパキングされてもよい。インター予測のサンプルを得る処理は、構成フレーム領域外のサンプル位置が使用されないように修正されてもよい。
エンコーダは例えばＰＰＳまたはＳＰＳ等のパラメータセットにおいて、構成フレームのピクチャエリアを標示する。ある実施形態では、デコーダはこの標示を復号する。以下では、構成フレームの左上角が輝度サンプル座標leftＣＦ、topＣＦを有し、右下角が輝度サンプル座標rightＣＦ、bottomＣＦを有するものとする。
ある実施形態では、エンコーダは例えば構成フレームごとに、例えばＰＰＳまたはＳＰＳにおいて、構成フレーム境界外のサンプル位置が飽和またはラップオーバーされているかを標示する。ある実施形態では、デコーダはこの標示を復号し、標示された方法をインター予測で利用する。ある実施形態では、デコーダは方法を完了し、例えば構成フレームが３６０度パノラマピクチャであることが示されていれば、ラップオーバーを行い、そうでなければ飽和を行う。
エンコーダおよび／または デコーダは、以下の式によりサンプル位置をラップオーバーしてもよい。
xAi,j = Wrap( leftCF, rightCF, xIntL + i)
xAi,j = Wrap( leftCF, rightCF, xIntL + i)
エンコーダおよび／または デコーダは、以下の式によりサンプル位置を構成フレーム境界内に収めるように、飽和してもよい。
xAi,j = Clip3( leftCF, rightCF, xIntL + i)
xAi,j = Clip3( leftCF, rightCF, xIntL + i)
垂直方向にも、同様の式や処理を適用してもよい。
ある実施形態による、エンコーダおよびデコーダにおけるループ内参照フレームパディングをさらに詳述する。
図４は、本発明の実施形態の適用に適したビデオエンコーダのブロック図である。図４は、２レイヤ用エンコーダを示す。ただし、図示のエンコーダは、単一のレイヤを符号化するように簡略化されてもよいし、３レイヤ以上を符号化するように拡張されてもよいことが理解されよう。図４は、基本レイヤ用の第１のエンコーダ部５００と、拡張レイヤ用の第２のエンコーダ部５０２とを有するビデオエンコーダの実施形態を示す。第１のエンコーダ部５００と第２のエンコーダ部５０２とはそれぞれ、入力されるピクチャを符号化するために同様に要素を有してもよい。エンコーダ部５００、５０２は、画素予測部３０２、４０２と、予測誤差エンコーダ３０３、４０３と、予測誤差デコーダ３０４、４０４とを有してもよい。図４はさらに、インター予測部３０６、４０６と、イントラ予測部３０８、４０８と、モード選択部３１０、４１０と、フィルタ３１６、４１６と、参照フレームメモリ３１８、４１８とを有する画素予測部３０２、４０２の実施形態を示す。第１のエンコーダ部５００の画素予測部３０２は、インター予測部３０６（画像と、動き補償参照フレーム３１８との差分を判定）と、イントラ予測部３０８（現フレームまたはピクチャの、処理済み部分のみに基づいて、画像ブロックに対する予測を判定）とで、符号化されるビデオストリームの基本レイヤ画像３００を受信する。インター予測部とイントラ予測部との両方の出力は、モード選択部３１０に送られる。イントラ予測部３０８は、複数のイントラ予測モードを有してもよい。したがって、各モードでイントラ予測を実施し、予測信号がモード選択部３１０に提供される。モード選択部３１０はまた、基本レイヤピクチャ３００のコピーも受信する。同様に、第２のエンコーダ部５０２の画素予測部４０２は、インター予測部４０６（画像と、動き補償参照フレーム４１８との差分を判定）と、イントラ予測部４０８（現フレームまたはピクチャの、処理済み部分のみに基づいて、画像ブロックに対する予測を判定）とで、符号化されるビデオストリームの拡張レイヤ画像４００を受信する。インター予測部とイントラ予測部との両方の出力は、モード選択部４１０に送られる。イントラ予測部４０８は、複数のイントラ予測モードを有してもよい。したがって、各モードでイントラ予測を実施し、予測信号がモード選択部４１０に提供される。モード選択部４１０はまた、拡張レイヤピクチャ４００のコピーも受信する。
現ブロックの符号化にどの符号化モードが選択されたかに応じて、インター予測部３０６、４０６の出力、または任意のイントラ予測部モードの一つからの出力、またはモード選択部内のサーフェスエンコーダの出力が、モード選択部３１０、４１０の出力に送られる。モード選択部の出力は、第１の加算器３２１、４２１に送られる。第１の加算器は、基本レイヤピクチャ３００／拡張レイヤピクチャ４００から画素予測部３０２、４０２の出力を差し引いて、予測誤差エンコーダ３０３、４０３に入力される第１の予測誤差信号３２０、４２０を生成してもよい。
画素予測部３０２、４０２は、予備再構成部３３９、４３９から、画像ブロック３１２、４１２の予測表示と、予測誤差デコーダ３０４、４０４の出力３３８、４３８との組み合わせをさらに受信する。予備再構成画像３１４、４１４は、イントラ予測部３０８、４０８と、参照フレームパディング部３１５、４１５とに送られてもよい。参照フレームパディング部３１５、４１５は、パディングされた参照画像を生成するべく、異なる複数の実施形態の内の１つ以上に応じて、有効ピクチャエリア外の領域を埋めてもよい。パディングされた参照画像は、フィルタ３１６、４１６に送られてもよい。パディングされた参照画像を受信したフィルタ３１６、４１６は、パディングされた参照画像をフィルタリングして、最終再構成画像３４０、４４０を出力してもよい。この出力は参照フレームメモリ３１８、４１８に記憶されてもよい。参照フレームメモリ３１８は、インター予測部３０６に接続され、インター予測動作において、以降の基本レイヤピクチャ３００と比較される参照画像として使用されてもよい。いくつかの実施形態に係る拡張レイヤのインターレイヤサンプル予測および／またはインターレイヤ動き情報予測のソースとして選択され、示された基本レイヤに応じて、参照フレームメモリ３１８はさらにインター予測部４０６に接続され、インター予測動作において、以降の拡張レイヤピクチャ４００と比較される参照画像として使用されてもよい。さらに、参照フレームメモリ４１８はインター予測部４０６に接続され、インター予測動作において、以降の拡張レイヤピクチャ４００と比較される参照画像として使用されてもよい。
なお、参照フレームパディング部３１５、４１５はそれぞれ異なるユニットで動作してもよく、例えばそれは符号化規格であらかじめ決められていてもよいし、エンコーダによりビットストリームにおいて示されてもよいことが理解されよう。ある実施形態では、参照フレームパディング部３１５、４１５は、予備再構成画像３１４、４１４全体を入力とする。別の実施形態では、参照フレームパディング部３１５、４１５は予備再構成された構成フレームを入力とし、したがって予備再構成画像ごと（含まれる構成フレームの数による）に複数回呼び出されてもよい。予備再構成された構成フレームを入力として参照フレームパディング部３１５、４１５を呼び出す場合、同じピクチャの構成フレームから別の構成フレームへのイントラブロックコピー予測を使用する際に、構成フレームの境界拡張部は有利となりうる。さらに別の実施形態では、参照フレームパディング部３１５、４１５は、予備再構成ブロックと予備再構成ブロックの境界サンプル行を入力とするか（垂直に境界を拡張する場合）、予備再構成ブロックと予備再構成ブロックの境界サンプル列を入力とする（水平に境界を拡張する場合）。この実施形態は、例えば同じピクチャの構成フレームから別の構成フレームへのイントラブロックコピー予測を使用する際に有利でありうる。
なお、異なる実施形態では、画素予測部はフィルタリングおよびパディングのシーケンスを異なる方法で行うように構成されてもよいことが理解されよう。例えば、画素予測部は参照フレームパディングとフィルタリングとを逆の順序で行ってもよい。すなわち、参照フレームパディングの前にフィルタリングを行ってもよい。別の例では、画素予測部は、サンプル適用補正値フィルタリングおよびデブロッキングフィルタリング等、２段階でフィルタリングを実行できる。ここで、第１段階は参照フレームパディング前に実施され、第２段階は参照フレームパディング後に実施される。なお、これは非限定的な例であって、画素予測部は別の方法でフィルタリングを実行してもよいことが理解されよう。
第１のエンコーダ部５００のフィルタ３１６からのフィルタリングパラメータは、いくつかの実施形態において、拡張レイヤのフィルタリングパラメータを予測するためのソースとして選択され、示された基本レイヤに対応する第２のエンコーダ部５０２に提供されてもよい。
予測誤差エンコーダ３０３、４０３は、変換部３４２、４４２と、量子化部３４４、４４４とを有する。変換部３４２、４４２は、第１の予測誤差信号３２０、４２０を変換領域に変換する。変換とは、例えばＤＣＴである。量子化部３４４、４４４は、例えばＤＣＴ係数のような変換領域信号を量子化し、量子化係数を形成する。
予測誤差デコーダ３０４、４０４は予測誤差エンコーダ３０３、４０３からの出力を受信し、予測誤差エンコーダ３０３、４０３と逆の処理を行って、復号予測誤差信号３３８、４３８を生成する。復号予測誤差信号３３８、４３８は第２の加算器３３９、４３９において画像ブロック３１２、４１２の予測表示と組み合わされて、予備再構成画像３１４、４１４が生成される。予測誤差デコーダは、例えばＤＣＴ係数のような量子化係数値を逆量子化して、変換信号を再構成する逆量子化部３６１、４６１と、再構成変換信号に対して逆変換を実行する逆変換部３６３、４６３とを備えると考えられる。逆変換部３６３、４６３の出力は再構成ブロック（複数可）を含む。予測誤差デコーダは、さらなる復号情報とフィルタパラメータとに応じて再構成ブロック（複数可）をフィルタリングするブロックフィルタを備えてもよい。
エントロピーエンコーダ３３０、４３０は、予測誤差エンコーダ３０３、４０３の出力を受信し、適切なエントロピー変換／可変長変換を信号に実行して誤差検出および修正能力を実現する。エントロピーエンコーダ３３０、４３０の出力は、マルチプレクサ５０８によりビットストリームに挿入されてもよい。
図８は、本発明の実施形態の適用に適したビデオデコーダのブロック図を示す。図８は、２レイヤデコーダの構造を示すが、単一レイヤデコーダにもその復号動作が同様に適用できることが理解されよう。
ビデオデコーダ５５０は、ベースビュー成分用の第１のデコーダ部５５２と、非ベースビュー成分用の第２のデコーダ部５５４とを有する。ブロック５５６は、ベースビュー成分の情報を第１のデコーダ部５５２に提供し、非ベースビュー成分の情報を第２のデコーダ部５５４に提供するデマルチプレクサを示す。参照符号Ｐ'ｎは、画像ブロックの予測表示を示す。参照符号Ｄ'ｎは再構成予測誤差信号を示す。ブロック７０４、８０４は予備再構成画像（Ｉ'ｎ）を示す。参照符号Ｒ'ｎは最終再構成画像を示す。ブロック７０３、８０３は逆変換（Ｔ−１）を示す。ブロック７０２、８０２は逆量子化（Ｑ−１）を示す。ブロック７００、８００は、エントロピー復号（Ｅ−１）を示す。ブロック７０６、８０６は参照フレームメモリ（ＲＦＭ）を示す。ブロック７０７、８０７は予測（Ｐ）（インター予測、イントラ予測のいずれか）を示す。ブロック７０８、８０８はフィルタリング（Ｆ）を示す。ブロック７０９、８０９は、復号予測誤差情報を予測ベースビュー／非ベースビュー成分に組み合わせて、予備再構成画像（Ｉ'ｎ）を取得するために使用できる。第１のデコーダ部５５２は、予備再構成され、フィルタリングされたベースビュー画像を出力７１０し、第２のデコーダ部５５４は、予備再構成され、フィルタリングされたベースビュー画像を出力８１０してもよい。
ここで、デコーダは復号動作を実行可能なあらゆる動作ユニット（プレーヤ、受信機、ゲートウェイ、デマルチプレクサ、および／またはデコーダ等）を網羅するものと解されるべきである。
エントロピーデコーダ７００、８００は、受信した信号にエントロピー復号を実行する。したがって、エントロピーデコーダ７００、８００は、上述のエンコーダ３３０、４３０のエントロピーエンコーダとは逆の動作を実行する。エントロピーデコーダ７００、８００は、予測誤差デコーダ７０１、８０１および画素予測部７０４、８０４に対してエントロピー復号の結果を出力する。
画素予測部７０４、８０４は、エントロピーデコーダ７００、８００の出力を受信する。エントロピーデコーダ７００、８００の出力は、現ブロックの符号化で使用される予測モードの標示を含んでもよい。予測部７０７、８０７は、この標示から判断されるイントラまたはインター予測を実行し、画像ブロックの予測表示を第１のコンバイナ７０９、８０９に出力してもよい。予備再構成画像を生成するため、画像ブロックの予測表示は、再構成予測誤差信号と共に使用される。予備再構成画像は、予測部で使用されてもよいし、参照フレームパディング部７１１、８１１に送られてもよい。異なる様々な実施形態に応じて、参照フレームパディング部７１１、８１１は、パディングされた参照画像を生成するべく、有効ピクチャエリア外の領域を埋めてもよい。パディングされた参照画像はフィルタ７０８、８０８に送られてもよい。フィルタ７０８、８０８は、最終再構成信号を出力するようにフィルタをかけてもよい。最終再構成信号は、参照フレームメモリ７０６、８０６に記憶されてもよい。参照フレームメモリ７０６、８０６は、予測動作のため、さらに予測部７０７、８０７に接続されてもよい。
なお、参照フレームパディング部７１１、８１１は異なる様々なユニットで動作してもよく、例えばそれは符号化規格であらかじめ定められていてもよいし、デコーダによりビットストリームから復号されてもよいことが理解されよう。ある実施形態では、参照フレームパディング部７１１、８１１は予備再構成画像全体を入力とする。別の実施形態では、参照フレームパディング部７１１、８１１は予備再構成された構成フレームを入力とし、したがって、予備再構成画像ごとに複数回（含まれる構成フレームの数による）呼び出されてもよい。さらに別の実施形態では、参照フレームパディング部７１１、８１１は、予備再構成ブロックと予備再構成ブロックの境界サンプル行を入力とするか（垂直に境界を拡張する場合）、予備再構成ブロックと予備再構成ブロックの境界サンプル列を入力とする（水平に境界を拡張する場合）。
なお、異なる実施形態では、画素予測部７０４、８０４はフィルタリングおよびパディングのシーケンスを異なる方法で行うように構成されてもよいことが理解されよう。例えば、画素予測部７０４、８０４は参照フレームパディングとフィルタリングとを逆の順序で行ってもよい。すなわち、参照フレームパディングの前にフィルタリングを行ってもよい。別の例では、画素予測部７０４、８０４は、サンプル適用補正値フィルタリングおよびデブロッキングフィルタリング等、２段階でフィルタリングを実行できる。ここで、第１段階は参照フレームパディング前に実施され、第２段階は参照フレームパディング後に実施される。なお、これは非限定的な例であって、画素予測部７０４、８０４は別の方法でフィルタリングを実行してもよい。
最終再構成信号は出力切取部７１２、８１２にも送られてもよい。出力切取部７１２、８１２は、以下の一方または両方を実行してもよい（ただしこれに限られない）。すなわち、出力切取部７１２、８１２は、示された有効ピクチャエリアあるいは切取窓等に応じて最終再構成画像を切り取ってもよい。出力切取部７１２、８１２は、（境界拡張部において）有効ピクチャエリア外のサンプル値を、例えば黒色を表す所定値に設定してもよい。
出力切取部７１２、８１２は、出力画像を出力として提供してもよい。出力切取部７１２、８１２は、さらに出力画像と共に有効ピクチャエリア（複数可）を示してもよい。
予測誤差デコーダ７０１、８０１はエントロピーデコーダ７００、８００の出力を受信する。予測誤差デコーダの逆量子化部７０２、８０２は、エントロピーデコーダの出力を逆量子化し、逆変換ブロック７０３、８０３は逆量子化部７０２、８０２による逆量子化信号出力に対して逆変換動作を実行してもよい。これに加えて、またはこれに代えて、予測誤差デコーダ７０１、８０１は変換バイパスデコーダを備えてもよい。ここで、サンプル値は逆変換動作を経ずに復号され、例えば差分サンプル値復号で復号される。エントロピーデコーダ７００、８００の出力は、予測誤差信号が適用しないことを示してもよい。その場合、予測誤差デコーダ７０１、８０１はすべて０の出力信号を生成してもよい。
以下に、エンコーダにおけるフィルタに適用しうる変形の例をいくつか示す。
フィルタパラメータ値を判定する場合、エンコーダは、検討対象として有効ピクチャエリア内のサンプルを含んでもよく、有効ピクチャエリア外のサンプルを検討対象から外してもよい。例えば、ＳＡＯパラメータ値は、有効ピクチャエリア内のサンプル値のみを検討することで得られてもよい。
境界拡張部領域内のブロックを扱うために、エンコーダは以下の内の１つ以上を実行してもよい。
・エンコーダは、有効ピクチャエリア外のブロックの符号化を省略してもよい。ここで、ブロックは例えば符号化ツリー単位および／または符号化単位であってもよい。
・有効ピクチャエリア外のブロックのサンプルを使用したイントラ予測およびフィルタリングを不能としてもよい。
・エンコーダは、有効ピクチャエリアに基づいてブロックパーティショニングを判断してもよい。完全に有効ピクチャエリア外のブロックがパーティショニングされないと判定されてもよい。
・エンコーダは、有効ピクチャエリアに基づいてモードを選択してもよい。完全に有効ピクチャエリア外のブロックは特定のモードで符号化されると判定されてもよい。この特定のモードは、小ビットレートを実現することに基づいて、あらかじめ定められてもよい。
・例えば、エンコーダは最確イントラモード（エントロピーエンコーダが判定）を選択してもよい。
・エンコーダはさらに、完全に有効ピクチャエリア外のブロックに対しては予測誤差符号化を省略してもよい。
・エンコーダは、完全に有効ピクチャエリア外のブロックに対しては、ビットストリーム内に予測誤差が存在しないことを示してもよい。
・エンコーダは、有効ピクチャエリア外のブロックの符号化を省略してもよい。ここで、ブロックは例えば符号化ツリー単位および／または符号化単位であってもよい。
・有効ピクチャエリア外のブロックのサンプルを使用したイントラ予測およびフィルタリングを不能としてもよい。
・エンコーダは、有効ピクチャエリアに基づいてブロックパーティショニングを判断してもよい。完全に有効ピクチャエリア外のブロックがパーティショニングされないと判定されてもよい。
・エンコーダは、有効ピクチャエリアに基づいてモードを選択してもよい。完全に有効ピクチャエリア外のブロックは特定のモードで符号化されると判定されてもよい。この特定のモードは、小ビットレートを実現することに基づいて、あらかじめ定められてもよい。
・例えば、エンコーダは最確イントラモード（エントロピーエンコーダが判定）を選択してもよい。
・エンコーダはさらに、完全に有効ピクチャエリア外のブロックに対しては予測誤差符号化を省略してもよい。
・エンコーダは、完全に有効ピクチャエリア外のブロックに対しては、ビットストリーム内に予測誤差が存在しないことを示してもよい。
同様に、デコーダは以下の内の１つ以上を実行してもよい。
・デコーダは、有効ピクチャエリア外のブロックの復号を省略してもよい。ここで、ブロックは例えば符号化ツリー単位および／または符号化単位であってもよい。有効ピクチャエリア外のブロックに対するビットストリームにシンタックス要素が存在せず、デコーダが次の符号化データに対応するブロック位置を追跡する場合もある。有効ピクチャエリア外のブロックは、有効ピクチャエリア内に一部または全部含まれるブロックと同じシンタックスを利用し、デコーダはブロックをエントロピー復号し、当該ブロックに対する予測誤差復号および画素予測を省略する場合もある。
・デコーダは、有効ピクチャエリア外のブロックのサンプルを使用したイントラ予測およびフィルタリングを不能としてもよい。
・デコーダは、有効ピクチャエリアに基づいてブロックパーティショニングを判断してもよい。完全に有効ピクチャエリア外のブロックがパーティショニングされないと判定されてもよい。完全に有効ピクチャエリア外のブロックのブロックパーティショニングに対するビットストリームにシンタックス要素が存在しない場合もある。
・デコーダは、有効ピクチャエリアに基づいてモードを選択してもよい。完全に有効ピクチャエリア外のブロックは特定のモードで復号されると判定されてもよい。この特定のモードは、例えば符号化規格において、あらかじめ定められてもよい。
・例えば、デコーダは最確イントラモード（エントロピーデコーダが判定）を選択してもよい。
・デコーダはさらに、完全に有効ピクチャエリア外のブロックに対しては予測誤差復号を省略してもよい。完全に有効ピクチャエリア外の予測誤差ブロックに対するビットストリームにシンタックス要素が存在しない場合もある。
・デコーダは、有効ピクチャエリア外のブロックの復号を省略してもよい。ここで、ブロックは例えば符号化ツリー単位および／または符号化単位であってもよい。有効ピクチャエリア外のブロックに対するビットストリームにシンタックス要素が存在せず、デコーダが次の符号化データに対応するブロック位置を追跡する場合もある。有効ピクチャエリア外のブロックは、有効ピクチャエリア内に一部または全部含まれるブロックと同じシンタックスを利用し、デコーダはブロックをエントロピー復号し、当該ブロックに対する予測誤差復号および画素予測を省略する場合もある。
・デコーダは、有効ピクチャエリア外のブロックのサンプルを使用したイントラ予測およびフィルタリングを不能としてもよい。
・デコーダは、有効ピクチャエリアに基づいてブロックパーティショニングを判断してもよい。完全に有効ピクチャエリア外のブロックがパーティショニングされないと判定されてもよい。完全に有効ピクチャエリア外のブロックのブロックパーティショニングに対するビットストリームにシンタックス要素が存在しない場合もある。
・デコーダは、有効ピクチャエリアに基づいてモードを選択してもよい。完全に有効ピクチャエリア外のブロックは特定のモードで復号されると判定されてもよい。この特定のモードは、例えば符号化規格において、あらかじめ定められてもよい。
・例えば、デコーダは最確イントラモード（エントロピーデコーダが判定）を選択してもよい。
・デコーダはさらに、完全に有効ピクチャエリア外のブロックに対しては予測誤差復号を省略してもよい。完全に有効ピクチャエリア外の予測誤差ブロックに対するビットストリームにシンタックス要素が存在しない場合もある。
実施形態が適用可能なシステムまたは方法の例として、Ｈ．２６５／ＨＥＶＣの動き予測を説明する。
Ｈ．２６５／ＨＥＶＣは、２つの動きベクトル予測方式を含む。すなわち、高度な動きベクトル予測（ＡＭＶＰ）とマージモードである。ＡＭＶＰまたはマージモードにおいて、動きベクトル候補リストがＰＵに対して得られる。候補には空間的候補と時間的候補の２種類がある。時間的候補ともＴＭＶＰ候補とも称されてもよい。図６ｃおよび６ｄに、候補動きベクトル予測部のソースを示す。Ｘは現予測単位を示す。図６ｃのＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２は空間的候補で、図６ｄのＣ０、Ｃ１は時間的候補である。図６ｄのＣ０またはＣ１を含むまたはそれらに対応するブロックは、時間的候補のソースによらず、並置されたブロックと称されてもよい。
候補リストは以下のとおりに取得されてもよい。ただし、候補リストを取得する方法がこれ以外にもありうることが理解されよう。候補リストがまだ完全に埋まっていない場合、空間的候補は第一に利用可能で、かつ候補リスト内に存在しない場合に、候補リストに加えられる。その後、まだ候補リストが完全に埋まっていなければ、時間的候補が候補リストに含まれる。それでも候補数が最大許容量に達していなければ、双方向予測候補（Ｂスライスに対する）の組合せと、ゼロ動きベクトルが加えられる。候補リストの構築後、エンコーダは、候補から最終動き情報を、例えばレート歪み最適化（ＲＤＯ）による判断に基づいて決定し、選択候補のインデックスをビットストリームに符号化する。同様に、デコーダは、ビットストリームから選択候補のインデックスを復号し、候補リストを構築し、復号インデックスを使用して候補リストから動きベクトル予測部を選択する。
Ｈ．２６５／ＨＥＶＣにおいて、ＡＭＶＰおよびマージモードは、以下のように特徴付けられてもよい。ＡＭＶＰでは、エンコーダは単方向予測または双方向予測が使用されているか、どの参照ピクチャが使用されているかを示し、動きベクトル差を符号化する。マージモードにおいては、候補リストから選択された候補のみがビットストリームに符号化され、現予測単位が示された予測部と同じ動き情報を持つことを示す。したがって、マージモードでは同一の動き情報を共有する互いに隣接する予測ブロックを含む領域が生成される。動き情報は、各領域に対して一度のみシグナリングされる。Ｈ．２６５／ＨＥＶＣのＡＭＶＰとマージモードとのさらなる違いとして、ＡＭＶＰでは最大候補数が２であるのに対し、マージモードでは５であることが挙げられる。
高度な動きベクトル予測は例えば以下のとおりに動作してもよい。ただし、例えば異なる候補位置群、候補位置群を含む候補箇所により、以下とは異なるが同様の高度な動きベクトル予測を実現してもよい。２つの空間動きベクトル予測部（ＭＶＰ）を取得し、時間動きベクトル予測部（ＴＭＶＰ）を取得してもよい。これらは現予測ブロックの上側の３つの空間動きベクトル予測部候補位置（Ｂ０、Ｂ１、Ｂ２）、左側の２つの位置（Ａ０、Ａ１）から選択してもよい。各候補位置群の所定の順序で、（例えば同一のスライスに存在、インター符号化等）利用可能な第１の動きベクトル予測部（Ｂ０、Ｂ１、Ｂ２）または（Ａ０、Ａ１）は、動きベクトル競合においてその予測方向（上または左）を示すように選択できる。時間動きベクトル予測部に対する参照インデックスは、エンコーダにより、スライスヘッダ（例えば、シンタックス要素collocated_ref_idx）において示される。潜在的時間候補位置の所定の順序で、（例えば、インター符号化）利用可能な第１の動きベクトル予測部は、例えば（Ｃ０、Ｃ１）の順で、時間動きベクトル予測部のソースとして選択されてもよい。並置されたピクチャにおける第１の利用可能候補位置から得られた動きベクトルは、時間動きベクトル予測部の参照ピクチャ、並置されたピクチャ、現ピクチャのピクチャ順序カウント差の割合に応じて、スケーリングされてもよい。さらに、候補間で冗長検査をかけて、同一候補を除いてもよい。これにより、候補リスト内に動きベクトルが含まれなくなる可能性もある。例えば空間動きベクトル予測部の方向（上または左）を示すこと、または時間動きベクトル予測部候補を選択することで、ビットストリーム内で動きベクトル予測部を示すことができる。並置されたピクチャは、並置ピクチャ、動きベクトル予測のためのソース、または動きベクトル予測のためのソースピクチャとも称されうる。
マージング／マージモード／処理／機構は以下のとおりに動作してもよい。ただし、例えば異なる候補位置群、候補位置群を含む候補箇所により、以下とは異なるが同様なマージモードも実現できる。
マージング／マージモード／処理／機構においては、ブロック／ＰＵのすべての動き情報が予測され、変形／修正なく使用される。ＰＵの上述の動き情報は以下のものの１つ以上を含みうる。
（１）ＰＵが参照ピクチャリスト０'のみを使用した単方向予測であるか、参照ピクチャリスト１'のみを使用した単方向予測であるか、参照ピクチャリスト０と１'の両方を使用した双方向予測であるかを示す情報。
（２）水平および垂直動きベクトル成分を含みうる、参照ピクチャリスト０に対応する動きベクトル値。
（３）参照ピクチャリスト０における参照ピクチャインデックスおよび／または参照ピクチャリスト０に対応する動きベクトルが示す参照ピクチャの識別子。ここで、参照ピクチャの識別子はピクチャ順序カウント値、レイヤ識別子値（インターレイヤ予測用）、またはピクチャ順序カウント値およびレイヤ識別子値の組であってもよい。
（４）参照ピクチャの参照ピクチャマーキングについての情報。例えば、参照ピクチャが「短期参照用」または「長期参照用」とマーキングされているかについての情報。
（５）〜（７）参照ピクチャリスト１を対象として、（２）〜（４）と同様。
（１）ＰＵが参照ピクチャリスト０'のみを使用した単方向予測であるか、参照ピクチャリスト１'のみを使用した単方向予測であるか、参照ピクチャリスト０と１'の両方を使用した双方向予測であるかを示す情報。
（２）水平および垂直動きベクトル成分を含みうる、参照ピクチャリスト０に対応する動きベクトル値。
（３）参照ピクチャリスト０における参照ピクチャインデックスおよび／または参照ピクチャリスト０に対応する動きベクトルが示す参照ピクチャの識別子。ここで、参照ピクチャの識別子はピクチャ順序カウント値、レイヤ識別子値（インターレイヤ予測用）、またはピクチャ順序カウント値およびレイヤ識別子値の組であってもよい。
（４）参照ピクチャの参照ピクチャマーキングについての情報。例えば、参照ピクチャが「短期参照用」または「長期参照用」とマーキングされているかについての情報。
（５）〜（７）参照ピクチャリスト１を対象として、（２）〜（４）と同様。
同様に、時間参照ピクチャにおける隣接ブロックおよび／または並置されたブロックの動き情報を使用して動き情報の予測が実行される。多くの場合マージリストと呼ばれるリストは、利用可能な隣接ブロックおよび／または並置されたブロックに関連する動き予測候補とを含んで構築され、リスト内の選択された動き予測候補のインデックスがシグナリングされ、選択された候補の動き情報が現ＰＵの動き情報にコピーされる。ＣＵ全体にマージ機構が使用され、ＣＵに対する予測信号が再構成信号として利用される場合、すなわち、予測残差が処理されないようなＣＵの符号化／復号は、典型的にはスキップモードまたはマージベーススキップモードと称される。スキップモードに加え、マージ機構も各ＰＵに使用されてもよい（スキップモードのようにＣＵ全体に限られない）。その場合、予測残差を利用して、予測品質の向上が図られる。この種の予測モードは、典型的にはインターマージモードと呼ばれる。
ＡＭＶＰまたは同様の動きベクトル候補リストに対するマージリストおよび／または候補リストの一つが、ＴＭＶＰ候補等であってもよい。ＴＭＶＰ候補は標示または推定参照ピクチャ（例えばスライスヘッダで示される参照ピクチャ）内の並置されたブロックから導き出されうる。ＨＥＶＣにおいては、並置された区域を得るための参照ピクチャリストが、スライスヘッダ内のシンタックス要素collocated_from_l0_flagに応じて選択される。フラグが１であれば、並置された区域を含むピクチャがリスト０から導き出されることを示す。それ以外の場合、ピクチャはリスト１から導き出される。collocated_from_l0_flagが存在しなければ、１と推定される。スライスヘッダのcollocated_ref_idxは、並置された区域含むピクチャの参照インデックスを特定する。現スライスがＰスライスであれば、collocated_ref_idxはリスト０内のピクチャを示す。現スライスがＢスライスであり、collocated_from_l0が１であれば、collocated_ref_idxはリスト０内のピクチャを示す。それ以外の場合は、リスト１内のピクチャを示す。collocated_ref_idxは常に有効リストエントリを示し、得られるピクチャは符号化ピクチャのすべてのスライスについて同じである。collocated_ref_idxが存在しなければ、０に等しいとされる。
ＨＥＶＣにおいては、マージリストにおける時間動きベクトル予測に対するいわゆる対象参照インデックスは、動き符号化モードがマージモードであれば、０に設定される。ＨＥＶＣにおける、時間動きベクトル予測を使用した動き符号化モードが高度な動きベクトル予測モードであれば、対象参照インデックス値が明確に示される（例えばＰＵごとに示される）。
ＨＥＶＣにおいては、候補予測動きベクトル（ＰＭＶ）の利用可能性は、空間および時間的候補の両方について以下のとおりに判定される。なお、ＳＲＴＰは短期参照ピクチャであり、ＬＲＴＰは長期参照ピクチャである。
ＨＥＶＣにおいては、対象参照インデックス値が決まれば、時間動きベクトル予測の動きベクトル値は以下のとおりに得られる。現予測単位の、右下隣に並置されたブロック（図６ｄにおける箇所Ｃ０）での動きベクトルＰＭＶが得られる。並置されたブロックが存在するピクチャは、例えば上述のようにスライスヘッダ内でシグナリングされた参照インデックスに応じて判定される。箇所Ｃ０におけるＰＭＶが利用可能でなければ、並置されたピクチャの箇所Ｃ１（図６ｄ参照）での動きベクトルＰＭＶが得られる。このように判定された、並置されたブロックでの利用可能な動きベクトルＰＭＶは、第１のピクチャ順序カウント差と、第２のピクチャ順序カウント差との比率に応じてスケーリングされる。第１のピクチャ順序カウント差は、並置されたブロックを含むピクチャと、並置されたブロックの動きベクトルの参照ピクチャとの間で得られる。第２のピクチャ順序カウント差は、現ピクチャと対象参照ピクチャとの間で得られる。並置されたブロックの動きベクトルの対象参照ピクチャと参照ピクチャの一方のみが長期参照ピクチャ（他方が短期参照ピクチャ）であれば、ＴＭＶＰ候補は利用不可能とみなされる。並置されたブロックの動きベクトルの対象参照ピクチャと参照ピクチャの両方が長期参照ピクチャであれば、ＰＯＣに基づく動きベクトルスケーリングは適用できない。
動きパラメータの種類または動き情報は、以下の種類の内の１つ以上を含むが、これらに限られない。
・予測種類（例えばイントラ予測、単方向予測、双方向予測）および／または参照ピクチャ数の標示
・インター（すなわち時間）予測、インターレイヤ予測、インタービュー予測、ビュー合成予測（View Synthesis Prediction：ＶＳＰ）、インター成分予測（参照ピクチャおよび／または予測種類ごとに示され、いくつかの実施形態ではインタービューおよびビュー合成予測は、合わせて一つの予測方向ととらえられる）等の予測方向を示す標示
・短期参照ピクチャおよび／または長期参照ピクチャおよび／またはインターレイヤ参照ピクチャのような、参照ピクチャ種類の標示（例えば参照ピクチャごとに示されうる）
・参照ピクチャリストに対する参照インデックスおよび／または参照ピクチャのその他任意の識別子（例えば、参照ピクチャごとに示され、予測方向に応じてもよい種類、および／または参照ピクチャ種類、および参照インデックスが適用される参照ピクチャリスト等のその他関連情報を含んでもよい）
・水平動きベクトル成分（予測ブロック、参照インデックス等ごとに示されてもよい）
・垂直動きベクトル成分（予測ブロック、参照インデックス等ごとに示されてもよい）
・１つ以上の動きベクトル予測処理における水平動きベクトル成分および／または垂直動きベクトル成分のスケーリングに使用されてもよい、動きパラメータを含む、またはこれに対応するピクチャと、その参照ピクチャとの間のピクチャ順序カウント差および／または相対的カメラ分離等の１つ以上のパラメータ（ここで、当該１つ以上のパラメータは、例えば各参照ピクチャまたは参照インデックス等ごとに示されうる）
・動きパラメータおよび／または動き情報が適用されるブロックの座標。例えば、輝度サンプル単位内のブロックの左上サンプルの座標
・動きパラメータおよび／または動き情報が適用されるブロックの規模（例えば幅および高さ）
・予測種類（例えばイントラ予測、単方向予測、双方向予測）および／または参照ピクチャ数の標示
・インター（すなわち時間）予測、インターレイヤ予測、インタービュー予測、ビュー合成予測（View Synthesis Prediction：ＶＳＰ）、インター成分予測（参照ピクチャおよび／または予測種類ごとに示され、いくつかの実施形態ではインタービューおよびビュー合成予測は、合わせて一つの予測方向ととらえられる）等の予測方向を示す標示
・短期参照ピクチャおよび／または長期参照ピクチャおよび／またはインターレイヤ参照ピクチャのような、参照ピクチャ種類の標示（例えば参照ピクチャごとに示されうる）
・参照ピクチャリストに対する参照インデックスおよび／または参照ピクチャのその他任意の識別子（例えば、参照ピクチャごとに示され、予測方向に応じてもよい種類、および／または参照ピクチャ種類、および参照インデックスが適用される参照ピクチャリスト等のその他関連情報を含んでもよい）
・水平動きベクトル成分（予測ブロック、参照インデックス等ごとに示されてもよい）
・垂直動きベクトル成分（予測ブロック、参照インデックス等ごとに示されてもよい）
・１つ以上の動きベクトル予測処理における水平動きベクトル成分および／または垂直動きベクトル成分のスケーリングに使用されてもよい、動きパラメータを含む、またはこれに対応するピクチャと、その参照ピクチャとの間のピクチャ順序カウント差および／または相対的カメラ分離等の１つ以上のパラメータ（ここで、当該１つ以上のパラメータは、例えば各参照ピクチャまたは参照インデックス等ごとに示されうる）
・動きパラメータおよび／または動き情報が適用されるブロックの座標。例えば、輝度サンプル単位内のブロックの左上サンプルの座標
・動きパラメータおよび／または動き情報が適用されるブロックの規模（例えば幅および高さ）
概して、例として上述された動きベクトル予測機構等の動きベクトル予測機構は、所与のあらかじめ定義されたまたは示された動きパラメータの予測またはその継承を含んでもよい。
ピクチャに対応付けられる動きフィールドが、そのピクチャのすべての符号化ブロックに対して生成される動き情報群を含むと考えられてもよい。例えば、ブロックの座標により、動きフィールドはアクセス可能でありうる。例えば、現符号化／復号ピクチャと異なる予測用のソースまたは参照が使用されるＴＭＶＰまたはその他あらゆる動き予測機構において、動きフィールドが使用されてもよい。
動きフィールドを表す、および／または記憶するために、異なる様々な空間粒度または単位を適用できる。例えば、規則的な格子の空間単位を使用してもよい。例えば、ピクチャは所定サイズの四角形ブロックに分割されてもよい（右端および下端上等の、ピクチャの端におけるブロックは例外としてもよい）。例えば、空間単位のサイズは、ビットストリームにおいてエンコーダが明確な動きを示すことができる最小サイズであってもよい。すなわち、輝度サンプル単位における４ｘ４ブロック等である。例えば、空間単位があらかじめ定義されたまたは示されたサイズの、いわゆる圧縮動きフィールドを使用してもよい。当該サイズとしては、輝度サンプル単位における１６ｘ１６ブロック等であるが、明確な動きを示すために、より大きくしてもよい。例えば、ＨＥＶＣエンコーダおよび／またはデコーダは、各復号動きフィールドに対して、動きデータストレージ削減（ＭＤＳＲ）または動きフィールド圧縮が実行されるように実施されてもよい（ピクチャ間のあらゆる予測に対して動きフィールドを使用する前）。ＨＥＶＣを実施する際、ＭＤＳＲで動きデータの粒度を、輝度サンプル単位における１６ｘ１６ブロックに削減してもよい。すなわち、圧縮動きフィールドにおける１６ｘ１６ブロックの左上サンプルに適用可能な動きを維持してもよい。エンコーダは、圧縮動きフィールドの空間単位に関する標示（複数可）を、例えばビデオパラメータセットまたはシーケンスパラメータセット等のシーケンスレベルシンタックス構造における１つ以上のシンタックス要素および／またはシンタックス要素値として符号化してもよい。いくつかの符号化／復号方法および／または装置においては、（例えば、ＨＥＶＣ規格の予測単位に応じて）動きフィールドは動き予測のブロックパーティショニングに応じて表示および／または記憶されてもよい。いくつかの符号化／復号方法および／または装置においては、規則的な格子およびブロックパーティショニングの組合せを適用して、あらかじめ定義されたまたは示された空間単位よりも大きい区域に関連する動きが、当該区域に対応して表示および／または記憶してもよい。ここで、あらかじめ定義されたまたは示された空間単位サイズまたは格子よりも小さいまたは合わないような区域に関連する動きが、あらかじめ定義されたまたは示されるユニットに対して表示および／または記憶される。
ＨＥＶＣのスケーラブルビデオの符号化（ＳＨＶＣ）拡張により、レイヤ間冗長性を使用して、空間的、ビット深度、色域、品質スケーラビリティのための機構が提供される。ＨＥＶＣのマルチビュー拡張（ＭＶ−ＨＥＶＣ）により、例えば立体視表示に適したマルチビュービデオデータの符号化が可能となる。ＭＶ−ＨＥＶＣでは、符号化用の入力マルチビュービデオシーケンスは通常、一列に並んだ多数のカメラで撮像される。通常、カメラ投影中心は直線状で、通常同一方向を向くカメラ間で等距離となる。ＳＨＶＣとＭＶ−ＨＥＶＣとは、同じ高レベルシンタックスを共有し、その復号処理も大部分で共通している。したがって、同一のコーデックの実施でＳＨＶＣおよびＭＶ−ＨＥＶＣの両方に対応できる点で魅力的である。
ＳＨＶＣとＭＶ−ＨＥＶＣは、２種類のインターレイヤ予測（すなわち、サンプル予測および動き予測）を可能とする。インターレイヤサンプル予測において、インターレイヤ参照（ＩＬＲ）ピクチャを使用して予測ブロックのサンプル値が得られる。ＭＶ−ＨＥＶＣにおいて、復号基本レイヤピクチャは、変形されず、ＩＬＲピクチャとなる。ＳＨＶＣの空間および色域スケーラビリティにおいて、リサンプリング等のインターレイヤ処理が復号基本レイヤピクチャに適用されて、ＩＬＲピクチャが得られる。ＳＨＶＣのリサンプリング処理において、基本レイヤピクチャは切り取られたり、アップサンプリングされたり、さらに／あるいはパディングされてＩＬＲピクチャが得られる。アップサンプリングされた基本レイヤピクチャの、拡張レイヤピクチャに対する相対位置は、いわゆる参照レイヤ位置補正値を通じて示される。この特徴により、拡張レイヤピクチャにおいて基本レイヤのピクチャ領域のサブセットのみ拡張される、関心領域（ＲＯＩ）スケーラビリティが可能となる。
インターレイヤ動き予測は、ＨＥＶＣの時間動きベクトル予測（Temporal Motion Vector Prediction：ＴＭＶＰ）機構を利用する。ＩＬＲピクチャは、ＴＭＶＰの並置されたピクチャとして割り当てられ、したがって動きベクトル予測処理におけるＴＭＶＰ候補のソースとなる。ＳＨＶＣの空間スケーラビリティにおいて、ＩＬＲピクチャの動き情報を基本レイヤピクチャの動き情報から取得するために、動きフィールドマッピング（ＭＦＭ）を利用する。ＭＦＭにおいて、基本レイヤピクチャの予測依存性を複製して、ＩＬＲピクチャの参照ピクチャリスト（複数可）が生成されると考えられる。特定のブロック格子（例えば、ＨＥＶＣにおける１６ｘ１６格子）のリマッピングされた動きフィールドの各ブロックについて、インターレイヤ予測のためのソースピクチャにおける並置されたサンプル位置が得られる。例えば、参照サンプル位置は、ブロックの最も中心側サンプルについて得られる。参照サンプル位置を得るにあたって、リサンプリング率、参照領域、リサンプリングされた参照領域を考慮してもよい。これについては、リサンプリング率、参照領域、リサンプリングされた参照領域についての、後述の定義を参照されたい。さらに、インターレイヤ予測において、参照サンプル位置の先端や後端を切り取って、参照領域またはソースピクチャの動きフィールドのブロック格子に合わせてもよい。参照サンプル位置に対応する動きベクトルは、インターレイヤ予測に対する参照領域またはソースピクチャの動きフィールドから得られる。この動きベクトルは、リサンプリング比に応じて再スケーリングされて、リマッピング動きフィールドに含まれる。その後、リマッピングされた動きフィールドは、ＴＭＶＰのソース等に使用できる。一方、ＭＶ−ＨＥＶＣにおいて、ＭＦＭはインターレイヤ動き処理中に参照されるベースビューピクチャに適用されない。
参照レイヤピクチャと拡張レイヤピクチャとの空間的対応は、１種類以上のいわゆる参照レイヤ位置補正値に応じて推定または標示されてもよい。ＨＥＶＣにおいては、参照レイヤ位置補正値はエンコーダによりＰＰＳに含まれてもよく、デコーダによりＰＰＳから復号されてもよい。参照レイヤ位置補正値は、関心領域（ＲＯＩ）スケーラビリティの実現に使用されてもよいが、これに限られるものではない。参照レイヤ位置補正値は、スケーリングされた参照レイヤ補正値、参照領域補正値、リサンプピングフェーズ群の内の１つ以上を含んでもよい。スケーリングされた参照レイヤ補正値は、参照レイヤにおける復号ピクチャ内の参照領域の左上輝度サンプルと並置された、現ピクチャにおけるサンプルの水平および垂直補正値を特定し、参照レイヤにおける復号ピクチャ内の参照領域の右下輝度サンプルと並置された、現ピクチャにおけるサンプルの水平および垂直補正値を特定するものと考えられる。あるいは、スケーリングされた参照レイヤ補正値が、拡張レイヤピクチャの各角サンプルに対する、アップサンプリングされた参照領域（または、リサンプリングされた参照領域と称することがより一般的でありうる）の角サンプルの位置を特定するものとも考えられる。スケーリングされた参照レイヤ補正値は、スケーリングされた参照レイヤピクチャのスケーリングされた参照領域に対する、現レイヤピクチャ（参照レイヤ位置補正値が示された）の空間的対応を指定するものとも考えられる。スケーリングされた参照レイヤ補正値は署名されていてもよい。スケーリングされた参照レイヤ補正値が負の値であれば、参照レイヤ位置補正値が指定されたピクチャは参照レイヤピクチャの切取領域に対応する。参照領域補正値は、参照レイヤにおける復号ピクチャ内の参照領域の左上輝度サンプルと、同じ復号ピクチャの左上輝度サンプルとの間の水平および垂直補正値を特定し、参照レイヤにおける復号ピクチャ内の参照領域の右下輝度サンプルと、同じ復号ピクチャの右下輝度サンプルとの間の水平および垂直補正値を特定するものと考えられる。参照領域補正値は、参照レイヤピクチャ内の参照領域の、復号参照レイヤピクチャに対する空間的対応を特定するものと考えられる。参照領域補正値は署名されていてもよい。参照領域補正値が負の値であれば、参照レイヤピクチャは参照レイヤ位置補正値が示されたピクチャの切取領域に対応する。リサンプリングフェーズセットは、インターレイヤ予測のソースピクチャのリサンプリング処理に使用されるフェーズ補正値を特定するものと考えられる。輝度成分およびクロマ成分にはそれぞれ異なるフェーズ補正値が提供されてもよい。
スケーラブルビデオの符号化方式によっては、アクセス単位内のすべてのピクチャがＩＲＡＰピクチャとなるように、またはアクセス単位内のいずれのピクチャもＩＲＡＰピクチャではなくなるように、レイヤ間でＩＲＡＰピクチャを整合することが求められる場合がある。ＨＥＶＣのマルチレイヤ拡張等のその他のスケーラブルビデオの符号化方式では、ＩＲＡＰピクチャが不整合な場合を許容しうる。すなわち、アクセス単位内の１つ以上のピクチャがＩＲＡＰピクチャであり、アクセス単位内の１つ以上の別のピクチャがＩＲＡＰピクチャではなくてもよい。レイヤ間で整合されていないＩＲＡＰピクチャ等のスケーラブルビットストリームにより、例えば、基本レイヤ内にＩＲＡＰピクチャがより頻繁に出現するようにしてもよい。この場合、例えば空間解像度が小さいことから、符号化されたサイズがより小さくなるものであってもよい。復号のレイヤごとのスタートアップのための処理または機構が、ビデオ復号方式に含まれていてもよい。この場合、基本レイヤがＩＲＡＰピクチャを含むとデコーダがビットストリームの復号を開始し、その他のレイヤがＩＲＡＰピクチャを含むとこれらのレイヤの復号を段階的に開始する。換言すれば、復号機構または復号処理のレイヤごとのスタートアップにおいては、追加の拡張レイヤからの後続のピクチャが復号処理において復号されるにつれて、デコーダは復号されたレイヤの数を徐々に増やし（ここで、レイヤは、空間解像度、品質レベル、ビュー、さらに深度等の追加の成分やこれらの組合せの拡張を表してもよい）。復号されたレイヤの数が徐々に増えることは、例えばピクチャ品質（品質および空間スケーラビリティの場合）が徐々に向上することであると考えられる。
レイヤごとのスタートアップ機構によって、特定の拡張レイヤにおいて復号順で最初のピクチャの参照ピクチャに対して利用不可のピクチャが生成されてもよい。あるいは、デコーダは、レイヤの復号が開始されうるＩＲＡＰピクチャに復号順で前のピクチャの復号を省略してもよい。これらの省略されうるピクチャは、エンコーダやビットストリーム内のその他のエンティティによって、特定可能となるようにラベル付けされていてもよい。例えば、１つ以上の特定のＮＡＬ単位の種類をこの目的で使用してもよい。これらのピクチャは、ＮＡＬ単位の種類によって特定可能となるようにラベル付けされているか否か、または例えばデコーダによって推定されているか否かにかかわらず、クロスレイヤランダムアクセススキップ（ＣＬ−ＲＡＳ）ピクチャと呼ばれてもよい。デコーダは、生成された利用不可のピクチャおよび復号されたＣＬ−ＲＡＳピクチャの出力を省略してもよい。
スケーラビリティは、２つの基本的な方法で利用可能となる。その１つは、スケーラブル表現の下位レイヤからの画素値またはシンタックスを予測するために新たな符号化モードを導入することであり、もう１つは、より高位のレイヤの参照ピクチャバッファ（例えば、復号ピクチャバッファ（ＤＰＢ））に下位レイヤピクチャを配置することである。１つ目の方法は、より柔軟性が高く、多くの場合、符号化効率に優れる。ただし、参照フレームに基づくスケーラビリティという２つ目の方法は、可能な符号化効率上昇をほぼ完全に維持したまま、単一のレイヤコーデックに対する変化を最小に抑えて効率的に実行できる。基本的に、参照フレームに基づくスケーラビリティコーデックは、すべてのレイヤに対して同一のハードウェまたはソフトウェアを実行して実現でき、ＤＰＢ管理は外部手段に任せてもよい。
品質スケーラビリティ（信号対ノイズ比（ＳＮＲ）とも呼ばれる）および／または空間スケーラビリティに対するスケーラブルビデオエンコーダは、以下のように実現してもよい。基本レイヤについては、従来の非スケーラブルビデオエンコーダおよびデコーダを利用できる。拡張レイヤ用の参照ピクチャバッファおよび／または参照ピクチャリストには、基本レイヤの再構成／復号ピクチャが含まれる。空間スケーラビリティの場合、拡張レイヤピクチャの参照ピクチャリストへの挿入前に、再構成／復号された基本レイヤピクチャをアップサンプリングしてもよい。基本レイヤ復号ピクチャは、拡張レイヤの復号参照ピクチャの場合と同様に、拡張レイヤピクチャの符号化／復号のために参照ピクチャリスト（複数可）に挿入されてもよい。これにより、エンコーダはインター予測の参照として基本レイヤ参照ピクチャを選択して、それが使用されることを符号化ビットストリーム内の参照ピクチャインデックスで示してもよい。デコーダは、拡張レイヤは、拡張レイヤのインター予測の参照用に基本レイヤピクチャが使用されていることを、例えばビットストリームの参照ピクチャインデックスから復号する。拡張レイヤの予測の参照に使用される復号基本レイヤピクチャは、インターレイヤ参照ピクチャと呼ばれる。
前段落では拡張レイヤおよび基本レイヤの２つのスケーラビリティレイヤを有するスケーラブルビデオコーデックが説明されたが、その説明は、３つ以上のレイヤを有するスケーラビリティ階層の任意の２つのレイヤにも適用できることが理解されよう。この場合、符号化および／または復号処理において、第２の拡張レイヤは第１の拡張レイヤに左右されるため、第１の拡張レイヤは第２の拡張レイヤの符号化および／または復号における基本レイヤとみなすことができる。さらに、拡張レイヤの参照ピクチャバッファまたは参照ピクチャリスト内の２つ以上のレイヤからインターレイヤ参照ピクチャが得られることが理解されよう。これらインターレイヤ参照ピクチャはそれぞれ、符号化および／または復号されている拡張レイヤの基本レイヤまたは参照レイヤに存在するものと考えられる。参照レイヤピクチャアップサンプリングに加えてまたは代えて、それとは別種のインターレイヤ処理が実行されてもよいことが理解されよう。例えば、参照レイヤピクチャのサンプルのビット深度を拡張レイヤのビット深度に変換したり、サンプル値を参照レイヤの色空間から拡張レイヤの色空間にマッピングしたりしてもよい。
スケーラブルビデオの符号化および／または復号方式は、以下の特徴を有するマルチループ符号化および／または復号を利用してもよい。符号化／復号において、基本レイヤピクチャを再構成／復号して、同一のレイヤ内で符号化／復号順における後続のピクチャ用の動き補償参照ピクチャ、またはインターレイヤ（またはインタービューまたはインター成分）予測の参照に利用してもよい。再構成／復号された基本レイヤピクチャは、ＤＰＢに保存されてもよい。同様に、拡張レイヤピクチャを再構成／復号し、同一のレイヤ内で符号化／復号順における後続のピクチャ用の動き補償参照ピクチャ、または存在する場合、より高位の拡張レイヤに対するインターレイヤ（またはインタービューまたはインター成分）予測の参照に利用されてもよい。再構成／復号サンプル値に加えて、基本／参照レイヤのシンタックス要素値または基本／参照レイヤのシンタックス要素値から求めた変数をインターレイヤ／インター成分／インタービュー予測に利用してもよい。
インターレイヤ予測は、現ピクチャ（符号化または復号されている）のレイヤとは異なるレイヤからの参照ピクチャのデータ要素（例えば、サンプル値または動きベクトル）に応じた予測として定義できる。スケーラブルビデオエンコーダ／デコーダに適用できるインターレイヤ予測は多岐にわたる。利用可能なインターレイヤ予測の種類は、例えばビットストリームまたはビットストリーム内の特定のレイヤが符号化される符号化プロファイル、または復号の際にビットストリームまたはビットストリーム内の特定のレイヤが従う符号化プロファイルに基づいてもよい。これに加えて、またはこれに代えて、利用可能なインターレイヤ予測の種類は、スケーラビリティの種類、スケーラブルコーデックまたは使用されるビデオの符号化規格改定の種類（例えばＳＨＶＣ、ＭＶ−ＨＥＶＣ、または３Ｄ−ＨＥＶＣ）に応じたものであってもよい。
インターレイヤ予測の種類は、インターレイヤサンプル予測、インターレイヤ動き予測、インターレイヤ残差予測の１つまたは複数を含むがこれに限定されない。インターレイヤサンプル予測では、少なくともインターレイヤ予測用のソースピクチャの再構成サンプル値のサブセットが現ピクチャのサンプル値を予測するための参照に使用される。インターレイヤ動き予測においては、少なくともインターレイヤ予測用のソースピクチャの動きベクトルのサブセットが現ピクチャの動きベクトル予測の参照に使用される。通常、参照ピクチャが動きベクトルに関連する予測情報も、インターレイヤ動き予測に含まれる。例えば、動きベクトル用の参照ピクチャの参照インデックスは、インターレイヤ予測され、さらに／あるいはピクチャ順序カウントまたはその他任意の参照ピクチャの識別がインターレイヤ予測されてもよい。場合によっては、インターレイヤ動き予測はさらにブロック符号化モード、ヘッダ情報、ブロックパーティショニング、および／またはその他同様のパラメータの予測を含んでもよい。場合によっては、ブロックパーティショニングのインターレイヤ予測のような符号化パラメータ予測は、別種のインターレイヤ予測としてみなされてもよい。インターレイヤ残差予測では、インターレイヤ予測用のソースピクチャの選択ブロックの予測誤差または残差を利用して、現ピクチャが予測される。３Ｄ−ＨＥＶＣのようなマルチビュー＋深度符号化では、成分交差的なインターレイヤ予測が適用されてもよい。当該予測では、深度ピクチャのような第１の種類のピクチャが、従来のテクスチャピクチャのような第２の種類のピクチャのインターレイヤ予測に影響を及ぼしうる。例えば、格差補償インターレイヤサンプル値および／または動き予測を適用してもよい。ここで、格差は少なくとも部分的に深度ピクチャから導出されてもよい。
直接参照レイヤは、直接参照レイヤとなる別のレイヤのインターレイヤ予測に使用できるレイヤとして定義できる。直接予測されたレイヤは、別のレイヤが直接参照レイヤとなるレイヤとして定義できる。間接参照レイヤは、第２のレイヤの直接参照レイヤではないが、第３のレイヤの直接参照レイヤとして定義できる。この第３のレイヤは、間接参照レイヤである第２のレイヤの直接参照レイヤまたはその直接参照レイヤの間接参照レイヤである。間接的に予測されたレイヤは、別のレイヤが間接参照レイヤとなるレイヤとして定義できる。独立レイヤは、直接参照レイヤを伴わないレイヤとして定義できる。換言すれば、独立レイヤはインターレイヤ予測により予測されていない。非基本レイヤは、基本レイヤ以外の任意のレイヤとして定義できる。基本レイヤはビットストリーム内の最下レイヤとして定義できる。独立非基本レイヤは、独立レイヤであり非基本レイヤであるレイヤとして定義できる。
インターレイヤ予測用のソースピクチャは、インターレイヤ参照ピクチャである、またはそれを導出するために使用される復号ピクチャとして定義できる。インターレイヤ参照ピクチャは、現ピクチャの予測用の参照ピクチャとして使用できる。マルチレイヤＨＥＶＣ拡張版では、インターレイヤ参照ピクチャが現ピクチャのインターレイヤ参照ピクチャセットに含まれる。インターレイヤ参照ピクチャは、現ピクチャのインターレイヤ予測に使用できる参照ピクチャとして定義できる。符号化および／または復号処理では、インターレイヤ参照ピクチャを長期参照ピクチャとして扱ってもよい。
インターレイヤ予測用のソースピクチャは、現ピクチャと同一のアクセス単位にあることが求められる。場合によっては、例えば再サンプリング、動きフィールドマッピング、またはその他のインターレイヤ処理が不要であれば、インターレイヤ予測用のソースピクチャと各インターレイヤ参照ピクチャは同一であってもよい。場合によっては、例えば再サンプリングにより参照レイヤのサンプリンググリッドを現ピクチャ（符号化または複号されている）のレイヤのサンプリンググリッドに合わせる必要があれば、インターレイヤ予測用のソースピクチャからインターレイヤ参照ピクチャを導出するように、インターレイヤ処理が適用される。当該インターレイヤ処理の例を以下の数段落に示す。
インターレイヤサンプル予測は、インターレイヤ予測用のソースピクチャのサンプル配列（複数可）の再サンプリングを含んでもよい。エンコーダおよび／またはデコーダは、拡張レイヤおよびその参照レイヤの対に対する水平倍率（例えば変数倍率Ｘに記憶される）および垂直倍率（例えば変数倍率Ｙに記憶される）を、例えば当該対に対する参照レイヤ位置補正値に基づいて導出してもよい。少なくともいずれか一方の倍率が１でなければ、インターレイヤ予測用のソースピクチャを再サンプリングして、拡張レイヤピクチャ予測のためのインターレイヤ参照ピクチャを生成してもよい。再サンプリングに使用する処理および／またはフィルタは、例えば符号化規格で事前に定義されてもよく、ビットストリーム内のエンコーダによって（例えば、事前に定義された再サンプリング処理またはフィルタ間のインデックスとして）示されてもよく、デコーダによってビットストリームから復号されてもよい。倍率の値に応じて、異なる再サンプリング処理が、エンコーダによって示されてもよく、デコーダによって復号されてもよく、エンコーダおよび／またはデコーダによって推測されてもよい。例えば、両方の倍率が１未満であれば、事前に定義されたダウンサンプリング処理が推測されてもよい。いずれの倍率も１より大きい場合、事前に定義されたアップサンプリング処理が推測されてもよい。これに加えて、またはこれに代えて、処理されるサンプル配列に応じて、異なる再サンプリング処理がエンコーダによって示されてもよく、デコーダによって復号されてもよく、エンコーダおよび／またはデコーダによって推測されてもよい。例えば、第１の再サンプリング処理が輝度サンプル配列に利用されるものと推測され、第２の再サンプリング処理がクロマサンプル配列に利用されるものと推測されてもよい。
ＳＨＶＣは、（限定的ではないが）色域スケーラビリティに対する３Ｄルックアップテーブル（ＬＵＴ）に基づく重み付け予測またはカラーマッピング処理を可能とする。３ＤのＬＵＴ手法は以下に説明するとおりである。各色成分のサンプル値範囲はまず２つの範囲に分割し、最大２×２×２の八分円が得られる。さらに輝度範囲を四分割までできるため、最大８×２×２の八分円が得られる。各八分円において、色成分交差線形モデルが適用されて、カラーマッピングが行われる。各八分円について、４つの頂点がビットストリームに符号化、および／またはビットストリームから復号され、八分円内の線形モデルが表される。カラーマッピングテーブルが、各色成分に対して個別に、ビットストリームに符号化、および／またはビットストリームから復号される。カラーマッピングは３処理を含むものと考えられる。まず、所与の参照レイヤサンプル３つ組（Ｙ、Ｃｂ、Ｃｒ）が属する八分円を決定する。次に、輝度およびクロマのサンプル位置を、色成分調整処理を適用して整列させてもよい。最後に、決定された八分円に特化した線形マッピングが適用される。このマッピングは成分交差的な性質を有する。すなわち、１つの色成分の入力値が別の色成分のマッピング値に影響を及ぼしうる。さらに、インターレイヤ再サンプリングも必要であれば、再サンプリング処理に対する入力はカラーマッピング済みのピクチャとなる。カラーマッピングでは、第１のビット深度のサンプルから、別のビット深度のサンプルまでマッピングしてもよい（ただしこれに限らない）。
インターレイヤ動き予測は以下のとおりに実現できる。Ｈ．２６５／ＨＥＶＣのＴＭＶＰのような時間動きベクトル予測処理により、異なるレイヤ間の動きデータの冗長性を実現できる。具体的には以下のとおりとなる。復号基本レイヤピクチャがアップサンプリングされると、それに合わせて基本レイヤピクチャの動きデータが拡張レイヤの解像度にマッピングされる。拡張レイヤピクチャが、例えばＨ．２６５／ＨＥＶＣのＴＭＶＰのような時間動きベクトル予測機構により、基本レイヤピクチャからの動きベクトル予測を利用する場合、対応する動きベクトル予測器がマッピングされた基本レイヤ動きフィールドから生じる。これにより、異なるレイヤ間の動きデータの相関が利用され、スケーラブルビデオコーダの符号化効率が向上できる。ＳＨＶＣ等では、インターレイヤ動き予測は、ＴＭＶＰ導出用の並置された参照ピクチャとしてのインターレイヤ参照ピクチャを設定して実行できる。
ＭＶＣと同様に、ＭＶ−ＨＥＶＣにおいても、インタービュー参照ピクチャは、符号化または復号されている現ピクチャの参照ピクチャリスト（複数可）に含めてもよい。ＳＨＶＣはマルチループ復号動作を利用する（この点がＨ．２６４／ＡＶＣのＳＶＣ拡張とは異なる）。ＳＨＶＣは参照インデックスに基づく手法を採ると考えられる。すなわち、インターレイヤ参照ピクチャが、符号化または復号されている現ピクチャの１つ以上の参照ピクチャリストに含まれてもよい（上述の内容参照）。
拡張レイヤ符号化については、ＳＨＶＣ、ＭＶ−ＨＥＶＣ等に対してＨＥＶＣ基本レイヤの概念や符号化ツールを利用できる。一方で、ＳＨＶＣ、ＭＶ−ＨＥＶＣ等のコーデックに対して、拡張レイヤの効率的な符号化のための参照レイヤにおいて符号化済みデータ（再構成ピクチャサンプルや、動きパラメータ、すなわち動き情報を含む）を利用したインターレイヤ予測ツールを追加してもよい。
符号化規格またはシステムにおいて、復号が実施されるスケーラブルレイヤおよび／またはサブレイヤを示し、さらに／あるいは復号されているスケーラブルレイヤおよび／またはサブレイヤを含むサブビットストリームに関連する可能性のある、「動作点」等が用語として使用されてもよい。ＨＥＶＣでは、動作点は、別のビットストリーム、対象最高ＴｅｍｐｏｒａｌＩｄ、対象レイヤ識別子リストを入力としたサブビットストリーム抽出処理の動作により、別ビットストリームから生成されたビットストリームとして定義される。
ＨＥＶＣのＶＰＳは、レイヤ群と、これらレイヤ群に対するＨＲＤパラメータを指定する。レイヤ群は、サブビットストリーム抽出処理の、対象レイヤ識別子リストとして使用されてもよい。ＨＥＶＣにおいては、レイヤ群は、別のビットストリームからサブビットストリーム抽出処理の動作で生成されるビットストリーム内で表現されるレイヤ群として定義されうる。サブビットストリーム抽出処理は、別のビットストリーム、６に等しい対象最高ＴｅｍｐｏｒａｌＩｄ、レイヤ群に関連付けられたレイヤ識別子リストに等しい対象レイヤ識別子リストを入力とする。
復号処理により、復号されたピクチャが出力されるレイヤとして出力レイヤを定義してもよい。出力レイヤは、マルチレイヤビットストリームの復号されるサブセットに応じたものである。復号処理により出力されるピクチャは、例えばＹＵＶ色空間からＲＧＢへの、色空間変換のような処理をさらに実施した後に表示されてもよい。ただし、それ以上の処理および／または表示は、デコーダおよび／または復号処理から外れたものとみなされ、これらは実施されなくてもよい。
マルチレイヤビデオビットストリームでは、動作点の定義は、対象出力レイヤ群を考慮したものであってもよい。例えば、動作点は、別のビットストリーム、対象最高時間サブレイヤ（例えば、対象最高ＴｅｍｐｏｒａｌＩｄ）、対象レイヤ識別子リストを入力としたサブビットストリーム抽出処理の動作により、別ビットストリームから生成され、出力レイヤ群と関連したビットストリームとして定義されてもよい。あるいは、動作点および関連した出力レイヤ群を表す用語として、主力動作点等のその他の用語を使用してもよい。例えば、ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいて、出力動作点は、入力ビットストリーム、対象最高ＴｅｍｐｏｒａｌＩｄ、対象レイヤ識別子リストを入力としたサブビットストリーム抽出処理の動作により、入力ビットストリームから生成され、出力レイヤ群と関連したビットストリームとして定義されてもよい。
出力レイヤ群（ＯＬＳ）は、指定レイヤ群の一つのレイヤからなるレイヤ群として定義されうる。レイヤ群の１つ以上のレイヤが出力レイヤとして示される。出力レイヤは、出力レイヤ群を対象出力レイヤ群として使用してデコーダおよび／またはＨＲＤが動作する場合に、出力される出力レイヤ群のレイヤとして定義される。ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいて、可変ＴａｒｇｅｔＯｌｓＩｄｘは、対象出力レイヤ群である出力レイヤ群のインデックに等しいＴａｒｇｅｔＯｌｓＩｄｘを設定することで、どの出力レイヤ群が対象出力レイヤ群であるかを特定してもよい。対象出力レイヤ群は、インデックスがＴａｒｇｅｔＯｌｓＩｄｘに等しい出力レイヤ群として定義されてもよい。ＴａｒｇｅｔＯｌｓＩｄｘは、例えばＨＲＤにより設定されてもよく、さらに／あるいはデコーダによって提供されるインタフェースを介して、例えばプレーヤ等による外部手段によって設定されてもよい。ＭＶ−ＨＥＶＣ／ＳＨＶＣにおいて、出力レイヤは、ＴａｒｇｅｔＯｌｓＩｄｘが出力レイヤ群のインデックスに等しい場合に出力される出力レイヤ群のレイヤとして定義されてもよい。
送信機、ゲートウェイ、またはクライアント等は、スケーラブルビデオビットストリームの送信レイヤおよび／またはサブレイヤを選択してもよい。レイヤ抽出、レイヤの抽出、またはレイヤダウンスイッチングという用語は、送信機、ゲートウェイ、またはクライアント等が受信するビットストリームで可能な数よりも少ないレイヤを送信することを示しうる。レイヤアップスイッチングは、送信機、ゲートウェイ、またはクライアントがレイヤスイッチング前に送るものと比較して、追加のレイヤ（複数可）を送信することを示してもよい。具体的には、レイヤダウンスイッチングにより送信が中止されていた１つ以上のレイヤの送信を再開することである。レイヤダウンスイッチングおよび／またはアップスイッチングと同様に、送信機、ゲートウェイ、またはクライアント等は、時間サブレイヤに対してダウンスイッチングおよび／またはアップスイッチングを実施してもよい。送信機、ゲートウェイ、またはクライアント等は、レイヤとサブレイヤの両方にダウンスイッチングおよび／またはアップスイッチングを実施してもよい。レイヤとサブレイヤのダウンスイッチングおよび／またはアップスイッチングは同一のアクセス単位内等で（すなわち、実質的に同時に）実行されてもよいし、別のアクセス単位等で（すなわち、実質的に異なるタイミングで）実施されてもよい。
各アクセス単位で最高レイヤが不変な使用事例およびビットストリームでは、一定の出力レイヤ群で十分であるが、当該群ではアクセス単位間で最高レイヤが変わるような使用事例に対応していない場合がある。したがって、同じアクセス単位内の出力レイヤにピクチャがなければ、エンコーダがビットストリーム内の複数の代替出力レイヤの使用を特定し、代替出力レイヤの使用の特定に応じて、デコーダが復号されたピクチャを１つの代替出力レイヤから出力することが提案されている。この代替出力レイヤを標示するにはいくつかの方法が挙げられる。例えば、ＨＥＶＣで規定されているとおり、代替出力レイヤ群のメカニズムは、単一の出力レイヤのみを含む出力レイヤ群に対する使用に限定されてもよく、出力レイヤ群に基づくフラグ（ＨＥＶＣにおけるalt_output_layer_flag[ olsIdx ]）を利用して、出力レイヤの任意の直接または間接参照レイヤが、出力レイヤ群の出力レイヤに対する代替出力レイヤであってもよいことを特定してもよい。複数の代替出力レイヤが使用可能であれば、アクセス単位における、上記の示された最小代替出力レイヤまでレイヤ識別子降順の、最初の直接または間接インターレイヤ参照ピクチャが出力されるよう指定されてもよい。
図９は、各種実施形態が実現可能な例示的マルチメディア通信システムを示す図である。データソース１５１０は、ソース信号を提供する。当該信号は、アナログフォーマット、非圧縮デジタルフォーマット、圧縮デジタルフォーマット、あるいはこれらの組合せであってもよい。エンコーダ１５２０は、データフォーマット変換やソース信号フィルタリングのような前処理を含んでもよく、または当該処理に接続されていてもよい。エンコーダ１５２０はソース信号を符号化して符号化メディアビットストリームを得る。復号されるビットストリームは、実質的にあらゆる種類のネットワークに存在しうるリモート装置から直接的または間接的に受信されてもよい。ビットストリームは、ローカルハードウェアまたはソフトウェアから受信されてもよい。エンコーダ１５２０は、１種類以上の媒体（音声、動画等）を符号化可能であってもよい。あるいは、２つ以上のエンコーダ１５２０に、異なる種類の媒体のソース信号を符号化することが求められてもよい。エンコーダ１５２０はさらに、グラフィックやテキスト等、合成して生成された入力を取得してもよく、あるいは合成媒体の符号化ビットストリームを生成可能であってもよい。以下では、簡潔に説明するため、１種類のみの媒体の１つの符号化メディアビットストリームに対する処理を検討する。ただし、通常ではリアルタイムブロードキャストサービスは複数のストリームを含む（通常、少なくとも１つの音声、動画、テキスト字幕付きストリーム）。さらに、システムが多数のエンコーダを備えてもよいが、普遍性を損なわない範囲で簡潔に説明するために、１つのエンコーダ１５２０のみが図示されていることが理解されよう。また本明細書での記載や例示は符号化処理を具体的に表しているが、同じ概念、原理を対応する復号処理に適用したり、その逆の運用をしたりすることがあってもよいことが当業者には理解されよう。
符号化メディアビットストリームは、ストレージ１５３０に送信されてもよい。ストレージ１５３０は、符号化メディアビットストリームを格納する任意の種類の大型記憶装置を備えてもよい。ストレージ１５３０における符号化メディアビットストリームのフォーマットは、基本自立型ビットストリームフォーマット（elementary self-contained bitstream format）であってもよく、１つ以上の符号化メディアビットストリームが１つのコンテナファイルにカプセル化されてもよく、または符号化メディアビットストリームは、ＤＡＳＨ（または同様のストリーミングシステム）に好適なＳｅｇｍｅｎｔフォーマットにカプセル化されて複数のＳｅｇｍｅｎｔのシーケンスとして保存されてもよい。１つ以上のメディアビットストリームが１つのコンテナファイルにカプセル化される場合、ファイル生成器（図示せず）を使用して１つ以上のメディアビットストリームをファイルに保存し、ファイルフォーマットメタデータを生成してもよい。このデータもファイルに保存してもよい。エンコーダ１５２０またはストレージ１５３０がファイル生成器を有してもよく、あるいはファイル生成器がエンコーダ１５２０またはストレージ１５３０に対して動作可能に取り付けられてもよい。システムによっては「ライブ」で動作するものもある。すなわち、ストレージを省き、エンコーダ１５２０からの符号化メディアビットストリームを直接、送信機１５４０に送られる。符号化メディアビットストリームはその後、必要に応じて、サーバとも呼ばれる送信機１５４０に送られてもよい。伝送に利用されるフォーマットは、基本自立型ビットストリームフォーマット、パケットストリームフォーマット、ＤＡＳＨ（または同様のストリーミングシステム）に好適なＳｅｇｍｅｎｔフォーマット、または１つ以上の符号化メディアビットストリームをコンテナファイルにカプセル化したものであってもよい。エンコーダ１５２０、ストレージ１５３０、サーバ１５４０は同一の物理的装置に設けられても、別々の装置に設けられてもよい。エンコーダ１５２０およびサーバ１５４０は、ライブのリアルタイムコンテンツを扱ってもよい。その場合、符号化メディアビットストリームは通常、永久に記憶されることはなく、コンテンツエンコーダ１５２０および／またはサーバ１５４０に短期間保存され、処理遅延、送信遅延、符号化媒体ビットレートの平滑化が図られる。
サーバ１５４０は、通信プロトコルスタックを用いて符号化メディアビットストリームを送信する。このスタックにはリアルタイムトランスポートプロトコル（ＲＴＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル（ＴＣＰ）、およびインターネットプロトコル（ＩＰ）の１つまたは複数を含んでもよいが、これらに限定されるものではない。通信プロトコルスタックがパケット指向の場合、サーバ１５４０は、符号化メディアビットストリームをパケットにカプセル化する。例えば、ＲＴＰが用いられる場合、サーバ１５４０は、ＲＴＰペイロードフォーマットに従って符号化メディアビットストリームをＲＴＰパケットへとカプセル化する。各媒体の種類は、通常、専用のＲＴＰペイロードフォーマットを有する。システムには２つ以上のサーバ１５４０が含まれうるが、簡潔に説明するために、以下では１つのサーバ１５４０のみを示す。
ストレージ１５３０または送信機１５４０へのデータ入力のためにメディアコンテンツがコンテナファイルにカプセル化される場合、送信機１５４０は、「送信ファイルパーサ」（図示せず）を備えてもよく、または動作可能であるように当該装置に取り付けられてもよい。特に、コンテナファイルがそのように伝送されず、含められた符号化メディアビットストリームの少なくとも１つが通信プロトコルを介して伝送用にカプセル化される場合、送信ファイルパーサは、符号化メディアビットストリームの通信プロトコルを介して運ばれるのに適した部分を配置する。送信ファイルパーサは、パケットヘッダやペイロード等、通信プロトコル用の正しいフォーマットの作成を支援してもよい。マルチメディアコンテナファイルには、通信プロトコルで含められたメディアビットストリームの少なくとも１つをカプセル化するために、ＩＳＯ ＢＭＦＦのヒントトラックのようなカプセル化指示が含まれてもよい。
サーバ１５４０は、通信ネットワークを通じてゲートウェイ１５５０に接続されてもよく、そうでなくてもよい。この通信ネットワークは、例えばＣＤＮ、インターネットおよび／または１つ以上のアクセスネットワークの組合せであってもよい。これに加えて、またはこれに代えて、ゲートウェイはミドルボックスと呼ばれてもよい。ＤＡＳＨについて、ゲートウェイは（ＣＤＮの）エッジサーバまたはウェブプロキシであってもよい。システムは一般的に任意の数のゲートウェイや同様の装置を備えてもよいが、簡潔に説明するために、以下では１つのゲートウェイ１５５０のみを示す。ゲートウェイ１５５０は、様々な種類の機能を実行してもよい。こうした機能には、ある通信プロトコルスタックに従うパケットストリームを別の通信プロトコルスタックに従うものに変換することや、データストリームのマージおよびフォーク、ダウンリンクおよび／または受信機の容量に応じたデータストリームの操作等がある。データストリームの操作とは、例えば現行のダウンリンクネットワーク条件に応じた転送ストリームのビットレートの制御等である。
システムは１つ以上の受信機１５６０を備える。受信機１５６０は通常、送信信号を受信して復調し、符号化メディアビットストリームにデカプセル化（de-capsulating）することができる。符号化メディアビットストリームは、記憶ストレージ１５７０に送られてもよい。記憶ストレージ１５７０は、符号化メディアビットストリームを格納する任意の種類の大容量メモリを備えてもよい。これに代えて、またはこれに加えて、記憶ストレージ１５７０は、ランダムアクセスメモリ等の演算メモリを備えてもよい。記憶ストレージ１５７０における符号化メディアビットストリームのフォーマットは、基本自立型ビットストリームフォーマットであってもよく、１つ以上の符号化メディアビットストリームが１つのコンテナファイルにカプセル化されてもよい。音声ストリームと動画ストリームといった複数の符号化メディアビットストリームが互いに関連し合って存在する場合、通常コンテナファイルが使用され、受信機１５６０は、入力ストリームからコンテナファイルを生成するコンテナファイル生成器を備えるか、それに取り付けられる。システムによっては「ライブ」で動作するものもある。すなわち、記憶ストレージ１５７０を省き、受信機１５６０からの符号化メディアビットストリームを直接デコーダ１５８０に伝送する。システムによっては、記録済みストリームからの直近１０分間の抜粋のような記録済みストリームの最新部分が記憶ストレージ１５７０に保持され、それ以前に記録されたデータは記憶ストレージ１５７０から削除される。
符号化メディアビットストリームは、記憶ストレージ１５７０からデコーダ１５８０に送られてもよい。音声ストリームと動画ストリームといった多数の符号化メディアビットストリームが関連し合って存在し、コンテナファイルにカプセル化される場合、または１つのメディアビットストリームがコンテナファイルにカプセル化される場合（例えばアクセスを容易にするため）、このコンテナファイルから各符号化メディアビットストリームをデカプセル化するためにファイルパーサ（図示せず）が使用される。記憶ストレージ１５７０またはデコーダ１５８０がファイルパーサを備えてもよく、または記憶ストレージ１５７０かデコーダ１５８０のいずれかにファイルパーサが取り付けられていてもよい。システムは多数のデコーダを備えてもよいが、普遍性を損なわない範囲で簡潔に説明するために、本明細書では１つのデコーダ１５８０のみが図示されていることが理解されよう。
符号化メディアビットストリームはデコーダ１５８０によってさらに処理され、このデコーダの出力が１つ以上の非圧縮メディアストリームでもよい。最後に、レンダラ１５９０は、非圧縮メディアストリームを例えばラウドスピーカやディスプレイに再生してもよい。受信機１５６０、記憶ストレージ１５７０、デコーダ１５８０、およびレンダラ１５９０は、同一の物理的デバイスに設けられても、別々のデバイスに設けられてもよい。
送信機１５４０および／またはゲートウェイ１５５０は、異なる表示間を切り替えるように構成されてもよい。例えば、ビュー切り替え、ビットレート適応、および／またはファーストスタートアップのためである。これに加えて、またはこれに代えて、送信機１５４０および／またはゲートウェイ１５５０は、送信表示（複数可）を選択するように構成されてもよい。異なる表示間の切り替えは、受信機１５６０からの、スループット等、ビットストリームが送られるネットワークの現行の条件についてのリクエストに応える形等、いくつかの理由で実施されてもよい。受信機からのリクエストの例としては、以前と異なる表示からのセグメントまたはサブセグメント、送信スケーラビリティレイヤおよび／またはサブレイヤの変更、またはこれまでと異なる機能を有するレンダリング装置への変更のリクエストが挙げられる。セグメントに対するリクエストは、HTTP GETリクエストであってもよい。サブセグメントに対するリクエストは、バイト範囲付きのHTTP GETリクエストであってもよい。これに加えて、またはこれに代えて、例えばストリーミングサービスにおいて、いわゆるファーストスタートアップを実現するため、ビットレート調整またはビットレート適応が実施されてもよい。すなわち、送信ストリームのビットレートが、順番にストリーミングを開始するまたはランダムにアクセスした後のチャンネルビットストリームよりも、送信ストリームのビットレートが低くなる。これにより、即再生が可能となり、パケット遅延および／または再送がたまに生じても、許容できるようなバッファオキュパンシーが実現できるのである。ビットレート適応は、多様な表示またはレイヤアップスイッチングおよび、表示またはレイヤダウンスイッチング動作が様々な順序で行われることを含んでもよい。
デコーダ１５８０は、異なる表示間を切り替えるように構成されてもよい。例えば、ビュー切り替え、ビットレート適応、および／またはファーストスタートアップのためである。これに加えて、またはこれに代えて、デコーダ１５８０は、送信表示（複数可）を選択するように構成されてもよい。異なる表示間の切り替えは、スループット等、ビットストリームが送られるネットワークの現行の条件において、復号動作を高速化する、または例えばビットレートに関して、送信ビットストリームを適用する等、いくつかの理由で実施されてもよい。復号動作の高速化は、例えばデコーダ１５８０を有する装置が、マルチタスクを実行しており、計算資源をスケーラブルビデオビットストリームの復号以外の目的に使用している場合に必要となる。別の例では、コンテンツが通常の再生速度よりも早い、例えば従来のリアルタイム再生よりも２倍、３倍速いペースで再生される場合に復号動作の高速化が必要となる。デコーダ動作の速度は、例えば、通常再生速度と早送り再生との間の変更のリクエスト等に応じて復号または再生中に変更できる。そして、マルチレイヤアップスイッチングおよびダウンスイッチング動作は、各種順序で実行できる。
空間的スケーラブル画像および／またはビデオの符号化は、再構成参照レイヤピクチャをリサンプリングして、予測レイヤピクチャの符号化／復号での参照ピクチャとすることで実現できる。あるいは、空間的スケーラブルビデオの符号化は、イントラ符号化ブロック等の、参照レイヤピクチャの一部をリサンプリングして、予測レイヤピクチャの一部の符号化／復号での予測ブロックとすることで実現できる。リサンプリングは、複数の参照レイヤサンプルがフィルタリングされて、インターレイヤ予測で参照として使用されるサンプルを得るフィルタリング動作を含んでもよい（例えば、ＳＨＶＣにおけるインターレイヤ参照ピクチャのサンプル）。当該リサンプリングは、ピクチャ境界外のサンプル位置へのアクセスを伴ってもよい。同様に、予測レイヤピクチャがフレームパッキングされる、すなわち、複数の構成フレームを含む場合、当該リサンプリングは、構成フレームの境界外のサンプル位置へのアクセスを伴ってもよい。さらに、参照レイヤ位置補正値等を使用して、予測レイヤピクチャの、参照レイヤピクチャに対する空間的対応を示してもよし、インターレイヤリサンプリング処理で参照レイヤピクチャのピクチャ境界外のサンプル、および／または参照レイヤピクチャにおける構成フレームの境界外のサンプルを参照するようにしてもよい。さらに／あるいは上述の実施形態がインターレイヤ予測に適用できることが理解されよう。例えばインターレイヤ予測で使用されるフィルタリング処理に、境界拡張を利用してもよい。別の例では、インターレイヤ予測のフィルタリング処理で使用されるサンプル位置は、構成フレームの境界内となるように、ラップオーバー（例えば、３６０度構成フレームの水平方向の場合）、または飽和されてもよい（その他の場合）。
さらに／あるいは上述の実施形態がインタービュー予測に適用できることが理解されよう。一例として、参照レイヤまたはビューの第１のピクチャは、複数の構成フレームを含む。この構成フレームは、例えばコンテンツの２つのビューを表す。予測レイヤまたはビューの第２のピクチャは、少なくとも１つの構成フレームを含む。この構成フレームは、例えばコンテンツの別ビューを表す（第１のピクチャで表されるビューと異なる）。インタービュー予測は、第１のピクチャの１つ以上の構成フレームから、第２のピクチャへと実行される。インタービュー予測で使用される視差ベクトル（動きベクトルと同様であるか同じ）は、構成フレームから部分的に外れた予測ブロックを参照してもよいし、複数の構成フレームからの入力サンプルを必要とする部分サンプル位置を参照するものであってもよい。実施形態は、境界拡張部を構成、または構成フレーム内のサンプル位置の飽和、ラップオーバーに利用できる。単一の構成フレームのみのサンプルから、インタービュー予測ブロックが生成されるように限定するためである。
上述のいくつかの実施形態では、構成フレームという用語を単数形で用いて説明してきたが、実施形態は複数の構成フレームに対しても適用可能であり、構成フレームの数は一般的に、実施形態によって制限されるものでないことが理解されるべきである。
構成フレームという用語を使用して、上述のいくつかの実施形態を説明した。構成フレームは、入力フレームまたは入力フィールドを示してもよいことが理解されるべきである。ここでフィールドは、フレームの１つおきのサンプル行の組であり、ソース信号がインターレースされている場合、エンコーダ入力として用いられてもよい。
構成フレームという用語を使用して、上述のいくつかの実施形態を説明した。実施形態は、符号化または復号中のピクチャの、あらゆる空間的に連続した部分に適用可能であることが理解されよう。当該部分が明確に構成フレームと称されている必要はない。また、実施形態は、構成フレームよりも小さい単位でも、当該単位が符号化または復号中のピクチャ内で空間的に連続した領域を占めるのであれば、適用できることが理解されよう。例示的実施形態において、符号化の前処理として、または符号化の一環として、構成フレームは２つ以上の空間的に不連続な構成フレーム区画にパーティショニングされる。１つ以上の構成フレーム区画は、別の実施形態で説明したように、境界拡張部を有する。単一のピクチャに、複数の構成フレームからの構成フレーム境界が含まれてもよい。境界拡張を伴うか否かを問わず、存在する各構成フレーム境界は動き制約タイルセットとして符号化されてもよい。例えば出力切り取り処理の一環として、または復号の後処理として、デコーダは、境界拡張部を除去して、構成フレーム区画を空間的に連続して配置してもよい。これにより、構成フレームがすべて連続する。例えば、３６０度パノラマ構成フレームは、例えば垂直４５、９０、４５度の格子と、水平に９０度間隔の格子を使用して、パーティショニングされ、例示的実施形態で説明したように処理されてもよい。別の例では、キューブマップ投影球状ピクチャの各立方体側面が構成フレーム区画とみなされ、例示的実施形態で説明したように処理されてもよい。
ある実施形態では、図１０ａから１０ｃに示すように、ビデオ符号化の入力ピクチャは、ピラミッドマッピングから得られる。球状ビデオシーケンス、正距円筒パノラマのような球状ビデオ投影を示すビデオシーケンス、または外向きカメラ構成のマルチビュービデオ等の各入力ピクチャは、図１０ａに示すピラミッド１０００に投影される。ピラミッドへの投影を省き、ソースコンテンツから例えば図１０ｂに示すような非展開ピラミッド投影１００２への直接的マッピング、または図１０ｃに示すようなフレームパッキングピラミッド投影１００４を実行してもよい。ピラミッドの四角面１００６は、主ビュー方向が正確に、またはおおよそ当該面に向かう場合、当該面を前面と称してもよい。前面に対する水平軸は、主ビュー方向（想定される頭の方向に一致）に応じて選択される。ピラミッド内の仮想ビュー位置は、前面が所望の視界を得られるように選択できる。例えば、９０度水平および垂直視界を前面から選択してもよい。三角形ピラミッド面は、想定される主ビュー方向および主ビュー配行に対する相対位置に応じて、左面１００８、上面１０１０、右面１０１２、下面１０１４と称しうる。三角形ピラミッド面は、図１０ｂに示すように、前面１００６の平面に展開されるものと考えられる。ただし、この中間ステップを省いて、図１０ａのピラミッド１０００から、図１０ｃに示すようなフレームパッキングピラミッド投影１００６への直接マッピングを実現してもよい。この展開の一環として、三角形ピラミッド面をリサンプリングして、図１０ｃと同一にまたは同様に配置されると、全幅および全長が前面の幅と長さに一致するようにしてもよい。三角形面は、四角形を画定するように多様に配置されてもよい。この一例を図１０ｃに示す。当図では、未展開の右面１０１２および左面１００８はそのままで、未展開の上面１０１０および下面１０１４が１８０度回転されている。ある実施形態では、前面１００６を第１の構成フレームとし、三角形面を含んで画定された四角形が別の実施形態で第２の構成フレームとされる。ある実施形態では、前面１００６は、三角形面を含んで画定された四角形に隣接する側に、境界拡張部を有する。例えば、図１０ｃのように三角形面を含んで画定された四角形が前面１００６の右側にある場合、境界拡張は前面１００６の右側に存在してもよい。境界拡張部は、別の実施形態において説明したのと同様に扱われる。図１０ｃは境界拡張部を示すが、境界拡張部が存在しない（および、例えばサンプル位置が構成フレーム内となるように飽和されることで構成フレーム外が参照できるようになる）別の実施形態も、図１０ｃと同様の配置で、境界拡張部を設けないことで実現できる。ある実施形態では、その（存在する場合）境界拡張部を含む前面１００６が、符号化における第１のタイルセットに含まれ、この第１のタイルセットが動き制約タイルセットとして符号化される。ある実施形態では、三角形面１００８から１０１４を含んで画定された四角形が符号化における第２のタイルセットに含まれ、この第２のタイルセットが動き制約タイルセットとして符号化される。動き制約タイルセット（複数可）は、別の実施形態と同様に扱われる。本段落では符号化の実施形態を説明したが、前面１００６を復号の各種その他実施形態での構成フレームとして扱うことで、同様に復号の実施形態も実現できることが理解されよう。
ブロックという用語を使用して、上述のいくつかの実施形態を説明したが、符号化システムについて、実施形態が適用される同一または同様の概念について異なる用語が当てられる場合があることが理解されるべきである。例えば、ＨＥＶＣにおけるブロックという用語は、異なる実施形態において、例えば符号化ツリー単位、符号化ツリーブロック、符号化単位、または符号化ブロックとして理解されてもよい。
上述のいくつかの実施形態では、ＨＥＶＣおよび／またはＨＥＶＣの仕様において用いられる用語に関連して説明してきたが、その他のコーデック、符号化フォーマット、上述の実施形態で用いられた用語と同等または同様のその他の用語にも同様に実施形態が適用されることが理解されるべきである。
上述の例示的実施形態がエンコーダを参照して説明されている点に関し、結果として得られるビットストリームとデコーダも対応する要素を備えうることも理解されるべきである。同様に、例示的実施形態がデコーダを参照して説明されている点に関し、デコーダによって復号されるビットストリームを生成する構造および／またはコンピュータプログラムをエンコーダが備えうることも理解されるべきである。
前述された本発明の実施形態では、装置が関与する処理に対する理解を促すため、別々のエンコーダ装置とデコーダ装置に関するコーデックを説明しているが、こうした装置やその構造、動作が単一のエンコーダ・デコーダ装置／構造／動作として実装されうることも理解されよう。さらに、コーダとデコーダが共通要素の一部または全部を共有してもよい。
前述の例では、電子デバイス内のコーデックにおいて動作する本発明の実施形態について説明しているが、請求項に定義している発明は、任意のビデオコーデックの一部として実装されうることが理解されよう。したがって、例えば、本発明の実施形態は、固定または有線通信経路を介してビデオの符号化を実施しうるビデオコーデックに実装されてもよい。
ユーザ端末が本発明の上述の各実施形態に記載されたようなビデオコーデックを備えてもよい。「ユーザ端末」という用語には、携帯電話、携帯型データ処理装置、または携帯型Ｗｅｂブラウザ等の任意の好適な種類の無線ユーザ端末を含むことが意図されている。
地上波公共移動通信ネットワーク（Public Land Mobile Network：ＰＬＭＮ）が、追加の要素として上述のビデオコーデックを備えてもよい。
本発明の種々の実施形態は、概して、ハードウェア、特定用途向け回路、ソフトウェア、論理回路、またはそれらの任意の組合せで実装されてもよい。例えば、一部の態様がハードウェアで実装され、他の態様がコントローラ、マイクロプロセッサ、またはその他のコンピュータデバイスによって実行されうるファームウェアやソフトウェアで実装されてもよいが、本発明はこれに限定されない。本発明の種々の態様はブロック図、フローチャート、または他の図的表現によって図示および説明されるが、本明細書に記載するこれらのブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途向け回路や論理回路、汎用のハードウェア、コントローラ、その他のコンピュータデバイス、またはそれらの組合せとして実装されてもよいと理解されるべきである。
本発明の実施形態は、プロセッサエンティティ内等に設けられる携帯装置のデータプロセッサによって実行可能な、あるいはハードウェア、またはソフトウェアおよびハードウェアの組合せによって実行可能な、コンピュータソフトウェアによって実装されてもよい。この点について、図中の論理フローのいずれのブロックも、プログラムのステップ、または相互接続された論理回路、ブロック、機能、またはプログラムステップ、論理回路、ブロック、および機能の組合せを表していてもよいことが理解されよう。上記ソフトウェアは、メモリチップ、プロセッサ内に実装されたメモリブロック、ハードディスクやフロッピーディスク等の磁気媒体、例えばＤＶＤやそのデータ変種、ＣＤ等の光学媒体等の物理的媒体に格納されてもよい。
前記メモリはローカルの技術環境に適した任意の種類のものであってもよく、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよび着脱式メモリ等の任意の好適なデータ格納技術を用いて実装されてもよい。前記データプロセッサはローカルの技術環境に適した任意の種類のものであってもよく、この例として１つ以上の汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（Digital Signal Processor：ＤＳＰ）、およびマルチコアプロセッサアーキテクチャによるプロセッサが挙げられるが、これらに限定されるものではない。
本発明の実施形態は、集積回路モジュールのような、様々な要素で実施することもできる。集積回路の設計は、概して高度に自動化されたプロセスである。論理レベルの設計を、半導体基板上にエッチングおよび形成するための半導体回路設計に変換する複雑で強力なソフトウェアツールが利用可能である。
カリフォルニア州マウンテンビューのＳｙｎｏｐｓｙｓ，Ｉｎｃ．や、カリフォルニア州サンノゼのＣａｄｅｎｃｅ Ｄｅｓｉｇｎのような業者が提供するプログラムは、定評のある設計ルールと実績のある設計モジュールのライブラリに基づいて、半導体チップ上に導電経路や要素を自動的に配する。半導体回路の設計が完了すると、その設計は、ＯｐｕｓやＧＤＳＩＩ等の標準的な電子フォーマットで半導体製造設備、いわゆるｆａｂに送られて製造されてもよい。
前述の説明は、非限定的な例によって、本発明の例示的な実施形態を十分かつ詳細に記述している。しかし、こうした前述の説明を、添付する図面および特許請求の範囲と併せて考慮すれば、種々の変更および適応が可能であることは、本願に関連する技術分野の当業者には明らかであろう。さらに、本発明が教示するこうした事項のすべておよび同様の変形は、そのすべてが請求項の範囲内にある。
以下にいくつかの例を挙げる。
第１の例では方法が提供され、前記方法は、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を含む。
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を含む。
ある実施形態による前記方法では、前記埋めることは、前記有効ピクチャエリア外の少なくとも１つのサンプルに対して下記の処理、すなわち、
少なくとも１つのサンプル値を水平イントラ予測によって復号すること、
少なくとも１つのサンプル値を垂直イントラ予測によって復号すること、
少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、前記ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって復号すること、
の内の少なくとも１つを含む。
少なくとも１つのサンプル値を水平イントラ予測によって復号すること、
少なくとも１つのサンプル値を垂直イントラ予測によって復号すること、
少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、前記ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって復号すること、
の内の少なくとも１つを含む。
ある実施形態によると、前記方法は、
構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かの標示を復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置が飽和またはラップオーバーされているか否かを、前記復号された標示に従って判断することと、
をさらに含む。
構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かの標示を復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置が飽和またはラップオーバーされているか否かを、前記復号された標示に従って判断することと、
をさらに含む。
ある実施形態によると、前記方法は、前記構成フレームの前記有効ピクチャエリアの標示を復号することをさらに含む。
ある実施形態によると、前記方法は、前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することをさらに含む。
ある実施形態によると、前記方法は、前記ピクチャの第２の再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することをさらに含む。
ある実施形態によると、前記方法は、
第２の符号化ピクチャを受信することと、
前記第２の符号化ピクチャから、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
を含む。
第２の符号化ピクチャを受信することと、
前記第２の符号化ピクチャから、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
を含む。
第２の例では装置が提供され、前記装置は少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
ある実施形態による前記装置では、前記埋めることは、前記装置に対して、下記の処理、すなわち、
少なくとも１つのサンプル値を水平イントラ予測によって復号すること、
少なくとも１つのサンプル値を垂直イントラ予測によって復号すること、
少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、前記ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって復号すること、
の内の少なくとも１つを実施させるコードを含む。
少なくとも１つのサンプル値を水平イントラ予測によって復号すること、
少なくとも１つのサンプル値を垂直イントラ予測によって復号すること、
少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、前記ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって復号すること、
少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって復号すること、
の内の少なくとも１つを実施させるコードを含む。
ある実施形態によると、前記装置は、当該装置に対して、下記の処理、すなわち、
構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かの標示を復号すること、
前記有効ピクチャエリア内に収まるように前記サンプル位置が飽和またはラップオーバーされているか否かを、前記復号された標示に従って判断すること、
の内の少なくとも１つを実施させるコードをさらに含む。
構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かの標示を復号すること、
前記有効ピクチャエリア内に収まるように前記サンプル位置が飽和またはラップオーバーされているか否かを、前記復号された標示に従って判断すること、
の内の少なくとも１つを実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、前記構成フレームの前記有効ピクチャエリアの標示を復号することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、
中間参照フレームを得るべく前記有効ピクチャエリア外の前記領域を復号することを少なくとも実施させるコードをさらに含み、
さらに前記埋めることは、前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正することを含む。
中間参照フレームを得るべく前記有効ピクチャエリア外の前記領域を復号することを少なくとも実施させるコードをさらに含み、
さらに前記埋めることは、前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正することを含む。
ある実施形態によると、前記装置は、当該装置に対して、前記ピクチャの第２の再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、
第２の符号化ピクチャを受信することと、
前記第２の符号化ピクチャから、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
を少なくとも実施させるコードをさらに含む。
第２の符号化ピクチャを受信することと、
前記第２の符号化ピクチャから、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを復号することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
を少なくとも実施させるコードをさらに含む。
第３の例では装置によって使用されるコードが記憶されたコンピュータ可読記憶媒体が提供され、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記装置に対して、
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
符号化ピクチャを受信することと、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行することと、
を実施させる。
第４の例では装置が提供され、前記装置は、
符号化ピクチャを受信する手段と、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号する手段と、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行する手段と、
を備える。
符号化ピクチャを受信する手段と、
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号する手段と、
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること、
の内のいずれかを実行する手段と、
を備える。
第５の例では方法が提供され、前記方法は、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を含む。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を含む。
ある実施形態によると、前記方法は、
前記少なくとも１つのサンプル値を水平イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を垂直イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、前記再構成ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって得ることと、
をさらに含む。
前記少なくとも１つのサンプル値を水平イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を垂直イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、前記再構成ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって得ることと、
をさらに含む。
ある実施形態によると、前記方法は、構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かを示す標示を符号化することをさらに含む。
ある実施形態によると、前記方法は、前記構成フレームの前記有効ピクチャエリアの標示を符号化することをさらに含む。
ある実施形態によると、前記方法は、前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することをさらに含む。
ある実施形態による前記方法では、
前記符号化は、中間参照フレームを得るべく、前記有効ピクチャエリア外の前記領域を再構成することを含み、
前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正する。
前記符号化は、中間参照フレームを得るべく、前記有効ピクチャエリア外の前記領域を再構成することを含み、
前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正する。
ある実施形態によると、前記方法は、第２の非圧縮構成フレームを前記第１の符号化ピクチャに符号化することを含む。
ある実施形態によると、前記方法は、
第２の符号化ピクチャを符号化することであって、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを符号化することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
をさらに含む。
第２の符号化ピクチャを符号化することであって、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを符号化することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
をさらに含む。
第６の例では装置が提供され、前記装置は、少なくとも１つのプロセッサと少なくとも１つのメモリとを含み、前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
ある実施形態によると、前記装置は、
前記少なくとも１つのサンプル値を水平イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を垂直イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、前記再構成ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって得ることと、
をさらに含む。
前記少なくとも１つのサンプル値を水平イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を垂直イントラ予測によって得ることと、
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、前記再構成ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって得ることと、
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって得ることと、
をさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かを示す標示を符号化することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、前記構成フレームの前記有効ピクチャエリアの標示を符号化することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することを少なくとも実施させるコードをさらに含む。
ある実施形態による前記装置では、前記符号化は、前記装置に対して、
中間参照フレームを得るべく、前記有効ピクチャエリア外の前記領域を再構成することを少なくとも実施させるコードをさらに含み、
前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正する。
中間参照フレームを得るべく、前記有効ピクチャエリア外の前記領域を再構成することを少なくとも実施させるコードをさらに含み、
前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正する。
ある実施形態によると、前記装置は、当該装置に対して、第２の非圧縮構成フレームを前記第１の符号化ピクチャに符号化することを少なくとも実施させるコードをさらに含む。
ある実施形態によると、前記装置は、当該装置に対して、
第２の符号化ピクチャを符号化することであって、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを符号化することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
の内の少なくとも１つを実施させるコードをさらに含む。
第２の符号化ピクチャを符号化することであって、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを符号化することと、
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと、
の内の少なくとも１つを実施させるコードをさらに含む。
第７の例では装置によって使用されるコードが記憶されたコンピュータ可読記憶媒体が提供され、前記コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記装置に対して、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行することと、
を実施させる。
第８の例では装置が提供され、前記装置は、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とする手段と、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行する手段と、
を備える。
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とする手段と、
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること、
の内のいずれかを実行する手段と、
を備える。
Claims (22)
- 符号化ピクチャを受信することと；
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと；
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること；
の内のいずれかを実行することと；
を含む方法。 - 前記埋めることは、前記有効ピクチャエリア外の少なくとも１つのサンプルに対して下記の処理、すなわち、
前記少なくとも１つのサンプル値を水平イントラ予測によって復号すること；
前記少なくとも１つのサンプル値を垂直イントラ予測によって復号すること；
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって復号すること；
前記少なくとも１つのサンプル値を、前記ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって復号すること；
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって復号すること；
の内の少なくとも１つを含む、請求項１に記載の方法。 - 構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かの標示を復号することと；
前記有効ピクチャエリア内に収まるように前記サンプル位置が飽和またはラップオーバーされているか否かを、前記復号された標示に従って判断することと；
を含む、請求項１に記載の方法。 - 前記構成フレームの前記有効ピクチャエリアの標示を復号することをさらに含む、請求項１から３のいずれかに記載の方法。
- 前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することを含む、請求項１、２、または４のいずれかに記載の方法。
- 前記符号化ピクチャを復号することは、中間参照フレームを得るべく前記有効ピクチャエリア外の前記領域を復号することを含み、
さらに前記埋めることは、前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正することを含む、請求項１、２、４、または５のいずれかに記載の方法。 - 前記ピクチャの第２の再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することをさらに含む、請求項１から６のいずれかに記載の方法。
- 第２の符号化ピクチャを受信することと；
前記第２の符号化ピクチャから、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを復号することと；
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと；
をさらに含む、請求項１、３、４、または７のいずれかに記載の方法。 - 少なくとも１つのプロセッサと少なくとも１つのメモリとを含む装置であって、
前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
符号化ピクチャを受信することと；
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号することと；
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること；
の内のいずれかを実行することと；
を実施させる、装置。 - 前記装置は、請求項２から８のいずれかに記載の方法を実施するようにさらに構成されている、請求項９に記載の装置。
- 符号化ピクチャを受信する手段と；
有効ピクチャエリアを有するピクチャの再構成された構成フレームを形成するべく、前記符号化ピクチャを復号する手段と；
下記の処理、すなわち、
・ パディングされた参照ピクチャを生成するべく、前記有効ピクチャエリア外の領域を埋めてこの埋められた領域によって境界拡張部を形成すること、または
・ 復号時に前記有効ピクチャエリア外の複数のサンプル位置を参照するとき、前記サンプル位置は前記有効ピクチャエリア内に収まるように飽和またはラップオーバーされていると判断すること；
の内のいずれかを実行する手段と；
を備える、装置。 - 非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと；
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること；
の内のいずれかを実行することと；
を含む、方法。 - 前記少なくとも１つのサンプル値を水平イントラ予測によって得ること；
前記少なくとも１つのサンプル値を垂直イントラ予測によって得ること；
前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの前記境界拡張部とは反対側の境界領域から、イントラブロックコピー予測によって得ること；
前記少なくとも１つのサンプル値を、前記再構成ピクチャ内の別の構成フレームから、イントラブロックコピー予測によって得ること；
前記少なくとも１つのサンプル値を、復号順で前のピクチャから、インター予測によって得ること；
の内の少なくとも１つを含む、請求項１２に記載の方法。 - 構成フレーム境界外の複数のサンプル位置が飽和またはラップオーバーされているか否かを示す標示を符号化することを含む、請求項１２に記載の方法。
- 前記構成フレームの前記有効ピクチャエリアの標示を符号化することをさらに含む、請求項１２から１４のいずれかに記載の方法。
- 前記構成フレームが３６０度パノラマピクチャであると示されると、前記少なくとも１つのサンプル値を、前記有効ピクチャエリアの反対側から、コピーによって挿入することを含む、請求項１２に記載の方法。
- 前記符号化は、中間参照フレームを得るべく、前記有効ピクチャエリア外の前記領域を再構成することを含み、
前記中間参照フレームの前記境界拡張部の少なくとも１つのサンプル値を修正する、
請求項１２、１３、１５、または１６のいずれかに記載の方法。 - 第２の非圧縮構成フレームを前記第１の符号化ピクチャに符号化することをさらに含む、請求項１２から１７のいずれかに記載の方法。
- 第２の符号化ピクチャを符号化することであって、復号時に前記再構成された構成フレームの前記有効ピクチャエリア外のサンプル位置を参照する動きベクトルを符号化することと；
前記有効ピクチャエリア内に収まるように前記サンプル位置を飽和またはラップオーバーすることと；
をさらに含む、請求項１２、１４、１５、または１８のいずれかに記載の方法。 - 少なくとも１つのプロセッサと少なくとも１つのメモリとを含む装置であって、前記少なくとも１つのメモリにはコードが格納され、前記コードは前記少なくとも１つのプロセッサによって実行されると、前記装置に対して少なくとも、
非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とすることと；
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること；
の内のいずれかを実行することと；
を実施させる、装置。 - 前記装置は、請求項１３から１９のいずれかに記載の方法を実施するようにさらに構成されている、請求項２０に記載の装置。
- 非圧縮構成フレームを第１の符号化ピクチャに符号化し、再構成された第１のピクチャを得て、前記構成フレームの有効ピクチャエリアを前記再構成された第１のピクチャ内とする手段と；
前記符号化の一環として、下記の処理、すなわち、
・ 前記再構成された第１のピクチャにおける前記構成フレームに対する境界拡張部を形成するべく、前記有効ピクチャエリア外の少なくとも１つのサンプル値を挿入すること、または
・ 前記有効ピクチャエリア内に収まるように前記有効ピクチャエリア外の複数のサンプル位置を飽和またはラップオーバーすること；
の内のいずれかを実行する手段と；
を備える、装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20165256A FI20165256L (fi) | 2016-03-24 | 2016-03-24 | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
| FI20165256 | 2016-03-24 | ||
| PCT/FI2017/050180 WO2017162912A1 (en) | 2016-03-24 | 2017-03-17 | An apparatus, a method and a computer program for video coding and decoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019513320A true JP2019513320A (ja) | 2019-05-23 |
| JP6644903B2 JP6644903B2 (ja) | 2020-02-12 |
Family
ID=59901151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018548418A Active JP6644903B2 (ja) | 2016-03-24 | 2017-03-17 | ビデオの符号化・復号装置、方法、およびコンピュータプログラム |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10863182B2 (ja) |
| EP (1) | EP3434019A4 (ja) |
| JP (1) | JP6644903B2 (ja) |
| KR (2) | KR102273418B1 (ja) |
| CN (1) | CN108886620B (ja) |
| AU (1) | AU2017236196C1 (ja) |
| FI (1) | FI20165256L (ja) |
| MX (1) | MX2018011085A (ja) |
| PH (1) | PH12018502011A1 (ja) |
| WO (1) | WO2017162912A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020508618A (ja) * | 2017-02-27 | 2020-03-19 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | マルチビュービデオのためのビデオ符号化技術 |
| JP2020526116A (ja) * | 2017-07-05 | 2020-08-27 | オランジュ | 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230051319A (ko) * | 2016-07-08 | 2023-04-17 | 브이아이디 스케일, 인크. | 지오메트리 투영을 이용한 360도 비디오 코딩 |
| WO2018025660A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| WO2018045108A1 (en) | 2016-09-02 | 2018-03-08 | Vid Scale, Inc. | Method and system for signaling of 360-degree video information |
| EP3518534B1 (en) * | 2016-09-26 | 2023-05-17 | Sony Group Corporation | Encoding device, encoding method, decoding device, decoding method, transmission device, and reception device |
| WO2018066980A1 (ko) | 2016-10-04 | 2018-04-12 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
| EP3975559A1 (en) | 2016-10-04 | 2022-03-30 | B1 Institute of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
| US20190253624A1 (en) * | 2017-07-17 | 2019-08-15 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
| US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
| JP6922215B2 (ja) * | 2016-12-27 | 2021-08-18 | 富士通株式会社 | 動画像符号化装置 |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| KR20200005539A (ko) * | 2017-04-11 | 2020-01-15 | 브이아이디 스케일, 인크. | 면 연속성을 사용하는 360 도 비디오 코딩 |
| US10467775B1 (en) * | 2017-05-03 | 2019-11-05 | Amazon Technologies, Inc. | Identifying pixel locations using a transformation function |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| CN109089119B (zh) * | 2017-06-13 | 2021-08-13 | 浙江大学 | 一种运动矢量预测的方法及设备 |
| CN107396081B (zh) * | 2017-06-19 | 2019-04-12 | 深圳市铂岩科技有限公司 | 针对全景视频的优化编码方法及装置 |
| US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
| US20190005709A1 (en) * | 2017-06-30 | 2019-01-03 | Apple Inc. | Techniques for Correction of Visual Artifacts in Multi-View Images |
| EP3643062A1 (en) * | 2017-07-04 | 2020-04-29 | Huawei Technologies Co., Ltd. | Decoder side intra mode derivation (dimd) tool computational complexity reduction |
| WO2019073113A1 (en) * | 2017-10-09 | 2019-04-18 | Nokia Technologies Oy | APPARATUS, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING |
| CN111771382B (zh) * | 2018-02-26 | 2022-12-06 | 交互数字Vc控股公司 | 帧内预测中基于梯度的边界滤波 |
| TWI690728B (zh) * | 2018-03-02 | 2020-04-11 | 聯發科技股份有限公司 | 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法 |
| WO2019182294A1 (ko) * | 2018-03-19 | 2019-09-26 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| JP7253564B2 (ja) * | 2018-03-29 | 2023-04-06 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． | パディングのためのイントラ予測モードを選択する装置 |
| US10735778B2 (en) | 2018-08-23 | 2020-08-04 | At&T Intellectual Property I, L.P. | Proxy assisted panoramic video streaming at mobile edge |
| TWI822863B (zh) | 2018-09-27 | 2023-11-21 | 美商Ｖｉｄ衡器股份有限公司 | 360度視訊寫碼樣本導出 |
| WO2020094061A1 (en) | 2018-11-06 | 2020-05-14 | Beijing Bytedance Network Technology Co., Ltd. | Multi-models for intra prediction |
| JP7164813B2 (ja) * | 2018-11-21 | 2022-11-02 | 日本電信電話株式会社 | 予測装置、予測方法、及びプログラム。 |
| CN113170122B (zh) | 2018-12-01 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 帧内预测的参数推导 |
| AU2019391197B2 (en) | 2018-12-07 | 2023-05-25 | Beijing Bytedance Network Technology Co., Ltd. | Context-based intra prediction |
| US11252434B2 (en) * | 2018-12-31 | 2022-02-15 | Tencent America LLC | Method for wrap-around padding for omnidirectional media coding |
| CN113273206A (zh) * | 2019-01-05 | 2021-08-17 | Lg 电子株式会社 | 用于处理视频数据的方法和设备 |
| US11240518B2 (en) * | 2019-01-06 | 2022-02-01 | Tencent America LLC | Method and apparatus for video coding |
| MX2021009788A (es) * | 2019-02-22 | 2021-09-08 | Beijing Bytedance Network Tech Co Ltd | Seleccion de muestra colindante para intraprediccion. |
| AU2020226566A1 (en) | 2019-02-24 | 2021-08-19 | Beijing Bytedance Network Technology Co., Ltd. | Parameter derivation for intra prediction |
| US11127166B2 (en) * | 2019-03-01 | 2021-09-21 | Tencent America LLC | Method and apparatus for enhanced patch boundary identification for point cloud compression |
| EP3935841A4 (en) * | 2019-03-08 | 2023-01-04 | Beijing Dajia Internet Information Technology Co., Ltd. | VIDEO ENCODING TO HANDLE DIFFERENT IMAGE SIZES |
| GB2618718B (en) * | 2019-03-20 | 2024-03-13 | V Nova Int Ltd | Low complexity enhancement video coding |
| CN113767631B (zh) | 2019-03-24 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 用于帧内预测的参数推导中的条件 |
| US11252442B2 (en) * | 2019-04-08 | 2022-02-15 | Tencent America LLC | Method and apparatus for video coding |
| CN114097228B (zh) * | 2019-06-04 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 具有几何分割模式编解码的运动候选列表 |
| EP3977728A4 (en) | 2019-06-21 | 2022-08-17 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR ENCODING VIDEO AND STILL IMAGES USING ADAPTIVE RESIDUAL BLOCK SHAPE RESAMPLING |
| EP4022901A4 (en) * | 2019-08-31 | 2022-11-23 | Huawei Technologies Co., Ltd. | METHOD AND APPARATUS FOR ENCODING VIDEO AND STILL IMAGES USING ADAPTIVE RESIDUAL BLOCK SHAPE RESAMPLING |
| US11375238B2 (en) | 2019-09-20 | 2022-06-28 | Tencent America LLC | Method for padding processing with sub-region partitions in video stream |
| CN117544773A (zh) * | 2019-09-24 | 2024-02-09 | 华为技术有限公司 | 不允许不必要的层包括在多层视频码流中 |
| US11589037B2 (en) * | 2019-12-20 | 2023-02-21 | Qualcomm Incorporated | Motion compensation using size of reference picture |
| KR20220115958A (ko) * | 2019-12-26 | 2022-08-19 | 바이트댄스 아이엔씨 | 코딩된 비트스트림들에서의 비디오 계층들의 시그널링에 대한 제약들 |
| WO2021134019A1 (en) | 2019-12-26 | 2021-07-01 | Bytedance Inc. | Constraints on coding of layered video |
| WO2021134055A1 (en) | 2019-12-27 | 2021-07-01 | Bytedance Inc. | Subpicture signaling in parameter sets |
| CN115004669A (zh) | 2020-01-09 | 2022-09-02 | 字节跳动有限公司 | 不同sei消息的解码顺序 |
| US11412253B2 (en) * | 2020-02-24 | 2022-08-09 | Alibaba Group Holding Limited | Methods for combining decoder side motion vector refinement with wrap-around motion compensation |
| CN111598806B (zh) * | 2020-05-15 | 2023-06-13 | Oppo（重庆）智能科技有限公司 | 图像滤波方法和装置、电子设备及存储介质 |
| CN115715466A (zh) * | 2020-05-22 | 2023-02-24 | 抖音视界有限公司 | 子比特流提取处理中的填充符有效载荷 |
| KR102403817B1 (ko) * | 2020-11-24 | 2022-05-31 | 이화여자대학교 산학협력단 | 화면 내 블록 카피를 이용한 다시점 영상에서의 블록 벡터 예측 기법 및 디코더 |
| EP4037320A1 (en) * | 2021-01-29 | 2022-08-03 | Lemon Inc. | Boundary extension for video coding |
| WO2022174784A1 (en) * | 2021-02-20 | 2022-08-25 | Beijing Bytedance Network Technology Co., Ltd. | On boundary padding motion vector clipping in image/video coding |
| WO2022174783A1 (en) * | 2021-02-20 | 2022-08-25 | Beijing Bytedance Network Technology Co., Ltd. | On boundary padding sample filtering in image/video coding |
| US20230102088A1 (en) * | 2021-09-29 | 2023-03-30 | Tencent America LLC | Techniques for constraint flag signaling for range extension |
| WO2023215108A1 (en) * | 2022-05-05 | 2023-11-09 | Dolby Laboratories Licensing Corporation | Stereoscopic high dynamic range video |
| WO2023239147A1 (ko) * | 2022-06-07 | 2023-12-14 | 현대자동차주식회사 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
| US20240080463A1 (en) * | 2022-09-02 | 2024-03-07 | Tencent America LLC | Cross component sample clipping |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007259149A (ja) * | 2006-03-23 | 2007-10-04 | Sanyo Electric Co Ltd | 符号化方法 |
| JP2008509630A (ja) * | 2004-08-13 | 2008-03-27 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置 |
| JP2008510358A (ja) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | パノマラ映像の動き推定及び補償 |
| WO2013069608A1 (ja) * | 2011-11-11 | 2013-05-16 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| US20130128979A1 (en) * | 2010-05-11 | 2013-05-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Video signal compression coding |
| JP2013126232A (ja) * | 2011-12-16 | 2013-06-24 | Fujitsu Ltd | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム |
| JP2015144324A (ja) * | 2013-12-27 | 2015-08-06 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6141034A (en) | 1995-12-15 | 2000-10-31 | Immersive Media Co. | Immersive imaging method and apparatus |
| KR100285599B1 (ko) * | 1998-03-14 | 2001-04-02 | 전주범 | 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법 |
| JP3413721B2 (ja) * | 1998-06-26 | 2003-06-09 | ソニー株式会社 | 画像符号化方法及び装置、並びに画像復号方法及び装置 |
| JP3413720B2 (ja) * | 1998-06-26 | 2003-06-09 | ソニー株式会社 | 画像符号化方法及び装置、並びに画像復号方法及び装置 |
| WO2003021936A2 (en) * | 2001-09-05 | 2003-03-13 | Emblaze Semi Conductor Ltd | Method for reducing blocking artifacts |
| KR100477801B1 (ko) * | 2002-12-26 | 2005-03-22 | 한국전자통신연구원 | 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법 |
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| EP1503597A3 (en) * | 2003-07-28 | 2007-01-03 | Matsushita Electric Industrial Co., Ltd. | Video decoding apparatus |
| US7623682B2 (en) * | 2004-08-13 | 2009-11-24 | Samsung Electronics Co., Ltd. | Method and device for motion estimation and compensation for panorama image |
| RU2008146977A (ru) * | 2006-04-28 | 2010-06-10 | НТТ ДоКоМо, Инк. (JP) | Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений |
| US8208563B2 (en) * | 2008-04-23 | 2012-06-26 | Qualcomm Incorporated | Boundary artifact correction within video units |
| CN102239506B (zh) * | 2008-10-02 | 2014-07-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
| CN101394569B (zh) * | 2008-10-29 | 2010-04-21 | 北京创毅视讯科技有限公司 | 一种avs视频解码器的容错方法、装置及芯片 |
| US20110122950A1 (en) * | 2009-11-26 | 2011-05-26 | Ji Tianying | Video decoder and method for motion compensation for out-of-boundary pixels |
| US9025933B2 (en) * | 2010-02-12 | 2015-05-05 | Sony Corporation | Information processing device, information processing method, playback device, playback method, program and recording medium |
| WO2014078068A1 (en) * | 2012-11-13 | 2014-05-22 | Intel Corporation | Content adaptive transform coding for next generation video |
| GB2513090B (en) * | 2013-01-28 | 2019-12-11 | Microsoft Technology Licensing Llc | Conditional concealment of lost video data |
| KR102127281B1 (ko) * | 2013-04-08 | 2020-06-26 | 지이 비디오 컴프레션, 엘엘씨 | 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념 |
| KR102167350B1 (ko) * | 2013-07-22 | 2020-10-19 | 르네사스 일렉트로닉스 가부시키가이샤 | 동화상 부호화 장치 및 그 동작 방법 |
| US20150237351A1 (en) * | 2014-02-18 | 2015-08-20 | Penne Lee | Techniques for inclusion of region of interest indications in compressed video data |
| US9591325B2 (en) * | 2015-01-27 | 2017-03-07 | Microsoft Technology Licensing, Llc | Special case handling for merged chroma blocks in intra block copy prediction mode |
| US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
| KR20230051319A (ko) | 2016-07-08 | 2023-04-17 | 브이아이디 스케일, 인크. | 지오메트리 투영을 이용한 360도 비디오 코딩 |
-
2016
- 2016-03-24 FI FI20165256A patent/FI20165256L/fi not_active Application Discontinuation
-
2017
- 2017-03-17 AU AU2017236196A patent/AU2017236196C1/en active Active
- 2017-03-17 MX MX2018011085A patent/MX2018011085A/es unknown
- 2017-03-17 KR KR1020187030567A patent/KR102273418B1/ko active IP Right Grant
- 2017-03-17 US US16/084,352 patent/US10863182B2/en active Active
- 2017-03-17 EP EP17769511.1A patent/EP3434019A4/en active Pending
- 2017-03-17 CN CN201780017098.3A patent/CN108886620B/zh active Active
- 2017-03-17 KR KR1020217020305A patent/KR102567284B1/ko active IP Right Grant
- 2017-03-17 WO PCT/FI2017/050180 patent/WO2017162912A1/en active Application Filing
- 2017-03-17 JP JP2018548418A patent/JP6644903B2/ja active Active
-
2018
- 2018-09-19 PH PH12018502011A patent/PH12018502011A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008509630A (ja) * | 2004-08-13 | 2008-03-27 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | パノラマ画像の動き推定及び補償のために仮想画像領域を生成する方法及び装置 |
| JP2008510358A (ja) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | パノマラ映像の動き推定及び補償 |
| JP2007259149A (ja) * | 2006-03-23 | 2007-10-04 | Sanyo Electric Co Ltd | 符号化方法 |
| US20130128979A1 (en) * | 2010-05-11 | 2013-05-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Video signal compression coding |
| WO2013069608A1 (ja) * | 2011-11-11 | 2013-05-16 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP2013126232A (ja) * | 2011-12-16 | 2013-06-24 | Fujitsu Ltd | 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム |
| JP2015144324A (ja) * | 2013-12-27 | 2015-08-06 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020508618A (ja) * | 2017-02-27 | 2020-03-19 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | マルチビュービデオのためのビデオ符号化技術 |
| JP2020526116A (ja) * | 2017-07-05 | 2020-08-27 | オランジュ | 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム |
| JP7242571B2 (ja) | 2017-07-05 | 2023-03-20 | オランジュ | 画像をエンコーディング及びデコーディングする方法、エンコーディング及びデコーディング装置、並びに、対応するコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2018011085A (es) | 2018-11-22 |
| AU2017236196A1 (en) | 2018-08-09 |
| KR102273418B1 (ko) | 2021-07-06 |
| KR102567284B1 (ko) | 2023-08-14 |
| AU2017236196C1 (en) | 2022-07-21 |
| AU2017236196B2 (en) | 2022-04-07 |
| CN108886620B (zh) | 2022-08-26 |
| JP6644903B2 (ja) | 2020-02-12 |
| KR20180124972A (ko) | 2018-11-21 |
| EP3434019A1 (en) | 2019-01-30 |
| US20190082184A1 (en) | 2019-03-14 |
| EP3434019A4 (en) | 2019-08-14 |
| FI20165256A (fi) | 2017-09-25 |
| FI20165256L (fi) | 2017-09-25 |
| WO2017162912A1 (en) | 2017-09-28 |
| CN108886620A (zh) | 2018-11-23 |
| PH12018502011A1 (en) | 2019-07-15 |
| US10863182B2 (en) | 2020-12-08 |
| KR20210086720A (ko) | 2021-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6644903B2 (ja) | ビデオの符号化・復号装置、方法、およびコンピュータプログラム | |
| US10979727B2 (en) | Apparatus, a method and a computer program for video coding and decoding | |
| CN110870302B (zh) | 用于全向视频的装置、方法和计算机程序 | |
| US20230308639A1 (en) | Apparatus, a Method and a Computer Program for Video Coding and Decoding | |
| US20220239949A1 (en) | An apparatus, a method and a computer program for video encoding and decoding | |
| US20190268599A1 (en) | An apparatus, a method and a computer program for video coding and decoding | |
| US20190349598A1 (en) | An Apparatus, a Method and a Computer Program for Video Coding and Decoding | |
| EP2941868B1 (en) | Method and apparatus for video coding and decoding | |
| US20170094288A1 (en) | Apparatus, a method and a computer program for video coding and decoding | |
| US20150264404A1 (en) | Method and apparatus for video coding and decoding | |
| JP2018524897A (ja) | ビデオの符号化・復号装置、方法、およびコンピュータプログラム | |
| WO2017162911A1 (en) | An apparatus, a method and a computer program for video coding and decoding | |
| CN109792487B (zh) | 用于视频编码和解码的装置、方法和计算机程序 | |
| US20170078703A1 (en) | Apparatus, a method and a computer program for video coding and decoding | |
| WO2019211514A1 (en) | Video encoding and decoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6644903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |