JP2022511308A - オーバーラップブロック動き補償のためのブロック拡張を用いた映像符号化又は復号化 - Google Patents
オーバーラップブロック動き補償のためのブロック拡張を用いた映像符号化又は復号化 Download PDFInfo
- Publication number
- JP2022511308A JP2022511308A JP2021513830A JP2021513830A JP2022511308A JP 2022511308 A JP2022511308 A JP 2022511308A JP 2021513830 A JP2021513830 A JP 2021513830A JP 2021513830 A JP2021513830 A JP 2021513830A JP 2022511308 A JP2022511308 A JP 2022511308A
- Authority
- JP
- Japan
- Prior art keywords
- block
- extension
- prediction
- current block
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 114
- 239000000872 buffer Substances 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 70
- 239000013598 vector Substances 0.000 description 25
- 239000000523 sample Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 235000001537 Ribes X gardonianum Nutrition 0.000 description 3
- 235000001535 Ribes X utile Nutrition 0.000 description 3
- 235000016919 Ribes petraeum Nutrition 0.000 description 3
- 244000281247 Ribes rubrum Species 0.000 description 3
- 235000002355 Ribes spicatum Nutrition 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- IESVDEZGAHUQJU-ZLBXKVHBSA-N 1-hexadecanoyl-2-(4Z,7Z,10Z,13Z,16Z,19Z-docosahexaenoyl)-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCCCC(=O)OC[C@H](COP([O-])(=O)OCC[N+](C)(C)C)OC(=O)CC\C=C/C\C=C/C\C=C/C\C=C/C\C=C/C\C=C/CC IESVDEZGAHUQJU-ZLBXKVHBSA-N 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 102100039600 Cytoplasmic tRNA 2-thiolation protein 1 Human genes 0.000 description 1
- 101000746181 Homo sapiens Cytoplasmic tRNA 2-thiolation protein 1 Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/583—Motion compensation with overlapping blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
異なる実装形態、特に、オーバーラップブロック動き補償のためのブロック拡張を用いた映像符号化及び復号化のための実装形態が説明される。本方法は、符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、少なくとも１つの部分が現在のブロックに隣り合っている、取得することと、現在のブロック及び拡張部分を用いて拡張ブロックを形成することと、拡張ブロックのための予測サンプルを決定するための予測を遂行することと、を含む。
Description
技術分野
本開示は映像圧縮の技術分野のものである。それは、圧縮効率を、既存の映像圧縮システムと比べて改善することを目的とする。
本開示は映像圧縮の技術分野のものである。それは、圧縮効率を、既存の映像圧縮システムと比べて改善することを目的とする。
背景
映像データの圧縮ために、映像ソース信号の異なるピクチャの間の時間冗長性を利用するためのインターピクチャ予測を用いて、又はソース信号の単一のピクチャ内の空間冗長性を利用するためのイントラピクチャ予測を用いて、ピクチャのブロック状領域が符号化される。この目的のために、用いられる圧縮規格に応じて、ピクチャ内の種々のブロックサイズが指定され得る。次に、予測残差が、それが量子化される前に残差の内部の相関を除去するための変換を用いてさらに圧縮され、最後に、エントロピー符号化を用いてなおいっそう圧縮され得る。
映像データの圧縮ために、映像ソース信号の異なるピクチャの間の時間冗長性を利用するためのインターピクチャ予測を用いて、又はソース信号の単一のピクチャ内の空間冗長性を利用するためのイントラピクチャ予測を用いて、ピクチャのブロック状領域が符号化される。この目的のために、用いられる圧縮規格に応じて、ピクチャ内の種々のブロックサイズが指定され得る。次に、予測残差が、それが量子化される前に残差の内部の相関を除去するための変換を用いてさらに圧縮され、最後に、エントロピー符号化を用いてなおいっそう圧縮され得る。
勧告ＩＴＵ－Ｔ Ｈ．２６５としても知られる、ＨＥＶＣなどの従来のブロックベースの映像圧縮規格では、ピクチャが、以前の規格におけるマクロブロックと類似した、符号化の基本ユニットである、いわゆる符号化ツリーユニット（ＣＴＵ（Coding Tree Unit））に分割される。ＣＴＵは、通常、３つの符号化ツリーブロック、ルミナンスサンプルのためのブロック、及びクロミナンスサンプルのための２つのブロック、並びに関連付けられた構文要素を含む。符号化ツリーユニットは、予測の種類、すなわち、インターピクチャ予測を遂行するべきか、それともイントラピクチャ予測を遂行するべきかの決定のための最小符号化要素である、符号化ユニット（ＣＵ（Coding Unit））にさらに分けられ得る。最後に、予測効率を改善するために、符号化ユニットは１つ以上の予測ユニット（ＰＵ（Prediction Unit））にさらに分けられ得る。
ちょうど１つの動きベクトルが単方向予測のＰＵに付与され、動きベクトルの１つの対がＨＥＶＣにおける双方向予測ＰＵのために付与される。この動きベクトルは、考慮されているＰＵの動き補償時間予測のために用いられる。したがって、ＨＥＶＣでは、予測ブロック及びその参照ブロックを連結する動きモデルは単純に平行移動に依拠する。
既存のツールの変更によって、及び新たな符号化ツールを追加することによって、基礎をなすＨＥＶＣフレームワークを拡張する、共同探索モデル（ＪＥＭ（Joint Exploration Model））では、いくつかの特別な場合を除いて、ＣＵ、ＰＵ及びＴＵ（変換ユニット（Transform Unit））の概念の分離が取り除かれている。ＪＥＭ符号化ツリー構造内において、ＣＵは正方形又は長方形のどちらかの形状を有することができる。まず、符号化ツリーユニット（ＣＴＵ）が４分木構造によって分割され、次に、４分木葉ノードがマルチタイプツリー構造によってさらに分割され得る。ＪＥＭでは、ＰＵは、共通パラメトリック動きモデル（例えば、アフィンモード）を用いた、又は記憶された時間的動き（例えば、ＡＴＭＶＰ）を用いた、サブブロック動き（例えば、４ｘ４正方形サブブロック）を包含することができる。すなわち、ＰＵは、ＨＥＶＣにおける平行移動モデルを拡張する（サブブロックレベルにおける）動き場を包含することができる。概して、ＰＵは、パラメータのセット（例えば、単一の動きベクトル、又は動きベクトルの対、又はアフィンモデル）を所与として、予測が計算される予測ユニットである。さらなる予測パラメータはより深いレベルにおいて与えられない。
ＪＥＭでは、動き補償ステップに続いて、全てのインターＣＵのために、それらの符号化モード（例えば、サブブロックベースのものであるか否か等）にかかわりなく、ブロッキングアーチファクトとのデブロッキングフィルタに幾分似た、ＣＵ間の動き遷移を軽減することを目的とするオーバーラップブロック動き補償（ＯＢＭＣ（Overlapped Block Motion Compensation））と呼ばれるプロセスが行われる。しかし、ＣＵ符号化モード（例えば、アフィンモード、ＡＴＭＶＰ、平行移動モード）によっては、適用されるＯＢＭＣ方法は同じでない。２つの異質のプロセスが存在し、一方は、より小さい部分に分割されたＣＵのためのものであり（アフィン、ＦＲＵＣ、…）、一方は、他のＣＵ（元のままのもの）のものである。
上述されたように、ＯＢＭＣは、ＣＵの間、及びサブブロックに分割されたものの内部における動き遷移によって生じるブロッキングアーチファクトを低減することを目的とする。現状技術において、ＯＢＭＣプロセスの第１のステップは、ブロック境界上、又はさらに、ブロックの内部のサブブロック上のいずれかにおいてＯＢＭＣを遂行するために、ＣＵの種類を検出することに依拠する。
概要
本開示の一態様によれば、ピクチャのブロックを符号化及び／又は復号化するための方法が開示される。このような方法は、符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、少なくとも１つの部分が現在のブロックに隣り合っている、取得することと、現在のブロック及び拡張部分を用いて拡張ブロックを形成することと、拡張ブロックのための予測サンプルを決定するための予測を遂行することと、を含む。
本開示の一態様によれば、ピクチャのブロックを符号化及び／又は復号化するための方法が開示される。このような方法は、符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、少なくとも１つの部分が現在のブロックに隣り合っている、取得することと、現在のブロック及び拡張部分を用いて拡張ブロックを形成することと、拡張ブロックのための予測サンプルを決定するための予測を遂行することと、を含む。
本開示の一態様によれば、ピクチャのブロックを符号化及び／又は復号化するための装置が開示される。このような装置は１つ以上のプロセッサを備え、前記１つ以上のプロセッサは、符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、少なくとも１つの部分が現在のブロックに隣り合っている、取得することと、現在のブロック及び拡張部分を用いて拡張ブロックを形成することと、拡張ブロックのための予測サンプルを決定するための予測を遂行することと、を行うように構成されている。
本開示の一態様によれば、ピクチャのブロックを符号化及び／又は復号化するための装置が開示される。このような装置は、符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得するための手段であって、少なくとも１つの部分が現在のブロックに隣り合っている、手段と、現在のブロック及び拡張部分を用いて拡張ブロックを形成するための手段と、拡張ブロックのための予測サンプルを決定するための予測を遂行するための手段と、を備える。
本開示はまた、コンピュータによって実行されたときに、コンピュータに上述の方法を実施させる命令を含むコンピュータプログラム製品も提供する。
上述のことは、主題の実施形態のいくつかの態様の基本的理解をもたらすために、主題の単純化された概要を提示している。この概要は主題の広範なあらましではない。実施形態の主要／重要要素を識別すること、又は主題の範囲を記述することは意図されていない。その唯一の目的は、主題のいくつかの概念を、後に提示されるより詳細な説明への前置きとして、単純化された形態で提示することである。
添付の図面を参照して進行する例示的な実施形態の以下の詳細な説明から、本開示の追加の特徴及び利点が明らかにされるであろう。
図面の簡単な説明
図１は、一般的な映像圧縮方式の一例のブロック図を示す。
図２は、一般的な映像復元方式の一例のブロック図を示す。
図３は、ａ）において、圧縮されたＨＥＶＣピクチャを表すいくつかの符号化ツリーユニットを示す。
図３は、ｂ）において、符号化ユニット、予測ユニット、及び変換ユニットへの符号化ツリーユニットの分割を示す。
図４は、既知のＯＢＭＣの原理の概要を示す。
図５は、インター予測されたブロックを構築するための処理パイプラインの一例を示す。
図６は、ＯＢＭＣのためのブロック拡張部を示す。
図７は、本開示の一実施形態に係る方法のための一般的なフローチャートを示す。
図８は、現在のブロックを、本開示の一実施形態に係る、現在のブロックの本提案のＯＢＭＣ処理のフローチャートと共に示す。
図９は、バッファされたＯＢＭＣバンドを用いる、変更された処理パイプラインを示す。
図１０は、ＣＴＵ内のＣＵを処理した際にバッファされた拡張バンドを示す。
図１１は、拡大されたブロックのための双方向予測オプティカルフロープロセスを示す。
図１２は、追加されたバンドのためのイントラ予測プロセスを示す。
図１３は、プロセスがＣＴＵの内部のＣＵのためにのみ活動化される方式を示す。
図１４は、例示的な実施形態の様々な態様が実施され得るシステムの一例のブロック図を示す。
図面は、様々な態様の例を示す目的のためのものであり、実施形態は必ずしも唯一の可能な構成ではないことを理解されたい。様々な図面全体を通して、同様の参照符号は、同じ、又は類似の特徴を指す。
詳細な説明
説明を明瞭にするために、以下の説明は、例えば、ＨＥＶＣ、ＪＥＭ、及び／又はＨ．２６６などの映像圧縮技術を伴う実施形態を参照して態様を説明することになる。しかし、説明される態様は、他の映像処理技術及び規格にも適用可能である。
説明を明瞭にするために、以下の説明は、例えば、ＨＥＶＣ、ＪＥＭ、及び／又はＨ．２６６などの映像圧縮技術を伴う実施形態を参照して態様を説明することになる。しかし、説明される態様は、他の映像処理技術及び規格にも適用可能である。
図１は例示的な映像符号器１００を示す。この符号器１００の変形例が企図されるが、以下においては、明快にする目的のために、符号器１００は、全ての予想される変形例を説明することなく説明される。
符号化される前に、映像シーケンスは、符号化前処理（１０１）、例えば、色変換を入力カラーピクチャに適用すること（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）、又は圧縮に対してより弾力的な信号分布を得るために、入力ピクチャ成分のリマッピングを遂行すること（例えば、色成分のうちの１つのヒストグラム等化を用いる）を経てもよい。メタデータを前処理に関連付け、ビットストリームに添付することができる。
１つ以上のピクチャを有する映像シーケンスを符号化するために、ピクチャは、例えば、各スライスが１つ以上のスライスセグメントを含むことができる１つ以上のスライスに分割される（１０２）。ＨＥＶＣでは、スライスセグメントは、符号化ユニット、予測ユニット、及び変換ユニットに編成される。ＨＥＶＣ仕様は「ブロック」と「ユニット」とを区別し、「ブロック」はサンプルアレイ内の特定の区域（例えば、ルマ、Ｙ）を扱い、「ユニット」は、全ての符号化された色成分（Ｙ、Ｃｂ、Ｃｒ、若しくは単色）の配列されたブロック、構文要素、及びブロックに関連付けられた予測データ（例えば、動きベクトル）を含む。
符号器１００では、ピクチャが、以下において説明されるように、符号器要素によって符号化される。符号化されるべきピクチャは、例えば、ＣＵのユニットで処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを用いて符号化される。ユニットがイントラモードで符号化されるときには、それはイントラ予測（１６０）を遂行する。インターモードでは、動き推定（１７５）及び補償（１７０）が遂行される。符号器は、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらのものを用いるべきかを決定し（１０５）、例えば、予測モードフラグによって、イントラ／インターの決定を指示する。例えば、予測ブロックを元の画像ブロックから減算すること（１１０）によって、予測残差が算出される。
次に、予測残差は変換され（１２５）、量子化される（１３０）。量子化変換係数、並びに動きベクトル及び他の構文要素は、ビットストリームを出力するためにエントロピー符号化される（１４５）。符号器は変換を飛ばし、量子化を、変換されていない残差信号に直接適用することができる。符号器は変換及び量子化の両方を迂回することができ、すなわち、残差は、変換又は量子化プロセスの適用を行わずに直接符号化される。
符号器は、さらなる予測のための参照を提供するために、符号化されたブロックを復号化する。量子化変換係数は逆量子化され（１４０）、予測残差を復号化するために逆変換される（１５０）。復号化された予測残差及び予測ブロックを組み合わせ（１５５）、画像ブロックが再構成される。符号化アーチファクトを低減するべく、例えば、デブロッキング／ＳＡＯ（サンプルアダプティブオフセット（Sample Adaptive Offset））フィルタリングを遂行するためのループ内フィルタ（１６５）が、再構成されたピクチャに適用される。フィルタリングされた画像は参照ピクチャバッファ（１８０）において記憶される。
図２は映像復号器２００のブロック図を示す。復号器２００では、ビットストリームが、以下において説明されるように、復号器要素によって復号化される。映像復号器２００は、概して、図１において説明されたとおりの符号化パスと逆の復号化パスを遂行する。符号器１００も、概して、映像データを符号化する部分として映像復号化を遂行する。
具体的には、復号器の入力は、映像符号器１００によって生成され得る、映像ビットストリームを含む。ビットストリームは、まず、変換係数、動きベクトル、及び他の符号化された情報を取得するために、エントロピー復号化される（２３０）。ピクチャ分割情報は、ピクチャがどのように分割されているのかを指示する。したがって、復号器は、復号化されたピクチャ分割情報に従ってピクチャを分割し得る（２３５）。変換係数は逆量子化され（２４０）、予測残差を復号化するために逆変換される（２５０）。復号化された予測残差及び予測ブロックを組み合わせ（２５５）、画像ブロックが再構成される。予測ブロックはイントラ予測（２６０）又は動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。ループ内フィルタ（２６５）が、再構成された画像に適用される。フィルタリングされた画像は参照ピクチャバッファ（２８０）において記憶される。
復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）、又は符号化前処理（１０１）において遂行されたリマッピングプロセスの逆を遂行する逆リマッピングをさらに経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームに含めて信号で通信されたメタデータを用いることができる。
図１及び図２は、ＨＥＶＣ規格の改善がなされているか、又はＨＥＶＣと同様の技術が採用された、符号器及び復号器をそれぞれ示し得る。
ＨＥＶＣ映像圧縮規格では、ピクチャが、（通例、６４ｘ６４、１２８ｘ１２８、又は２５６ｘ２５６画素における）構成可能なサイズを有する正方形状の符号化ツリーブロック（ＣＴＢ（coding tree block））に分割され、符号化ツリーブロックの連続したセットがスライスにグループ化される。符号化ツリーユニット（ＣＴＵ）は、符号化された色成分のＣＴＢを包含する。図３ａに、ピクチャの部分をＣＴＵ０、１、２に分割するための一例が示されている。図において、左側のＣＴＵ０はそのままで直接用いられ、その一方で、その右側のＣＴＵ１は、ＣＴＵによって覆われたピクチャ領域の信号特徴に基づいて複数のより小さい区分に分割される。矢印はそれぞれの区分の予測動きベクトルを指示する。
ＣＴＢは、符号化ブロック（ＣＢ（Coding Block））への４分木分割のルートであり、符号化ブロックは１つ以上の予測ブロック（ＰＢ（Prediction Block））に分割されてもよく、変換ブロック（ＴＢ（Transform Block））への４分木分割のルートを形成する。４ｘ４よりも大きい変換ブロック（ＴＢ）は、係数グループ（ＣＧ（Coefficient Group））と呼ばれる量子化係数の４ｘ４サブブロックに分割される。符号化ブロック、予測ブロック、及び変換ブロックに対応して、符号化ユニット（ＣＵ）は、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）のツリー構造化セットを含み、ＰＵは全ての色成分のための予測情報を含み、ＴＵは色成分ごとの残差符号化構文構造を含む。ルマ成分のＣＢ、ＰＢ、及びＴＢのサイズは、対応するＣＵ、ＰＵ、及びＴＵに適用される。図３ｂに、符号化ユニット、予測ユニット、及び変換ユニットへの符号化ツリーユニットの分割のための一例が示されている。
以下においては、簡潔にするために、ＣＵ及びＰＵが同一であると仮定される。しかし、１つのＣＵがいくつかのＰＵを有する場合には、以下において説明されるＯＢＭＣプロセスは、ＰＵごとに、別々に、又はラスタ走査順序で、ＰＵを次から次へと、適用され得る。さらに、以下において提示される様々な実施形態は、サブブロックＰＵ（動きがＰＵの内部で均一でない）、及び非サブブロックＰＵ（動きがＰＵの内部で均一である（例えば、ＨＥＶＣ ＰＵ））の両方に適用される。
図４に、ＪＥＭにおいて用いられるＯＢＭＣの原理が、上部ブロック隣接者Ｔ０及びＴ１並びに左側ブロック隣接者Ｌを有する現在のブロックＣのために示されている：
－ まず、現在のブロックの動きベクトルを用いて現在のブロックＣを動き補償する（３１０）、
－ 上方ブロック隣接者Ｔ０及びＴ１の動きベクトルを用いて現在のブロックＣの上部バンドを動き補償する（３２０）、
－ 左側ブロック隣接者Ｌの動きベクトルを用いて現在のブロックＣの左側バンドを動き補償する（３３０）、
－ 次に、最終的な動き補償ブロック予測を計算するために、（ブロックレベル又は画素レベルのいずれかにおける）重み付き合計を遂行する（３４０）。
－ 最後に、現在のブロックのための再構成されたサンプルを取得するために、残差を予測サンプルに加算する（３５０）。
－ まず、現在のブロックの動きベクトルを用いて現在のブロックＣを動き補償する（３１０）、
－ 上方ブロック隣接者Ｔ０及びＴ１の動きベクトルを用いて現在のブロックＣの上部バンドを動き補償する（３２０）、
－ 左側ブロック隣接者Ｌの動きベクトルを用いて現在のブロックＣの左側バンドを動き補償する（３３０）、
－ 次に、最終的な動き補償ブロック予測を計算するために、（ブロックレベル又は画素レベルのいずれかにおける）重み付き合計を遂行する（３４０）。
－ 最後に、現在のブロックのための再構成されたサンプルを取得するために、残差を予測サンプルに加算する（３５０）。
このＯＢＭＣプロセスはブロックの再構成の間に特定のブロックのために遂行される。これは、各バンドの動き補償を遂行するために必要とされるパラメータが各隣接ブロック内に保存されなければならないことを意味する。
図５は、ＪＥＭ復号器において周知のＯＢＭＣの原理を用いてブロックを再構成するための処理パイプラインの一例を示す。段階のうちのいくつかは、処理ブロック２３０に対応し得るエントロピー復号化のための段階５００、又は処理ブロック２８５に対応し得るポストフィルタリングのための段階５９５などの、図２の復号器において示されるものに対応し得る。さらに、段階のうちのいくつかは迂回され得る。
予測ブロックの復号化に関しては、以下のプロセスが必要とされ得るであろう（“Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2)”、JVET-K1002, July 2018、参照）：
－ （ブロック又はサブブロックのどちらかによる）動き補償ＭＣのための段階５１０。
－ 局部照明補償（Local Illumination compensation）ＬＩＣのための段階５２０。この段階では、予測サンプル値が、例えば、線形適応を用いて変更される。
－ 双方向予測オプティカルフロー（bi-prediction optical flow）ＢＩＯのための段階５３０。この段階では、予測サンプル値が、ブロックを再構成するために用いられる２つの参照ブロックの間のオプティカルフロー推定の結果を用いて変更される。別の変形例は、図５には示されていない、復号器側動きベクトル精密化（ＤＭＶＲ（decoder-side motion vector refinement））である。
－ 一般化双方向予測（generalized bi-prediction）ＧＢＩ（双方向予測合成重み付け（bi-prediction combination weighting）、ＢＣＷとしても知られる）のための段階５４０。この段階では、ブロックを再構成するために２つの参照ブロックの重み付き平均が用いられる。
－ オーバーラップブロック動き補償ＯＢＭＣのための段階５５０。この段階では、図４に示されるとおりの隣接ブロックからの異なる動きベクトルを用いて、動き補償ブロックの重み付き平均が算出される。
－ 残差を再構成するための逆量子化及び変換（inverse quantization and transform）ＩＱ／ＩＴのための段階５６０。
－ 周囲のサンプル値を用いてブロックのルマ及びクロマ成分を予測するためのイントラ予測のための段階５７０及び５７５。
－ 予測サンプルの位置及び／又は隣接ブロックの符号化モードに応じた重み付き平均を用いていくつかの予測（通例、インター及びイントラ）を融合させる、多重仮説（複合イントラ－インター予測（ＣＩＩＰ（combination intra-inter prediction））としても知られる）のための段階５８０。また、いくつかのインター予測をブロックの内部で融合させることができる三角多重仮説（triangular multi-hypothesis）を用いることもできる。
－ 線形モデルを用いて現在の成分を予測するために別のすでに再構成された成分を用いるクロスコンポーネント線形モデル（Cross Components Linear Model）ＣＣＬＭのための段階５９０。
－ （ブロック又はサブブロックのどちらかによる）動き補償ＭＣのための段階５１０。
－ 局部照明補償（Local Illumination compensation）ＬＩＣのための段階５２０。この段階では、予測サンプル値が、例えば、線形適応を用いて変更される。
－ 双方向予測オプティカルフロー（bi-prediction optical flow）ＢＩＯのための段階５３０。この段階では、予測サンプル値が、ブロックを再構成するために用いられる２つの参照ブロックの間のオプティカルフロー推定の結果を用いて変更される。別の変形例は、図５には示されていない、復号器側動きベクトル精密化（ＤＭＶＲ（decoder-side motion vector refinement））である。
－ 一般化双方向予測（generalized bi-prediction）ＧＢＩ（双方向予測合成重み付け（bi-prediction combination weighting）、ＢＣＷとしても知られる）のための段階５４０。この段階では、ブロックを再構成するために２つの参照ブロックの重み付き平均が用いられる。
－ オーバーラップブロック動き補償ＯＢＭＣのための段階５５０。この段階では、図４に示されるとおりの隣接ブロックからの異なる動きベクトルを用いて、動き補償ブロックの重み付き平均が算出される。
－ 残差を再構成するための逆量子化及び変換（inverse quantization and transform）ＩＱ／ＩＴのための段階５６０。
－ 周囲のサンプル値を用いてブロックのルマ及びクロマ成分を予測するためのイントラ予測のための段階５７０及び５７５。
－ 予測サンプルの位置及び／又は隣接ブロックの符号化モードに応じた重み付き平均を用いていくつかの予測（通例、インター及びイントラ）を融合させる、多重仮説（複合イントラ－インター予測（ＣＩＩＰ（combination intra-inter prediction））としても知られる）のための段階５８０。また、いくつかのインター予測をブロックの内部で融合させることができる三角多重仮説（triangular multi-hypothesis）を用いることもできる。
－ 線形モデルを用いて現在の成分を予測するために別のすでに再構成された成分を用いるクロスコンポーネント線形モデル（Cross Components Linear Model）ＣＣＬＭのための段階５９０。
以上において説明されたように、ＪＥＭでは、ＯＢＭＣプロセスは、特定のＰＵを再構成する際にオンザフライで適用された。動き補償バンドを計算する際に、いくつかのパラメータが欠けているか、又は計算が過度に不経済であるか、若しくは実行不可能であるため、動き補償バンドは、ＬＩＣ、ＢＩＯ、又は多重仮説のようないくつかの他のプロセスを用いることなく、単純な動き補償を用いて再構成される。
図６、図７、及び図８は本開示の提案の技法の基本原理を示す。図６に示されるように、特定の現在のブロックＣのブロック予測のために、ブロックは、拡張ブロックを形成するために、下縁及び右縁上の追加のサンプルの部分によって拡張される。例えば、現在のブロックＣはＭ ｘ Ｍ個のサンプルのサイズを有し得、（Ｍ＋Ｎ）×（Ｍ＋Ｎ）－１のサイズを有する拡張ブロックを形成するよう、下縁及び右縁上のＮ個のサンプルによって拡張される。典型的な値はＮ＝２のサンプルであるが、他の値も可能である。別の例では、拡張ブロックは（Ｍ＋Ｎ）×（Ｍ＋Ｎ）のサイズを有する。復号器は拡張ブロックに基づいて予測を遂行する。
図７は、このブロック拡張部を用いる方法のための対応する一般的なフローチャートを示す。ステップ７１０において、ピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得する。少なくとも１つの部分は現在のブロックに隣り合っている。ステップ７２０において、現在のブロック及び拡張部分を用いて拡張ブロックを形成する。最後に、拡張ブロックのために、すなわち、現在のブロック及び拡張部分の両方のために、予測サンプルを決定するための予測を遂行する。
図８に、本開示に係るブロック予測の計算がより詳細に示される。ピクチャの左手側は、この場合も先と同様に、右側ブロック拡張部及び下側ブロック拡張部を伴う現在のブロックＣを示す。これらの拡張部は、サイズ２ ｘ Ｎ ｘ Ｍの一時的バッファ（（３６０）において薄灰色で表されている）内に記憶され得る。これらの右側ブロック拡張部及び下側ブロック拡張部は、概略的に指示されたＨバッファ及びＶバッファ内にそれぞれさらに記憶される（３９０）。
拡張ブロック、すなわち、現在のブロックＣ及びブロック拡張部は、右手側に示されるフローチャートのステップ３６０において全予測構成を用いて処理される。現在のブロックのためのＯＢＭＣプロセスは、現在のブロックの追加された右縁及び下縁に影響を及ぼさないことに留意されたい。
予測再構成のＯＢＭＣ段階のために、ステップ３７０において、Ｈバッファ内に記憶されたサンプルを上部バンドの重み付けのために読み出し、ステップ３８０において、Ｖバッファ内に記憶されたサンプルを左側バンド重み付けのために読み出す。左上のＮ ｘ Ｎの隅部は両方のバンド内にあり、その理由は、それが、現在のブロックの隅部サブブロックのために左側及び上側の両方から用いられるためであることに留意されたい。
読み出されたサンプル、及び現在のブロックのための予測を用いて、ステップ３４０において、現在の予測の重み付き平均を算出する。しかし、それ以上のオンザフライの時間予測はＯＢＭＣのために現在のブロックのために遂行されず、その代わりに、現在のブロック予測プロセス、及びバンドバッファへのアクセスのみが用いられる。オンザフライの時間予測が存在しないため、参照ピクチャバッファにアクセスする必要がなく、メモリ帯域幅要求が低減され得る。
ＯＢＭＣ混合プロセスの後に、ステップ３５０において、このブロックのために決定された予測及び残差値を加算することが、再構成されたサンプルを通常どおり構築することを可能にする。
最後に、ステップ３９０において、下側及び右側拡張部バンドを後の利用のためにバッファ内に保存する。有利に、バッファは、それぞれ、サイズＮ ｘ ＳＨ及びＮ ｘ ＳＷ ｘ Ｗｉｄｔｈｐｉｃｔｕｒｅの２つのバッファ（Ｈ、Ｖ）のみに低減され得る。ここで、（ＳＷ、ＳＨ）はＣＴＵの最大サイズであり（通例、ＳＷ＝ＳＨ＝１２８）、Ｗｉｄｔｈｐｉｃｔｕｒｅは、１つのピクチャ内の１行当たりのＣＴＵの数である。一変形例では、ＯＢＭＣがＣＴＵの上部で無効にされる場合には、バッファは、それぞれ、サイズＮ ｘ ＳＨ及びＮ ｘ ＳＷの２つのバッファのみに低減され得る。本ステップでは、ラインが次のＣＵのＯＢＭＣプロセスによる後の利用のためにＨ、Ｖバッファ内に保存される。さらに、ＣＵサイズが拡張前のその元のサイズに復元される。Ｖバッファは、簡潔にするために、並びに列バッファ内のサンプルがラインバッファに、及び逆に配置され得るので、ラインバッファとさらに呼ばれることになる、列バッファであることに留意されたい。
図９は、バッファされたＯＢＭＣバンドを用いる変更された処理パイプラインを示す。処理ステップのうちのいくつかは図５の処理パイプラインと比べて不変のままであり、したがって、これらの処理ステップは、繰り返しを回避するために、ここでは再び説明されない。
インター予測処理の開始時に、現在のブロックのために、拡張ブロックが、上述されたように処理ブロック９１０において構築される。次に、拡張ブロックは、全予測構成（ＬＩＣ、ＢＩＯ等を含む）を用いて処理される。ＬＩＣ、ＢＩＯ、及び／又はＧＢＩなどの異なる予測方法は拡張バンドのために特定の現在のブロックＣの場合と同じ仕方で遂行されるため、異なる予測プロセスのためのモード情報は予測ブロック内に本質的に保持されており、これらの拡張バンドを用いてブロックのためにＯＢＭＣを遂行するためのパラメータを記憶することは今や必要ない。ＬＩＣ及びＢＩＯなどのいくつかの予測方法は、拡張バンドに対してのみ遂行されることが可能でなく、又は容易でなく、したがって、現在のＪＥＭ設計では飛ばされることに留意されたい。ブロックを拡張することによって、ＬＩＣ及びＢＩＯは、これらの拡張バンドを覆う、拡張ブロック内で遂行することができる。したがって、拡張ブロックを用いることは、より多くの予測方法（例えば、ＬＩＣ、ＢＩＯ）をＯＢＭＣ内に組み込むことによって、予測を改善することができる。
次に、現在のブロックのためのＯＢＭＣプロセス（９３０）が、以上において図８において説明されたように遂行される。上述されたように、これは、現在のブロックの追加された右縁及び下縁に影響を及ぼさない。次に、下側及び右側バンドが後の利用のためにバッファ内に保存される（９４０）。
図１０は、ＣＴＵ内のＣＵを処理した際にバッファされた拡張バンドを示す。本例では、ＣＴＵは１６個のＣＵ０～１５に分けられ、図は、ＣＵ１１が処理されたときのバッファ内容を示す。
このＣＴＵを処理する一番最初に、ＣＵ０の予測が計算された後に、ＣＵ０の下側及び右側拡張部はＨ及びＶバッファ内に記憶された。しかし、後続のＣＵの処理の最中には、ＣＵ０の右側拡張部は、隣接する右側のＣＵの右側拡張部によって置き換えられている。最後に、ＣＵ３、５、及び７については、さらなる隣接する右側のＣＵが同じＣＴＵ内に存在せず、したがって、それらの右側拡張部は、右側に隣接するＣＴＵの処理のためにバッファ内に残る。図１０に示されるさらなる記憶された右側拡張部は、すでに処理されたＣＵ９及び１０のもの、並びにＣＵ１３については、現在のＣＴＵの左側に隣接するＣＴＵ内のＣＵからの右側拡張部である。ＣＵ１１の処理が完遂された後に、ＣＵ１０の図示の右側拡張部はＣＵ１１の右側拡張部によってバッファ内で上書きされることになる。同様に、ＣＵ０のバッファされた下側拡張部は、ＣＵ１～５及び８のものと同様に、下方にあるＣＵの下側拡張部によって部分的に上書きされている。ＣＵ１１の処理が完遂された後に、ＣＵ９の図示の下方拡張部はＣＵ１１の下方拡張部によってバッファ内で上書きされることになる。
（例えば、アフィン又はＡＴＭＶＰの場合に生じる）サブブロック動きベクトルの場合には、同じ原理が適用され得る。２つの変形例が可能である：
－ ＣＵの外縁は、キャッシュされたラインバッファを用いる、ここで提示されたＯＢＭＣプロセスに従い、その一方で、サブブロックの内部の内部境界は、（キャッシングを用いない）通常のＯＢＭＣプロセスに従う。
－ 代替的に、ＣＵの外縁は、キャッシュされたラインバッファを用いる、ここで提示されたＯＢＭＣプロセスに従い、その一方で、内部境界は同様のプロセスに従う（各サブブロックが拡張され、拡張部がキャッシュされる）。唯一の相違は、この場合には、拡張が（下側及び右側のみの代わりに）サブブロックの４つの縁上にあることである。
－ ＣＵの外縁は、キャッシュされたラインバッファを用いる、ここで提示されたＯＢＭＣプロセスに従い、その一方で、サブブロックの内部の内部境界は、（キャッシングを用いない）通常のＯＢＭＣプロセスに従う。
－ 代替的に、ＣＵの外縁は、キャッシュされたラインバッファを用いる、ここで提示されたＯＢＭＣプロセスに従い、その一方で、内部境界は同様のプロセスに従う（各サブブロックが拡張され、拡張部がキャッシュされる）。唯一の相違は、この場合には、拡張が（下側及び右側のみの代わりに）サブブロックの４つの縁上にあることである。
ＯＢＭＣの変更に伴って、以下においてさらに詳細に説明されるように、他のモジュールも適応させられる。
動き補償
非サブブロックモード
通常のモード（ブロック全体のために１つの動きベクトルのみ又は動きベクトルの対）では、ブロック拡張部を用いた動き補償は簡単である：拡張部分はブロック全体と同じ動き補償を受ける。
非サブブロックモード
通常のモード（ブロック全体のために１つの動きベクトルのみ又は動きベクトルの対）では、ブロック拡張部を用いた動き補償は簡単である：拡張部分はブロック全体と同じ動き補償を受ける。
サブブロック動きの拡張
サブブロック生成動きベクトルの場合には（通例、アフィン又はＡＴＭＶＰの場合）、ブロックの拡張は動き場の拡張も必要とする。２つの場合が可能である：
－ アフィンの場合については、ＰＵ全体のアフィン動きモデルを用いて拡張部の内部の動きベクトルを計算することが常に可能である。同様に、ＡＴＭＶＰについては、拡張部分の内部の動きベクトルが、平行移動させられた位置において時間的動きバッファ内で利用可能であるときには、これらのベクトルが用いられる。
－ 拡張部分内で利用できない動きベクトルについては、動きベクトルは、ＰＵの内部の隣接サブブロックから単にコピーされる。
サブブロック生成動きベクトルの場合には（通例、アフィン又はＡＴＭＶＰの場合）、ブロックの拡張は動き場の拡張も必要とする。２つの場合が可能である：
－ アフィンの場合については、ＰＵ全体のアフィン動きモデルを用いて拡張部の内部の動きベクトルを計算することが常に可能である。同様に、ＡＴＭＶＰについては、拡張部分の内部の動きベクトルが、平行移動させられた位置において時間的動きバッファ内で利用可能であるときには、これらのベクトルが用いられる。
－ 拡張部分内で利用できない動きベクトルについては、動きベクトルは、ＰＵの内部の隣接サブブロックから単にコピーされる。
別の実施形態では、サブブロックによる動きベクトル導出のプロセスを同じに維持するために、動きベクトルの利用可能性がどうであれ、第２の場合が常に適用される。
局部照明補償
ＬＩＣ段階の際には、それが画素単位のプロセスであるため、現在のブロックの場合と同じプロセスが下側及び右側バンド上で適用される。
ＬＩＣ段階の際には、それが画素単位のプロセスであるため、現在のブロックの場合と同じプロセスが下側及び右側バンド上で適用される。
ＢＩＯ
双方向予測の場合には、ＢＩＯの目標は、２つの参照ピクチャ間の直線変位を仮定し、及びオプティカルフローのエルミート補間に基づいて、サンプルごとの動きを精緻化することである（“Bi-directional optical flow for future video codec,” A. Alshin and E. Alshina, 2016 Data Compression Conference、参照）。
双方向予測の場合には、ＢＩＯの目標は、２つの参照ピクチャ間の直線変位を仮定し、及びオプティカルフローのエルミート補間に基づいて、サンプルごとの動きを精緻化することである（“Bi-directional optical flow for future video codec,” A. Alshin and E. Alshina, 2016 Data Compression Conference、参照）。
ＢＩＯプロセスは、下及び右縁のブロックサイズを単純に拡張することによって適応させられ、ＢＩＯプロセスは拡張ブロックに適用される。
代替的に、ＢＩＯプロセスを高速化するために、特に、ブロックが２の非べき乗による乗算を回避するために、ＢＩＯプロセスは同じに維持されるが、図１１の場合のように示されるように、現在のブロックＣ上でＢＩＯを計算した後に（８１０）、現在の拡張ブロックに追加する（８３０）、得られたＢＩＯバッファをパディングする（８２０）。ＢＩＯバッファは、２つの参照ブロックから導出されたオプティカルフローから計算された、現在の予測に適用するべき補正を包含する。
代替的に、ＢＩＯプロセスは、追加されたバンドに対して適用されない。
ＧＢＩ（ＢＣＷとしても知られる）
ＧＢＩ（双方向予測重み付け）プロセスは、ＯＢＭＣモードにおける下側及び右側ブロックのための再構成された予測を改善するために、追加された下側及び右側バンドに対して適用される。同じ重みが、追加されたバンドに対して適用される。
ＧＢＩ（双方向予測重み付け）プロセスは、ＯＢＭＣモードにおける下側及び右側ブロックのための再構成された予測を改善するために、追加された下側及び右側バンドに対して適用される。同じ重みが、追加されたバンドに対して適用される。
多重仮説（ＣＩＩＰとしても知られる）／三角融合
多重仮説プロセスは再構成プロセスの一番最後に行われる。拡大ブロックのために、プロセスは同じに維持される：
－ 各仮説が拡大ブロック（すなわち、拡張ブロック）に対して遂行される、
－ 最終拡大ブロックを形成するために２つの仮説が融合させられる。
多重仮説プロセスは再構成プロセスの一番最後に行われる。拡大ブロックのために、プロセスは同じに維持される：
－ 各仮説が拡大ブロック（すなわち、拡張ブロック）に対して遂行される、
－ 最終拡大ブロックを形成するために２つの仮説が融合させられる。
仮説を計算する際にいくつかの適応が行われる：
－ イントラ仮説については、追加バンド内のイントラ予測は、単純に、ＰＵの縁上におけるイントラ予測のパディングである。それは、イントラ予測が、あたかもＰＵサイズが不変のままとどまるように計算されることを意味する。
－ 一変形例では、イントラ予測プロセスは、図１２に示されるように、拡大ブロックサイズに適応させられる。２つの場合が生じ得る：図の左部分に示される第１のものでは、イントラ予測角度は、それが、参照サンプルバッファ内ですでに利用可能な参照サンプルへのアクセスを必要とするなどするというものである。この場合には、通例のイントラ予測プロセスが、追加バンド内の画素を再構成するために適用される（再構成プロセスは、ＰＤＰＣ、広角イントラ予測等であることができる。さらなる情報は、ＪＶＥＴ－Ｇ１００１（J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model 7 (JEM 7)”. In JVET document JVET-G1001、参照）、及びＪＶＥＴ－Ｋ１００２（“Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2)”, JVET-K1002.、参照）において入手可能である）。図の右部分に示される第２の場合には、参照サンプルが参照サンプルバッファ内で利用可能でない場合ときには、追加バンド内の画素は、拡張バンド内のブロックＣの縁の画素を複製することによって再構成される。
－ イントラ仮説については、追加バンド内のイントラ予測は、単純に、ＰＵの縁上におけるイントラ予測のパディングである。それは、イントラ予測が、あたかもＰＵサイズが不変のままとどまるように計算されることを意味する。
－ 一変形例では、イントラ予測プロセスは、図１２に示されるように、拡大ブロックサイズに適応させられる。２つの場合が生じ得る：図の左部分に示される第１のものでは、イントラ予測角度は、それが、参照サンプルバッファ内ですでに利用可能な参照サンプルへのアクセスを必要とするなどするというものである。この場合には、通例のイントラ予測プロセスが、追加バンド内の画素を再構成するために適用される（再構成プロセスは、ＰＤＰＣ、広角イントラ予測等であることができる。さらなる情報は、ＪＶＥＴ－Ｇ１００１（J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce, “Algorithm Description of Joint Exploration Test Model 7 (JEM 7)”. In JVET document JVET-G1001、参照）、及びＪＶＥＴ－Ｋ１００２（“Algorithm description for Versatile Video Coding and Test Model 2 (VTM 2)”, JVET-K1002.、参照）において入手可能である）。図の右部分に示される第２の場合には、参照サンプルが参照サンプルバッファ内で利用可能でない場合ときには、追加バンド内の画素は、拡張バンド内のブロックＣの縁の画素を複製することによって再構成される。
精度の改善
追加バンドの画素を構築する際には、ＯＢＭＣプロセスの重み付き平均を改善し、ひいては圧縮効率を改善するために、最高精度が維持される。例えば、ＧＢＩモード又は多重仮説モードでは、予測は以下のように計算される：
Ｐｇｂｉ＝（αＰ０＋（β－α）Ｐ１）／β （式１）
ここで、Ｐ０及びＰ１は第１及び第２の予測又は仮説であり、βは、通常、整数除算を回避するために、２のべき乗である。最高精度を維持するために、βによる最後の正規化が追加バンドのために除去され、ＯＢＭＣプロセスへ転送される。追加バンド内の予測は以下のように変換される：
Ｐｇｂｉ＝（αＰ０＋（β－α）Ｐ１）
追加バンドの画素を構築する際には、ＯＢＭＣプロセスの重み付き平均を改善し、ひいては圧縮効率を改善するために、最高精度が維持される。例えば、ＧＢＩモード又は多重仮説モードでは、予測は以下のように計算される：
Ｐｇｂｉ＝（αＰ０＋（β－α）Ｐ１）／β （式１）
ここで、Ｐ０及びＰ１は第１及び第２の予測又は仮説であり、βは、通常、整数除算を回避するために、２のべき乗である。最高精度を維持するために、βによる最後の正規化が追加バンドのために除去され、ＯＢＭＣプロセスへ転送される。追加バンド内の予測は以下のように変換される：
Ｐｇｂｉ＝（αＰ０＋（β－α）Ｐ１）
次に、ＯＢＭＣ混合プロセスは次式によって与えられる：
Ｐｏｂｍｃ＝（γＰｃｕｒｒｅｎｔ＋（δ－γ）Ｐｎｅｉｇｈｂｏｒ）／δ
ここでＰｃｕｒｒｅｎｔ及びＰｎｅｉｇｈｂｏｒは、現在のブロック予測パラメータを用いた予測ブロック、及び隣接する予測パラメータ（ここでは追加バンド内でアクセスされる）によってもたらされる予測である。隣接者上でのＧＢＩモードを仮定すると、次に、ＯＢＭＣ予測は以下のように変換される：
Ｐｏｂｍｃ＝（γβＰｃｕｒｒｅｎｔ＋（δ－γ）（αＰ０＋（β－α）Ｐ１））／（δβ） （式２）
ここで、β正規化はＯＢＭＣプロセスのδ正規化と同時に適用される。ここで、我々は、Ｐｃｕｒｒｅｎｔは現在のブロックの予測（ブロックが双方向予測される場合には、Ｐ０及びＰ１の平均をすでに包含する）であると仮定することに留意されたい。ここで、Ｐ０及びＰ１は隣接者のモードに関連する。
Ｐｏｂｍｃ＝（γＰｃｕｒｒｅｎｔ＋（δ－γ）Ｐｎｅｉｇｈｂｏｒ）／δ
ここでＰｃｕｒｒｅｎｔ及びＰｎｅｉｇｈｂｏｒは、現在のブロック予測パラメータを用いた予測ブロック、及び隣接する予測パラメータ（ここでは追加バンド内でアクセスされる）によってもたらされる予測である。隣接者上でのＧＢＩモードを仮定すると、次に、ＯＢＭＣ予測は以下のように変換される：
Ｐｏｂｍｃ＝（γβＰｃｕｒｒｅｎｔ＋（δ－γ）（αＰ０＋（β－α）Ｐ１））／（δβ） （式２）
ここで、β正規化はＯＢＭＣプロセスのδ正規化と同時に適用される。ここで、我々は、Ｐｃｕｒｒｅｎｔは現在のブロックの予測（ブロックが双方向予測される場合には、Ｐ０及びＰ１の平均をすでに包含する）であると仮定することに留意されたい。ここで、Ｐ０及びＰ１は隣接者のモードに関連する。
同じ原理が、通常の双方向予測、三角融合モード、多重仮説、又はＬＩＣ正規化に適用され得る。
例えば、通常の双方向予測モードでは、α＝１及びβ＝２であり、それは次式を与える：
Ｐｏｂｍｃ＝（２γＰｃｕｒｒｅｎｔ＋（δ－γ）（Ｐ０＋Ｐ１））／（２δ）
Ｐｏｂｍｃ＝（２γＰｃｕｒｒｅｎｔ＋（δ－γ）（Ｐ０＋Ｐ１））／（２δ）
一変形例では、βによる最後の正規化は部分的に除去され（式１においては、βはβ１によって置換され、ここで、β１＜βであり、式２の分母においては、βは（β－β１）によって置換される）、これにより、高い精度が維持され、その一方で、数値の一時的バッファ記憶は許容値（例えば、３２ビット又は６４ビット又は１２８ビット）未満にとどまる。
依存性の低減
一実施形態では、ＣＴＵ間の依存性を低減するために、上述のプロセスはＣＴＵの内部のＣＵのためにのみ活動化され得る。すなわち、バンドがＣＴＵの外側にあるときには、バンドは追加されない。図１３の左側部分に示される例では、ＣＵ Ａは上述のプロセスを用い、ＣＵ Ｂは下側バンドのためにのみプロセスを用い、ＣＵ Ｃはプロセスを用いない。
一実施形態では、ＣＴＵ間の依存性を低減するために、上述のプロセスはＣＴＵの内部のＣＵのためにのみ活動化され得る。すなわち、バンドがＣＴＵの外側にあるときには、バンドは追加されない。図１３の左側部分に示される例では、ＣＵ Ａは上述のプロセスを用い、ＣＵ Ｂは下側バンドのためにのみプロセスを用い、ＣＵ Ｃはプロセスを用いない。
ＣＴＵの上縁及び／又は左縁上のＣＵについては、上側及び／又は左側拡張バンドが利用可能でないため、ＯＢＭＣは適用されない。図１３に示される例については、ＣＵ Ａはその上縁及び左縁のためにＯＢＭＣを用いず、ＣＵ Ｂはその左縁のためにのみＯＢＭＣを用い、ＣＵ Ｃはその上縁及び左縁の両方のためにＯＢＭＣを用いる。
本実施形態のために、図１３の右側部分は、図１０のように、ＣＵ１１の処理時にバッファされた拡張バンドを示す。ＣＴＵの間のＣＵの縁については、記憶された拡張部は同じである。しかし、ＣＴＵの外側のバンドが追加されないため、ＣＵ３、５、及び７については、右側拡張部がバッファ内に記憶されない。同様に、ＣＵ １３は、現在のＣＴＵの左側に隣接するＣＴＵ内のＣＵからの右側拡張部を有しない。
任意選択的に、拡張バンドが利用可能でないときには、ＣＵの対応する縁は現状技術のＯＢＭＣを用いることができる。
図１４は、様々な態様及び実施形態が実施されるシステムの一例のブロック図を示す。システム１０００は、以下において説明される様々な構成要素を含むデバイスとして具体化され得、本文書において説明される態様のうちの１つ以上を遂行するように構成されている。このようなデバイスの例としては、限定するものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信器、パーソナルビデオ録画システム、接続された家庭電化製品、及びサーバなどの、様々な電子デバイスが挙げられる。システム１０００の要素は、単独で、又は組み合わせて、単一の集積回路（ＩＣ（integrated circuit））、複数のＩＣ、及び／又は個別構成要素において具体化され得る。例えば、少なくとも１つの実施形態では、システム１０００の処理及び符号器／復号器要素は複数のＩＣ及び／又は個別構成要素にわたって分散している。様々な実施形態では、システム１０００は、例えば、通信バスを介して、又は専用入力及び／又は出力ポートを通じて、１つ以上の他のシステム、又は他の電子デバイスに通信可能に結合されている。様々な実施形態では、システム１０００は、本文書において説明される態様のうちの１つ以上を実施するように構成されている。
システム１０００は、少なくとも１つのプロセッサ１０１０であって、例えば、本文書において説明される様々な態様を実施するためのそれにロードされた命令を実行するように構成された、少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、組み込みメモリ、入出力インターフェース、及び当技術分野において知られているとおりの様々な他の回路機構を含むことができる。システム１０００は少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、及び／又は不揮発性メモリデバイス）を含む。システム１０００は、限定するものではないが、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））、リードオンリーメモリ（ＲＯＭ（Read-Only Memory））、プログラマブルリードオンリーメモリ（ＰＲＯＭ（Programmable Read-Only Memory））、ランダムアクセスメモリ（ＲＡＭ（Random Access Memory））、ダイナミックランダムアクセスメモリ（ＤＲＡＭ（Dynamic Random Access Memory））、スタティックランダムアクセスメモリ（ＳＲＡＭ（Static Random Access Memory））、フラッシュ、磁気ディスクドライブ、及び／又は光ディスクドライブを含む、不揮発性メモリ及び／又は揮発性メモリを含むことができる、記憶デバイス１０４０を含む。記憶デバイス１０４０は、非限定例として、内部記憶デバイス、付属の記憶デバイス（着脱式及び非着脱式記憶デバイスを含む）、及び／又はネットワークアクセス可能記憶デバイスを含むことができる。
システム１０００は、例えば、符号化された映像又は復号化された映像を提供するためにデータを処理するように構成された符号器／復号器モジュール１０３０を含み、符号器／復号器モジュール１０３０はそれ自体のプロセッサ及びメモリを含むことができる。符号器／復号器モジュール１０３０は、符号化及び／又は復号化機能を遂行するためにデバイス内に含まれ得るモジュールを表す。周知のとおり、デバイスは符号化及び復号化モジュールのうちの一方又は両方を含むことができる。加えて、符号器／復号器モジュール１０３０はシステム１０００の別個の要素として実施され得るか、又は当業者に周知のように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ１０１０内に組み込まれ得る。
本文書において説明される様々な態様を遂行するためにプロセッサ１０１０又は符号器／復号器１０３０上にロードされるべきプログラムコードは、記憶デバイス１０４０内に記憶され、その後、プロセッサ１０１０による実行のためにメモリ１０２０上にロードされ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及び符号器／復号器モジュール１０３０のうちの１つ以上は、本文書において説明されるプロセスの遂行の最中に様々な項目のうちの１つ以上を記憶することができる。このような記憶される項目は、限定するものではないが、入力映像、復号化された映像、若しくは復号化された映像の部分、ビットストリーム、行列、変数、並びに式、公式、演算、及び動作論理の処理からの中間若しくは最終結果を含むことができる。
実施形態によっては、プロセッサ１０１０及び／又は符号器／復号器モジュール１０３０の内部のメモリは、命令を記憶するため、及び符号化若しくは復号化の最中に必要とされる処理のための作業メモリを提供するために用いられる。しかし、他の実施形態では、処理デバイス（例えば、処理デバイスはプロセッサ１０１０又は符号器／復号器モジュール１０３０のどちらかであることができる）の外部のメモリがこれらの機能のうちの１つ以上のために用いられる。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、動的揮発性メモリ及び／又は不揮発性フラッシュメモリであることができる。いくつかの実施形態では、外部の不揮発性フラッシュメモリが、例えば、テレビのオペレーティングシステムを記憶するために用いられる。少なくとも１つの実施形態では、ＲＡＭなどの高速な外部の動的揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧはムービングピクチャーエクスパーツグループ（Moving Picture Experts Group）を指し、ＭＰＥＧ－２はＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１はＨ．２２２としても知られ、１３８１８－２はＨ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣは、Ｈ．２６５及びＭＰＥＧ－Ｈ Ｐａｒｔ２としても知られる、高効率ビデオコーディング（High Efficiency Video Coding）を指す）、又はＶＶＣ（多用途ビデオコーディング（Versatile Video Coding）、ＪＶＥＴ、ジョイントビデオエクスパーツチーム（Joint Video Experts Team）によって開発されている新たな規格）などのための、映像符号化及び復号化動作のための作業メモリとして用いられる。
システム１０００の要素への入力は、ブロック１１３０において指示されるように、様々な入力デバイスを通じて提供され得る。このような入力デバイスは、限定するものではないが、（ｉ）放送業者によって、例えば、空中で伝送されたＲＦ信号を受信する無線周波数（ＲＦ（radio frequency））部分、（ｉｉ）コンポーネント（ＣＯＭＰ（Component））入力端子（若しくはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ（Universal Serial Bus））入力端子、及び／又は（ｉｖ）高精細マルチメディアインターフェース（HDMI（High Definition Multimedia Interface））入力端子を含む。図１４に示されていない、他の例は複合映像を含む。
様々な実施形態では、ブロック１１３０の入力デバイスは、当技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部分は、（ｉ）所望の周波数を選択し（信号を選択する、又は信号を周波数の帯域に帯域制限するとも言及される）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）（例えば）特定の実施形態においてチャネルと称され得る信号周波数帯域を選択するために、周波数のより狭い帯域に再び帯域制限し、（ｉｖ）ダウンコンバートされた帯域制限信号を復調し、（ｖ）誤り訂正を遂行し、（ｖｉ）データパケットの所望のストリームを選択するべく多重分離するために適した要素に関連付けられ得る。様々な実施形態のＲＦ部分は、これらの機能を遂行するための１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、帯域制限器、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、及びデマルチプレクサを含む。ＲＦ部分は、例えば、受信信号をより低い周波数（例えば、中間周波数若しくはベースバンド付近の周波数）へ、又はベースバンドへダウンコンバートすることを含む、これらの機能のうちの様々なものを遂行するチューナを含むことができる。１つのセットトップボックスの実施形態では、ＲＦ部分及びその関連入力処理要素は、有線（例えば、ケーブル）媒体を通じて伝送されたＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、所望の周波数帯域へ再びフィルタリングすることによって周波数選択を遂行する。様々な実施形態は、上述の（及び他の）要素の順序を並べ替え、これらの要素のうちのいくつかを除去し、及び／又は同様の、若しくは異なる機能を遂行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ－デジタル変換器を挿入するなど、要素を既存の要素の間に挿入することを含むことができる。様々な実施形態では、ＲＦ部分はアンテナを含む。
加えて、ＵＳＢ及び／又はHDMI端子は、ＵＳＢ及び／又はHDMI接続を通じてシステム１０００を他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード・ソロモン誤り訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内、又はプロセッサ１０１０内で実施され得ることを理解されたい。同様に、ＵＳＢ又はHDMIインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内、又はプロセッサ１０１０内で実施され得る。復調され、誤り訂正され、多重分離されたストリームは、例えば、出力デバイス上における提示のために必要に応じてデータストリームを処理するためにメモリ及び記憶要素と組み合わせて動作する、プロセッサ１０１０、及び符号器／復号器１０３０を含む、様々な処理要素に提供される。
システム１０００の様々な要素は一体ハウジング内に提供され得る。一体ハウジング内において、様々な要素は、好適な接続機構、例えば、ＩＣ間（Ｉ２Ｃ）バス、配線、及びプリント回路板を含む、当技術分野において知られているとおりの内部バスを用いて相互接続され、それらの間でデータを伝送することができる。
システム１０００は、通信チャネル１０６０を介した他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、限定するものではないが、通信チャネル１０６０を通じてデータを伝送及び受信するように構成されたトランシーバを含むことができる。通信インターフェース１０５０は、限定するものではないが、モデム又はネットワークカードを含むことができ、通信チャネル１０６０は、例えば、有線及び／又は無線媒体の形で実施され得る。
データは、様々な実施形態では、Wi-Fiネットワーク、例えばＩＥＥＥ８０２．１１（ＩＥＥＥは、Institute of Electrical and Electronics Engineers（米国電気電子技術者協会）を指す）などの無線ネットワークを用いて、システム１０００へストリーミングされるか、又は他の仕方で提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信のために適応させられた通信チャネル１０６０及び通信インターフェース１０５０を通じて受信される。これらの実施形態の通信チャネル１０６０は、通例、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためのインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック１１３０のHDMI接続を通じてデータを配信するセットトップボックスを用いて、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を用いて、ストリーミングされたデータをシステム１０００に提供する。以上において指示されたように、様々な実施形態は非ストリーミング方式でデータを提供する。加えて、様々な実施形態はWi-Fi以外の無線ネットワーク、例えば、セルラーネットワーク又はBluetoothネットワークを用いる。
システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む、様々な出力デバイスへ出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ（organic light-emitting diode））ディスプレイ、曲面ディスプレイ、及び／又は折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、セルフォン（携帯電話）、又は他のデバイスのためのものであることができる。ディスプレイ１１００はまた、（例えば、スマートフォンの場合のように）他の構成要素と統合されるか、又は別個のもの（例えば、ラップトップのための外部モニタ）であることができる。他の周辺デバイス１１２０は、実施形態の様々な例では、独立型デジタルビデオディスク（若しくはデジタル多目的ディスク）（両方の用語に対して、ＤＶＲ）、ディスクプレーヤ、ステレオシステム、及び／又は照明システムのうちの１つ以上を含む。様々な実施形態は、システム１０００の出力に基づく機能を提供する１つ以上の周辺デバイス１１２０を用いる。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を遂行する。
様々な実施形態では、制御信号は、ＡＶ．Ｌｉｎｋ、家電制御（ＣＥＣ（Consumer Electronics Control））、又はユーザの介入を用いる、又は用いないデバイス対デバイス制御を可能にする他の通信プロトコルなどの信号方式を用いて、システム１０００と、ディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通じた専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介した通信チャネル１０６０を用いてシステム１０００に接続され得る。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子デバイス内でシステム１０００の他の構成要素と共に単一のユニットに統合され得る。様々な実施形態では、ディスプレイインターフェース１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどの、ディスプレイドライバを含む。
例えば、入力１１３０のＲＦ部分が別個のセットトップボックスの部分である場合には、ディスプレイ１１００及びスピーカ１１１０は、代替的に、他の構成要素のうちの１つ以上とは別個であることができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、出力信号は、例えば、HDMIポート、ＵＳＢポート、又はＣＯＭＰ出力を含む、専用出力接続を介して提供され得る。
実施形態は、プロセッサ１０１０によって実施されるコンピュータソフトウェアによって、又はハードウェアによって、或いはハードウェア及びソフトウェアの組み合わせによって実施され得る。非限定例として、実施形態は１つ以上の集積回路によって実施され得る。メモリ１０２０は、技術環境に適した任意の種類のものであり得、非限定例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定式メモリ、及び着脱式メモリなどの、任意の好適なデータ記憶技術を用いて実施され得る。プロセッサ１０１０は、技術環境に適した任意の種類のものであることができ、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を非限定例として包含することができる。
本出願は、ツール、特徴、実施形態、モデル、アプローチ等を含む、種々の態様を説明する。これらの態様のうちの多くは特異的に説明され、少なくとも、個々の特徴を示すために、しばしば、限定と思われるかもしれない仕方で説明される。しかし、これは、説明を明快にする目的のためのものであり、それらの態様の適用又は範囲を限定しない。実際に、異なる態様の全ては、さらなる態様をもたらすよう組み合わせられ、交換され得る。さらに、態様は、以前の出願において説明された態様とも組み合わせられ、交換され得る。
本出願において説明され、企図される態様は多くの異なる形態で実施され得る。図１、図２、図９、及び図１４はいくつかの実施形態を提供するが、他の実施形態も企図され、図１、図２、図９、及び図１４における説明は実装形態の広さを限定しない。態様のうちの少なくとも１つは、概して、映像符号化及び復号化に関し、少なくとも１つの他の態様は、概して、生成又は符号化されたビットストリームを伝送することに関する。これら及び他の態様は、方法、装置、上述された方法のうちのいずれかに従って映像データを符号化若しくは復号化するための命令が記憶されたコンピュータ可読記憶媒体、及び／又は上述された方法のうちのいずれかに従って生成されたビットストリームが記憶されたコンピュータ可読記憶媒体として実施され得る。
本出願において、用語「再構成される（reconstructed）」及び「復号化される（decoded）」は互換的に使用され得、用語「画素」及び「サンプル」は互換的に使用され得、用語「画像」、「ピクチャ」、及び「フレーム」は互換的に使用され得る。通常、必ずしもそうとは限らないが、用語「再構成される」は符号器側において使用され、その一方で、「復号化される」は復号器側において使用される。
様々な方法が本明細書において説明されており、方法の各々は、上述の方法を達成するための１つ以上のステップ又はアクションを含む。方法の適切な動作のためにステップ又はアクションの特定の順序が必要とされない限り、特定のステップ及び／又はアクションの順序及び／又は使用は変更されるか、又は組み合わせられてもよい。
本出願において説明される様々な方法及び他の態様は、図１及び図２に示されるとおりの映像符号器１００及び復号器２００のモジュール、例えば、動き補償モジュール（１７０、１７５）を変更するために用いることができる。さらに、本態様はＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであるのか、又は将来開発されるものであるのかにかかわらず、他の規格及び勧告、並びに任意のこのような規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張に適用することができる。別段の指示がないか、又は技術的に除外されない限り、本出願において説明される態様は、個々に、又は組み合わせて用いることができる。
様々な数値、例えば、拡張部分の長さが本出願において用いられる。特定の値は例示目的のためのものであり、説明される態様はこれらの特定の値に限定されない。
様々な実装形態は復号化を含む。「復号化」は、本出願において使用されるとき、表示のために適した最終出力を生成するために、例えば、受信された符号化シーケンスに対して遂行されるプロセスの全て又は部分を包含することができる。様々な実施形態では、このようなプロセスは、復号器によって通例遂行されるプロセス、例えば、エントロピー復号化、逆量子化、逆変換、差動復号化のうちの１つ以上を含む。様々な実施形態では、このようなプロセスは、さらに、又は代替的に、本出願において説明される様々な実装形態の復号器によって遂行されるプロセスを含む。
さらなる例として、一実施形態では「復号化」はエントロピー復号化のみを指し、別の実施形態では「復号化」は差動復号化のみを指し、別の実施形態では「復号化」はエントロピー復号化及び差動復号化の組み合わせを指す。表現「復号化プロセス」が、動作の部分セットを特定的に指すことを意図されているのか、それともより広い復号化プロセスを全体的に指すことを意図されているのかは、具体的記述の文脈に基づいて明らかになり、当業者によって十分理解されると考えられる。
様々な実装形態は符号化を含む。「復号化」に関する上述の説明と類似した形で、「符号化」は、本出願において使用されるとき、符号化ビットストリームを生成するために、例えば、入力映像シーケンスに対して遂行されるプロセスの全て又は部分を包含することができる。様々な実施形態では、このようなプロセスは、符号器によって通例遂行されるプロセス、例えば、分割、差動符号化、変換、量子化、及びエントロピー符号化のうちの１つ以上を含む。様々な実施形態では、このようなプロセスは、さらに、又は代替的に、本出願において説明される様々な実装形態の符号器によって遂行されるプロセスを含む。
さらなる例として、一実施形態では、「符号化」はエントロピー符号化のみを指し、別の実施形態では、「符号化」は差動符号化のみを指し、別の実施形態では、「符号化」は差動符号化及びエントロピー符号化の組み合わせを指す。表現「符号化プロセス」が、動作の部分セットを特定的に指すことを意図されているのか、それともより広い符号化プロセスを全体的に指すことを意図されているのかは、具体的記述の文脈に基づいて明らかになり、当業者によって十分理解されると考えられる。
図がフロー図として提示されるときには、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されるときには、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。
本明細書において説明されている実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、或いは信号の形で実施され得る。たとえ、単一の形の実装形態との関連で説明されているのみである場合でも（例えば、方法として説明されているのみである場合でも）、説明されている特徴の実装形態は他の形（例えば、装置又はプログラム）でも実施され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアの形で実施され得る。方法は、例えば、例として、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能論理デバイスを含む、概して処理デバイスを指す、プロセッサの形で実施され得る。プロセッサはまた、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（portable/personal digital assistant）（「ＰＤＡ」）、及びエンドユーザ間の情報の通信を促進するその他のデバイスなどの、通信デバイスを含む。
「一実施形態（one embodiment）」、又は「一実施形態（an embodiment）」、又は「一実装形態（one implementation）」、又は「一実装形態（an implementation）」、並びに他のそれらの変形への言及は、実施形態に関連して説明される特定の特徴、構造、特徴等が少なくとも１つの実施形態に含まれることを意味する。それゆえ、本出願全体を通して様々な場所において出現する、表現「一実施形態では（in one embodiment）」、又は「一実施形態では（in an embodiment）」、又は「一実装形態では（in one embodiment）」、又は「一実装形態では（in an implementation）」、また、任意の他の変形の出現は、必ずしも全て同じ実施形態に言及しているわけではない。
加えて、本出願は、様々な情報を「決定すること」に言及する場合がある。情報を決定することは、例えば、情報を推定すること、情報を算出すること、情報を予測すること、又は情報をメモリから取り込むことのうちの１つ以上を含むことができる。
さらに、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、情報を（例えば、メモリから）取り込むこと、情報を記憶すること、情報を移すこと、情報をコピーすること、情報を算出すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、幅広い用語であることが意図される。情報を受信することは、例えば、情報にアクセスすること、又は情報を（例えば、メモリから）取り込むことのうちの１つ以上を含むことができる。さらに、「受信すること」は、通例、例えば、情報を記憶すること、情報を処理すること、情報を伝送すること、情報を移すこと、情報をコピーすること、情報を消去すること、情報を算出すること、情報を決定すること、情報を予測すること、又は情報を推定することなどの動作の最中に何らかの形で含まれる。
例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも一方」の場合における、以下の「／」、「及び／又は」、及び「～のうちの少なくとも一方」のうちのいずれかの使用は、第１の列挙された選択肢（Ａ）のみの選択、或いは第２の列挙された選択肢（Ｂ）のみの選択、或いは両方の選択肢（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合には、このような表現法は、第１の列挙された選択肢（Ａ）のみの選択、或いは第２の列挙された選択肢（Ｂ）のみの選択、或いは第３の列挙された選択肢（Ｃ）のみの選択、或いは第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、或いは第１及び第３の列挙された選択肢（Ａ及びＣ）のみの選択、或いは第２及び第３の列挙された選択肢（Ｂ及びＣ）のみの選択、或いは全ての３つの選択肢（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、本技術分野及び関連技術分野における当業者に明らかであるように、列挙されたとおりの数の項目のために拡張され得る。
当業者には明らかであろうように、実装形態は、例えば、記憶又は伝送され得る情報を伝達するためにフォーマットされた種々の信号を生成することができる。情報は、例えば、方法を遂行するための命令、又は上述の実装形態のうちの１つによって生成されたデータを含むことができる。例えば、信号は、上述の実施形態のビットストリームを伝達するためにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）電磁波として、又はベースバンド信号としてフォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームを用いて搬送波を変調することを含むことができる。信号が伝達する情報は、例えば、アナログ又はデジタル情報であることができる。信号は、周知のように、種々の異なる有線又は無線リンクを通じて伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
Claims (16)
- 符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、前記少なくとも１つの部分が前記現在のブロックに隣り合っている、取得することと、
前記現在のブロック及び前記拡張部分を用いて拡張ブロックを形成することと、
前記拡張ブロックのための予測サンプルを決定するための予測を遂行することと、
を含む、方法。 - １つ以上のプロセッサを備える装置であって、前記１つ以上のプロセッサが、
符号化又は復号化されるべきピクチャの現在のブロックのために、隣接ブロックの少なくとも１つの部分に対応する拡張部分を取得することであって、前記少なくとも１つの部分が前記現在のブロックに隣り合っている、取得することと、
前記現在のブロック及び前記拡張部分を用いて拡張ブロックを形成することと、
前記拡張ブロックのための予測サンプルを決定するための予測を遂行することと、
を行うように構成されている、装置。 - 前記拡張部分のために決定された予測サンプルを１つ以上のバッファメモリ内に記憶することをさらに含む、請求項１に記載の方法、又は請求項２に記載の装置。
- 前記拡張ブロックのための前記予測を遂行することが、前記現在のブロックのための動き情報に基づく、動き補償予測を含む、請求項１若しくは３に記載の方法、又は請求項２若しくは３に記載の装置。
- １つ以上のバッファから、前記ピクチャの少なくとも１つの以前に処理されたブロックの拡張部分の記憶された予測サンプルを取得することと、
前記現在のブロックの前記予測サンプル、及び前記少なくとも１つの以前に処理されたブロックの前記拡張部分の前記記憶された予測サンプルに基づいて、前記現在のブロックのためのオーバーラップブロック動き補償を遂行することと、
をさらに含む、請求項４に記載の方法又は装置。 - 前記現在のブロックのための前記オーバーラップブロック動き補償を遂行した後に、前記少なくとも１つの以前に処理されたブロックの前記拡張部分の前記記憶された予測サンプルが、前記１つ以上のバッファ内において前記現在のブロックの前記拡張部分の予測サンプルによって上書きされる、請求項５に記載の方法又は装置。
- 前記拡張部分が下側拡張部及び右側拡張部のうちの一方又は両方に対応し、前記下側拡張部が下方隣接ブロックの上部分に対応し、前記右側拡張部が右側隣接ブロックの左部分に対応する、請求項１及び３～６のいずれか一項に記載の方法、又は請求項２～６のいずれか一項に記載の装置。
- 前記オーバーラップブロック動き補償を遂行することが、前記現在のブロックの動き補償予測サンプル、並びに以前に処理された上側隣接ブロックの下側拡張部及び以前に処理された左側隣接ブロックの右側拡張部のうちの一方又は両方の前記記憶された予測サンプルの重み付き平均を取得することを含む、請求項７に記載の方法又は装置。
- 前記拡張ブロックのための前記オーバーラップブロック動き補償を遂行することが、前記動き補償予測の後に、前記現在のブロックのためのパラメータに基づく、前記拡張ブロックに対して遂行される、１つ以上のさらなる処理ステップを含む、請求項７又は８に記載の方法又は装置。
- 前記１つ以上のさらなる処理ステップが、局部照明補償、双方向予測オプティカルフロー、及び一般化双方向予測のうちの少なくとも１つである、請求項９に記載の方法又は装置。
- 前記現在のブロックの前記拡張部分のために、中間予測サンプルの正規化が前記１つ以上のさらなる処理ステップの最中には適用されず、前記オーバーラップブロック動き補償の最中に適用される、請求項９又は１０に記載の方法又は装置。
- 前記１つ以上のバッファメモリがラインバッファである、請求項１及び３～１１のいずれか一項に記載の方法、又は請求項２～１１のいずれか一項に記載の装置。
- 前記下側拡張部の前記予測サンプルが第１のラインバッファ内に記憶され、前記右側拡張部の前記予測サンプルが記憶された第２のラインバッファである、請求項１２に記載の方法又は装置。
- 前記ピクチャが、符号化ユニットにさらに分けられる符号化ツリーユニットに分割され、前記現在のブロックが符号化ユニット又は予測ユニットに対応する、請求項１及び３～１３のいずれか一項に記載の方法、又は請求項２～１３のいずれか一項に記載の装置。
- 前記拡張部分が、前記現在のブロックが対応する前記符号化ツリーユニット内にある場合にのみ、拡張ブロックが現在のブロックのために形成される、請求項１４に記載の方法又は装置。
- コンピュータによって実行されたときに、前記コンピュータに、請求項１～１５のいずれか一項に記載の方法を実施させる命令を含む、コンピュータプログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18306449.2 | 2018-11-05 | ||
| EP18306449 | 2018-11-05 | ||
| PCT/US2019/059415 WO2020096898A1 (en) | 2018-11-05 | 2019-11-01 | Video encoding or decoding using block extension for overlapped block motion compensation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022511308A true JP2022511308A (ja) | 2022-01-31 |
| JPWO2020096898A5 JPWO2020096898A5 (ja) | 2022-11-11 |
Family
ID=67436899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021513830A Pending JP2022511308A (ja) | 2018-11-05 | 2019-11-01 | オーバーラップブロック動き補償のためのブロック拡張を用いた映像符号化又は復号化 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220038681A1 (ja) |
| EP (1) | EP3878178A1 (ja) |
| JP (1) | JP2022511308A (ja) |
| CN (1) | CN112913244A (ja) |
| MX (1) | MX2021005253A (ja) |
| WO (1) | WO2020096898A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113424525B (zh) * | 2019-02-14 | 2023-11-10 | 北京字节跳动网络技术有限公司 | 解码器侧细化工具的尺寸选择性应用 |
| WO2022191525A1 (ko) * | 2021-03-08 | 2022-09-15 | 현대자동차주식회사 | 나선스캔 순서를 이용하는 비디오 코딩방법 및 장치 |
| EP4349017A1 (en) * | 2021-05-24 | 2024-04-10 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and devices for overlapped block motion compensation for inter prediction |
| US20230090025A1 (en) * | 2021-09-22 | 2023-03-23 | Alibaba Singapore Holding Private Limited | Methods and systems for performing combined inter and intra prediction |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130177081A1 (en) * | 2010-05-14 | 2013-07-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding video using expanded block filtering |
| KR20120009861A (ko) * | 2010-07-22 | 2012-02-02 | 에스케이 텔레콤주식회사 | 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치 |
| US9813730B2 (en) * | 2013-12-06 | 2017-11-07 | Mediatek Inc. | Method and apparatus for fine-grained motion boundary processing |
| US9848199B2 (en) * | 2014-03-17 | 2017-12-19 | Qualcomm Incorporated | Device and method for scalable coding of video information |
| US10382791B2 (en) * | 2015-03-06 | 2019-08-13 | Qualcomm Incorporated | Data structure for video coding unit |
| US10382781B2 (en) * | 2016-09-28 | 2019-08-13 | Qualcomm Incorporated | Interpolation filters for intra prediction in video coding |
| KR20180074000A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더 |
| US10523964B2 (en) * | 2017-03-13 | 2019-12-31 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (BIO) |
| CN110476424B (zh) * | 2017-03-16 | 2022-03-04 | 联发科技股份有限公司 | 一种视频编解码方法及装置 |
| US11570470B2 (en) * | 2017-09-28 | 2023-01-31 | Vid Scale, Inc. | Complexity reduction of overlapped block motion compensation |
-
2019
- 2019-11-01 EP EP19809954.1A patent/EP3878178A1/en active Pending
- 2019-11-01 CN CN201980070418.0A patent/CN112913244A/zh active Pending
- 2019-11-01 US US17/277,127 patent/US20220038681A1/en not_active Abandoned
- 2019-11-01 WO PCT/US2019/059415 patent/WO2020096898A1/en unknown
- 2019-11-01 JP JP2021513830A patent/JP2022511308A/ja active Pending
- 2019-11-01 MX MX2021005253A patent/MX2021005253A/es unknown
Also Published As
| Publication number | Publication date |
|---|---|
| MX2021005253A (es) | 2021-06-18 |
| CN112913244A (zh) | 2021-06-04 |
| WO2020096898A1 (en) | 2020-05-14 |
| EP3878178A1 (en) | 2021-09-15 |
| US20220038681A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2024001165A (ja) | イントラ予測の方法及び装置 | |
| JP7450611B2 (ja) | 一般化された双予測および重み付き予測 | |
| JP7420807B2 (ja) | マージリストにおける動きベクトル予測子候補の順序付け | |
| JP2022511308A (ja) | オーバーラップブロック動き補償のためのブロック拡張を用いた映像符号化又は復号化 | |
| JP2022509962A (ja) | ピクチャエンコードおよびデコードのための方法およびデバイス | |
| KR20210089747A (ko) | 비디오 인코딩 및 디코딩을 위한 가상 파이프라인 | |
| JP2022506628A (ja) | 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化 | |
| JP2022513433A (ja) | 画像をデブロッキングするための方法及び装置 | |
| KR20210058856A (ko) | 저장된 파라미터들을 사용하는 비디오 인코딩 및 디코딩을 위한 로컬 조명 보상 | |
| KR20210058938A (ko) | 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스 | |
| CN113302924A (zh) | 用于视频编码和解码的量化 | |
| JP2024023456A (ja) | コード化／復号化におけるデータ依存関係 | |
| JP2021528893A (ja) | 可変重みを使用する複数参照イントラ予測 | |
| JP2024505900A (ja) | 空間局所照明補償 | |
| JP2024513873A (ja) | 切り替え可能な補間フィルタを用いる幾何学的分割 | |
| JP2023500503A (ja) | 符号化及び復号化方法並びに装置 | |
| KR20220123643A (ko) | 삼각형 병합 모드에서의 서브-블록 병합 후보들 | |
| KR20220027173A (ko) | 비디오 인코딩 및 디코딩에서의 모션 벡터 예측 | |
| US11563975B2 (en) | Motion compensation boundary filtering | |
| JP2024513657A (ja) | ビデオエンコード及びデコードのためのテンプレートマッチング予測 | |
| JP2022541723A (ja) | アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ | |
| JP2022537222A (ja) | 局所照明補正フラグインヘリタンス | |
| JP2024075598A (ja) | 一般化された双予測および重み付き予測 | |
| JP2024510433A (ja) | ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク | |
| KR20220061137A (ko) | 비디오 코딩을 위한 코딩 모드 정보 전파 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240401 |