JP2023040048A - ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 - Google Patents
ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 Download PDFInfo
- Publication number
- JP2023040048A JP2023040048A JP2022204234A JP2022204234A JP2023040048A JP 2023040048 A JP2023040048 A JP 2023040048A JP 2022204234 A JP2022204234 A JP 2022204234A JP 2022204234 A JP2022204234 A JP 2022204234A JP 2023040048 A JP2023040048 A JP 2023040048A
- Authority
- JP
- Japan
- Prior art keywords
- block
- sub
- video
- motion
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 463
- 230000002123 temporal effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 claims abstract description 99
- 238000003860 storage Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 description 67
- 238000012545 processing Methods 0.000 description 50
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 43
- 238000005192 partition Methods 0.000 description 35
- 241000023320 Luma <angiosperm> Species 0.000 description 34
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 34
- 238000004891 communication Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 26
- 239000000872 buffer Substances 0.000 description 24
- 238000011002 quantification Methods 0.000 description 19
- 230000006835 compression Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 16
- 238000000638 solvent extraction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 14
- 238000009795 derivation Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 102100025508 Cytoplasmic tRNA 2-thiolation protein 2 Human genes 0.000 description 4
- 101000856509 Homo sapiens Cytoplasmic tRNA 2-thiolation protein 2 Proteins 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000985610 Forpus Species 0.000 description 2
- 244000050403 Iris x germanica Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ビデオデータ符号化及び復号化においてサブブロックの動きベクトル予測の方法並びにシステムを提供する。【解決手段】ビデオエンコーダは、現在の符号化ユニットのコロケーテッド画像を決定し、コロケーテッド画像に対応する現在の符号化ユニットの空間的隣接ブロックを位置決めし、所定の固定の順序で空間的隣接ブロックに関する１つ又は複数の動きベクトルから、現在の符号化ユニットの動きシフトベクトルを決定し、現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する。【選択図】図２
Description
本発明は、全般的にビデオデータの符号化および復号化に関し、特に、ビデオデータ符号
化および復号化においてサブブロックの動きベクトル予測の方法およびシステムに関する
。
化および復号化においてサブブロックの動きベクトル予測の方法およびシステムに関する
。
デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コ
ンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、
ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置など
の各種電子装置は全てデジタル-ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-
Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅ
ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅ
ｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｖ
ＶＣ）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ
・データを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレー
ム内）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗
長性を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレ
ームが、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複
数のビデオブロックを含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つの符
号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより
小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、
１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つまたは
複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各ＣＵは
、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能である
。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロッ
クは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で符号
化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス
内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関す
る空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照サン
プルに関する時間予測を使用する。
ンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、
ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置など
の各種電子装置は全てデジタル-ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-
Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅ
ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅ
ｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｖ
ＶＣ）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ
・データを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレー
ム内）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗
長性を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレ
ームが、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複
数のビデオブロックを含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つの符
号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより
小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、
１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つまたは
複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各ＣＵは
、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能である
。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロッ
クは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で符号
化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス
内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関す
る空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照サン
プルに関する時間予測を使用する。
以前符号化された参照ブロック、例えば隣接ブロックに基づく空間予測又は時間予測で
は、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを
見つける処理は、ブロックマッチングアルゴリズムによって実現されることが可能である
。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残
差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成し
た参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符
号化される。動きベクトルを確定する処理は、通常、動き推定と呼ばれる。イントラ符号
化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更
なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され
、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で
配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、
その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化さ
れる。
は、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを
見つける処理は、ブロックマッチングアルゴリズムによって実現されることが可能である
。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残
差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成し
た参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符
号化される。動きベクトルを確定する処理は、通常、動き推定と呼ばれる。イントラ符号
化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更
なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され
、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で
配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、
その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化さ
れる。
そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体
（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によ
ってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、こ
の電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットス
トリームから構文要素を取得し、このビットストリームから取得された構文要素の少なく
とも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームから元
のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセ
ス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレ
イに再現する。
（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によ
ってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、こ
の電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットス
トリームから構文要素を取得し、このビットストリームから取得された構文要素の少なく
とも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームから元
のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセ
ス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレ
イに再現する。
デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ、さらに８Ｋ×４Ｋに進んでいるに
つれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化さ
れたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化する
ことは、常に課題である。
つれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化さ
れたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化する
ことは、常に課題である。
本願は、ビデオデータの符号化および復号化、より具体的には、サッブブロックの動き
ベクトル予測の方法およびシステムに関する実現を説明する。
ベクトル予測の方法およびシステムに関する実現を説明する。
本願の第１の方面に従い、現在の画像における現在の符号化ユニットを復号化するため
の方法であって、前記現在の符号化ユニットのコロケーテッド画像を決定することと、前
記現在の符号化ユニットの空間的隣接ブロックを位置決めることと、前記空間的隣接ブロ
ックの第１の参照フレームリスト（Ｌｉｓｔ０）に含まれる動きベクトルのそれぞれを順
次検査することと、Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッ
ド画像を当該動きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ０に
おける当該前記動きベクトルを前記動きシフトベクトルとして設定し、前記空間的隣接ブ
ロックのＬｉｓｔ０における後続の動きベクトル及び第２の参照フレームリスト（Ｌｉｓ
ｔ１）における動きベクトルの検査を放棄することと、Ｌｉｓｔ０内のそれぞれの動きベ
クトルのいずれが前記コロケーテッド画像を参照画像として使用しないという決定に従っ
て：前記空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査
し、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当該動
きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ１内の当該動きベク
トルを前記動きシフトベクトルとして設定し、Ｌｉｓｔ１における後続の動きベクトルの
検査を放棄し、Ｌｉｓｔ１内のそれぞれの動きベクトルがいずれも前記コロケーテッド画
像を当該動きベクトルの参照画像として使用しないという決定に従って、前記動きシフト
ベクトルをゼロ値ベクトルに設定することと、を含み、前記現在の画像における前記現在
の符号化ユニットと前記コロケーテッド画像における対応するコロケーテッドブロックと
の間の空間的位置のシフトを示す前記現在の符号化ユニットの動きシフトベクトルを決定
することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれの
サブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像に
おける対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成す
ることと、を含む復号化方法を提供する。
の方法であって、前記現在の符号化ユニットのコロケーテッド画像を決定することと、前
記現在の符号化ユニットの空間的隣接ブロックを位置決めることと、前記空間的隣接ブロ
ックの第１の参照フレームリスト（Ｌｉｓｔ０）に含まれる動きベクトルのそれぞれを順
次検査することと、Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッ
ド画像を当該動きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ０に
おける当該前記動きベクトルを前記動きシフトベクトルとして設定し、前記空間的隣接ブ
ロックのＬｉｓｔ０における後続の動きベクトル及び第２の参照フレームリスト（Ｌｉｓ
ｔ１）における動きベクトルの検査を放棄することと、Ｌｉｓｔ０内のそれぞれの動きベ
クトルのいずれが前記コロケーテッド画像を参照画像として使用しないという決定に従っ
て：前記空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査
し、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当該動
きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ１内の当該動きベク
トルを前記動きシフトベクトルとして設定し、Ｌｉｓｔ１における後続の動きベクトルの
検査を放棄し、Ｌｉｓｔ１内のそれぞれの動きベクトルがいずれも前記コロケーテッド画
像を当該動きベクトルの参照画像として使用しないという決定に従って、前記動きシフト
ベクトルをゼロ値ベクトルに設定することと、を含み、前記現在の画像における前記現在
の符号化ユニットと前記コロケーテッド画像における対応するコロケーテッドブロックと
の間の空間的位置のシフトを示す前記現在の符号化ユニットの動きシフトベクトルを決定
することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれの
サブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像に
おける対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成す
ることと、を含む復号化方法を提供する。
本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと
、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラム
は、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装
置に上記の操作を実行させる。
、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラム
は、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装
置に上記の操作を実行させる。
本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは
複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラム
を格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると
、前記コンピューティング装置に上記の操作を実行させる。
複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラム
を格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると
、前記コンピューティング装置に上記の操作を実行させる。
本発明の実現のさらなる理解を提供する、本明細書の一部として本明細書に引き入れる
添付図面は、上述した実現を示し、その説明と共に基礎原理を説明するためものである。
なお、同一符号は同一または相当な部分を示す。
図１は、本開示のある実施形態に係る例示的なビデオ符号化および復号化システムを示すブロック図である。
図２は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。
図３は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。
図４Ａ～４Ｅは、本開示のある実施形態に係る、フレームがどのように再帰的に異なるサイズ及び形状の複数のビデオブロックに区画されるかを示すブロック図である。
図５は、本開示のある実施形態に係る、符号化対象である現在ＣＵの空間的に隣り合っている位置かつ時間的に並べているブロック位置を示すブロック図である。
図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子または現在ブロックにおけるサッブブロックのサッブブロック時間的動きベクトル予測子を導出するためのステップを示すブロック図である。
図７は、本開示のある実施形態に係る、時間的動きベクトル予測子およびサッブブロック時間的動きベクトル予測子を導出することに使用される有効な領域を決定するためのブロック図を示している。
図８は、本開示のある実施形態に係る、ビデオエンコーダがサッブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセスを示すフローチャートである。
添付図面は、上述した実現を示し、その説明と共に基礎原理を説明するためものである。
なお、同一符号は同一または相当な部分を示す。
以下、図面を参照して本発明の実施の形態を詳細に説明する。以下の詳細な説明において
、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べ
る。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の変
形により実施することができることは当業者には明らかである。例えば、本明細書に述べ
る趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得る。
、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べ
る。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の変
形により実施することができることは当業者には明らかである。例えば、本明細書に述べ
る趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得る。
図１は、本開示のある実施形態に係る、ビデオブロックを並列に符号化および復号化する
ための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０
は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置
１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップトップ
・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、
デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機
、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい。あ
る実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。
ための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０
は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置
１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップトップ
・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、
デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機
、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい。あ
る実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。
ある実施形態では、目標装置１４が、リンク１６を介して復号化対象の符号化されたビデ
オデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２から
目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である。
一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装置
１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化され
たビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４
に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）ス
ペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含む
ことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワー
ク、またはインターネット等のグローバルネットワークなどのようなパケットベースに基
づくネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地
局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい
。
オデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２から
目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である。
一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装置
１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化され
たビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４
に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）ス
ペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含む
ことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワー
ク、またはインターネット等のグローバルネットワークなどのようなパケットベースに基
づくネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地
局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい
。
他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２からス
トレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデオ
データは、入力インターフェース２８を介して目標装置１４によってアクセスされる。ス
トレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯ
Ｍ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格
納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルにア
クセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレー
ジ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデー
タを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、
ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデー
タにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し
、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプの
コンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブ
サイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはロ
ーカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符
号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線
接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の
標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる。
ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダ
ウンロード送信、またはそれらの組み合わせであってもよい。
トレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデオ
データは、入力インターフェース２８を介して目標装置１４によってアクセスされる。ス
トレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯ
Ｍ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格
納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルにア
クセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレー
ジ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデー
タを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、
ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデー
タにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し
、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプの
コンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブ
サイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはロ
ーカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符
号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線
接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の
標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる。
ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダ
ウンロード送信、またはそれらの組み合わせであってもよい。
図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、およ
び出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（
例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテ
ンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/また
はソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータ
グラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能
である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラ
である場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電
話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適用
可能であり、そして無線および／または有線アプリケーションに適用可能である。
び出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（
例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテ
ンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/また
はソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータ
グラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能
である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラ
である場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電
話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適用
可能であり、そして無線および／または有線アプリケーションに適用可能である。
ビデオエンコーダ２０は、捕れるビデオ、予め捕らえられたビデオ、またはコンピュータ
によって生成されたビデオを符号化することができる。符号化されたビデオデータは、ソ
ース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが
可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後目
標装置１４または他の装置によってアクセスされて復号化および／または再生されるよう
に、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよ
び／または送信機をさらに含んでもよい。
によって生成されたビデオを符号化することができる。符号化されたビデオデータは、ソ
ース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが
可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後目
標装置１４または他の装置によってアクセスされて復号化および／または再生されるよう
に、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよ
び／または送信機をさらに含んでもよい。
目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３４
を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を
介して符号化されたビデオデータを受信する。リンク１６を介して通信された、またはス
トレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって
生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文要
素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、記
憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのよう
な構文要素を含んでもよい。
を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を
介して符号化されたビデオデータを受信する。リンク１６を介して通信された、またはス
トレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって
生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文要
素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、記
憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのよう
な構文要素を含んでもよい。
ある実施形態では、目標装置１４が、集積された表示装置や、目標装置１４と通信できる
ように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復
号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ）
、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタ
イプの表示装置などの各種の表示装置のいずれかを含んでもよい。
ように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復
号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ）
、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタ
イプの表示装置などの各種の表示装置のいずれかを含んでもよい。
ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４、
Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉ
ｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお
、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化
標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコー
ダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化する
ように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または
将来の標準のいずれかに従ってビデオデータを復号化するように構成される。
Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉ
ｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお
、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化
標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコー
ダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化する
ように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または
将来の標準のいずれかに従ってビデオデータを復号化するように構成される。
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロ
プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、
フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア
、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種々
の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェア
によって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコン
ピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェアに
おける命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい
。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エ
ンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダ
またはデコーダに含まれてもよい。
プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、
フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア
、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種々
の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェア
によって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコン
ピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェアに
おける命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい
。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エ
ンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダ
またはデコーダに含まれてもよい。
図２は、本願で説明されるある実施形態に係るビデオエンコーダ２０を例示するブロック
図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイント
ラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は
空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性を
低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの隣
接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する
。
図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイント
ラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は
空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性を
低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの隣
接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する
。
図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４１
、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エ
ントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部
４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８を
さらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再
構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている
。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界をフ
ィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図示
せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするため
に、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。ビ
デオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で
形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニッ
トの１つ又は複数内で区画されてもよい。
、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エ
ントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部
４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８を
さらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再
構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている
。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界をフ
ィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図示
せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするため
に、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。ビ
デオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で
形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニッ
トの１つ又は複数内で区画されてもよい。
ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化対象のビ
デオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオ
ソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを
（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される
参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４
は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、ビ
デオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップで
あってもよく、またはそれらの部品に対するオフチップであってもよい。
デオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオ
ソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを
（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される
参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４
は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、ビ
デオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップで
あってもよく、またはそれらの部品に対するオフチップであってもよい。
図２に示すように、ビデオデータを受信した後、予測処理部４１における区画部４５は、
このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関す
るｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレームを
スライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含んで
もよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブ
ロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロック
に対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイント
ラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つを
選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測
処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供し
て残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブロ
ックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードイン
ジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提
供する。
このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関す
るｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレームを
スライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含んで
もよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブ
ロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロック
に対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイント
ラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つを
選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測
処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供し
て残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブロ
ックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードイン
ジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提
供する。
予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適するイン
トラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレー
ム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予測
符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推定
部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブ
ロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間予
測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオ
データにおける各ブロックに適切な符号化モードを選択してもよい。
トラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレー
ム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予測
符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推定
部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブ
ロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間予
測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオ
データにおける各ブロックに適切な符号化モードを選択してもよい。
ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められたパ
ターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測ブ
ロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ
）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き推
定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトル
を生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像内
の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユニ
ット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニット
）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められたパ
ターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとし
て指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動き
ベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロッ
クベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクトル
を決定してもよい。
ターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測ブ
ロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ
）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き推
定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトル
を生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像内
の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユニ
ット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニット
）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められたパ
ターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとし
て指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動き
ベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロッ
クベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクトル
を決定してもよい。
予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メト
リックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密にマ
ッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコ
ーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出す
ることが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置
、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動き
推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行して
、分数画素精度を有する動きベクトルを出力ことが可能である。
リックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密にマ
ッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコ
ーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出す
ることが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置
、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動き
推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行して
、分数画素精度を有する動きベクトルを出力ことが可能である。
動き推定部４２は、インター予測符号化フレーム内のビデオブロックのＰＵの位置と、そ
れぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照
フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択
された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベク
トルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し
、そして、エントロピー符号化部５６に送信する。
れぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照
フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択
された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベク
トルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し
、そして、エントロピー符号化部５６に送信する。
動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された動
きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４
４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレームリ
ストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６
４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加
算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によっ
て提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを
形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あ
るいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロック
に関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデコ
ーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文要
素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、
予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含ん
でよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示
されているが、高度に集積されてもよい。
きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４
４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレームリ
ストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６
４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加
算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によっ
て提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを
形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あ
るいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロック
に関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデコ
ーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文要
素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、
予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含ん
でよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示
されているが、高度に集積されてもよい。
ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関し
て上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができる
が、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベク
トルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４８
は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することがで
きる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種の
イントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれらの
パフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試験
されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応する
イントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み解
析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモー
ドからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして選
択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符号
化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み（
又は、エラー）の量、および、この符号化されるブロックを生成するために使用されるビ
ットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号化
されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードが
このブロックに対して最適なレート歪み値を示しているかを決定してもよい。
て上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができる
が、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベク
トルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４８
は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することがで
きる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種の
イントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれらの
パフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試験
されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応する
イントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み解
析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモー
ドからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして選
択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符号
化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み（
又は、エラー）の量、および、この符号化されるブロックを生成するために使用されるビ
ットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号化
されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードが
このブロックに対して最適なレート歪み値を示しているかを決定してもよい。
別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４の全体または
一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行し
てもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが、
絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定
できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるもの
であり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。
一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行し
てもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが、
絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定
できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるもの
であり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。
ビデオエンコーダ２０は、予測ブロックがイントラ予測に基づいて同じフレームからのも
のであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、符
号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画
素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブロ
ックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。
のであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、符
号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画
素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブロ
ックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。
イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実行
されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック
・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる
。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロック
を符号化することができる。それを実現するために、イントラ予測処理部４６は、例えば
、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロック
を符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験され
たイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イ
ントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情
報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択さ
れたイントラ予測モードを示す情報をビットストリームに符号化することができる。
されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック
・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる
。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロック
を符号化することができる。それを実現するために、イントラ予測処理部４６は、例えば
、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロック
を符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験され
たイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イ
ントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情
報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択さ
れたイントラ予測モードを示す情報をビットストリームに符号化することができる。
予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックの予測ブ
ロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し
引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１つ
または複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部
５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビデ
オデータを残差変換係数に変換する。
ロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し
引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１つ
または複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部
５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビデ
オデータを残差変換係数に変換する。
変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、これ
らの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これら
の係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合い
は、定量化パラメータを調整することによって変更されることができる。そして、ある例
では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行することが
できる。この走査は、エントロピー符号化部５６によって実行されてもよい。
らの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これら
の係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合い
は、定量化パラメータを調整することによって変更されることができる。そして、ある例
では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行することが
できる。この走査は、エントロピー符号化部５６によって実行されてもよい。
定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応可変長符号化
（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコ
ンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔区画エントロピー（ＰＩＰＥ
）符号化や別のエントロピー符号化方法または技術により、定量化された変換係数を、ビ
デオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリ
ームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０
へ送信するか、またはビデオデコーダ３０によって検索するためにストレージ装置３２に
アーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在の
ビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよ
い。
（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコ
ンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔区画エントロピー（ＰＩＰＥ
）符号化や別のエントロピー符号化方法または技術により、定量化された変換係数を、ビ
デオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリ
ームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０
へ送信するか、またはビデオデコーダ３０によって検索するためにストレージ装置３２に
アーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在の
ビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよ
い。
逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、他
のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビ
デオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格納
されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成するこ
とができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィル
タを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。
のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビ
デオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格納
されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成するこ
とができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィル
タを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。
加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補償
予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この
参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き
補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター
予測することが可能である。
予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この
参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き
補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター
予測することが可能である。
図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図である
。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処
理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。
予測処理部８１は、動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５を
さらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上
述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、
動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測
データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイント
ラ予測モードインジケータに基づいて予測データを生成することができる。
。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処
理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。
予測処理部８１は、動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５を
さらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上
述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、
動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測
データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイント
ラ予測モードインジケータに基づいて予測データを生成することができる。
ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務を
負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つま
たは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を
単独で実現してもよいし、または動き補償部８２、イントラ予測処理部８４およびエント
ロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現
してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イント
ラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素に
よって実現されてもよい。
負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つま
たは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を
単独で実現してもよいし、または動き補償部８２、イントラ予測処理部８４およびエント
ロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現
してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イント
ラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素に
よって実現されてもよい。
ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化さ
れる符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオ
データメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無線
ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードディ
スク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソースか
ら取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符
号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデ
オデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０によ
る（例えば、イントラ予測またはインター予測符号化モードでの）ビデオデータの復号化
に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は
、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ
）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリ
デバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能である。
説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデコーダ３
０における２つの個別の構成要素として示されている。しかし、当業者にとっては、ビデ
オデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスに
よって提供されることは明らかである。ある例では、ビデオデータメモリ７９は、ビデオ
デコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要
素に対するオフチップであってもよい。
れる符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオ
データメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無線
ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードディ
スク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソースか
ら取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符
号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデ
オデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０によ
る（例えば、イントラ予測またはインター予測符号化モードでの）ビデオデータの復号化
に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は
、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ
）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリ
デバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能である。
説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデコーダ３
０における２つの個別の構成要素として示されている。しかし、当業者にとっては、ビデ
オデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスに
よって提供されることは明らかである。ある例では、ビデオデータメモリ７９は、ビデオ
デコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要
素に対するオフチップであってもよい。
ビデオデコーダ３０は、復号化プロセスにおいて、符号化されたビデオフレームのビデオ
ブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信する
。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで
構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、このビ
ットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイン
トラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復
号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。
ブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信する
。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで
構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、このビ
ットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイン
トラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復
号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。
ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプの
フレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけ
るイントラ予測処理部８４は、信号で通知されたイントラ予測モード、および現在フレー
ムの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビ
デオブロックのための予測データを生成することが可能である。
フレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけ
るイントラ予測処理部８４は、信号で通知されたイントラ予測モード、および現在フレー
ムの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビ
デオブロックのための予測データを生成することが可能である。
ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化された
場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信し
た動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロック
のための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロックは
、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ３
０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこれ
らの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。
場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信し
た動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロック
のための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロックは
、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ３
０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこれ
らの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。
ある例では、ビデオブロックがここで述べたイントラＢＣモードに従って符号化された場
合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から
受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのため
の予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定さ
れた現在のビデオブロックと同一の画像の再構成領域にあり得る。
合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から
受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのため
の予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定さ
れた現在のビデオブロックと同一の画像の再構成領域にあり得る。
動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要素
を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、そ
して、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブロ
ックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、この
ビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測
またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレ
ームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各インタ
ー予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビデ
オブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロックを
復号化するための他の情報を決定する。
を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、そ
して、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブロ
ックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、この
ビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測
またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレ
ームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各インタ
ー予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビデ
オブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロックを
復号化するための他の情報を決定する。
同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えばフラグを使用して、現
在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるどの
ビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情報
、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、このフ
レームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在の
ビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することがで
きる。
在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるどの
ビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情報
、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、このフ
レームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在の
ビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することがで
きる。
また、動き補償部８２は、ビデオエンコーダ２０がビデオブロックの符号化において使用
した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算
出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコ
ーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブ
ロックを生成してもよい。
した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算
出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコ
ーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブ
ロックを生成してもよい。
逆定量化部８６は、ビデオエンコーダ２０によって定量化の度合いを決定するためにこの
ビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じものを
使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロ
ピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域にあ
る残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念
的に類似の逆変換処理をこれらの変換係数に適用する。
ビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じものを
使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロ
ピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域にあ
る残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念
的に類似の逆変換処理をこれらの変換係数に適用する。
動き補償部８２またはイントラＢＣ部８５がベクトルおよび他の構文要素に基づいて現在
のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８８
からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応す
る予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオ
ブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図示
せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能である
。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブロ
ックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。ま
た、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４な
どのような表示装置にその後表示されるように、復号化されたビデオも格納されることが
可能である。
のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８８
からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応す
る予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオ
ブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図示
せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能である
。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブロ
ックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。ま
た、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４な
どのような表示装置にその後表示されるように、復号化されたビデオも格納されることが
可能である。
典型的なビデオ符号化プロセスでは、１つのビデオシーケンスが、通常、順序付けられた
フレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒで示す
３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行列である
。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次
元行列である。別の例では、フレームがモノクロであることがあり、この場合、輝度サン
プルの１つの２次元行列のみが含まれる。
フレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒで示す
３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行列である
。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次
元行列である。別の例では、フレームがモノクロであることがあり、この場合、輝度サン
プルの１つの２次元行列のみが含まれる。
図４Ａに示すように、ビデオエンコーダ２０（または、より具体的には区画部４５）は、
まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化表
現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連続
的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユニ
ットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、
６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように、
ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願は
必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプル
の１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロック
、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得る
。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのように
ビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであって
、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよび
他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１つ
のＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化する
ために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロッ
クであることが可能である。
まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化表
現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連続
的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユニ
ットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、
６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように、
ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願は
必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプル
の１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロック
、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得る
。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのように
ビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであって
、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよび
他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１つ
のＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化する
ために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロッ
クであることが可能である。
より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木
ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再
帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができ
る。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号
化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わせ
などの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区
画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２×
３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さいＣ
Ｕのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つのＣ
Ｕに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それぞ
れ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示された
ＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の各
リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４Ｂ
に示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの符
号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの符
号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノクロ
画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロック
と、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得る
。なお、図４Ｃおよび図４Ｄに示す四分木分割は、例示的にすぎず、１つのＣＴＵが四分
/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができる
。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リー
フＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに示
すように、幅Ｗおよび高さＨを有する符号化ブロックの５種の可能な区画タイプ、すなわ
ち、四元区画、水平二元区画、垂直二元区画、水平三元区画、および垂直三元区画がある
。
ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再
帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができ
る。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号
化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わせ
などの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区
画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２×
３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さいＣ
Ｕのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つのＣ
Ｕに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それぞ
れ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示された
ＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の各
リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４Ｂ
に示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの符
号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの符
号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノクロ
画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロック
と、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得る
。なお、図４Ｃおよび図４Ｄに示す四分木分割は、例示的にすぎず、１つのＣＴＵが四分
/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができる
。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リー
フＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに示
すように、幅Ｗおよび高さＨを有する符号化ブロックの５種の可能な区画タイプ、すなわ
ち、四元区画、水平二元区画、垂直二元区画、水平三元区画、および垂直三元区画がある
。
ある実施形態では、ビデオエンコーダ２０が、さらにＣＵの符号化ブロックを１つまたは
複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測（
インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサン
プルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロッ
ク、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測す
るために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有す
る画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用され
る構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、
Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣｂ
ブロックおよび予測的なＣｒブロックを生成することができる。
複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測（
インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサン
プルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロッ
ク、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測す
るために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有す
る画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用され
る構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、
Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣｂ
ブロックおよび予測的なＣｒブロックを生成することができる。
ビデオエンコーダ２０は、イントラ予測またはインター予測により、ＰＵに対してこれら
の予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測により
ＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサンプ
ルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコーダ
２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連す
るフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、このＰ
Ｕの予測的なブロックを生成することができる。
の予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測により
ＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサンプ
ルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコーダ
２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連す
るフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、このＰ
Ｕの予測的なブロックを生成することができる。
ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測的な輝度ブロック、予測的
なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブロ
ックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロックを
生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測的
な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの元
の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコー
ダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで、
このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロックの
うち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブロ
ックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各サ
ンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおける
ＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を示
す。
なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブロ
ックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロックを
生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測的
な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの元
の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコー
ダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで、
このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロックの
うち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブロ
ックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各サ
ンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおける
ＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を示
す。
さらに、図４Ｃに示すように、ビデオエンコーダ２０は、四分木区画により、ＣＵの輝度
残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変換
ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブ
ロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロックで
ある。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２
つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される構
文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック
およびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連付
けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ
変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロック
は、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個別
の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサンプ
ルを変換するために使用される構文構造とを含み得る。
残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変換
ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブ
ロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロックで
ある。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２
つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される構
文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック
およびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連付
けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ
変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロック
は、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個別
の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサンプ
ルを変換するために使用される構文構造とを含み得る。
ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、
このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次
元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は
、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブロ
ックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの
Ｃｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。
このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次
元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は
、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブロ
ックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの
Ｃｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。
ビデオエンコーダ２０は、係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロック
またはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化とは
、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減し
、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量化
した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能であ
る。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対してコ
ンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実行してもよい。最終的に、ビデ
オエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成するビットシ
ーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか、または
目標装置１４に送信する。
またはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化とは
、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減し
、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量化
した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能であ
る。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対してコ
ンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実行してもよい。最終的に、ビデ
オエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成するビットシ
ーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか、または
目標装置１４に送信する。
ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを
受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得す
る。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一部
に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構成
するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセスと
逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに対
して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可能
である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプル
と現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在Ｃ
Ｕの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された後
、ビデオデコーダ３０はこのフレームを再構成することが可能である。
受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得す
る。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一部
に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構成
するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセスと
逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに対
して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可能
である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプル
と現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在Ｃ
Ｕの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された後
、ビデオデコーダ３０はこのフレームを再構成することが可能である。
上述したように、ビデオ符号化では、主に２つのモード、即ちイントラフレーム予測（ま
たはイントラ予測）及びインターフレーム予測（またはインター予測）を使用してビデオ
圧縮を実現する。なお、ＩＢＣは、イントラフレーム予測または第三モードと見なすこと
ができる。この２つのモードを比べると、インターフレーム予測は、動きベクトルを使用
して参照ビデオブロックから現在のビデオブロックを予測するため、イントラフレーム予
測よりも符号化効率に大きく貢献する。
たはイントラ予測）及びインターフレーム予測（またはインター予測）を使用してビデオ
圧縮を実現する。なお、ＩＢＣは、イントラフレーム予測または第三モードと見なすこと
ができる。この２つのモードを比べると、インターフレーム予測は、動きベクトルを使用
して参照ビデオブロックから現在のビデオブロックを予測するため、イントラフレーム予
測よりも符号化効率に大きく貢献する。
しかし、ビデオデータ・キャプチャ技術の向上及びビデオデータの詳細を保持するための
より精細化的なビデオブロックサイズにつれて、現在フレームのための動きベクトルを表
すために必要なデータの量も大幅に増加している。この課題を解決するための１つの方法
は、空間ドメインと時間ドメインにおける１組の隣り合うＣＵが、予測目的のための同じ
ビデオデータを含むだけでなく、これらの隣り合うＣＵ間で動きベクトルも同じであると
いう事実が有益である。したがって、空間的に隣り合うＣＵおよび／または時間的にコロ
ケーテッドＣＵの動き情報の空間的および時間的相関性を探索することにより、空間的に
隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報を、現在ＣＵの「動
きベクトル予測子」（ＭＶＰ）もという動き情報（例えば、動きベクトル）の近似として
使用することが可能である。
より精細化的なビデオブロックサイズにつれて、現在フレームのための動きベクトルを表
すために必要なデータの量も大幅に増加している。この課題を解決するための１つの方法
は、空間ドメインと時間ドメインにおける１組の隣り合うＣＵが、予測目的のための同じ
ビデオデータを含むだけでなく、これらの隣り合うＣＵ間で動きベクトルも同じであると
いう事実が有益である。したがって、空間的に隣り合うＣＵおよび／または時間的にコロ
ケーテッドＣＵの動き情報の空間的および時間的相関性を探索することにより、空間的に
隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報を、現在ＣＵの「動
きベクトル予測子」（ＭＶＰ）もという動き情報（例えば、動きベクトル）の近似として
使用することが可能である。
図２を参照して上述した動き推定部４２によって決定された現在ＣＵの実際の動きベクト
ルをビデオビットストリームに符号化する代わりに、現在ＣＵの実際の動きベクトルから
現在ＣＵの動きベクトル予測子を差し引くにより、現在ＣＵの動きベクトル差（ＭＶＤ）
を生成する。これにより、フレームの各ＣＵに対して動き推定部４２によって決定した動
きベクトルをビデオビットストリームに符号化する必要がなく、ビデオビットストリーム
における動き情報を表すためのデータの量を大幅に減らすことができる。
ルをビデオビットストリームに符号化する代わりに、現在ＣＵの実際の動きベクトルから
現在ＣＵの動きベクトル予測子を差し引くにより、現在ＣＵの動きベクトル差（ＭＶＤ）
を生成する。これにより、フレームの各ＣＵに対して動き推定部４２によって決定した動
きベクトルをビデオビットストリームに符号化する必要がなく、ビデオビットストリーム
における動き情報を表すためのデータの量を大幅に減らすことができる。
符号化ブロックのインターフレーム予測中に参照フレーム内から予測ブロックを選択する
プロセスと同様に、ビデオエンコーダ２０及びビデオデコーダ３０は、１組のルールによ
り、現在ＣＵの空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵに関連
する潜在的な候補動きベクトルを使用して動きベクトル候補リスト（「マージリスト」と
も呼ばれる）を構成し、そしてこれらの動きベクトル候補リストから１つの項目を選択し
て現在ＣＵの動きベクトル予測子とする必要がある。これにより、ビデオエンコーダ２０
とビデオデコーダ３０との間で動きベクトル候補リスト自身を送信する必要がなく、動き
ベクトル候補リスト内の選択された動きベクトル予測子の索引は、ビデオエンコーダ２０
およびビデオデコーダ３０が動きベクトル候補リスト内で同じ動きベクトル予測子を使用
して現在ＣＵを符号化および復号化することに十分である。
プロセスと同様に、ビデオエンコーダ２０及びビデオデコーダ３０は、１組のルールによ
り、現在ＣＵの空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵに関連
する潜在的な候補動きベクトルを使用して動きベクトル候補リスト（「マージリスト」と
も呼ばれる）を構成し、そしてこれらの動きベクトル候補リストから１つの項目を選択し
て現在ＣＵの動きベクトル予測子とする必要がある。これにより、ビデオエンコーダ２０
とビデオデコーダ３０との間で動きベクトル候補リスト自身を送信する必要がなく、動き
ベクトル候補リスト内の選択された動きベクトル予測子の索引は、ビデオエンコーダ２０
およびビデオデコーダ３０が動きベクトル候補リスト内で同じ動きベクトル予測子を使用
して現在ＣＵを符号化および復号化することに十分である。
ある実施形態では、各インター予測ＣＵが、動きベクトル候補リストを構成するためのイ
ンター（「高度な動きベクトル予測」（ＡＭＶＰ））、スキップおよびマージを含む３つ
の動きベクトル予測モードを有する。各モードでは、以下に説明するアルゴリズムに従っ
て、１つまたは複数の動きベクトル候補を動きベクトル候補リストに追加することが可能
である。最終的に、候補リスト内のそれらの動きベクトル候補のうちの１つは、ビデオエ
ンコーダ２０によってビデオビットストリームに符号化されるか、またはビデオデコーダ
３０によってビデオビットストリームから復号化されるインター予測ＣＵの最適な動きベ
クトル予測子として使用される。候補リストから最適な動きベクトル予測子を見つけるた
めに、動きベクトル競合（ＭＶＣ）スキームが導入されて、空間的および時間的動きベク
トル候補を含む所定の動きベクトル候補セット、すなわち動きベクトル候補リストから１
つの動きベクトルが選択される。
ンター（「高度な動きベクトル予測」（ＡＭＶＰ））、スキップおよびマージを含む３つ
の動きベクトル予測モードを有する。各モードでは、以下に説明するアルゴリズムに従っ
て、１つまたは複数の動きベクトル候補を動きベクトル候補リストに追加することが可能
である。最終的に、候補リスト内のそれらの動きベクトル候補のうちの１つは、ビデオエ
ンコーダ２０によってビデオビットストリームに符号化されるか、またはビデオデコーダ
３０によってビデオビットストリームから復号化されるインター予測ＣＵの最適な動きベ
クトル予測子として使用される。候補リストから最適な動きベクトル予測子を見つけるた
めに、動きベクトル競合（ＭＶＣ）スキームが導入されて、空間的および時間的動きベク
トル候補を含む所定の動きベクトル候補セット、すなわち動きベクトル候補リストから１
つの動きベクトルが選択される。
動きベクトル予測子候補は、空間的に隣り合い、または時間的にコロケーテッドＣＵから
導出されることに加えて、いわゆる「履歴による動きベクトル予測」（ＨＭＶＰ）テーブ
ルからも導出されることが可能である。ＨＭＶＰテーブルには、それぞれがＣＴＵの同じ
行（または同じＣＴＵ）の所定のＣＵを符号化/復号化することに使用された予め定めら
れた数の動きベクトル予測子を収納している。これらのＣＵの空間的/時間的近接性によ
って、ＨＭＶＰテーブルにおける動きベクトル予測子のうち１つが、ＣＴＵの同じ行内の
異なるＣＵを符号化/復号化することに再利用される可能性は高い。したがって、動きベ
クトル候補リストを構成する処理にＨＭＶＰテーブルを使用することにより、より高い符
号化効率を達成することが可能である。
導出されることに加えて、いわゆる「履歴による動きベクトル予測」（ＨＭＶＰ）テーブ
ルからも導出されることが可能である。ＨＭＶＰテーブルには、それぞれがＣＴＵの同じ
行（または同じＣＴＵ）の所定のＣＵを符号化/復号化することに使用された予め定めら
れた数の動きベクトル予測子を収納している。これらのＣＵの空間的/時間的近接性によ
って、ＨＭＶＰテーブルにおける動きベクトル予測子のうち１つが、ＣＴＵの同じ行内の
異なるＣＵを符号化/復号化することに再利用される可能性は高い。したがって、動きベ
クトル候補リストを構成する処理にＨＭＶＰテーブルを使用することにより、より高い符
号化効率を達成することが可能である。
ある実施形態では、ＨＭＶＰテーブルが固定の長さ（例えば５）を有し、先入れ先出し（
ＦＩＦＯ）の方式で管理される。例えば、ＣＵの１つのインター符号化ブロックを復号化
する際に、このＣＵに対して動きベクトルを再構成する。再構成された動きベクトルが後
続のＣＵの動きベクトル予測子である可能性があるので、ＨＭＶＰテーブルは、この動き
ベクトルによりオンザフライで更新される。ＨＭＶＰテーブルの更新では、以下の２つの
状況がある。（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクト
ルの１つと異なる、または（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既
存の動きベクトルの１つと同じである。第１の状況では、ＨＭＶＰテーブルが未満の場合
、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶ
Ｐテーブルがすでにいっぱいになる場合、再構成された動きベクトルが最新のものとして
追加される前に、まずＨＭＶＰテーブル内の最も古い動きベクトルがＨＭＶＰテーブルか
ら削除される必要がある。言い換えると、この場合、ＨＭＶＰテーブルは、ＦＩＦＯバッ
ファと同様に、ＦＩＦＯバッファの先頭にあり且つ以前にインター符号化された別のブロ
ックに関連する動き情報がこのバッファから取り除かれて、再構成された動きベクトルが
ＨＭＶＰテーブルにおける最新の項目としてＦＩＦＯバッファの末端に追加される。第２
の状況では、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加され
る前に、ＨＭＶＰテーブル内の、再構成された動きベクトルと実質的に同じ既存の動きベ
クトルがＨＭＶＰテーブルから削除される。ＨＭＶＰテーブルもＦＩＦＯバッファの方式
で維持されている場合、ＨＭＶＰテーブル内の同じ動きベクトルの次の動きベクトル予測
子が１つの項目だけ前方に移動されて削除された動きベクトルによって残された空間を占
有し、そして、再構成された動きベクトルがＨＭＶＰテーブル内の最新のものとしてＦＩ
ＦＯバッファの末端に追加される。
ＦＩＦＯ）の方式で管理される。例えば、ＣＵの１つのインター符号化ブロックを復号化
する際に、このＣＵに対して動きベクトルを再構成する。再構成された動きベクトルが後
続のＣＵの動きベクトル予測子である可能性があるので、ＨＭＶＰテーブルは、この動き
ベクトルによりオンザフライで更新される。ＨＭＶＰテーブルの更新では、以下の２つの
状況がある。（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクト
ルの１つと異なる、または（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既
存の動きベクトルの１つと同じである。第１の状況では、ＨＭＶＰテーブルが未満の場合
、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶ
Ｐテーブルがすでにいっぱいになる場合、再構成された動きベクトルが最新のものとして
追加される前に、まずＨＭＶＰテーブル内の最も古い動きベクトルがＨＭＶＰテーブルか
ら削除される必要がある。言い換えると、この場合、ＨＭＶＰテーブルは、ＦＩＦＯバッ
ファと同様に、ＦＩＦＯバッファの先頭にあり且つ以前にインター符号化された別のブロ
ックに関連する動き情報がこのバッファから取り除かれて、再構成された動きベクトルが
ＨＭＶＰテーブルにおける最新の項目としてＦＩＦＯバッファの末端に追加される。第２
の状況では、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加され
る前に、ＨＭＶＰテーブル内の、再構成された動きベクトルと実質的に同じ既存の動きベ
クトルがＨＭＶＰテーブルから削除される。ＨＭＶＰテーブルもＦＩＦＯバッファの方式
で維持されている場合、ＨＭＶＰテーブル内の同じ動きベクトルの次の動きベクトル予測
子が１つの項目だけ前方に移動されて削除された動きベクトルによって残された空間を占
有し、そして、再構成された動きベクトルがＨＭＶＰテーブル内の最新のものとしてＦＩ
ＦＯバッファの末端に追加される。
ＨＭＶＰテーブルにおける動きベクトルは、ＡＭＶＰ、マージ、スキップなどの異なる予
測モードで動きベクトル候補リストに追加されることが可能である。ＨＭＶＰテーブルに
保存されている以前にインター符号化されたブロックの動き情報は、現在ブロックに隣り
合っていなくても、より効率的な動きベクトル予測に利用できることが分かった。
測モードで動きベクトル候補リストに追加されることが可能である。ＨＭＶＰテーブルに
保存されている以前にインター符号化されたブロックの動き情報は、現在ブロックに隣り
合っていなくても、より効率的な動きベクトル予測に利用できることが分かった。
現在ＣＵに対する所定の動きベクトル候補セット内で１つのＭＶＰ候補が選択された後、
ビデオエンコーダ２０は、対応するＭＶＰ候補に対して１つまたは複数の構文要素を生成
し、ビデオビットストリームに符号化してビデオデコーダ３０がこの構文要素を使用して
このデオビットストリームからこのＭＶＰ候補を検索できる。動きベクトル候補セットを
構成するための特定のモードによっては、異なるモード（例えば、ＡＭＶＰ、マージ、ス
キップなど）が異なる構文要素セットを有する。ＡＭＶＰモードの場合には、構文要素が
、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照索
引、動きベクトル候補索引、動きベクトル予測残差信号などを含む。スキップモード及び
マージモード場合には、現在ＣＵが、符号化されたマージ索引によって指す隣接ＣＵから
、インター予測インジケータ、参照索引、動きベクトルなどの他の構文要素を継承するの
で、マージ索引のみがビットストリームに符号化される。スキップ符号化されたＣＵの場
合には、動きベクトル予測残差信号も省略される。
ビデオエンコーダ２０は、対応するＭＶＰ候補に対して１つまたは複数の構文要素を生成
し、ビデオビットストリームに符号化してビデオデコーダ３０がこの構文要素を使用して
このデオビットストリームからこのＭＶＰ候補を検索できる。動きベクトル候補セットを
構成するための特定のモードによっては、異なるモード（例えば、ＡＭＶＰ、マージ、ス
キップなど）が異なる構文要素セットを有する。ＡＭＶＰモードの場合には、構文要素が
、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照索
引、動きベクトル候補索引、動きベクトル予測残差信号などを含む。スキップモード及び
マージモード場合には、現在ＣＵが、符号化されたマージ索引によって指す隣接ＣＵから
、インター予測インジケータ、参照索引、動きベクトルなどの他の構文要素を継承するの
で、マージ索引のみがビットストリームに符号化される。スキップ符号化されたＣＵの場
合には、動きベクトル予測残差信号も省略される。
図５Ａは、本開示のある実施形態に係る、符号化／復号化対象の現在ＣＵの空間的に隣り
合いかつ時間的にコロケーテッドブロック位置を示すブロック図である。所定のモードで
は、まず空間的に左側隣接ブロック位置および上方隣接ブロック位置に関連する動きベク
トルの利用可能性、時間的にコロケーテッドブロック位置に関連する動きベクトルの利用
可能性を検査し、次にＨＭＶＰテーブル内の動きベクトルの利用可能性を検査することで
、動きベクトル予測（ＭＶＰ）候補リストを構成する。ＭＶＰ候補リストを構成するプロ
セスには、いくつかの冗長なＭＶＰ候補が候補リストから削除され、必要に応じて候補リ
ストが固定の長さを有するようにゼロ値の動きベクトルが追加される（なお、モードによ
って固定の長さが異なることがある）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２
０は、この候補リストから最適な動きベクトル予測子を選択し、選択された候補を指す対
応する索引をビデオビットストリームに符号化することができる。
合いかつ時間的にコロケーテッドブロック位置を示すブロック図である。所定のモードで
は、まず空間的に左側隣接ブロック位置および上方隣接ブロック位置に関連する動きベク
トルの利用可能性、時間的にコロケーテッドブロック位置に関連する動きベクトルの利用
可能性を検査し、次にＨＭＶＰテーブル内の動きベクトルの利用可能性を検査することで
、動きベクトル予測（ＭＶＰ）候補リストを構成する。ＭＶＰ候補リストを構成するプロ
セスには、いくつかの冗長なＭＶＰ候補が候補リストから削除され、必要に応じて候補リ
ストが固定の長さを有するようにゼロ値の動きベクトルが追加される（なお、モードによ
って固定の長さが異なることがある）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２
０は、この候補リストから最適な動きベクトル予測子を選択し、選択された候補を指す対
応する索引をビデオビットストリームに符号化することができる。
ある例では、候補リスト（マージ候補リストとも呼ばれる）が、以下の５種タイプの候補
を以下の順に含むことによって構成されることができる。
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ
を以下の順に含むことによって構成されることができる。
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ
ある実施形態では、候補リストのサイズがスライスヘッダーで通知され、候補リストの最
大許容サイズが６である（例えば、ＶＶＣの場合）。マージモードの各ＣＵコードについ
て、最適なマージ候補のインデックスが、切り捨て単項二値化（ＴＵ）により符号化され
る。マージインデックスの第１のビンは、コンテキストで符号化され、一方バイパス符号
化が他のビンに使用される。本開示の以下の文脈において、この拡張されたマージモード
は、概念がＨＥＶＣに使用されるマージモードと同じであるため、通常のマージモードと
も呼ばれる。
大許容サイズが６である（例えば、ＶＶＣの場合）。マージモードの各ＣＵコードについ
て、最適なマージ候補のインデックスが、切り捨て単項二値化（ＴＵ）により符号化され
る。マージインデックスの第１のビンは、コンテキストで符号化され、一方バイパス符号
化が他のビンに使用される。本開示の以下の文脈において、この拡張されたマージモード
は、概念がＨＥＶＣに使用されるマージモードと同じであるため、通常のマージモードと
も呼ばれる。
図５Ａを例として使用し、かつ候補リストが２の固定長さを有すると仮定すると、現在Ｃ
Ｕに関する動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモードで以下のステッ
プを順に実行することによって構成されることが可能である。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１
つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で
始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つ
のスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣ
Ｕのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラ
モードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つ
の空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、こ
のＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する
；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。
Ｕに関する動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモードで以下のステッ
プを順に実行することによって構成されることが可能である。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１
つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で
始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つ
のスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣ
Ｕのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラ
モードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つ
の空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、こ
のＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する
；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合
には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。
以上の構成されたＡＭＶＰモードＭＶＰ候補リストには２つの候補しかないので、候補リ
スト内の２つのＭＶＰ候補のうちどのが現在ＣＵの復号化に使用されるかを示すように、
バイナリフラグのような関連する構文要素をビットストリームに符号化する。
スト内の２つのＭＶＰ候補のうちどのが現在ＣＵの復号化に使用されるかを示すように、
バイナリフラグのような関連する構文要素をビットストリームに符号化する。
ある実施形態では、スキップモードまたはマージモードでは、上述のような一連のステッ
プを順に実行することで、現在ＣＵに関するＭＶＰ候補リストを構成し得る。なお、「ペ
アワイズマージ候補」と呼ばれる１つの特別な種類のマージ候補も、スキップモードまた
はマージモードのためのＭＶＰ候補リストに含まれる。ペアワイズマージ候補は、以前に
導出された２つのマージモード動きベクトル候補のＭＶを平均化することによって生成さ
れる。マージＭＶＰ候補リストのサイズ（たとえば、１から６）は、現在ＣＵのスライス
ヘッダーで通知される。マージモードの各ＣＵについて、最適なマージ候補の索引は、切
り捨て単項二値化（ＴＵ）により復号化される。マージ索引の第１のビンはコンテキスト
で符号化され、バイパス符号化が他のビンに使用される。
プを順に実行することで、現在ＣＵに関するＭＶＰ候補リストを構成し得る。なお、「ペ
アワイズマージ候補」と呼ばれる１つの特別な種類のマージ候補も、スキップモードまた
はマージモードのためのＭＶＰ候補リストに含まれる。ペアワイズマージ候補は、以前に
導出された２つのマージモード動きベクトル候補のＭＶを平均化することによって生成さ
れる。マージＭＶＰ候補リストのサイズ（たとえば、１から６）は、現在ＣＵのスライス
ヘッダーで通知される。マージモードの各ＣＵについて、最適なマージ候補の索引は、切
り捨て単項二値化（ＴＵ）により復号化される。マージ索引の第１のビンはコンテキスト
で符号化され、バイパス符号化が他のビンに使用される。
上述のように、履歴によるＭＶＰは、空間的ＭＶＰ及び時間的ＭＶＰの後、ＡＭＶＰモー
ドＭＶＰ候補リスト又はマージＭＶＰ候補リストに追加されることができる。以前インタ
ー符号化されたＣＵの動き情報は、ＨＭＶＰテーブルに保存され、現在ＣＵのためのＭＶ
Ｐ候補として使用される。ＨＭＶＰテーブルは、符号化/復号化プロセス中に維持されて
いる。非サブブロックインター符号化したＣＵがあるたびに、関連する動きベクトル情報
が新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方（ＨＭＶＰテー
ブルがすでにいっぱいで、このテーブル内に関連動きベクトル情報の同じ複本がない場合
）ＨＭＶＰテーブルの第１のエントリに格納されている動きベクトル情報がそこから削除
される。これの代わりに、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエント
リに追加される前に、関連する動きベクトル情報の同じ複本をこのテーブルから削除して
もよい。
ドＭＶＰ候補リスト又はマージＭＶＰ候補リストに追加されることができる。以前インタ
ー符号化されたＣＵの動き情報は、ＨＭＶＰテーブルに保存され、現在ＣＵのためのＭＶ
Ｐ候補として使用される。ＨＭＶＰテーブルは、符号化/復号化プロセス中に維持されて
いる。非サブブロックインター符号化したＣＵがあるたびに、関連する動きベクトル情報
が新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方（ＨＭＶＰテー
ブルがすでにいっぱいで、このテーブル内に関連動きベクトル情報の同じ複本がない場合
）ＨＭＶＰテーブルの第１のエントリに格納されている動きベクトル情報がそこから削除
される。これの代わりに、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエント
リに追加される前に、関連する動きベクトル情報の同じ複本をこのテーブルから削除して
もよい。
上述のように、イントラブロックコピー（ＩＢＣ）は、スクリーンコンテンツ素材の符号
化効率を著しく改善することができる。ＩＢＣモードはブロックレベルの符号化モードと
して実現されるので、ビデオエンコーダ２０では、ブロックマッチング（ＢＭ）を実行し
て、各ＣＵに対して最適なブロックベクトルを見つける。ここでは、ブロックベクトルは
、現在の画像内で現在ブロックからすでに再構成された参照ブロックへの変位を示すため
のものである。ＩＢＣ符号化されたＣＵは、イントラ予測モードまたはインター予測モー
ド以外の第三予測モードとして扱われる。
化効率を著しく改善することができる。ＩＢＣモードはブロックレベルの符号化モードと
して実現されるので、ビデオエンコーダ２０では、ブロックマッチング（ＢＭ）を実行し
て、各ＣＵに対して最適なブロックベクトルを見つける。ここでは、ブロックベクトルは
、現在の画像内で現在ブロックからすでに再構成された参照ブロックへの変位を示すため
のものである。ＩＢＣ符号化されたＣＵは、イントラ予測モードまたはインター予測モー
ド以外の第三予測モードとして扱われる。
ＣＵレベルでは、ＩＢＣモードが、以下のようにＩＢＣ ＡＭＶＰモードまたはＩＢＣス
キップ／マージモードとして信号で通知されることができる。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベク
トル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差
（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符
合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロッ
クベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣から
である。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロッ
クベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示す
ように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ
候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロック
からのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクト
ル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのもの
である。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候
補を含む。
キップ／マージモードとして信号で通知されることができる。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベク
トル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差
（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符
合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロッ
クベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣から
である。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロッ
クベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示す
ように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ
候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロック
からのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクト
ル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのもの
である。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候
補を含む。
図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測
子（ＴＭＶＰ）またはサッブブロックのサッブブロック時間的動きベクトル予測子（Ｓｂ
ＴＭＶＰ）を導出するためのステップを示すブロック図である。
子（ＴＭＶＰ）またはサッブブロックのサッブブロック時間的動きベクトル予測子（Ｓｂ
ＴＭＶＰ）を導出するためのステップを示すブロック図である。
ある実施形態では、図５に関して説明したように、１つの時間的動きベクトル予測子（Ｔ
ＭＶＰ）候補のみがマージ候補リストに追加される。このＴＭＶＰ候補が有効か無効かを
指示すように、第１フラグ（sps_temporal_mvp_enabled_flag）が画像のシーケンスパラ
メータセット（ＳＰＳ）で通知され、第２フラグ（slice_temporal_mvp_enabled_flag）
がスライスヘッダーで通知される。特に、この時間的マージ候補の導出では、スケール動
きベクトルが、参照画像リストにおける以前に符号化復号化された画像であるコロケーテ
ッド画像のＭＶから導出される。この時間的動き候補の導出では、このコロケーテッド画
像が第１の参照フレームリスト（Ｌｉｓｔ０）か第２の参照フレームリスト（Ｌｉｓｔ１
）から選択されたかを指示すように、スライスヘッダー内の明示的なフラグ（co-located
_from_l0_flag）が最初にデコーダーに送信される。使用されるリスト内のどの画像が、
時間的動き候補を導出するためのコロケーテッド画像として選択されるかを指示すように
、コロケーテッド参照インデックス（co-located_ref_idx）がさらに送信される。時間的
動き候補のＬｉｓｔ０（Ｌ０とも呼ばれる）およびＬｉｓｔ１（Ｌ１とも呼ばれる）ＭＶ
は、以下の擬似コードに従ってコロケーテッド画像のコロケーテッドブロック内の異なる
リストのＭＶに対する予め定められた順序で個別に導出される。
ＭＶＰ）候補のみがマージ候補リストに追加される。このＴＭＶＰ候補が有効か無効かを
指示すように、第１フラグ（sps_temporal_mvp_enabled_flag）が画像のシーケンスパラ
メータセット（ＳＰＳ）で通知され、第２フラグ（slice_temporal_mvp_enabled_flag）
がスライスヘッダーで通知される。特に、この時間的マージ候補の導出では、スケール動
きベクトルが、参照画像リストにおける以前に符号化復号化された画像であるコロケーテ
ッド画像のＭＶから導出される。この時間的動き候補の導出では、このコロケーテッド画
像が第１の参照フレームリスト（Ｌｉｓｔ０）か第２の参照フレームリスト（Ｌｉｓｔ１
）から選択されたかを指示すように、スライスヘッダー内の明示的なフラグ（co-located
_from_l0_flag）が最初にデコーダーに送信される。使用されるリスト内のどの画像が、
時間的動き候補を導出するためのコロケーテッド画像として選択されるかを指示すように
、コロケーテッド参照インデックス（co-located_ref_idx）がさらに送信される。時間的
動き候補のＬｉｓｔ０（Ｌ０とも呼ばれる）およびＬｉｓｔ１（Ｌ１とも呼ばれる）ＭＶ
は、以下の擬似コードに従ってコロケーテッド画像のコロケーテッドブロック内の異なる
リストのＭＶに対する予め定められた順序で個別に導出される。
時間的併合候補のスケール動きベクトル６０２は、図６Ａの点線で示すように、ＰＯＣ距
離ｔｂ６０４およびＰＯＣ距離ｔｄ６０６を使用して、選択されたコロケーテッドブロッ
クの動きベクトルからスケールされることで得られる。ここで、ｔｂは、現在の画像の参
照画像（例えば、現在の参照６０８）と現在の画像（例えば、現在の画像６１０）との間
のＰＯＣ差と定義され、ｔｄは、コロケーテッド画像の参照画像（コロケーテッド参照６
１４）とコロケーテッド画像（コロケーテッド画像６１２）との間のＰＯＣ差と定義され
る。時間的マージ候補の参照画像インデックスはゼロに設定される。スケールプロセスの
実際的な実現は、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、１つが参照画像Ｌ
ｉｓｔ０用、もう１つが参照画像Ｌｉｓｔ１用のような２つの動きベクトルは、取得され
て結合され、双予測マージ候補を作成する。
離ｔｂ６０４およびＰＯＣ距離ｔｄ６０６を使用して、選択されたコロケーテッドブロッ
クの動きベクトルからスケールされることで得られる。ここで、ｔｂは、現在の画像の参
照画像（例えば、現在の参照６０８）と現在の画像（例えば、現在の画像６１０）との間
のＰＯＣ差と定義され、ｔｄは、コロケーテッド画像の参照画像（コロケーテッド参照６
１４）とコロケーテッド画像（コロケーテッド画像６１２）との間のＰＯＣ差と定義され
る。時間的マージ候補の参照画像インデックスはゼロに設定される。スケールプロセスの
実際的な実現は、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、１つが参照画像Ｌ
ｉｓｔ０用、もう１つが参照画像Ｌｉｓｔ１用のような２つの動きベクトルは、取得され
て結合され、双予測マージ候補を作成する。
参照フレームに属するコロケーテッドブロック（例えば、コロケーテッドブロック６２０
）において、時間的候補の位置は、図６Ｂに示すように、候補Ｃ０とＣ１との間で選択さ
れる。位置Ｃ０でのブロックが利用不可であり、イントラ符号化復号化されており、また
は現在のＣＴＵの外にある場合は、位置Ｃ１が使用される。それ以外の場合、位置Ｃ０は
時間的マージ候補の導出に使用される。
）において、時間的候補の位置は、図６Ｂに示すように、候補Ｃ０とＣ１との間で選択さ
れる。位置Ｃ０でのブロックが利用不可であり、イントラ符号化復号化されており、また
は現在のＣＴＵの外にある場合は、位置Ｃ１が使用される。それ以外の場合、位置Ｃ０は
時間的マージ候補の導出に使用される。
ある符号化復号化標準（例えば、ＶＶＣ試験モデル１）は、サッブブロックに基づく時間
的動きベクトル予測子（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間的動
きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、コロケーテッド画像の動きフィ
ールドを使用して、現在の画像におけるＣＵの動きベクトル予測及びマージモードを改善
する。ＳｂＴＭＶＰでは、ＴＭＶＰで使用されたコロケーテッド画像と同じものが使用さ
れる。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを
予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベク
トルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブ
ロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの
１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択さ
れた時間的動き情報に適用する。
的動きベクトル予測子（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間的動
きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、コロケーテッド画像の動きフィ
ールドを使用して、現在の画像におけるＣＵの動きベクトル予測及びマージモードを改善
する。ＳｂＴＭＶＰでは、ＴＭＶＰで使用されたコロケーテッド画像と同じものが使用さ
れる。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを
予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベク
トルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブ
ロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの
１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択さ
れた時間的動き情報に適用する。
ＳｂＴＭＶＰプロセスは、図６Ｃ-６Ｄに示されている。ＳｂＴＭＶＰ（図６ＤのＳｂＴ
ＭＶＰ６３２）は、２つのステップで、現在のＣＵ（図６Ｄの現在のＣＵ６３６）内のサ
ブＣＵ（例えば、サブＣＵ６３４）の動ベクトルを予測する。第１のステップにおいて、
図６Ｃ中の空間的隣Ａ１（例えば、空間的隣６３８）を調べる。Ａ１がコロケーテッド画
像（例えば、図６Ａのコロケーテッド画像６１２）を参照画像として使用する動きベクト
ルを有する場合、この動きベクトルは、適用される動きシフト（例えば、図６Ｄの動きシ
フト６３０）として選択される。そのような動きベクトルが識別されながった場合、動き
シフトはゼロ値ベクトル（０、０）に設定される。ブロックＡ１のＬｉｓｔ０ＭＶおよび
Ｌｉｓｔ１ＭＶのうちの最初に利用可能な動きベクトルは、動きシフトとして設定される
。このように、ＳｂＴＭＶＰでは、常に現在のＣＵに対して右下または中央の位置にある
対応するブロック（コロケーテッドブロックと呼ばれることもある）がＴＭＶＰと比較し
て、より正確に識別されることができる。動きシフトを決定するための擬似コードは以下
のとおりである。
ＶＶＣにおけるＳｂＴＭＶＰの動きシフトを決定するための擬似コード
ＭＶＰ６３２）は、２つのステップで、現在のＣＵ（図６Ｄの現在のＣＵ６３６）内のサ
ブＣＵ（例えば、サブＣＵ６３４）の動ベクトルを予測する。第１のステップにおいて、
図６Ｃ中の空間的隣Ａ１（例えば、空間的隣６３８）を調べる。Ａ１がコロケーテッド画
像（例えば、図６Ａのコロケーテッド画像６１２）を参照画像として使用する動きベクト
ルを有する場合、この動きベクトルは、適用される動きシフト（例えば、図６Ｄの動きシ
フト６３０）として選択される。そのような動きベクトルが識別されながった場合、動き
シフトはゼロ値ベクトル（０、０）に設定される。ブロックＡ１のＬｉｓｔ０ＭＶおよび
Ｌｉｓｔ１ＭＶのうちの最初に利用可能な動きベクトルは、動きシフトとして設定される
。このように、ＳｂＴＭＶＰでは、常に現在のＣＵに対して右下または中央の位置にある
対応するブロック（コロケーテッドブロックと呼ばれることもある）がＴＭＶＰと比較し
て、より正確に識別されることができる。動きシフトを決定するための擬似コードは以下
のとおりである。
上記の表で使用される変数および関数は、以下のように示す。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるか
どうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取
得するための関数。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるか
どうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取
得するための関数。
第２のステップでは、図６Ｄに示すように、ステップ１で識別された動きシフトが適用さ
れて（すなわち、現在のブロックの座標に追加されて）、コロケーテッド画像からサブＣ
Ｕレベルの動き情報（動きベクトルおよび参照インデックス）を取得する。図６Ｄの例で
は、動きシフトがブロックＡ１の動きに設定されているとする。実際の実現では、動きシ
フトがブロックＡ１、Ａ２、Ｂ１、またはＢ２の動きのいずれかに設定されることが可能
である。
れて（すなわち、現在のブロックの座標に追加されて）、コロケーテッド画像からサブＣ
Ｕレベルの動き情報（動きベクトルおよび参照インデックス）を取得する。図６Ｄの例で
は、動きシフトがブロックＡ１の動きに設定されているとする。実際の実現では、動きシ
フトがブロックＡ１、Ａ２、Ｂ１、またはＢ２の動きのいずれかに設定されることが可能
である。
まず、代表的なサブＣＵが選択され、この代表的なサブＣＵの対応するブロックの動き情
報がデフォルト動き情報として使用される。ＳｂＴＭＶＰの既存のスキームでは、現在の
ＣＵの中央位置の右下にあるサブＣＵが代表的なサブＣＵとして選択される。代表的なサ
ブＣＵの対応するブロックからデフォルト動き情報として有効な動き情報を導出できなか
った場合、ＳｂＴＭＶＰ候補は利用不可と見なされる。デフォルト動き情報が利用可能な
場合、次のステップに進み、現在のＣＵ内の各サブＣＵの動き情報を取得する。いずれか
のサブＣＵの対応するブロックに利用可能な動き情報がないたびに、デフォルト動き情報
がそのサブＣＵの導出された時間的動きとして使用される。
報がデフォルト動き情報として使用される。ＳｂＴＭＶＰの既存のスキームでは、現在の
ＣＵの中央位置の右下にあるサブＣＵが代表的なサブＣＵとして選択される。代表的なサ
ブＣＵの対応するブロックからデフォルト動き情報として有効な動き情報を導出できなか
った場合、ＳｂＴＭＶＰ候補は利用不可と見なされる。デフォルト動き情報が利用可能な
場合、次のステップに進み、現在のＣＵ内の各サブＣＵの動き情報を取得する。いずれか
のサブＣＵの対応するブロックに利用可能な動き情報がないたびに、デフォルト動き情報
がそのサブＣＵの導出された時間的動きとして使用される。
次に、各サブＣＵについて、コロケーテッド画像内の対応するブロック（中央のサンプル
を含む最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報を導出する
。コロケーテッドサブＣＵの動き情報が特定された後、時間的動きスケールを適用して時
間的動きベクトルの参照画像を現在のＣＵの参照画像と位置合わせるＨＥＶＣのＴＭＶＰ
プロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換さ
れる。
を含む最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報を導出する
。コロケーテッドサブＣＵの動き情報が特定された後、時間的動きスケールを適用して時
間的動きベクトルの参照画像を現在のＣＵの参照画像と位置合わせるＨＥＶＣのＴＭＶＰ
プロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換さ
れる。
なお、現在の設計では、コロケーテッド画像におけるコロケーテッドＣＴＵ内の動きフィ
ールド＋このコロケーテッドＣＴＵの右側の１つの列のみが、各ＣＵのＳｂＴＭＶＰおよ
びＴＭＶＰ導出に使用できる。図６に示すように、コロケーテッドＣＴＵ内の動き情報＋
このコロケーテッドＣＴＵの右側にある１列の動き情報（この例では、ＣＴＵ２は現在の
ＣＵのコロケーテッドＣＴＵ）のみは、ＳｂＴＭＶＰおよびＴＭＶＰの時間的なｍｖ導出
に使用される可能である。以降、説明の便宜上、このコロケーテッドＣＴＵ＋１つの列を
、ＳｂＴＭＶＰ / ＴＭＶＰ導出のための「有効な領域」と呼びる。このコンテキストで
は、サブＣＵのコロケーテッド画像内の対応するＮ×Ｎブロックが有効な領域の外側にあ
るたびに、この対応するＮ×ＮブロックがコロケーテッドＣＴＵ内にある代替ブロックに
置き換えられる。代替Ｎ×Ｎブロックの位置は、以下の式を使用して、有効な領域内に位
置決めされる対応するＮ×Ｎブロックの元の位置をクリップすることで導出される。以下
の式（各サブＣＵの位置クリッププロセス）では、CurPicWidthInSamplesY及びCurPicHei
ghtInSamplesYは符号化復号化された画像の幅及び高さであり、CTUWidthInSamplesX及びC
TUWidthInSamplesYはＣＴＵの幅及び高さであり、xCtb及びyCtbはコロケーテッドＣＴＵ
の左上のサンプルの水平位置及び垂直位置である。xColCtrCb及びyColCtrCbはサブＣＵの
代表的なサンプルの水平位置及び垂直位置であり、MotionShiftX及びMotionShiftYは、動
きシフトのｘ成分及びｙ成分である。関数Clip3（x, y, z）及びMin（x, y）は次のよう
に定義される。
ールド＋このコロケーテッドＣＴＵの右側の１つの列のみが、各ＣＵのＳｂＴＭＶＰおよ
びＴＭＶＰ導出に使用できる。図６に示すように、コロケーテッドＣＴＵ内の動き情報＋
このコロケーテッドＣＴＵの右側にある１列の動き情報（この例では、ＣＴＵ２は現在の
ＣＵのコロケーテッドＣＴＵ）のみは、ＳｂＴＭＶＰおよびＴＭＶＰの時間的なｍｖ導出
に使用される可能である。以降、説明の便宜上、このコロケーテッドＣＴＵ＋１つの列を
、ＳｂＴＭＶＰ / ＴＭＶＰ導出のための「有効な領域」と呼びる。このコンテキストで
は、サブＣＵのコロケーテッド画像内の対応するＮ×Ｎブロックが有効な領域の外側にあ
るたびに、この対応するＮ×ＮブロックがコロケーテッドＣＴＵ内にある代替ブロックに
置き換えられる。代替Ｎ×Ｎブロックの位置は、以下の式を使用して、有効な領域内に位
置決めされる対応するＮ×Ｎブロックの元の位置をクリップすることで導出される。以下
の式（各サブＣＵの位置クリッププロセス）では、CurPicWidthInSamplesY及びCurPicHei
ghtInSamplesYは符号化復号化された画像の幅及び高さであり、CTUWidthInSamplesX及びC
TUWidthInSamplesYはＣＴＵの幅及び高さであり、xCtb及びyCtbはコロケーテッドＣＴＵ
の左上のサンプルの水平位置及び垂直位置である。xColCtrCb及びyColCtrCbはサブＣＵの
代表的なサンプルの水平位置及び垂直位置であり、MotionShiftX及びMotionShiftYは、動
きシフトのｘ成分及びｙ成分である。関数Clip3（x, y, z）及びMin（x, y）は次のよう
に定義される。
ＶＶＣでは、ＳｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む、サブブロックに基
づく結合式マージリストが、サブブロックに基づくマージモードの信号による通知に使用
される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって
有効化/無効化される。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測
子は、サブブロックに基づくマージ候補のリストの最初のエントリとして追加され、その
後にアフィンマージ候補が続く。サブブロックに基づくマージリストのサイズはＳＰＳで
信号により通知され、ＶＶＣでは、サブブロックに基づくマージリストの最大許可サイズ
が５である。
づく結合式マージリストが、サブブロックに基づくマージモードの信号による通知に使用
される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって
有効化/無効化される。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測
子は、サブブロックに基づくマージ候補のリストの最初のエントリとして追加され、その
後にアフィンマージ候補が続く。サブブロックに基づくマージリストのサイズはＳＰＳで
信号により通知され、ＶＶＣでは、サブブロックに基づくマージリストの最大許可サイズ
が５である。
ＳｂＴＭＶＰで使用されるサブＣＵサイズは８×８に固定されており、アフィンマージモ
ードの場合のように、ＳｂＴＭＶＰモードは、幅および高さの両方が８以上であるＣＵに
のみ適用可能である。さらに、現在のＶＶＣでは、ＴＭＶＰおよびＳｂＴＭＶＰで使用さ
れる時間的動きフィールドストレージの場合、動きフィールド圧縮は、ＨＥＶＣにおける
１６×１６の粒度とは対照的に、８×８の粒度で実行される。
ードの場合のように、ＳｂＴＭＶＰモードは、幅および高さの両方が８以上であるＣＵに
のみ適用可能である。さらに、現在のＶＶＣでは、ＴＭＶＰおよびＳｂＴＭＶＰで使用さ
れる時間的動きフィールドストレージの場合、動きフィールド圧縮は、ＨＥＶＣにおける
１６×１６の粒度とは対照的に、８×８の粒度で実行される。
ある実施形態では、動きシフトは、常に隣接ブロックのＬｉｓｔ０ｍｖから導出される。
Ｌｉｓｔ０ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ１ｍｖが使用されて、
ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。
ＳｂＴＭＶＰの動きシフトを決定するための擬似コード
Ｌｉｓｔ０ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ１ｍｖが使用されて、
ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。
ＳｂＴＭＶＰの動きシフトを決定するための擬似コード
ある実施形態では、動きシフトが、常に隣接ブロックのＬｉｓｔ１ｍｖから導出される。
Ｌｉｓｔ１ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ０ｍｖが使用されて
、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。
ＳｂＴＭＶＰの動きシフトを決定するための擬似コード
Ｌｉｓｔ１ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ０ｍｖが使用されて
、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれがあ
るたびに、ゼロベクトルが動きシフトベクトルとして使用されてＳｂＴＭＶＰを導出する
。このように、現在のＣＵのすべてのサブＣＵの対応するブロックが有効な領域内に位置
することが保証される。したがって、各サブＣＵのための位置クリッププロセスは不要で
ある。現在のＣＵにおいてサブＣＵの対応するブロックのいずれが有効な領域の外にある
かどうかを判定する方法はたくさんある。一例では、左上のＮ×ＮサブＣＵの対応するブ
ロックおよび右下のＮ×ＮサブＣＵの対応するブロックは、この２つの対応するブロック
が有効な領域内にあるかどうかを決定するようにチェックされる。いずれかの対応するブ
ロックが有効な領域の外にある場合、ゼロベクトルが動きシフトベクトルとして使用され
る。それ以外の場合（対応するブロックの両方はとも有効な領域内にある）、導出された
動きシフトがＳｂＴＭＶＰに使用される。
るたびに、ゼロベクトルが動きシフトベクトルとして使用されてＳｂＴＭＶＰを導出する
。このように、現在のＣＵのすべてのサブＣＵの対応するブロックが有効な領域内に位置
することが保証される。したがって、各サブＣＵのための位置クリッププロセスは不要で
ある。現在のＣＵにおいてサブＣＵの対応するブロックのいずれが有効な領域の外にある
かどうかを判定する方法はたくさんある。一例では、左上のＮ×ＮサブＣＵの対応するブ
ロックおよび右下のＮ×ＮサブＣＵの対応するブロックは、この２つの対応するブロック
が有効な領域内にあるかどうかを決定するようにチェックされる。いずれかの対応するブ
ロックが有効な領域の外にある場合、ゼロベクトルが動きシフトベクトルとして使用され
る。それ以外の場合（対応するブロックの両方はとも有効な領域内にある）、導出された
動きシフトがＳｂＴＭＶＰに使用される。
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかが
あるたびに、ＳｂＴＭＶＰは、現在のＣＵに対して利用不可と見なされる。
あるたびに、ＳｂＴＭＶＰは、現在のＣＵに対して利用不可と見なされる。
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかが
あるたびに、動きシフトは、すべてのサブＣＵの対応するブロックが有効な領域内に位置
することを保証するように修正される。したがって、各サブＣＵのための位置クリッププ
ロセスは不要である。
あるたびに、動きシフトは、すべてのサブＣＵの対応するブロックが有効な領域内に位置
することを保証するように修正される。したがって、各サブＣＵのための位置クリッププ
ロセスは不要である。
ある実施形態では、ゼロベクトルは、常にＳｂＴＭＶＰ導出のための動きシフトに使用さ
れる。
れる。
ある実施形態では、有効な領域の外に位置する対応するブロックを有するサブＣＵのＭＶ
として、代表的なサブＣＵから導出されたデフォルトＭＶを使用することが提案される。
として、代表的なサブＣＵから導出されたデフォルトＭＶを使用することが提案される。
図７は、本開示のある実施形態に係る、現在の画像（例えば、現在の画像７０４）におけ
る符号化ブロック（例えば、現在のＣＵ７０２）のためのＴＭＶＰおよびＳｂＴＭＶＰを
導出することに使用される有効な領域を決定するためのブロック図を示している。有効な
領域は、ＴＭＶＰまたはＳｂＴＭＶＰのために現在のＣＵ（例えば、現在のＣＵ７０２）
に対応するＣＵ（例えば、対応するＣＵ７０２'）が検索されているコロケーテッド画像
（例えば、コロケーテッド画像７０４'）内の領域である。ある実施形態では、有効な領
域は、ＴＭＶＰおよびＳｂＴＭＶＰを導出するためのＣＴＵ（例えば、ＣＴＵ２）＋１つ
の列（例えば、１列のＴＭＶバッファ７０６）によって決定される。有効な領域制約は、
メモリ使用の削減のための設計である。有効な領域をコロケーテッドＣＴＵ＋１つの列に
制限することにより、有効な領域内の動き情報のみを内部メモリ（例えば、キャッシュ）
に保存して、外部メモリからの時間的動きデータへのアクセスの平均コスト（時間または
エネルギー）を削減する必要がある。今、最大ＣＴＵサイズはＶＶＣで１２８×１２８で
あり（最大ＣＴＵサイズはＶＶＣプロファイルの後続の段階で決定される可能性がある）
、ＣＴＵサイズは１２８×１２８未満（例えば、６４×６４又は３２×３２）に設定され
ることが可能である。１つの例では、ＣＴＵサイズが６４×６４に設定されている場合、
有効な領域は、コロケーテッド６４×６４ブロック＋１つの列に制約される。最大ＣＴＵ
のための時間的ＭＶバッファーの設計はすでに存在するので、符号化復号化効率の観点か
ら、最大ＣＴＵサイズよりも小さい有効な領域を使用するのは賢明ではない場合がある。
ある実施形態では、使用中のＣＴＵサイズに関係なく、有効な領域は、常に許可な最大Ｃ
ＴＵサイズ＋１つの列に固定されている。
る符号化ブロック（例えば、現在のＣＵ７０２）のためのＴＭＶＰおよびＳｂＴＭＶＰを
導出することに使用される有効な領域を決定するためのブロック図を示している。有効な
領域は、ＴＭＶＰまたはＳｂＴＭＶＰのために現在のＣＵ（例えば、現在のＣＵ７０２）
に対応するＣＵ（例えば、対応するＣＵ７０２'）が検索されているコロケーテッド画像
（例えば、コロケーテッド画像７０４'）内の領域である。ある実施形態では、有効な領
域は、ＴＭＶＰおよびＳｂＴＭＶＰを導出するためのＣＴＵ（例えば、ＣＴＵ２）＋１つ
の列（例えば、１列のＴＭＶバッファ７０６）によって決定される。有効な領域制約は、
メモリ使用の削減のための設計である。有効な領域をコロケーテッドＣＴＵ＋１つの列に
制限することにより、有効な領域内の動き情報のみを内部メモリ（例えば、キャッシュ）
に保存して、外部メモリからの時間的動きデータへのアクセスの平均コスト（時間または
エネルギー）を削減する必要がある。今、最大ＣＴＵサイズはＶＶＣで１２８×１２８で
あり（最大ＣＴＵサイズはＶＶＣプロファイルの後続の段階で決定される可能性がある）
、ＣＴＵサイズは１２８×１２８未満（例えば、６４×６４又は３２×３２）に設定され
ることが可能である。１つの例では、ＣＴＵサイズが６４×６４に設定されている場合、
有効な領域は、コロケーテッド６４×６４ブロック＋１つの列に制約される。最大ＣＴＵ
のための時間的ＭＶバッファーの設計はすでに存在するので、符号化復号化効率の観点か
ら、最大ＣＴＵサイズよりも小さい有効な領域を使用するのは賢明ではない場合がある。
ある実施形態では、使用中のＣＴＵサイズに関係なく、有効な領域は、常に許可な最大Ｃ
ＴＵサイズ＋１つの列に固定されている。
ある実施形態では、有効な領域は、コロケーテッドＣＴＵだけになるように変更される。
第１０の実施形態によれば、ＣＴＵサイズが最大ＣＴＵサイズに等しい場合、有効な領域
は、コロケーテッドＣＴＵ＋１つの列である。ＣＴＵサイズが最大ＣＴＵサイズよりも小
さい場合、有効な領域は、コロケーテッドＣＴＵ＋コロケーテッドＣＴＵの右側の１つの
列及びコロケーテッドＣＴＵの下の１つの行になるように変更される。
は、コロケーテッドＣＴＵ＋１つの列である。ＣＴＵサイズが最大ＣＴＵサイズよりも小
さい場合、有効な領域は、コロケーテッドＣＴＵ＋コロケーテッドＣＴＵの右側の１つの
列及びコロケーテッドＣＴＵの下の１つの行になるように変更される。
図８Ａ～８Ｂは、本開示のある実施形態に係る、ビデオエンコーダがサブブロック時間的
動きベクトル予測子を導出する技術を実現する例示的なプロセス８００を示すフローチャ
ートである。プロセス８００は、復号化プロセスか符号化プロセスかであり得るが、便宜
上、プロセス８００は、ビデオデコーダ（例えば、図３のビデオデコーダ３０）によって
実行される復号化プロセスとして説明される。
動きベクトル予測子を導出する技術を実現する例示的なプロセス８００を示すフローチャ
ートである。プロセス８００は、復号化プロセスか符号化プロセスかであり得るが、便宜
上、プロセス８００は、ビデオデコーダ（例えば、図３のビデオデコーダ３０）によって
実行される復号化プロセスとして説明される。
第１のステップとして、デコーダは、現在の符号化ユニットのコロケーテッド画像を決定
する（例えば、ビットストリームから現在のフレームのコロケーテッド画像が第１のリス
トまたは第２のリストからのものであるかを指示する第１の構文要素を受信する；次に、
ビットストリームから選択されたリストのどのフレームがコロケーテッドフレームとして
使用されるかを指示する第２の構文要素を受信する）（８０５）。例えば、図６Ａを参照
すると、現在の画像６１０における現在のＣＵ６０１は、コロケーテッド画像６１２内の
コロケーテッドＣＵ６０１'に対応する。
する（例えば、ビットストリームから現在のフレームのコロケーテッド画像が第１のリス
トまたは第２のリストからのものであるかを指示する第１の構文要素を受信する；次に、
ビットストリームから選択されたリストのどのフレームがコロケーテッドフレームとして
使用されるかを指示する第２の構文要素を受信する）（８０５）。例えば、図６Ａを参照
すると、現在の画像６１０における現在のＣＵ６０１は、コロケーテッド画像６１２内の
コロケーテッドＣＵ６０１'に対応する。
次に、デコーダは、現在の符号化ユニットの空間的隣接ブロックを位置決める（８１０）
。例えば、図６Ｄを参照すると、現在の符号化ユニット（例えば、現在のＣＵ６３６）は
、空間的隣６３８（ブロックＡ１）を有する。ある実施形態では、空間的隣接ブロックは
、符号化ユニットまたはサブブロックである。
。例えば、図６Ｄを参照すると、現在の符号化ユニット（例えば、現在のＣＵ６３６）は
、空間的隣６３８（ブロックＡ１）を有する。ある実施形態では、空間的隣接ブロックは
、符号化ユニットまたはサブブロックである。
空間的隣接ブロックを位置決めした後、デコーダは、次に、現在の符号化ユニットの動き
シフトベクトルを決定する（８１５）。動きシフトベクトルは、現在の画像（例えば、図
６Ｄにおける現在の画像６１０）における現在の符号化ユニット（例えば、図６Ｄにおけ
る現在のＣＵ６３６）とコロケーテッド画像（例えば、図６Ｄにおけるコロケーテッド画
像６１２）における対応するコロケーテッドブロック（例えば、図６Ｄにおける空間的隣
６３８'（ブロックＡ１'））との間の空間的位置のシフトを示す。
シフトベクトルを決定する（８１５）。動きシフトベクトルは、現在の画像（例えば、図
６Ｄにおける現在の画像６１０）における現在の符号化ユニット（例えば、図６Ｄにおけ
る現在のＣＵ６３６）とコロケーテッド画像（例えば、図６Ｄにおけるコロケーテッド画
像６１２）における対応するコロケーテッドブロック（例えば、図６Ｄにおける空間的隣
６３８'（ブロックＡ１'））との間の空間的位置のシフトを示す。
動きシフトベクトルを決定するために、デコーダは、空間的隣接ブロックのＬｉｓｔ０に
含まれる動きベクトルのそれぞれを順次検査する（８２０）。Ｌｉｓｔ０内のそれぞれの
動きベクトルのいずれがコロケーテッド画像を当該動きベクトルの参照画像として使用す
るという決定に従って（８２５）：デコーダは、Ｌｉｓｔ０内の当該動きベクトルを動き
シフトベクトルとして設定し（８３０）（例えば、動きシフトベクトル６３０）、空間的
隣接ブロックのＬｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベク
トルの検査を放棄する（８３５）。その結果、動きベクトルの検索が終了し、Ｌｉｓｔ０
内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。言い換える
と、デコーダは、空間的隣接ブロックのＬｉｓｔ１をチェックする前に、常に最初に空間
的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルをチェックする。
含まれる動きベクトルのそれぞれを順次検査する（８２０）。Ｌｉｓｔ０内のそれぞれの
動きベクトルのいずれがコロケーテッド画像を当該動きベクトルの参照画像として使用す
るという決定に従って（８２５）：デコーダは、Ｌｉｓｔ０内の当該動きベクトルを動き
シフトベクトルとして設定し（８３０）（例えば、動きシフトベクトル６３０）、空間的
隣接ブロックのＬｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベク
トルの検査を放棄する（８３５）。その結果、動きベクトルの検索が終了し、Ｌｉｓｔ０
内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。言い換える
と、デコーダは、空間的隣接ブロックのＬｉｓｔ１をチェックする前に、常に最初に空間
的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルをチェックする。
一方、Ｌｉｓｔ０内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を参照画
像として使用しないという決定に従って（８４０）、デコーダは、空間的隣接ブロックの
Ｌｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査する（８４５）。つまり、デコ
ーダは、Ｌｉｓｔ０内の動きベクトルの検索が否定的な結果を返す場合にのみ、空間的隣
接ブロックのＬｉｓｔ１の動きベクトルをチェックする。
像として使用しないという決定に従って（８４０）、デコーダは、空間的隣接ブロックの
Ｌｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査する（８４５）。つまり、デコ
ーダは、Ｌｉｓｔ０内の動きベクトルの検索が否定的な結果を返す場合にのみ、空間的隣
接ブロックのＬｉｓｔ１の動きベクトルをチェックする。
空間的隣接ブロックのＬｉｓｔ１内の動きベクトルを検索している間、Ｌｉｓｔ１内のそ
れぞれの動きベクトルのいずれが、コロケーテッド画像を当該動きベクトルの参照画像と
して使用するという決定に従って（８５０）、デコーダは、Ｌｉｓｔ１における当該動き
ベクトルを動きシフトベクトルとして設定し（８５５）、Ｌｉｓｔ１における後続の動き
ベクトルの検査を放棄する（８６０）。つまり、Ｌｉｓｔ１内の最初にマッチング動きベ
クトルが動きシフトベクトルとして使用される。Ｌｉｓｔ１内のそれぞれの動きベクトル
が、いずれもコロケーテッド画像を当該動きベクトルの参照画像として使用しないという
決定に従って（８６５）、デコーダは、動きシフトベクトルをゼロ値に設定する（８７０
）。結果として、対応する符合化ユニットおよび現在の符号化ユニットは、コロケーテッ
ド画像および現在の画像に対して同じ相対な位置にある（例えば、現在の符号化ユニット
と対応する符号化ユニットとの間に動きのシフトがない）。
れぞれの動きベクトルのいずれが、コロケーテッド画像を当該動きベクトルの参照画像と
して使用するという決定に従って（８５０）、デコーダは、Ｌｉｓｔ１における当該動き
ベクトルを動きシフトベクトルとして設定し（８５５）、Ｌｉｓｔ１における後続の動き
ベクトルの検査を放棄する（８６０）。つまり、Ｌｉｓｔ１内の最初にマッチング動きベ
クトルが動きシフトベクトルとして使用される。Ｌｉｓｔ１内のそれぞれの動きベクトル
が、いずれもコロケーテッド画像を当該動きベクトルの参照画像として使用しないという
決定に従って（８６５）、デコーダは、動きシフトベクトルをゼロ値に設定する（８７０
）。結果として、対応する符合化ユニットおよび現在の符号化ユニットは、コロケーテッ
ド画像および現在の画像に対して同じ相対な位置にある（例えば、現在の符号化ユニット
と対応する符号化ユニットとの間に動きのシフトがない）。
最後に、デコーダは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれの
サブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像内の対応す
るサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する（８７５）
。例えば、図６Ｄを参照すると、スケーリング後、サブブロック時間的動きベクトル予測
子６３２は、動きシフトベクトル６３０により、対応するサブブロック時間的動きベクト
ル６３１を位置決めすことで構成される（例えば、図６Ａに関して説明されたスケールプ
ロセス及び関する説明）。ある実施形態では、サブブロックは、Ｌｉｓｔ０およびＬｉｓ
ｔ１からの１つまたは２つの時間的動きベクトルを含む。
サブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像内の対応す
るサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する（８７５）
。例えば、図６Ｄを参照すると、スケーリング後、サブブロック時間的動きベクトル予測
子６３２は、動きシフトベクトル６３０により、対応するサブブロック時間的動きベクト
ル６３１を位置決めすことで構成される（例えば、図６Ａに関して説明されたスケールプ
ロセス及び関する説明）。ある実施形態では、サブブロックは、Ｌｉｓｔ０およびＬｉｓ
ｔ１からの１つまたは２つの時間的動きベクトルを含む。
ある実施形態では、動きシフトベクトルに基づいてコロケーテッド画像内の対応するサブ
ブロックから、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブ
ロックのサブブロックに基づく時間的動きベクトルを再構築することは、現在の符号化ユ
ニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく
時間的動きベクトルを予測することを含み、動きシフトベクトルに基づいてコロケーテッ
ド画像における所定の領域（例えば、有効な領域）内において、それぞれのサブブロック
に対応するコロケーテッドサブブロックを探索する；コロケーテッド画像における所定の
領域内においてコロケーテッドサブブロックが存在するという決定に従って、コロケーテ
ッドサブブロックの１つ又は２つの動きベクトルを識別し、それぞれのサブブロックのた
めのサブブロックに基づく時間的動きベクトルを、現在の画像と現在の画像の参照画像と
の間の第１の画像順序カウント（ＰＯＣ）距離（例えば、図６ＡにおけるＰＯＣ距離ｔｂ
）およびコロケーテッド画像とコロケーテッド画像の参照画像との間の第２のＰＯＣ距離
（例えば、図６ＡにおけるＰＯＤ距離ｔｄ）に基づいてスケールされた１つまたは２つの
動きベクトルとして設定する。ある実施形態では、コロケーテッド画像における所定の領
域内においてコロケーテッドサブブロックが存在しないという決定に従って、対応するサ
ブブロックのサブブロックに基づく時間的運動ベクトルは、ゼロ値動きベクトルに設定さ
れる。別の実施形態では、コロケーテッド画像における所定の領域内においてコロケーテ
ッドサブブロックが存在しないという決定に従って、コロケーテッド画像における所定の
領域内の代替的サブブロックは対応するサブブロックとして設定される。例えば、代替的
サブブロックは、コロケーテッドサブブロックに最も近い所定の領域内における境界サブ
ブロックである。
ブロックから、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブ
ロックのサブブロックに基づく時間的動きベクトルを再構築することは、現在の符号化ユ
ニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく
時間的動きベクトルを予測することを含み、動きシフトベクトルに基づいてコロケーテッ
ド画像における所定の領域（例えば、有効な領域）内において、それぞれのサブブロック
に対応するコロケーテッドサブブロックを探索する；コロケーテッド画像における所定の
領域内においてコロケーテッドサブブロックが存在するという決定に従って、コロケーテ
ッドサブブロックの１つ又は２つの動きベクトルを識別し、それぞれのサブブロックのた
めのサブブロックに基づく時間的動きベクトルを、現在の画像と現在の画像の参照画像と
の間の第１の画像順序カウント（ＰＯＣ）距離（例えば、図６ＡにおけるＰＯＣ距離ｔｂ
）およびコロケーテッド画像とコロケーテッド画像の参照画像との間の第２のＰＯＣ距離
（例えば、図６ＡにおけるＰＯＤ距離ｔｄ）に基づいてスケールされた１つまたは２つの
動きベクトルとして設定する。ある実施形態では、コロケーテッド画像における所定の領
域内においてコロケーテッドサブブロックが存在しないという決定に従って、対応するサ
ブブロックのサブブロックに基づく時間的運動ベクトルは、ゼロ値動きベクトルに設定さ
れる。別の実施形態では、コロケーテッド画像における所定の領域内においてコロケーテ
ッドサブブロックが存在しないという決定に従って、コロケーテッド画像における所定の
領域内の代替的サブブロックは対応するサブブロックとして設定される。例えば、代替的
サブブロックは、コロケーテッドサブブロックに最も近い所定の領域内における境界サブ
ブロックである。
ある実施形態では、コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく、所
定の領域は、最大許可ＣＴＵサイズ＋１つの列に等しいサイズを有する。
定の領域は、最大許可ＣＴＵサイズ＋１つの列に等しいサイズを有する。
ある実施形態では、デコーダは、空間的隣接ブロックのＬｉｓｔ０をチェックする前に、
まず空間的隣接ブロックのＬｉｓｔ１における動きベクトルをチェックする。
まず空間的隣接ブロックのＬｉｓｔ１における動きベクトルをチェックする。
１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェ
ア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、そ
れらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体
に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行
される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコン
ピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から
別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含むこ
とが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時
的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信
媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュータ
または１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形態
を実現するための命令、コード、および／またはデータ構造を検索することができる任意
の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可
能な媒体を含んでもよい。
ア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、そ
れらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体
に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行
される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコン
ピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から
別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含むこ
とが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時
的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信
媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュータ
または１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形態
を実現するための命令、コード、および／またはデータ構造を検索することができる任意
の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可
能な媒体を含んでもよい。
ここで実施形態を説明するために使用される用語は、特定の実施形態を説明することのみ
を目的としており、特許請求の範囲を限定することを意図することがではない。実施形態
の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、お
よび「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している
。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列挙
された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべきで
ある。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／ま
たは成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/または
それらの組の存在または追加を排除するものではないことがさらに理解されべきである。
を目的としており、特許請求の範囲を限定することを意図することがではない。実施形態
の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、お
よび「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している
。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列挙
された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべきで
ある。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／ま
たは成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/または
それらの組の存在または追加を排除するものではないことがさらに理解されべきである。
ここで、第１、第２などの用語を使用して各種の要素を説明したことが、これらの要素は
これらの用語によって限定されないことも理解されべきである。これらの用語は、ある要
素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱するこ
とない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１の
電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極では
ない。
これらの用語によって限定されないことも理解されべきである。これらの用語は、ある要
素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱するこ
とない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１の
電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極では
ない。
本願の説明は、例示および説明のために提示されており、網羅的なまたは開示された形態
の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の説
明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施形
態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明
を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最
もよく利用できるようにするために選択されおよび説明されたものである。したがって、
特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、
添付の特許請求の範囲に含まれることを理解されるべきである。
の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の説
明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施形
態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明
を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最
もよく利用できるようにするために選択されおよび説明されたものである。したがって、
特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、
添付の特許請求の範囲に含まれることを理解されるべきである。
本発明は、全般的にビデオデータの符号化および復号化に関し、特に、ビデオデータ符号化および復号化においてサブブロックの動きベクトル予測の方法およびシステムに関する。
デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置などの各種電子装置は全てデジタル・ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ・データを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレーム内）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレームが、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複数のビデオブロックを含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つまたは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各ＣＵは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能である。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照サンプルに関する時間予測を使用する。
以前符号化された参照ブロック、例えば隣接ブロックに基づく空間予測又は時間予測では、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実現されることが可能である。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成した参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符号化される。動きベクトルを確定する処理は、通常、動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化される。
そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットストリームから構文要素を取得し、このビットストリームから取得された構文要素の少なくとも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームから元のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレイに再現する。
デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ、さらに８Ｋ×４Ｋに進んでいるにつれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化されたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化することは、常に課題である。
本願は、ビデオデータの符号化および復号化、より具体的には、サッブブロックの動きベクトル予測の方法およびシステムに関する実現を説明する。
本願の第１の方面に従い、現在の画像における現在の符号化ユニットを復号化するための方法であって、前記現在の画像のコロケーテッド画像を決定することと、前記現在の符号化ユニットの空間的隣接ブロックの動きベクトルに基づいて前記現在の画像における前記現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックと前記コロケーテッド画像における対応するサブブロックとの間の空間的位置のシフトを示す前記現在の符号化ユニットの動きシフトベクトルを決定することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することと、を含む、復号化方法を提供する。
本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に上記の操作を実行させる。
本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に上記の操作を実行させる。
本発明の実現のさらなる理解を提供する、本明細書の一部として本明細書に引き入れる添付図面は、上述した実現を示し、その説明と共に基礎原理を説明するためものである。なお、同一符号は同一または相当な部分を示す。
図１は、本開示のある実施形態に係る例示的なビデオ符号化および復号化システムを示すブロック図である。
図２は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。
図３は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。
図４Ａ～４Ｅは、本開示のある実施形態に係る、フレームがどのように再帰的に異なるサイズ及び形状の複数のビデオブロックに区画されるかを示すブロック図である。
図５は、本開示のある実施形態に係る、符号化対象である現在ＣＵの空間的に隣り合っている位置かつ時間的に並べているブロック位置を示すブロック図である。
図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子または現在ブロックにおけるサッブブロックのサッブブロック時間的動きベクトル予測子を導出するためのステップを示すブロック図である。
図７は、本開示のある実施形態に係る、時間的動きベクトル予測子およびサッブブロック時間的動きベクトル予測子を導出することに使用される有効な領域を決定するためのブロック図を示している。
図８は、本開示のある実施形態に係る、ビデオエンコーダがサッブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセスを示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。以下の詳細な説明において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の変形により実施することができることは当業者には明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得る。
図１は、本開示のある実施形態に係る、ビデオブロックを並列に符号化および復号化するための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。
ある実施形態では、目標装置１４が、リンク１６を介して復号化対象の符号化されたビデオデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２から目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である。一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装置１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）スペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含むことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネット等のグローバルネットワークなどのようなパケットベースに基づくネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。
他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４によってアクセスされる。ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレージ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプのコンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであってもよい。
図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適用可能であり、そして無線および／または有線アプリケーションに適用可能である。
ビデオエンコーダ２０は、捕れるビデオ、予め捕らえられたビデオ、またはコンピュータによって生成されたビデオを符号化することができる。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後目標装置１４または他の装置によってアクセスされて復号化および／または再生されるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。
目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信された、またはストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文要素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのような構文要素を含んでもよい。
ある実施形態では、目標装置１４が、集積された表示装置や、目標装置１４と通信できるように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプの表示装置などの各種の表示装置のいずれかを含んでもよい。
ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または将来の標準のいずれかに従ってビデオデータを復号化するように構成される。
ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種々の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェアによって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコンピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェアにおける命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダまたはデコーダに含まれてもよい。
図２は、本願で説明されるある実施形態に係るビデオエンコーダ２０を例示するブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイントラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性を低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの隣接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する。
図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界をフィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図示せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニットの１つ又は複数内で区画されてもよい。
ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化対象のビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップであってもよく、またはそれらの部品に対するオフチップであってもよい。
図２に示すように、ビデオデータを受信した後、予測処理部４１における区画部４５は、このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関するｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレームをスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含んでもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロックに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイントラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つを選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供して残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードインジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提供する。
予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適するイントラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレーム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予測符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオデータにおける各ブロックに適切な符号化モードを選択してもよい。
ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められたパターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測ブロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像内の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユニット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニット）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められたパターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとして指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動きベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクトルを決定してもよい。
予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メトリックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密にマッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動き推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行して、分数画素精度を有する動きベクトルを出力ことが可能である。
動き推定部４２は、インター予測符号化フレーム内のビデオブロックのＰＵの位置と、それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベクトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し、そして、エントロピー符号化部５６に送信する。
動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレームリストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によって提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロックに関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデコーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含んでよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示されているが、高度に集積されてもよい。
ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関して上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができるが、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４８は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することができる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種のイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれらのパフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試験されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応するイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み解析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモードからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして選択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符号化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み（又は、エラー）の量、および、この符号化されるブロックを生成するために使用されるビットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号化されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードがこのブロックに対して最適なレート歪み値を示しているかを決定してもよい。
別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４の全体または一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるものであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。
ビデオエンコーダ２０は、予測ブロックがイントラ予測に基づいて同じフレームからのものであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブロックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。
イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロックを符号化することができる。それを実現するために、イントラ予測処理部４６は、例えば、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロックを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験されたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化することができる。
予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビデオデータを残差変換係数に変換する。
変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、これらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これらの係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合いは、定量化パラメータを調整することによって変更されることができる。そして、ある例では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行することができる。この走査は、エントロピー符号化部５６によって実行されてもよい。
定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔区画エントロピー（ＰＩＰＥ）符号化や別のエントロピー符号化方法または技術により、定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０へ送信するか、またはビデオデコーダ３０によって検索するためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよい。
逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビデオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格納されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィルタを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。
加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター予測することが可能である。
図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測部８４及びイントラＢＣ部８５をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。
ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つまたは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を単独で実現してもよいし、または動き補償部８２、イントラ予測部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素によって実現されてもよい。
ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオデータメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無線ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードディスク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソースから取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０による（例えば、イントラ予測またはインター予測符号化モードでの）ビデオデータの復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能である。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデコーダ３０における２つの個別の構成要素として示されている。しかし、当業者にとっては、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスによって提供されることは明らかである。ある例では、ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要素に対するオフチップであってもよい。
ビデオデコーダ３０は、復号化プロセスにおいて、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、このビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。
ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけるイントラ予測部８４は、信号で通知されたイントラ予測モード、および現在フレームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成することが可能である。
ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化された場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックのための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロックは、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ３０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこれらの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。
ある例では、ビデオブロックがここで述べたイントラＢＣモードに従って符号化された場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのための予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定された現在のビデオブロックと同一の画像の再構成領域にあり得る。
動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要素を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、そして、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、このビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各インター予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビデオブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定する。
同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるどのビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情報、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、このフレームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することができる。
また、動き補償部８２は、ビデオエンコーダ２０がビデオブロックの符号化において使用した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。
逆定量化部８６は、ビデオエンコーダ２０によって定量化の度合いを決定するためにこのビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じものを使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域にある残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換処理をこれらの変換係数に適用する。
動き補償部８２またはイントラＢＣ部８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図示せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能である。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブロックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４などのような表示装置にその後表示されるように、復号化されたビデオも格納されることが可能である。
典型的なビデオ符号化プロセスでは、１つのビデオシーケンスが、通常、順序付けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒで示す３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元行列である。別の例では、フレームがモノクロであることがあり、この場合、輝度サンプルの１つの２次元行列のみが含まれる。
図４Ａに示すように、ビデオエンコーダ２０（または、より具体的には区画部４５）は、まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化表現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連続的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユニットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように、ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願は必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプルの１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得る。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのようにビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであって、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよび他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１つのＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化するために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロックであることが可能である。
より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２×３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さいＣＵのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つのＣＵに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それぞれ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示されたＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の各リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４Ｂに示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの符号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの符号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノクロ画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロックと、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得る。なお、図４Ｃおよび図４Ｄに示す四分木分割は、例示的にすぎず、１つのＣＴＵが四分/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができる。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リーフＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに示すように、幅Ｗおよび高さＨを有する符号化ブロックの５種の可能な区画タイプ、すなわち、四元区画、水平二元区画、垂直二元区画、水平三元区画、および垂直三元区画がある。
ある実施形態では、ビデオエンコーダ２０が、さらにＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測（インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロック、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測するために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有する画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用される構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣｂブロックおよび予測的なＣｒブロックを生成することができる。
ビデオエンコーダ２０は、イントラ予測またはインター予測により、ＰＵに対してこれらの予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測によりＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコーダ２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連するフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。
ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測的な輝度ブロック、予測的なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブロックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロックを生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測的な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの元の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで、このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロックのうち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおけるＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を示す。
さらに、図４Ｃに示すように、ビデオエンコーダ２０は、四分木区画により、ＣＵの輝度残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される構文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロックおよびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個別の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサンプルを変換するために使用される構文構造とを含み得る。
ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。
ビデオエンコーダ２０は、係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化とは、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減し、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量化した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能である。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対してコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実行してもよい。最終的に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成するビットシーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか、または目標装置１４に送信する。
ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得する。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一部に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構成するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセスと逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可能である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプルと現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在ＣＵの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された後、ビデオデコーダ３０はこのフレームを再構成することが可能である。
上述したように、ビデオ符号化では、主に２つのモード、即ちイントラフレーム予測（またはイントラ予測）及びインターフレーム予測（またはインター予測）を使用してビデオ圧縮を実現する。なお、ＩＢＣは、イントラフレーム予測または第三モードと見なすことができる。この２つのモードを比べると、インターフレーム予測は、動きベクトルを使用して参照ビデオブロックから現在のビデオブロックを予測するため、イントラフレーム予測よりも符号化効率に大きく貢献する。
しかし、ビデオデータ・キャプチャ技術の向上及びビデオデータの詳細を保持するためのより精細化的なビデオブロックサイズにつれて、現在フレームのための動きベクトルを表すために必要なデータの量も大幅に増加している。この課題を解決するための１つの方法は、空間ドメインと時間ドメインにおける１組の隣り合うＣＵが、予測目的のための同じビデオデータを含むだけでなく、これらの隣り合うＣＵ間で動きベクトルも同じであるという事実が有益である。したがって、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報の空間的および時間的相関性を探索することにより、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報を、現在ＣＵの「動きベクトル予測子」（ＭＶＰ）もという動き情報（例えば、動きベクトル）の近似として使用することが可能である。
図２を参照して上述した動き推定部４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子を差し引くにより、現在ＣＵの動きベクトル差（ＭＶＤ）を生成する。これにより、フレームの各ＣＵに対して動き推定部４２によって決定した動きベクトルをビデオビットストリームに符号化する必要がなく、ビデオビットストリームにおける動き情報を表すためのデータの量を大幅に減らすことができる。
符号化ブロックのインターフレーム予測中に参照フレーム内から予測ブロックを選択するプロセスと同様に、ビデオエンコーダ２０及びビデオデコーダ３０は、１組のルールにより、現在ＣＵの空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵに関連する潜在的な候補動きベクトルを使用して動きベクトル候補リスト（「マージリスト」とも呼ばれる）を構成し、そしてこれらの動きベクトル候補リストから１つの項目を選択して現在ＣＵの動きベクトル予測子とする必要がある。これにより、ビデオエンコーダ２０とビデオデコーダ３０との間で動きベクトル候補リスト自身を送信する必要がなく、動きベクトル候補リスト内の選択された動きベクトル予測子の索引は、ビデオエンコーダ２０およびビデオデコーダ３０が動きベクトル候補リスト内で同じ動きベクトル予測子を使用して現在ＣＵを符号化および復号化することに十分である。
ある実施形態では、各インター予測ＣＵが、動きベクトル候補リストを構成するためのインター（「高度な動きベクトル予測」（ＡＭＶＰ））、スキップおよびマージを含む３つの動きベクトル予測モードを有する。各モードでは、以下に説明するアルゴリズムに従って、１つまたは複数の動きベクトル候補を動きベクトル候補リストに追加することが可能である。最終的に、候補リスト内のそれらの動きベクトル候補のうちの１つは、ビデオエンコーダ２０によってビデオビットストリームに符号化されるか、またはビデオデコーダ３０によってビデオビットストリームから復号化されるインター予測ＣＵの最適な動きベクトル予測子として使用される。候補リストから最適な動きベクトル予測子を見つけるために、動きベクトル競合（ＭＶＣ）スキームが導入されて、空間的および時間的動きベクトル候補を含む所定の動きベクトル候補セット、すなわち動きベクトル候補リストから１つの動きベクトルが選択される。
動きベクトル予測子候補は、空間的に隣り合い、または時間的にコロケーテッドＣＵから導出されることに加えて、いわゆる「履歴による動きベクトル予測」（ＨＭＶＰ）テーブルからも導出されることが可能である。ＨＭＶＰテーブルには、それぞれがＣＴＵの同じ行（または同じＣＴＵ）の所定のＣＵを符号化/復号化することに使用された予め定められた数の動きベクトル予測子を収納している。これらのＣＵの空間的/時間的近接性によって、ＨＭＶＰテーブルにおける動きベクトル予測子のうち１つが、ＣＴＵの同じ行内の異なるＣＵを符号化/復号化することに再利用される可能性は高い。したがって、動きベクトル候補リストを構成する処理にＨＭＶＰテーブルを使用することにより、より高い符号化効率を達成することが可能である。
ある実施形態では、ＨＭＶＰテーブルが固定の長さ（例えば５）を有し、先入れ先出し（ＦＩＦＯ）の方式で管理される。例えば、ＣＵの１つのインター符号化ブロックを復号化する際に、このＣＵに対して動きベクトルを再構成する。再構成された動きベクトルが後続のＣＵの動きベクトル予測子である可能性があるので、ＨＭＶＰテーブルは、この動きベクトルによりオンザフライで更新される。ＨＭＶＰテーブルの更新では、以下の２つの状況がある。（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと異なる、または（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと同じである。第１の状況では、ＨＭＶＰテーブルが未満の場合、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶＰテーブルがすでにいっぱいになる場合、再構成された動きベクトルが最新のものとして追加される前に、まずＨＭＶＰテーブル内の最も古い動きベクトルがＨＭＶＰテーブルから削除される必要がある。言い換えると、この場合、ＨＭＶＰテーブルは、ＦＩＦＯバッファと同様に、ＦＩＦＯバッファの先頭にあり且つ以前にインター符号化された別のブロックに関連する動き情報がこのバッファから取り除かれて、再構成された動きベクトルがＨＭＶＰテーブルにおける最新の項目としてＦＩＦＯバッファの末端に追加される。第２の状況では、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される前に、ＨＭＶＰテーブル内の、再構成された動きベクトルと実質的に同じ既存の動きベクトルがＨＭＶＰテーブルから削除される。ＨＭＶＰテーブルもＦＩＦＯバッファの方式で維持されている場合、ＨＭＶＰテーブル内の同じ動きベクトルの次の動きベクトル予測子が１つの項目だけ前方に移動されて削除された動きベクトルによって残された空間を占有し、そして、再構成された動きベクトルがＨＭＶＰテーブル内の最新のものとしてＦＩＦＯバッファの末端に追加される。
ＨＭＶＰテーブルにおける動きベクトルは、ＡＭＶＰ、マージ、スキップなどの異なる予測モードで動きベクトル候補リストに追加されることが可能である。ＨＭＶＰテーブルに保存されている以前にインター符号化されたブロックの動き情報は、現在ブロックに隣り合っていなくても、より効率的な動きベクトル予測に利用できることが分かった。
現在ＣＵに対する所定の動きベクトル候補セット内で１つのＭＶＰ候補が選択された後、ビデオエンコーダ２０は、対応するＭＶＰ候補に対して１つまたは複数の構文要素を生成し、ビデオビットストリームに符号化してビデオデコーダ３０がこの構文要素を使用してこのデオビットストリームからこのＭＶＰ候補を検索できる。動きベクトル候補セットを構成するための特定のモードによっては、異なるモード（例えば、ＡＭＶＰ、マージ、スキップなど）が異なる構文要素セットを有する。ＡＭＶＰモードの場合には、構文要素が、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照索引、動きベクトル候補索引、動きベクトル予測残差信号などを含む。スキップモード及びマージモード場合には、現在ＣＵが、符号化されたマージ索引によって指す隣接ＣＵから、インター予測インジケータ、参照索引、動きベクトルなどの他の構文要素を継承するので、マージ索引のみがビットストリームに符号化される。スキップ符号化されたＣＵの場合には、動きベクトル予測残差信号も省略される。
図５Ａは、本開示のある実施形態に係る、符号化／復号化対象の現在ＣＵの空間的に隣り合いかつ時間的にコロケーテッドブロック位置を示すブロック図である。所定のモードでは、まず空間的に左側隣接ブロック位置および上方隣接ブロック位置に関連する動きベクトルの利用可能性、時間的にコロケーテッドブロック位置に関連する動きベクトルの利用可能性を検査し、次にＨＭＶＰテーブル内の動きベクトルの利用可能性を検査することで、動きベクトル予測（ＭＶＰ）候補リストを構成する。ＭＶＰ候補リストを構成するプロセスには、いくつかの冗長なＭＶＰ候補が候補リストから削除され、必要に応じて候補リストが固定の長さを有するようにゼロ値の動きベクトルが追加される（なお、モードによって固定の長さが異なることがある）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２０は、この候補リストから最適な動きベクトル予測子を選択し、選択された候補を指す対応する索引をビデオビットストリームに符号化することができる。
ある例では、候補リスト（マージ候補リストとも呼ばれる）が、以下の５種タイプの候補を以下の順に含むことによって構成されることができる。
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ
ある実施形態では、候補リストのサイズがスライスヘッダーで通知され、候補リストの最大許容サイズが６である（例えば、ＶＶＣの場合）。マージモードの各ＣＵコードについて、最適なマージ候補のインデックスが、切り捨て単項二値化（ＴＵ）により符号化される。マージインデックスの第１のビンは、コンテキストで符号化され、一方バイパス符号化が他のビンに使用される。本開示の以下の文脈において、この拡張されたマージモードは、概念がＨＥＶＣに使用されるマージモードと同じであるため、通常のマージモードとも呼ばれる。
図５Ａを例として使用し、かつ候補リストが２の固定長さを有すると仮定すると、現在ＣＵに関する動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモードで以下のステップを順に実行することによって構成されることが可能である。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラモードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つの空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、このＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラモードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つの空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、このＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。
以上の構成されたＡＭＶＰモードＭＶＰ候補リストには２つの候補しかないので、候補リスト内の２つのＭＶＰ候補のうちどのが現在ＣＵの復号化に使用されるかを示すように、バイナリフラグのような関連する構文要素をビットストリームに符号化する。
ある実施形態では、スキップモードまたはマージモードでは、上述のような一連のステップを順に実行することで、現在ＣＵに関するＭＶＰ候補リストを構成し得る。なお、「ペアワイズマージ候補」と呼ばれる１つの特別な種類のマージ候補も、スキップモードまたはマージモードのためのＭＶＰ候補リストに含まれる。ペアワイズマージ候補は、以前に導出された２つのマージモード動きベクトル候補のＭＶを平均化することによって生成される。マージＭＶＰ候補リストのサイズ（たとえば、１から６）は、現在ＣＵのスライスヘッダーで通知される。マージモードの各ＣＵについて、最適なマージ候補の索引は、切り捨て単項二値化（ＴＵ）により復号化される。マージ索引の第１のビンはコンテキストで符号化され、バイパス符号化が他のビンに使用される。
上述のように、履歴によるＭＶＰは、空間的ＭＶＰ及び時間的ＭＶＰの後、ＡＭＶＰモードＭＶＰ候補リスト又はマージＭＶＰ候補リストに追加されることができる。以前インター符号化されたＣＵの動き情報は、ＨＭＶＰテーブルに保存され、現在ＣＵのためのＭＶＰ候補として使用される。ＨＭＶＰテーブルは、符号化/復号化プロセス中に維持されている。非サブブロックインター符号化したＣＵがあるたびに、関連する動きベクトル情報が新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方（ＨＭＶＰテーブルがすでにいっぱいで、このテーブル内に関連動きベクトル情報の同じ複本がない場合）ＨＭＶＰテーブルの第１のエントリに格納されている動きベクトル情報がそこから削除される。これの代わりに、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエントリに追加される前に、関連する動きベクトル情報の同じ複本をこのテーブルから削除してもよい。
上述のように、イントラブロックコピー（ＩＢＣ）は、スクリーンコンテンツ素材の符号化効率を著しく改善することができる。ＩＢＣモードはブロックレベルの符号化モードとして実現されるので、ビデオエンコーダ２０では、ブロックマッチング（ＢＭ）を実行して、各ＣＵに対して最適なブロックベクトルを見つける。ここでは、ブロックベクトルは、現在の画像内で現在ブロックからすでに再構成された参照ブロックへの変位を示すためのものである。ＩＢＣモードは、イントラ予測モードまたはインター予測モード以外の第三予測モードとして扱われる。
ＣＵレベルでは、ＩＢＣモードが、以下のようにＩＢＣ ＡＭＶＰモードまたはＩＢＣスキップ／マージモードとして信号で通知されることができる。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベクトル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロックベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣からである。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示すように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクトル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのものである。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候補を含む。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベクトル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロックベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣からである。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示すように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクトル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのものである。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候補を含む。
図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子（ＴＭＶＰ）またはサッブブロックのサッブブロック時間的動きベクトル予測子（ＳｂＴＭＶＰ）を導出するためのステップを示すブロック図である。
ある実施形態では、図５に関して説明したように、１つの時間的動きベクトル予測子（ＴＭＶＰ）候補のみがマージ候補リストに追加される。このＴＭＶＰ候補が有効か無効かを指示すように、第１フラグ（sps_temporal_mvp_enabled_flag）が画像のシーケンスパラメータセット（ＳＰＳ）で通知され、第２フラグ（slice_temporal_mvp_enabled_flag）がスライスヘッダーで通知される。特に、この時間的マージ候補の導出では、スケール動きベクトルが、参照画像リストにおける以前に符号化復号化された画像であるコロケーテッド画像のＭＶから導出される。この時間的動き候補の導出では、このコロケーテッド画像が第１の参照フレームリスト（Ｌｉｓｔ０）か第２の参照フレームリスト（Ｌｉｓｔ１）から選択されたかを指示すように、スライスヘッダー内の明示的なフラグ（co-located_from_l0_flag）が最初にデコーダーに送信される。使用されるリスト内のどの画像が、時間的動き候補を導出するためのコロケーテッド画像として選択されるかを指示すように、コロケーテッド参照インデックス（co-located_ref_idx）がさらに送信される。時間的動き候補のＬｉｓｔ０（Ｌ０とも呼ばれる）およびＬｉｓｔ１（Ｌ１とも呼ばれる）ＭＶは、以下の擬似コードに従ってコロケーテッド画像のコロケーテッドブロック内の異なるリストのＭＶに対する予め定められた順序で個別に導出される。
時間的併合候補のスケール動きベクトル６０２は、図６Ａの点線で示すように、ＰＯＣ距離ｔｂ６０４およびＰＯＣ距離ｔｄ６０６を使用して、選択されたコロケーテッドブロックの動きベクトルからスケールされることで得られる。ここで、ｔｂは、現在の画像の参照画像（例えば、現在の参照６０８）と現在の画像（例えば、現在の画像６１０）との間のＰＯＣ差と定義され、ｔｄは、コロケーテッド画像の参照画像（コロケーテッド参照６１４）とコロケーテッド画像（コロケーテッド画像６１２）との間のＰＯＣ差と定義される。時間的マージ候補の参照画像インデックスはゼロに設定される。スケールプロセスの実際的な実現は、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、１つが参照画像Ｌｉｓｔ０用、もう１つが参照画像Ｌｉｓｔ１用のような２つの動きベクトルは、取得されて結合され、双予測マージ候補を作成する。
参照フレームに属するコロケーテッドブロック（例えば、コロケーテッドブロック６２０）において、時間的候補の位置は、図６Ｂに示すように、候補Ｃ０とＣ１との間で選択される。位置Ｃ０でのブロックが利用不可であり、イントラ符号化復号化されており、または現在のＣＴＵの外にある場合は、位置Ｃ１が使用される。それ以外の場合、位置Ｃ０は時間的マージ候補の導出に使用される。
ある符号化復号化標準（例えば、ＶＶＣ試験モデル１）は、サッブブロックに基づく時間的動きベクトル予測子（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、コロケーテッド画像の動きフィールドを使用して、現在の画像におけるＣＵの動きベクトル予測及びマージモードを改善する。ＳｂＴＭＶＰでは、ＴＭＶＰで使用されたコロケーテッド画像と同じものが使用される。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベクトルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択された時間的動き情報に適用する。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベクトルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択された時間的動き情報に適用する。
ＳｂＴＭＶＰプロセスは、図６Ｃ-６Ｄに示されている。ＳｂＴＭＶＰ（図６ＤのＳｂＴＭＶＰ６３２）は、２つのステップで、現在のＣＵ（図６Ｄの現在のＣＵ６３６）内のサブＣＵ（例えば、サブＣＵ６３４）の動ベクトルを予測する。第１のステップにおいて、図６Ｃ中の空間的隣Ａ１（例えば、空間的隣６３８）を調べる。Ａ１がコロケーテッド画像（例えば、図６Ａのコロケーテッド画像６１２）を参照画像として使用する動きベクトルを有する場合、この動きベクトルは、適用される動きシフト（例えば、図６Ｄの動きシフト６３０）として選択される。そのような動きベクトルが識別されながった場合、動きシフトはゼロ値ベクトル（０、０）に設定される。ブロックＡ１のＬｉｓｔ０ＭＶおよびＬｉｓｔ１ＭＶのうちの最初に利用可能な動きベクトルは、動きシフトとして設定される。このように、ＳｂＴＭＶＰでは、常に現在のＣＵに対して右下または中央の位置にある対応するブロック（コロケーテッドブロックと呼ばれることもある）がＴＭＶＰと比較して、より正確に識別されることができる。動きシフトを決定するための擬似コードは以下のとおりである。
上記の表で使用される変数および関数は、以下のように示す。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるかどうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取得するための関数。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるかどうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取得するための関数。
第２のステップでは、図６Ｄに示すように、ステップ１で識別された動きシフトが適用されて（すなわち、現在のブロックの座標に追加されて）、コロケーテッド画像からサブＣＵレベルの動き情報（動きベクトルおよび参照インデックス）を取得する。図６Ｄの例では、動きシフトがブロックＡ１の動きに設定されているとする。実際の実現では、動きシフトがブロックＡ１、Ａ２、Ｂ１、またはＢ２の動きのいずれかに設定されることが可能である。
まず、代表的なサブＣＵが選択され、この代表的なサブＣＵの対応するブロックの動き情報がデフォルト動き情報として使用される。ＳｂＴＭＶＰの既存のスキームでは、現在のＣＵの中央位置の右下にあるサブＣＵが代表的なサブＣＵとして選択される。代表的なサブＣＵの対応するブロックからデフォルト動き情報として有効な動き情報を導出できなかった場合、ＳｂＴＭＶＰ候補は利用不可と見なされる。デフォルト動き情報が利用可能な場合、次のステップに進み、現在のＣＵ内の各サブＣＵの動き情報を取得する。いずれかのサブＣＵの対応するブロックに利用可能な動き情報がないたびに、デフォルト動き情報がそのサブＣＵの導出された時間的動きとして使用される。
次に、各サブＣＵについて、コロケーテッド画像内の対応するブロック（中央のサンプルを含む最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報を導出する。コロケーテッドサブＣＵの動き情報が特定された後、時間的動きスケールを適用して時間的動きベクトルの参照画像を現在のＣＵの参照画像と位置合わせるＨＥＶＣのＴＭＶＰプロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。
なお、現在の設計では、コロケーテッド画像におけるコロケーテッドＣＴＵ内の動きフィールド＋このコロケーテッドＣＴＵの右側の１つの列のみが、各ＣＵのＳｂＴＭＶＰおよびＴＭＶＰ導出に使用できる。図７に示すように、コロケーテッドＣＴＵ内の動き情報＋このコロケーテッドＣＴＵの右側にある１列の動き情報（この例では、ＣＴＵ２は現在のＣＵのコロケーテッドＣＴＵ）のみは、ＳｂＴＭＶＰおよびＴＭＶＰの時間的なｍｖ導出に使用される可能である。以降、説明の便宜上、このコロケーテッドＣＴＵ＋１つの列を、ＳｂＴＭＶＰ / ＴＭＶＰ導出のための「有効な領域」と呼びる。このコンテキストでは、サブＣＵのコロケーテッド画像内の対応するＮ×Ｎブロックが有効な領域の外側にあるたびに、この対応するＮ×ＮブロックがコロケーテッドＣＴＵ内にある代替ブロックに置き換えられる。代替Ｎ×Ｎブロックの位置は、以下の式を使用して、有効な領域内に位置決めされる対応するＮ×Ｎブロックの元の位置をクリップすることで導出される。以下の式（各サブＣＵの位置クリッププロセス）では、CurPicWidthInSamplesY及びCurPicHeightInSamplesYは符号化復号化された画像の幅及び高さであり、CTUWidthInSamplesX及びCTUWidthInSamplesYはＣＴＵの幅及び高さであり、xCtb及びyCtbはコロケーテッドＣＴＵの左上のサンプルの水平位置及び垂直位置である。xColCtrCb及びyColCtrCbはサブＣＵの代表的なサンプルの水平位置及び垂直位置であり、MotionShiftX及びMotionShiftYは、動きシフトのｘ成分及びｙ成分である。関数Clip3（x, y, z）及びMin（x, y）は次のように定義される。
ＶＶＣでは、ＳｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む、サブブロックに基づく結合式マージリストが、サブブロックに基づくマージモードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効化/無効化される。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基づくマージ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。サブブロックに基づくマージリストのサイズはＳＰＳで信号により通知され、ＶＶＣでは、サブブロックに基づくマージリストの最大許可サイズが５である。
ＳｂＴＭＶＰで使用されるサブＣＵサイズは８×８に固定されており、アフィンマージモードの場合のように、ＳｂＴＭＶＰモードは、幅および高さの両方が８以上であるＣＵにのみ適用可能である。さらに、現在のＶＶＣでは、ＴＭＶＰおよびＳｂＴＭＶＰで使用される時間的動きフィールドストレージの場合、動きフィールド圧縮は、ＨＥＶＣにおける１６×１６の粒度とは対照的に、８×８の粒度で実行される。
ある実施形態では、動きシフトは、常に隣接ブロックのＬｉｓｔ０ｍｖから導出される。Ｌｉｓｔ０ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ１ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。
ある実施形態では、動きシフトが、常に隣接ブロックのＬｉｓｔ１ｍｖから導出される。 Ｌｉｓｔ１ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ０ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれがあるたびに、ゼロベクトルが動きシフトベクトルとして使用されてＳｂＴＭＶＰを導出する。このように、現在のＣＵのすべてのサブＣＵの対応するブロックが有効な領域内に位置することが保証される。したがって、各サブＣＵのための位置クリッププロセスは不要である。現在のＣＵにおいてサブＣＵの対応するブロックのいずれが有効な領域の外にあるかどうかを判定する方法はたくさんある。一例では、左上のＮ×ＮサブＣＵの対応するブロックおよび右下のＮ×ＮサブＣＵの対応するブロックは、この２つの対応するブロックが有効な領域内にあるかどうかを決定するようにチェックされる。いずれかの対応するブロックが有効な領域の外にある場合、ゼロベクトルが動きシフトベクトルとして使用される。それ以外の場合（対応するブロックの両方はとも有効な領域内にある）、導出された動きシフトがＳｂＴＭＶＰに使用される。
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、ＳｂＴＭＶＰは、現在のＣＵに対して利用不可と見なされる。
ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、動きシフトは、すべてのサブＣＵの対応するブロックが有効な領域内に位置することを保証するように修正される。したがって、各サブＣＵのための位置クリッププロセスは不要である。
ある実施形態では、ゼロベクトルは、常にＳｂＴＭＶＰ導出のための動きシフトに使用される。
ある実施形態では、有効な領域の外に位置する対応するブロックを有するサブＣＵのＭＶとして、代表的なサブＣＵから導出されたデフォルトＭＶを使用することが提案される。
図７は、本開示のある実施形態に係る、現在の画像（例えば、現在の画像７０４）における符号化ブロック（例えば、現在のＣＵ７０２）のためのＴＭＶＰおよびＳｂＴＭＶＰを導出することに使用される有効な領域を決定するためのブロック図を示している。有効な領域は、ＴＭＶＰまたはＳｂＴＭＶＰのために現在のＣＵ（例えば、現在のＣＵ７０２）に対応するＣＵ（例えば、対応するＣＵ７０２'）が検索されているコロケーテッド画像（例えば、コロケーテッド画像７０４'）内の領域である。ある実施形態では、有効な領域は、ＴＭＶＰおよびＳｂＴＭＶＰを導出するためのＣＴＵ（例えば、ＣＴＵ２'）＋１つの列（例えば、１列のＴＭＶバッファ７０６）によって決定される。有効な領域制約は、メモリ使用の削減のための設計である。有効な領域をコロケーテッドＣＴＵ＋１つの列に制限することにより、有効な領域内の動き情報のみを内部メモリ（例えば、キャッシュ）に保存して、外部メモリからの時間的動きデータへのアクセスの平均コスト（時間またはエネルギー）を削減する必要がある。今、最大ＣＴＵサイズはＶＶＣで１２８×１２８であり（最大ＣＴＵサイズはＶＶＣプロファイルの後続の段階で決定される可能性がある）、ＣＴＵサイズは１２８×１２８未満（例えば、６４×６４又は３２×３２）に設定されることが可能である。１つの例では、ＣＴＵサイズが６４×６４に設定されている場合、有効な領域は、コロケーテッド６４×６４ブロック＋１つの列に制約される。最大ＣＴＵのための時間的ＭＶバッファーの設計はすでに存在するので、符号化復号化効率の観点から、最大ＣＴＵサイズよりも小さい有効な領域を使用するのは賢明ではない場合がある。ある実施形態では、使用中のＣＴＵサイズに関係なく、有効な領域は、常に許可な最大ＣＴＵサイズ＋１つの列に固定されている。
ある実施形態では、有効な領域は、コロケーテッドＣＴＵだけになるように変更される。
ある実施形態では、ＣＴＵサイズが最大ＣＴＵサイズに等しい場合、有効な領域は、コロケーテッドＣＴＵ＋１つの列である。ＣＴＵサイズが最大ＣＴＵサイズよりも小さい場合、有効な領域は、コロケーテッドＣＴＵ＋コロケーテッドＣＴＵの右側の１つの列及びコロケーテッドＣＴＵの下の１つの行になるように変更される。
図８Ａ～８Ｂは、本開示のある実施形態に係る、ビデオエンコーダがサブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセス８００を示すフローチャートである。プロセス８００は、復号化プロセスか符号化プロセスかであり得るが、便宜上、プロセス８００は、ビデオデコーダ（例えば、図３のビデオデコーダ３０）によって実行される復号化プロセスとして説明される。
第１のステップとして、デコーダは、現在の符号化ユニットのコロケーテッド画像を決定する（例えば、ビットストリームから現在のフレームのコロケーテッド画像が第１のリストまたは第２のリストからのものであるかを指示する第１の構文要素を受信する；次に、ビットストリームから選択されたリストのどのフレームがコロケーテッドフレームとして使用されるかを指示する第２の構文要素を受信する）（８０５）。例えば、図６Ａを参照すると、現在の画像６１０における現在のＣＵ６０１は、コロケーテッド画像６１２内のコロケーテッドＣＵ６０１'に対応する。
次に、デコーダは、現在の符号化ユニットの空間的隣接ブロックを位置決める（８１０）。例えば、図６Ｄを参照すると、現在の符号化ユニット（例えば、現在のＣＵ６３６）は、空間的隣６３８（ブロックＡ１）を有する。ある実施形態では、空間的隣接ブロックは、符号化ユニットまたはサブブロックである。
空間的隣接ブロックを位置決めした後、デコーダは、次に、現在の符号化ユニットの動きシフトベクトルを決定する（８１５）。動きシフトベクトルは、現在の画像（例えば、図６Ｄにおける現在の画像６１０）における現在の符号化ユニット（例えば、図６Ｄにおける現在のＣＵ６３６）とコロケーテッド画像（例えば、図６Ｄにおけるコロケーテッド画像６１２）における対応するコロケーテッドブロック（例えば、図６Ｄにおける空間的隣６３８'（ブロックＡ１'））との間の空間的位置のシフトを示す。
動きシフトベクトルを決定するために、デコーダは、空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルのそれぞれを順次検査する（８２０）。Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれがコロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８２５）：デコーダは、Ｌｉｓｔ０内の当該動きベクトルを動きシフトベクトルとして設定し（８３０）（例えば、動きシフトベクトル６３０）、空間的隣接ブロックのＬｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベクトルの検査を放棄する（８３５）。その結果、動きベクトルの検索が終了し、Ｌｉｓｔ０内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。言い換えると、デコーダは、空間的隣接ブロックのＬｉｓｔ１をチェックする前に、常に最初に空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルをチェックする。
一方、Ｌｉｓｔ０内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を参照画像として使用しないという決定に従って（８４０）、デコーダは、空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査する（８４５）。つまり、デコーダは、Ｌｉｓｔ０内の動きベクトルの検索が否定的な結果を返す場合にのみ、空間的隣接ブロックのＬｉｓｔ１の動きベクトルをチェックする。
空間的隣接ブロックのＬｉｓｔ１内の動きベクトルを検索している間、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが、コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８５０）、デコーダは、Ｌｉｓｔ１における当該動きベクトルを動きシフトベクトルとして設定し（８５５）、Ｌｉｓｔ１における後続の動きベクトルの検査を放棄する（８６０）。つまり、Ｌｉｓｔ１内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。Ｌｉｓｔ１内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を当該動きベクトルの参照画像として使用しないという決定に従って（８６５）、デコーダは、動きシフトベクトルをゼロ値に設定する（８７０）。結果として、対応する符合化ユニットおよび現在の符号化ユニットは、コロケーテッド画像および現在の画像に対して同じ相対な位置にある（例えば、現在の符号化ユニットと対応する符号化ユニットとの間に動きのシフトがない）。
最後に、デコーダは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像内の対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する（８７５）。例えば、図６Ｄを参照すると、スケーリング後、サブブロック時間的動きベクトル予測子６３２は、動きシフトベクトル６３０により、対応するサブブロック時間的動きベクトル６３１を位置決めすことで構成される（例えば、図６Ａに関して説明されたスケールプロセス及び関する説明）。ある実施形態では、サブブロックは、Ｌｉｓｔ０およびＬｉｓｔ１からの１つまたは２つの時間的動きベクトルを含む。
ある実施形態では、動きシフトベクトルに基づいてコロケーテッド画像内の対応するサブブロックから、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを再構築することは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測することを含み、動きシフトベクトルに基づいてコロケーテッド画像における所定の領域（例えば、有効な領域）内において、それぞれのサブブロックに対応するコロケーテッドサブブロックを探索する；コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在するという決定に従って、コロケーテッドサブブロックの１つ又は２つの動きベクトルを識別し、それぞれのサブブロックのためのサブブロックに基づく時間的動きベクトルを、現在の画像と現在の画像の参照画像との間の第１の画像順序カウント（ＰＯＣ）距離（例えば、図６ＡにおけるＰＯＣ距離ｔｂ）およびコロケーテッド画像とコロケーテッド画像の参照画像との間の第２のＰＯＣ距離（例えば、図６ＡにおけるＰＯＤ距離ｔｄ）に基づいてスケールされた１つまたは２つの動きベクトルとして設定する。ある実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、対応するサブブロックのサブブロックに基づく時間的運動ベクトルは、ゼロ値動きベクトルに設定される。別の実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、コロケーテッド画像における所定の領域内の代替的サブブロックは対応するサブブロックとして設定される。例えば、代替的サブブロックは、コロケーテッドサブブロックに最も近い所定の領域内における境界サブブロックである。
ある実施形態では、コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく、所定の領域は、最大許可ＣＴＵサイズ＋１つの列に等しいサイズを有する。
ある実施形態では、デコーダは、空間的隣接ブロックのＬｉｓｔ０をチェックする前に、まず空間的隣接ブロックのＬｉｓｔ１における動きベクトルをチェックする。
１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含むことが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形態を実現するための命令、コード、および／またはデータ構造を検索することができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含んでもよい。
ここで実施形態を説明するために使用される用語は、特定の実施形態を説明することのみを目的としており、特許請求の範囲を限定することを意図することがではない。実施形態の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、および「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列挙された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべきである。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／または成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/またはそれらの組の存在または追加を排除するものではないことがさらに理解されべきである。
ここで、第１、第２などの用語を使用して各種の要素を説明したことが、これらの要素はこれらの用語によって限定されないことも理解されべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱することない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１の電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極ではない。
本願の説明は、例示および説明のために提示されており、網羅的なまたは開示された形態の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できるようにするために選択されおよび説明されたものである。したがって、特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、添付の特許請求の範囲に含まれることを理解されるべきである。
Claims (9)
- 現在の画像における現在の符号化ユニットを復号化するための方法であって、
前記現在の符号化ユニットのコロケーテッド画像を決定することと、
前記コロケーテッド画像に対応する前記現在の符号化ユニットの空間的隣接ブロックを位
置決めることと、
前記空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルのそれぞれを順次検査
することと、
前記Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当
該前記動きベクトルの参照画像として使用するという決定に従って：
前記Ｌｉｓｔ０内の当該動きベクトルを動きシフトベクトルとして設定し、
前記Ｌｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベクトルの検査
を放棄することと、
前記Ｌｉｓｔ０内のそれぞれの動きベクトルがいずれも前記コロケーテッド画像を参照
画像として使用しないという決定に従って：
前記空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査し、
前記Ｌｉｓｔ１内のそれぞれの前記動きベクトルのいずれが前記コロケーテッド画像を当
該動きベクトルの参照画像として使用するという決定に従って：
前記Ｌｉｓｔ１内の当該動きベクトルを前記動きシフトベクトルとして設定し、
前記Ｌｉｓｔ１における後続の動きベクトルの検査を放棄し、
前記Ｌｉｓｔ１内のそれぞれの動きベクトルがいずれも前記コロケーテッド画
像を当該動きベクトルの参照画像として使用しないという決定に従って、
前記動きシフトベクトルをゼロ値ベクトルに設定することと、
を含み、
前記現在の画像における前記現在の符号化ユニットと前記コロケーテッド画像における対
応するコロケーテッドブロックとの間の空間的位置のシフトを示す前記現在の符号化ユニ
ットの前記動きシフトベクトルを決定することと、
前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロック
について、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応す
るサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することと、を
含む復号化方法。 - 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロック
について、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応す
るサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することは、
前記動きシフトベクトルに基づいて、前記コロケーテッド画像における所定の領域内にお
いて、それぞれのサブブロックに対応するコロケーテッドサブブロックを探索することと
、
前記コロケーテッドサブブロックが前記コロケーテッド画像における所定の領域内に存在
するという決定に従って：
前記コロケーテッドサブブロックの１つ又は２つの動きベクトルを識別し、
前記それぞれのサブブロックのためのサブブロックに基づく時間的動きベクトルを、前記
現在の画像と前記現在の画像の参照画像との間の第１の画像順序カウント（ＰＯＣ）距離
および前記コロケーテッド画像と前記コロケーテッド画像の参照画像との間の第２のＰＯ
Ｃ距離に基づいてスケールされた１つまたは２つの動きベクトルとして設定することと、
含み、
前記現在の符号化ユニットにおける複数のサブブロックのうちの前記それぞれのサブブロ
ックのサブブロックに基づく時間的動きベクトルを予測すること、
を含む、請求項１に記載の方法。 - 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロック
のサブブロックに基づく時間的動きベクトルを予測することは、
前記コロケーテッドサブブロックが前記コロケーテッド画像における前記所定の領域内に
存在しないという決定に従って：
前記対応するサブブロックのサブブロックに基づく時間的運動ベクトルをゼロ値動きベク
トルに設定すること、
を含む、請求項２に記載の方法。 - 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロック
のサブブロックに基づく時間的動きベクトルを予測することは、
前記コロケーテッドサブブロックが前記コロケーテッド画像における前記所定の領域内に
存在しないという決定に従って：
前記コロケーテッド画像における前記所定の領域内の、前記コロケーテッドサブブロック
に最も近い前記所定の領域内における境界サブブロックである代替的サブブロックを前記
対応するサブブロックとして設定すること、
を含む、請求項２に記載の方法。 - 前記現在の符号化ユニットに隣り合うブロックは、符号化ユニット又は符号化ユニットの
サブブロックである、請求項１に記載の方法。 - 前記所定の領域は、前記コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく
、最大許可ＣＴＵサイズプラス１つの列のようなサイズを有する、請求項２に記載の方法
。 - 前記最大許可ＣＴＵサイズは、１２８×１２８である、請求項５に記載の方法。
- １つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続されているメモリと、
前記メモリに格納され、前記１つまたは複数のプロセッサによって実行されると、当該コ
ンピューティング装置に請求項１～７のいずれかに記載の操作を実行させる複数のプログ
ラムと、
を含む、コンピューティング装置。 - １つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数の
プログラムを格納する非一時的なコンピュータ可読記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記
コンピューティング装置に請求項１～７のいずれかに記載の操作を実行させる、非一時的
なコンピュータ読取可能な記憶媒体。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962858916P | 2019-06-07 | 2019-06-07 | |
| US62/858,916 | 2019-06-07 | ||
| JP2021572522A JP7200404B2 (ja) | 2019-06-07 | 2020-06-05 | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 |
| PCT/US2020/036339 WO2020247761A1 (en) | 2019-06-07 | 2020-06-05 | Sub-block temporal motion vector prediction for video coding |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021572522A Division JP7200404B2 (ja) | 2019-06-07 | 2020-06-05 | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023040048A true JP2023040048A (ja) | 2023-03-22 |
Family
ID=73652328
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021572522A Active JP7200404B2 (ja) | 2019-06-07 | 2020-06-05 | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 |
| JP2022204234A Pending JP2023040048A (ja) | 2019-06-07 | 2022-12-21 | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021572522A Active JP7200404B2 (ja) | 2019-06-07 | 2020-06-05 | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20220094942A1 (ja) |
| EP (1) | EP3967039A4 (ja) |
| JP (2) | JP7200404B2 (ja) |
| KR (4) | KR20230098705A (ja) |
| CN (3) | CN114026852A (ja) |
| MX (1) | MX2021015068A (ja) |
| WO (1) | WO2020247761A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024011076A1 (en) * | 2022-07-06 | 2024-01-11 | Bytedance Inc. | Method, apparatus, and medium for video processing |
| US20240031577A1 (en) * | 2022-07-21 | 2024-01-25 | Tencent America LLC | MOTION VECTOR PREDICTION FUSION FOR SUBBLOCK-BASED TEMPORAL MOTION VECTOR PREDICTION (SbTMVP) AND TEMPORAL MOTION VECTOR PREDICTION (TMVP) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1117480C (zh) * | 1997-12-01 | 2003-08-06 | 三星电子株式会社 | 运动向量预测方法 |
| US8976873B2 (en) * | 2010-11-24 | 2015-03-10 | Stmicroelectronics S.R.L. | Apparatus and method for performing error concealment of inter-coded video frames |
| GB2493755B (en) * | 2011-08-17 | 2016-10-19 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of images |
| US9674523B2 (en) * | 2012-11-14 | 2017-06-06 | Advanced Micro Devices, Inc. | Methods and apparatus for transcoding digital video |
| US9918098B2 (en) * | 2014-01-23 | 2018-03-13 | Nvidia Corporation | Memory management of motion vectors in high efficiency video coding motion vector prediction |
| US11477477B2 (en) * | 2015-01-26 | 2022-10-18 | Qualcomm Incorporated | Sub-prediction unit based advanced temporal motion vector prediction |
| CN107071481A (zh) * | 2015-12-14 | 2017-08-18 | 联发科技股份有限公司 | 一种视频编码解码方法及装置 |
| US10124730B2 (en) * | 2016-03-17 | 2018-11-13 | Ford Global Technologies, Llc | Vehicle lane boundary position |
| WO2017195608A1 (ja) | 2016-05-13 | 2017-11-16 | シャープ株式会社 | 動画像復号装置 |
| EP3264769A1 (en) * | 2016-06-30 | 2018-01-03 | Thomson Licensing | Method and apparatus for video coding with automatic motion information refinement |
| US20180199057A1 (en) * | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
| US10298951B2 (en) * | 2017-04-06 | 2019-05-21 | Mediatek Inc. | Method and apparatus of motion vector prediction |
| US10970564B2 (en) * | 2017-09-30 | 2021-04-06 | Tusimple, Inc. | System and method for instance-level lane detection for autonomous vehicle control |
| KR20190062273A (ko) * | 2017-11-28 | 2019-06-05 | 한국전자통신연구원 | 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치 |
| CN109472308A (zh) * | 2018-11-08 | 2019-03-15 | 华南理工大学 | 一种基于人工智能的免标记仪器设备特征锚点检测方法 |
-
2020
- 2020-06-05 KR KR1020237021200A patent/KR20230098705A/ko active Application Filing
- 2020-06-05 JP JP2021572522A patent/JP7200404B2/ja active Active
- 2020-06-05 MX MX2021015068A patent/MX2021015068A/es unknown
- 2020-06-05 CN CN202080036321.0A patent/CN114026852A/zh active Pending
- 2020-06-05 CN CN202210042724.7A patent/CN114363611B/zh active Active
- 2020-06-05 EP EP20818170.1A patent/EP3967039A4/en active Pending
- 2020-06-05 WO PCT/US2020/036339 patent/WO2020247761A1/en unknown
- 2020-06-05 CN CN202310119129.3A patent/CN116156199B/zh active Active
- 2020-06-05 KR KR1020227033695A patent/KR102548345B1/ko active IP Right Grant
- 2020-06-05 KR KR1020217039515A patent/KR102449889B1/ko active IP Right Grant
- 2020-06-05 KR KR1020237021198A patent/KR20230098704A/ko active Application Filing
-
2021
- 2021-12-02 US US17/541,102 patent/US20220094942A1/en active Pending
-
2022
- 2022-12-21 JP JP2022204234A patent/JP2023040048A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220094942A1 (en) | 2022-03-24 |
| CN114026852A (zh) | 2022-02-08 |
| CN114363611B (zh) | 2023-03-24 |
| MX2021015068A (es) | 2022-01-18 |
| CN116156199B (zh) | 2023-10-03 |
| CN114363611A (zh) | 2022-04-15 |
| EP3967039A4 (en) | 2022-07-06 |
| KR20220005550A (ko) | 2022-01-13 |
| EP3967039A1 (en) | 2022-03-16 |
| JP2022528581A (ja) | 2022-06-14 |
| KR102548345B1 (ko) | 2023-06-28 |
| JP7200404B2 (ja) | 2023-01-06 |
| KR20220136502A (ko) | 2022-10-07 |
| WO2020247761A1 (en) | 2020-12-10 |
| KR20230098704A (ko) | 2023-07-04 |
| KR102449889B1 (ko) | 2022-09-30 |
| CN116156199A (zh) | 2023-05-23 |
| KR20230098705A (ko) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113556539B (zh) | 对视频数据进行解码的方法、计算设备和介质 | |
| JP7247398B2 (ja) | クロスコンポーネント線形モデルの簡略化 | |
| JP2023040048A (ja) | ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 | |
| EP3939259A1 (en) | Video coding using multi-model linear model | |
| US20240163468A1 (en) | Methods and apparatus of video coding using subblock-based temporal motion vector prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |