JP2022539005A - ビデオコーディングにおける時間動きベクトル予測候補の導出 - Google Patents

Abstract

例示的な方法は、ビデオコーダによって、およびコード化ビデオビットストリームを介して、コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、ビデオコーダによって、コード化ビデオビットストリームを介して複数のシンタックス要素をコーディングすることと、ビデオコーダによって、および複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを含む。

Description

[0001]本出願は、その各々の全体が参照により本明細書に組み込まれる、２０１９年６月２５日に出願された米国仮出願第６２／８６６，５３６号、２０１９年６月２６日に出願された米国仮出願第６２／８６７，０２１号、および２０１９年６月２８日に出願された米国仮出願第６２／８６８，４６２号の利益を主張する、２０２０年６月２３日に出願された米国出願第１６／９０９，８５６号の優先権を主張する。

[0002]本開示は、ビデオ符号化およびビデオ復号に関する。

[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。

[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間（ピクチャ内）予測および／または時間（ピクチャ間）予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）が、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。

[0005]概して、本開示は、ビデオコーディングのための時間動きベクトル予測（ＴＭＶＰ）候補を導出するための技法について説明する。ビデオデータの現在ブロックのための動きベクトルを決定するために、ビデオコーダが、動きベクトル候補のリストを生成し得る。リスト中に含まれ得る候補の例は、空間候補、ＴＭＶＰ候補、履歴ベースＭＶＰ候補、ペアワイズ（pairwise）候補、組合せ双方向、および／またはデフォルト候補である。ビデオエンコーダとビデオデコーダの両方は、同等のリストを生成し得、ビデオエンコーダは、リストからのどの候補が使用されるべきであるかを示すインデックスをビデオコーダにシグナリングし得る。

[0006]ビデオコーダは、ビデオデータのあらゆるブロックについて同様の様式でＴＭＶＰ候補を導出し得る。たとえば、ビデオコーダは、ビデオコーダが、コロケートされたピクチャ中のコロケートされた予測ユニット（ＰＵ）からＴＭＶＰ候補を導出するように、推論されたデフォルトパラメータを使用してＴＭＶＰ候補を導出し得る。しかしながら、いくつかの例では、デフォルトパラメータに基づいて導出されたＴＭＶＰ候補は、最良のＴＭＶＰ候補でないことがある。たとえば、他のピクチャからの他の動きベクトルが、現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを識別し得る。現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを有することは、残差データのサイズを低減することによってコーディング効率を改善し得る。

[0007]本開示の１つまたは複数の技法によれば、ＴＭＶＰ候補の導出は、よりフレキシブルに行われ得る。たとえば、ＴＭＶＰ候補導出を制御するパラメータ（ＴＭＶＰパラメータ）を推論することとは対照的に、ビデオコーダは、ＴＭＶＰ候補導出を制御するパラメータを明示的にシグナリングし得る。シグナリングされ得るいくつかの例示的なパラメータは、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストと、コロケートされたピクチャの参照インデックスと、ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストとを含む。パラメータを明示的にシグナリングすることによって、ビデオエンコーダは、現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを識別するＴＭＶＰ候補を選択することが可能であり得る。残差データサイズにおける得られた低減は、ＴＭＶＰパラメータをシグナリングするために使用されるより多くのそのデータであり得る。このようにして、本開示の技法は、（たとえば、ビデオデータを符号化するために使用されるデータの量を低減することによって）コーディング効率を改善し得る。

[0008]いくつかの例では、ビデオコーダは、ＴＭＶＰパラメータを選択的にシグナリングし得る。たとえば、常にＴＭＶＰパラメータを推論すること、または常にＴＭＶＰパラメータを明示的にシグナリングすることとは対照的に、ビデオコーダは、ＴＭＶＰパラメータが明示的にシグナリングされるか否かを示すシンタックス要素をシグナリングし得る。シンタックス要素が、ＴＭＶＰパラメータが明示的にシグナリングされることを示す場合、ビデオコーダは、ＴＭＶＰパラメータを指定する複数のシンタックス要素をコーディングし得る。他の場合（たとえば、シンタックス要素が、ＴＭＶＰパラメータが明示的にシグナリングされることを示さない場合）、ビデオコーダはＴＭＶＰパラメータを推論し得る。いくつかの例では、ビデオエンコーダは、ＴＭＶＰパラメータを明示的にシグナリングするためのデータの量が、推論されたＴＭＶＰパラメータに基づいて導出されたＴＭＶＰ候補以外のＴＭＶＰ候補を使用することによって節約されるデータの量よりも大きいことになる場合、ＴＭＶＰパラメータを推論することを選択し得る。このようにして、本開示の技法は、（たとえば、ビデオデータを符号化するために使用されるデータの量を低減することによって）コーディング効率を改善し得る。

[0009]一例では、方法は、ビデオコーダによって、およびコード化ビデオビットストリームを介して、コード化ビデオビットストリームが、ＴＭＶＰ候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、ビデオコーダによって、コード化ビデオビットストリームを介して複数のシンタックス要素をコーディングすることと、ビデオコーダによって、および複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを含む。

[0010]別の例では、デバイスは、コード化ビデオビットストリームの少なくとも一部分を記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサは、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、コード化ビデオビットストリームを介して複数のシンタックス要素をコーディングすることと、複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを行うように構成される。

[0011]別の例では、デバイスは、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、ＴＭＶＰ候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングするための手段と、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、コード化ビデオビットストリームを介して複数のシンタックス要素をコーディングするための手段と、複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出するための手段と、現在ブロックのために、動きベクトル候補のリストを生成するための手段と、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測するための手段とを含む。

[0012]別の例では、コンピュータ可読記憶媒体が命令を記憶し、命令は、ビデオコーダの１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、ＴＭＶＰ候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、ビデオコーダによって、コード化ビデオビットストリームを介して複数のシンタックス要素をコーディングすることと、ビデオコーダによって、および複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを行わせる。

[0013]１つまたは複数の例の詳細が添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。

[0014]本開示の技法を実施し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0015]ＨＥＶＣにおける空間隣接候補を示す概念図。 ＨＥＶＣにおける空間隣接候補を示す概念図。 [0016]ＨＥＶＣにおける時間動きベクトル予測を示す概念図。 ＨＥＶＣにおける時間動きベクトル予測を示す概念図。 [0017]マージ／スキップモードのための空間および時間隣接動きベクトル候補を示す概念図。 マージ／スキップモードのための空間および時間隣接動きベクトル候補を示す概念図。 [0018]参照ピクチャからのサブＰＵ動き予測を示す概念図。 [0019]高度時間動きベクトル予測（ＡＴＭＶＰ）における関連するピクチャを示す概念図。 [0020]非サブＰＵ空間時間動きベクトル予測子の導出を示す概念図。 [0021]例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造を示す概念図。 対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。 [0022]本開示の技法を実施し得る例示的なビデオエンコーダを示すブロック図。 [0023]本開示の技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0024]現在ブロックを符号化するための例示的な方法を示すフローチャート。 [0025]現在ブロックを復号するための例示的な方法を示すフローチャート。 [0026]本開示の１つまたは複数の技法による、時間動きベクトル予測子（ＴＭＶＰ）候補を導出するための例示的な方法を示すフローチャート。

[0027]図１は、本開示の技法を実施し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、生の符号化されていないビデオ、符号化されたビデオ、復号された（たとえば、再構築された）ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。

[0028]図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化されたビデオデータを提供するソースデバイス１０２を含む。特に、ソースデバイス１０２は、コンピュータ可読媒体１１０を介して宛先デバイス１１６にビデオデータを提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。

[0029]図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００および宛先デバイス１１６のビデオデコーダ３００は、時間動きベクトル予測（ＴＭＶＰ）の導出のための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの一例を表し、宛先デバイス１１６はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。

[0030]図１に示されているシステム１００は一例にすぎない。概して、いかなるデジタルビデオ符号化および／または復号デバイスも、ＴＭＶＰのための技法を実施し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、「コーディング」デバイスを、データのコーディング（符号化および／または復号）を実施するデバイスとして参照する。したがって、ビデオエンコーダ２００およびビデオデコーダ３００は、コーディングデバイス、特に、それぞれビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、デバイス１０２、１１６は、デバイス１０２、１１６の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ビデオデバイス１０２とビデオデバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。

[0031]概して、ビデオソース１０４は、ビデオデータ（すなわち、生の符号化されていないビデオデータ）のソースを表し、ビデオデータの連続的な一連のピクチャ（「フレーム」とも呼ばれる）をビデオエンコーダ２００に提供し、ビデオエンコーダ２００は、ピクチャのためにデータを符号化する。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた生のビデオを含んでいるビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなど、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化されたビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による受信および／または取出しのために、出力インターフェース１０８を介して符号化されたビデオデータをコンピュータ可読媒体１１０上に出力し得る。

[0032]ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、生のビデオデータ、たとえば、ビデオソース１０４からの生のビデオ、およびビデオデコーダ３００からの生の復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。この例では、ビデオエンコーダ２００およびビデオデコーダ３００とは別個に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００は、機能的に同様のまたは等価な目的で内部メモリをも含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化されたビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、生の復号および／または符号化されたビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。

[0033]コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化されたビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化されたビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を復調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を容易にするために有用であり得る任意の他の機器を含み得る。

[0034]いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８からストレージデバイス１１２に符号化されたデータを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介してストレージデバイス１１２から符号化されたデータにアクセスし得る。ストレージデバイス１１２は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。

[0035]いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化されたビデオを記憶し得るファイルサーバ１１４または別の中間ストレージデバイスに符号化されたビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４からの記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイトのための）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む、任意の標準のデータ接続を通してファイルサーバ１１４から符号化されたビデオデータにアクセスし得る。これは、ファイルサーバ１１４に記憶された符号化されたビデオデータにアクセスするのに好適であるワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、デジタル加入者回線（ＤＳＬ）、ケーブルモデムなど）、またはその両方の組合せを含み得る。ファイルサーバ１１４および入力インターフェース１２２は、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。

[0036]出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実施するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実施するためのＳｏＣデバイスを含み得る。

[0037]本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。

[0038]宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、ストレージデバイス１１２、ファイルサーバ１１４など）から符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット（たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを表し得る。

[0039]図１には示されていないが、いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは各々、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中にオーディオとビデオの両方を含む多重化ストリームをハンドリングするために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。

[0040]ビデオエンコーダ２００とビデオデコーダ３００とは各々、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダおよび／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。

[0041]ビデオエンコーダ２００とビデオデコーダ３００とは、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、あるいはマルチビューおよび／またはスケーラブルビデオコーディング拡張などのそれらの拡張など、ビデオコーディング規格に従って動作し得る。代替的に、ビデオエンコーダ２００とビデオデコーダ３００とは、ジョイント探査テストモデル（ＪＥＭ）、または汎用ビデオコーディング（ＶＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６など、他のプロプライエタリまたは業界規格に従って動作し得る。ＶＶＣ規格の最近のドラフトは、Ｂｒｏｓｓら、「Versatile Video Coding (Draft 5)」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１４回会合、ジュネーブ、スイス、２０１９年３月１９～２７日、ＪＶＥＴ－Ｎ１００１－ｖ９（以下、「ＶＶＣドラフト５」）に記載されており、ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｎ１００１－ｖ９．ｚｉｐにおいて入手可能である。ＶＶＣ規格の前のドラフトは、Ｂｒｏｓｓら、「Versatile Video Coding (Draft 4)」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）、第１３回会合、マラケシュ、モロッコ、２０１９年１月９～１８日、ＪＶＥＴ－Ｍ１００１－ｖ７（以下、「ＶＶＣドラフト４」）に記載されており、ｐｈｅｎｉｘ．ｉｔ－ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１４＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＶＥＴ－Ｍ１００１－ｖ７．ｚｉｐにおいて入手可能である。他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、開発中のＭＰＥＧ－５／ＥＶＣ（エッセンシャルビデオコーディング）規格の１つまたは複数のバージョンに従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。

[0042]概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ピクチャのブロックベースのコーディングを実施し得る。「ブロック」という用語は、概して、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を指す。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に、受信されたＲＧＢフォーマットのデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替として、前処理および後処理ユニット（図示せず）が、これらのコンバージョンを実施し得る。

[0043]本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含むように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックのデータを符号化または復号するプロセス、たとえば、予測および／または残差コーディングを含むように、ピクチャのブロックのコーディングに言及することがある。符号化されたビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素についての一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成するシンタックス要素の値をコーディングすることとして理解されるべきである。

[0044]ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、クワッドツリー構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとを４つの等しい重複しない正方形に区分し、クワッドツリーの各ノードは、０個または４つのいずれかの子ノードを有する。子ノードのないノードは、「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵおよび／または１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差クワッドツリー（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。

[0045]別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＥＶＣ、ＪＥＭ、またはＶＶＣに従って動作するように構成され得る。ＥＶＣ、ＪＥＭ、またはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、クワッドツリーバイナリツリー（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ）構造など、ツリー構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、クワッドツリー区分に従って区分される第１のレベルと、バイナリツリー区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードは、ＣＴＵに対応する。バイナリツリーのリーフノードはコーディングユニット（ＣＵ）に対応する。

[0046]ＭＴＴ区分構造では、ブロックは、クワッドツリー（ＱＴ）区分と、バイナリツリー（ＢＴ）区分と、１つまたは複数のタイプのトリプルツリー（ＴＴ）区分とを使用して区分され得る。トリプルツリー区分は、ブロックが３つのサブブロックにスプリットされる区分である。いくつかの例では、トリプルツリー区分は、中心を通して元のブロックを分割することなしにブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称または非対称であり得る。

[0047]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。

[0048]ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＥＶＣに従うクワッドツリー区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。しかしながら、本開示の技法は、クワッドツリー区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。

[0049]ブロック（たとえば、ＣＴＵまたはＣＵ）は、ピクチャ中で様々な方法でグループ化され得る。一例として、ブリックは、ピクチャ中の特定のタイル内のＣＴＵ行の矩形領域を指し得る。タイルは、ピクチャ中の特定のタイル列および特定のタイル行内のＣＴＵの矩形領域であり得る。タイル列は、ピクチャの高さに等しい高さと、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された幅とを有するＣＴＵの矩形領域を指す。タイル行は、（たとえば、ピクチャパラメータセット中などの）シンタックス要素によって指定された高さと、ピクチャの幅に等しい幅とを有するＣＴＵの矩形領域を指す。

[0050]いくつかの例では、タイルは複数のブリックに区分され得、それらの各々は、タイル内に１つまたは複数のＣＴＵ行を含み得る。複数のブリックに区分されないタイルもブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。

[0051]ピクチャ中のブリックはまた、スライス中に配置され得る。スライスは、もっぱら単一のネットワークアブストラクションレイヤ（ＮＡＬ）ユニット中に含まれていることがあるピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、いくつかの完全なタイル、または１つのタイルの完全なブリックの連続シーケンスのみのいずれかを含む。

[0052]本開示は、垂直寸法と水平寸法とに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル寸法を指すために、「Ｎ×Ｎ（NxN）」および「Ｎ×Ｎ（N by N）」、たとえば、１６×１６サンプル（16x16 samples）または１６×１６サンプル（16 by 16 samples）を互換的に使用し得る。概して、１６×１６のＣＵは、垂直方向に１６個のサンプルを有し（ｙ＝１６）、水平方向に１６個のサンプルを有する（ｘ＝１６）。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは、行と列とに配置され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。

[0053]ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきかを示す。残差情報は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分を表す。

[0054]ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、以前にコーディングされたピクチャのデータからＣＵを予測することを指すが、イントラ予測は、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実施するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロックとの間の差分に関して、ＣＵにぴったり一致する参照ブロックを識別するために動き探索を実施し得る。ビデオエンコーダ２００は、参照ブロックが現在ＣＵにぴったり一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在ＣＵを予測し得る。

[0055]ＥＶＣ、ＪＥＭ、およびＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。

[0056]イントラ予測を実施するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＥＶＣ、ＪＥＭ、およびＶＶＣのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在ブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在ブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在ブロックと同じピクチャ中の現在ブロックの上、左上、または左にあり得る。

[0057]ビデオエンコーダ２００は、現在ブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードのための動きベクトルを符号化するために、同様のモードを使用し得る。

[0058]ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを作り出すために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、第１の変換に続いて、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ）などの２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数を作り出す。

[0059]上述のように、変換係数を作り出すための任意の変換に続いて、ビデオエンコーダ２００は変換係数の量子化を実施し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実施することによって、ビデオエンコーダ２００は、係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値に丸めることがあり、ここで、ｎはｍよりも大きい。いくつかの例では、量子化を実施するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位右シフトを実施し得る。

[0060]量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを作り出し得る。走査は、より高いエネルギー（したがって、より低い頻度）の係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、シリアル化されたベクトルを作り出すために、量子化された変換係数を走査するために、あらかじめ定義された走査順序を利用し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素についての値をエントロピー符号化し得る。

[0061]ＣＡＢＡＣを実施するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。

[0062]ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。

[0063]このようにして、ビデオエンコーダ２００は、符号化されたビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。

[0064]概して、ビデオデコーダ３００は、ビットストリームの符号化されたビデオデータを復号するために、ビデオエンコーダ２００によって実施されたものの逆プロセスを実施する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素についての値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報と、ＱＴＢＴ構造などの対応する区分構造に従う、各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。

[0065]残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関連する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、次いで、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実施することなど、追加の処理を実施し得る。

[0066]上記で説明されたように、ビデオコーディング規格は、ＩＴＵ－Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ－１ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６２またはＩＳＯ／ＩＥＣ ＭＰＥＧ－２ Ｖｉｓｕａｌ、ＩＴＵ－Ｔ Ｈ．２６３、ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ Ｖｉｓｕａｌ、ならびにそのスケーラブルビデオコーディング（ＳＶＣ）およびマルチビュービデオコーディング（ＭＶＣ）拡張を含む（ＩＳＯ／ＩＥＣ ＭＰＥＧ－４ ＡＶＣとしても知られる）ＩＴＵ－Ｔ Ｈ．２６４、その範囲拡張、マルチビュー拡張（ＭＶ－ＨＥＶＣ）およびスケーラブル拡張（ＳＨＶＣ）を含む高効率ビデオコーディング（ＨＥＶＣ）またはＩＴＵ－Ｔ Ｈ．２６５を含み、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣモーションピクチャエキスパートグループ（ＭＰＥＧ）のジョイントコラボレーションチームオンビデオコーディング（ＪＣＴ－ＶＣ）ならびにジョイントコラボレーションチームオン３Ｄビデオコーディング拡張開発（ＪＣＴ－３Ｖ）によって開発された。ＨＥＶＣ規格のドラフトは、ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ－ＲＥＣ－Ｈ．２６５－２０１８０２－Ｉ／ｅｎから取得され得る（以下、「ＨＥＶＣ規格」）。

[0067]ＩＴＵ－Ｔ ＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ１／ＳＣ２９／ＷＧ１１）は、（スクリーンコンテンツコーディングおよび高ダイナミックレンジコーディングのためのそれの現在の拡張と短期での拡張とを含む）ＨＥＶＣ規格の圧縮能力を著しく超える圧縮能力をもつ将来のビデオコーディング技術の規格化の潜在的ニーズを研究した。そのグループは、このエリアにおけるそれらの専門家によって提案された圧縮技術設計を評価するために、ジョイントビデオ探査チーム（ＪＶＥＴ：Joint Video Exploration Team）として知られるジョイントコラボレーション作業においてこの探査活動に関して協働している。ＪＶＥＴは、２０１５年１０月１９日～２１日の間、初めて開かれた。また、参照ソフトウェアの最新バージョン、すなわち、ジョイント探査モデル７（ＪＥＭ７：Joint Exploration Model 7）は、ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＨＭＪＥＭＳｏｆｔｗａｒｅ／ｔａｇｓ／ＨＭ－１６．６－ＪＥＭ－７３．０／から取得され得る。

[0068]ＩＴＵ－Ｔ ＷＰ３／１６およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のジョイントビデオエキスパートチーム（ＪＶＥＴ）が、ＧＲーＬｊｕｂｌｊａｎａ Ｅｘｈｉｂｉｔｉｏｎ ａｎｄ Ｃｏｎｖｅｎｔｉｏｎ Ｃｅｎｔｒｅ（Ｄｕｎａｊｓｋａ ｃｅｓｔａ１８、１０００ リュブリャナ、スロベニア）において、２０１８年７月１０～１８日の間、第１１回会合を開催した。汎用ビデオコーディング（ＶＶＣ）という名称が、新しい規格に対する非公式なニックネームとして選定された。参照ソフトウェアＶＴＭおよびＢＭは、ｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＶＶＣＳｏｆｔｗａｒｅ＿ＶＴＭ／およびｊｖｅｔ．ｈｈｉ．ｆｒａｕｎｈｏｆｅｒ．ｄｅ／ｓｖｎ／ｓｖｎ＿ＶＶＣＳｏｆｔｗａｒｅ＿ＢＭＳ／からダウンロードされ得る。上記で説明されたように、ＶＶＣ規格の現在のドラフトは、本明細書ではＶＶＣドラフト５と呼ばれる。

[0069]以下は、ＨＥＶＣにおけるＣＵ構造および動きベクトル予測を検討する。ＨＥＶＣでは、スライス中の最大コーディングユニットは、コーディングツリーブロック（ＣＴＢ）またはコーディングツリーユニット（ＣＴＵ）と呼ばれる。ＣＴＢはクワッドツリーを含んでおり、そのノードはコーディングユニットである。

[0070]（技術的に、８×８のＣＴＢサイズがサポートされ得るが）ＣＴＢのサイズは、ＨＥＶＣメインプロファイルにおいて１６×１６から６４×６４に及び得る。コーディングユニット（ＣＵ）は、８×８程度の小さいＣＴＢと同じサイズであり得る。各コーディングユニットは、インターコード化またはイントラコード化など、１つのモードを用いてコーディングされる。インターコード化は、インター予測コード化またはインター予測と呼ばれることもある。イントラコード化は、イントラ予測コード化またはイントラ予測と呼ばれることもある。

[0071]ＣＵがインターコーディングされるとき、ＣＵは、２つまたは４つの予測ユニット（ＰＵ）にさらに区分され得るか、または、さらなる区分が適用されないとき、１つのＰＵになり得る。１つのＣＵ中に２つのＰＵが存在するとき、それらのＰＵは、１／２サイズの長方形、あるいはＣＵの１／４または３／４サイズをもつ２つの長方形サイズであり得る。ＣＵがインターコーディングされるとき、各ＰＵは、インター予測モードを用いて導出される、動き情報の１つのセットを有する。

[0072]以下は、動きベクトル予測を検討する。ＨＥＶＣ規格では、予測ユニット（ＰＵ）のために、それぞれ、マージモード（スキップはマージの特別な事例と見なされる）および高度動きベクトル予測（ＡＭＶＰ）モードと称する、２つのインター予測モードがある。ＡＭＶＰモードまたはマージモードのいずれかでは、複数の動きベクトル予測子について（ＭＶ候補リストとも呼ばれる）動きベクトル（ＭＶ）予測子リストが維持される。動きベクトル予測子リストは、動きベクトル予測子リストと呼ばれることがある。現在のＰＵの、動きベクトル、ならびにマージモードにおける参照インデックスは、動きベクトル予測子リストから１つの候補をとることによって生成される。動きベクトル予測子リストは、マージモードのために５つまでの候補と、ＡＭＶＰモードのために２つのみの候補とを含んでいることがある。マージ候補は、動き情報のセット、たとえば、両方の参照ピクチャリスト（リスト０およびリスト１）に対応する動きベクトルと、参照インデックスとを含んでいることがある。マージ候補がマージインデックスによって識別される場合、現在ブロックの予測のために使用される参照ピクチャ、ならびに関連する動きベクトルが決定される。言い換えれば、マージインデックスによって動きベクトル予測子リスト中で識別された動きベクトルおよび参照ピクチャは、現在ブロックの動きベクトルおよび参照ピクチャに等しく設定される。

[0073]一方、ＡＭＶＰモードの下では、リスト０またはリスト１のいずれかからの各潜在的予測方向について、ＡＭＶＰ候補が動きベクトルのみを含んでいるので、動きベクトル予測子リストへのＭＶ予測子（ＭＶＰ：MV predictor）インデックスとともに参照インデックスが明示的にシグナリングされる必要がある。ＡＭＶＰモードでは、予測された動きベクトルは、（たとえば、上記で説明された動きベクトル差分（ＭＶＤ）に基づいて）さらに改良され得る。両方のモードのための候補は、同じ空間および時間隣接ブロックから同様に導出される。

[0074]図２Ａおよび図２Ｂは、ＨＥＶＣにおける空間隣接候補を示す概念図である。空間ＭＶ候補は、特定のＰＵ（ＰＵ０）について、図２Ａおよび図２Ｂに示されている隣接ブロックから導出されるが、ブロックから候補を生成する方法は、マージモードおよびＡＭＶＰモードについて異なる。

[0075]マージモードでは、最高４つの空間ＭＶ候補が、番号とともに図２Ａに示されている順序を用いて導出され得、その順序は、図２Ａに示されているように、左（０，Ａ１）、上（１，Ｂ１）、右上（２，Ｂ０）、左下（３，Ａ０）、および左上（４，Ｂ２）である。すなわち、図２Ａでは、ブロック１０００はＰＵ０ １０４０ＡとＰＵ１ １０４０Ｂとを含む。ビデオコーダが、マージモードを使用してＰＵ０ １０４Ａのための動き情報をコーディングすべきであるとき、ビデオコーダは、空間隣接ブロック１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄ、および１０８０Ｅからの動き情報を、その順序で候補リストに追加する。ブロック１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄ、および１０８０Ｅは、それぞれ、ＨＥＶＣの場合のように、ブロックＡ１、Ｂ１、Ｂ０、Ａ０、およびＢ２と呼ばれることもある。

[0076]ＡＶＭＰモードでは、いくつかの例では、隣接ブロックは、２つのグループ、すなわち、図２Ｂ上に示されているように、ブロック０および１を含む左グループと、ブロック２、３、および４を含む上グループとに分割される。これらのブロックは、それぞれ、図２Ｂ中でブロック１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄ、および１１００Ｅと標示される。特に、図２Ｂでは、ブロック１０２０は、ＰＵ０ １０６０ＡとＰＵ１ １０６０Ｂとを含み、ブロック１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄ、および１１００Ｅは、ＰＵ０ １０６０Ａに対する空間ネイバーを表す。各グループについて、シグナリングされた参照インデックスによって示された参照ピクチャと同じ参照ピクチャを参照する隣接ブロックの中の潜在的候補が、グループの最終候補を形成するために選定されるべき最高優先度を有する。すべての隣接ブロックが、同じ参照ピクチャを指す動きベクトルを含んでいるとは限らない可能性がある。したがって、そのような候補が見つけられ得ない場合、第１の利用可能な候補は、最終候補を形成するためにスケーリングされることになり、したがって、時間距離差分が補償され得る。

[0077]図３Ａおよび図３Ｂは、ＨＥＶＣにおける時間動きベクトル予測（ＴＭＶＰ）を示す概念図である。特に、図３Ａは、ＰＵ０ ５２２ＡとＰＵ１ ５２２Ｂとを含む例示的なＣＵ５２０を示す。ＰＵ０ ５２２Ａは、ＰＵ５２２Ａのための中心ブロック５２６とＰＵ０ ５２２Ａに対する右下ブロック５２４とを含む。図３Ａはまた、以下で説明されるように、動き情報がＰＵ０ ５２２Ａの動き情報からそれについて予測され得る外部ブロック５２８を示す。図３Ｂは、動き情報がそれについて予測されるべきである現在ブロック５３８を含む現在ピクチャ５３０を示す。特に、図３Ｂは、（現在ブロック５３８に対するコロケートされたブロック５４０を含む）現在ピクチャ５３０に対するコロケートされたピクチャ５３４と、現在参照ピクチャ５３２と、コロケートされた参照ピクチャ５３６とを示す。コロケートされたブロック５４０は、ブロック５３８の動き情報のための時間動きベクトル予測子（ＴＭＶＰ）５４２として使用される、動きベクトル５４４を使用して予測される。

[0078]ビデオコーダは、ＴＭＶＰが有効にされ、ＴＭＶＰ候補が利用可能である場合、ＴＭＶＰ候補（たとえば、ＴＭＶＰ候補５４２）を、任意の空間動きベクトル候補の後にＭＶ候補リストに追加し得る。ＴＭＶＰ候補のための動きベクトル導出のプロセスは、マージモードとＡＭＶＰモードの両方について同じである。しかしながら、マージモードでのＴＭＶＰ候補のためのターゲット参照インデックスは、ＨＥＶＣに従って、０に設定される。

[0079]ＴＭＶＰ候補導出のための１次ブロックロケーションは、空間隣接候補を生成するために使用される上および左ブロックへのバイアスを補償するための、ＰＵ０ ５２２Ａに対するブロック５２４として図３Ａに示されているような、コロケートされたＰＵの外側の右下ブロックである。しかしながら、ブロック５２４が現在ＣＴＢ行の外側に位置するか、または、動き情報がブロック５２４のために利用可能でない場合、ブロックは、図３Ａに示されているようにＰＵの中心ブロック５２６と置換される。ＴＭＶＰ候補５４２のための動きベクトルは、スライスレベル情報に示されているように、コロケートされたピクチャ５３４のコロケートされたブロック５４０から導出される。

[0080]ＡＶＣにおける時間直接モードと同様に、ＴＭＶＰ候補の動きベクトルは、動きベクトルスケーリングを受けることがあり、動きベクトルスケーリングは、現在ピクチャ５３０と現在参照ピクチャ５３２との間の、およびコロケートされたピクチャ５３４とコロケートされた参照ピクチャ５３６との間のピクチャ順序カウント（ＰＯＣ）距離差分を補償するために実施される。すなわち、動きベクトル５４４は、これらのＰＯＣ差分に基づいて、ＴＭＶＰ候補５４２を作り出すためにスケーリングされ得る。

[0081]マージ／スキップモードにおける動きベクトル予測が、次に説明される。スキップモードおよびマージモードでは、マージング候補リスト中のどの候補が使用されるかを示すために、マージインデックスがシグナリングされる。インター予測インジケータ、参照インデックス、またはＭＶＤは送信されない。マージモードでは、２つのタイプのマージング候補、すなわち、空間動きベクトル予測子（ＳＭＶＰ）および時間動きベクトル予測子（ＴＭＶＰ）が考慮され得る。ＳＭＶＰ導出では、図２Ａに示されている位置にある候補の中から最大４つのマージ候補が選択される。導出の順序は、Ａ₁→Ｂ₁→Ｂ₀→Ａ₀→（Ｂ₂）である。位置Ｂ₂は、位置Ａ₁、Ｂ₁、Ｂ₀、Ａ₀のＰＵが利用可能でないかまたはイントラコーディングされるとき、あるいは、位置Ａ₁、Ｂ₁、Ｂ₀、Ａ₀からの、プルーニングの後の候補の総数が４よりも小さいときのみ、考慮される。

[0082]ＴＭＶＰの導出では、シグナリングされた参照ピクチャリスト内の現在ピクチャの参照ピクチャのうちの１つに属するコロケートされたＰＵに基づいて、スケーリングされた動きベクトルが導出され得る。コロケートされたＰＵの導出のために使用されるべき参照ピクチャリストは、スライスヘッダ中で明示的にシグナリングされ得る（たとえば、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ）。時間マージ候補のためのスケーリングされた動きベクトルは、ＰＯＣ距離、ｔｂおよびｔｄを使用して、コロケートされたＰＵのスケーリングされた動きベクトルを用いて取得され、ここで、ｔｂは現在ピクチャの参照ピクチャと現在ピクチャとの間のＰＯＣ差分であるように定義され、ｔｄはコロケートされたピクチャの参照ピクチャとコロケートされたピクチャとの間のＰＯＣ差分であるように定義される。時間マージ候補の参照ピクチャインデックスは、０に等しく設定される。スケーリングプロセスの実際の実現形態は、ＨＥＶＣ仕様において説明される。Ｂスライスについて、一方が参照ピクチャリスト０のための動きベクトルであり、他方が参照ピクチャリスト１のための動きベクトルである、２つの動きベクトルが取得され、双予測マージ候補を作るために組み合わせられる。このプロセスは、暗黙的パラメータに基づいてＴＭＶＰを導出することと呼ばれることがある。

[0083]図４Ａおよび図４Ｂは、マージ／スキップモードのための空間および時間隣接動きベクトル候補を示す概念図である。図４Ｂに示されているように、コロケートされたＰＵの位置は、２つの候補位置、ＣとＨとの間で選択される。位置ＨにおけるＰＵが利用可能でないか、またはイントラコーディングされるか、または現在のＣＴＵ行の外側にある場合、位置Ｃが使用される。他の場合、時間マージ候補の導出のために位置Ｈが使用される。

[0084]ＳＭＶＰおよびＴＭＶＰのほかに、２つの追加のタイプの合成マージ候補、すなわち、組合せ双予測ＭＶＰおよび０ＭＶＰがあり得る。組合せ双予測ＭＶＰは、ＳＭＶＰおよびＴＭＶＰを利用することによって生成される。組合せ双予測マージ候補は、Ｂスライスのみについて使用される。たとえば、ｍｖＬ０およびｒｅｆＩｄｘＬ０またはｍｖＬ１およびｒｅｆＩｄｘＬ１を有する、元のマージ候補リスト中の２つの候補が、組合せ双予測マージ候補を作成するために使用される。

[0085]候補選択のプロセスにおいて、処理順序で前の候補と同じ動きパラメータを有する複製された候補は、候補リストから除去される。このプロセスは、プルーニングプロセスとして定義される。また、並列マージ処理を助けるために、同じマージ推定領域（ＭＥＲ：merge estimation region）内の候補は考慮されない。仮想２Ｎ×２Ｎ区分をエミュレートしないために、冗長な区分形状が回避される。

[0086]各生成ステップ間で、候補の数がＭａｘＮｕｍＭｅｒｇｅＣａｎｄに達する場合、導出プロセスが停止される。現在の共通のテスト条件では、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、５に等しく設定される。候補の数は一定であるので、最良のマージ候補のインデックスは、短縮単項２値化（ＴＵ）を使用して符号化される。

[0087]ＨＥＶＣにおける動き予測のいくつかの態様が以下で説明される。

[0088]動きベクトルスケーリング：動きベクトルの値は提示時間におけるピクチャ間の距離に比例すると仮定される。動きベクトルは、２つのピクチャ、すなわち、参照ピクチャと、動きベクトルを含んでいるピクチャ（すなわち、含有ピクチャ（containing picture））とを関連付ける。別の動きベクトルを予測するためにビデオエンコーダ２０またはビデオデコーダ３０によって動きベクトルが使用されるとき、含有ピクチャと参照ピクチャとの間の距離は、ピクチャ順序カウント（ＰＯＣ）値に基づいて計算される。

[0089]予測されるべき動きベクトルについて、それの関連する含有ピクチャと参照ピクチャとは異なる。すなわち、２つの別個の動きベクトル、すなわち、予測されるべき第１の動きベクトルと、第１の動きベクトルを予測するために使用される第２の動きベクトルとについて、２つのＰＯＣ差分値がある。その上、第１のＰＯＣ差分は、第１の動きベクトルの現在ピクチャと参照ピクチャとの間の差分であり、第２のＰＯＣ差分は、第２の動きベクトルを含んでいているピクチャと第２の動きベクトルが参照する参照ピクチャとの間の差分である。第２の動きベクトルは、これらの２つのＰＯＣ距離に基づいてスケーリングされ得る。空間隣接候補では、２つの動きベクトルのための含有ピクチャは同じであるが、参照ピクチャは異なる。ＨＥＶＣでは、動きベクトルスケーリングは、空間および時間隣接候補のためにＴＭＶＰとＡＭＶＰの両方に適用される。

[0090]擬似動きベクトル候補生成：動きベクトル候補リストが完全でない場合、擬似動きベクトル候補が生成され、リストが所定の数の候補を含むまでリストの最後に挿入され得る。

[0091]マージモードでは、２つのタイプの擬似ＭＶ候補、すなわち、Ｂスライスについてのみ導出された組合せ候補と、第１のタイプが十分な擬似候補を提供しない場合にＡＭＶＰのためにのみ使用される０候補とがある。

[0092]すでに候補リスト中にあり、必要な動き情報を有する候補の各ペアについて、双方向組合せ動きベクトル候補が、リスト０中のピクチャを参照する第１の候補の動きベクトルと、リスト１中のピクチャを参照する第２の候補の動きベクトルとの組合せによって導出される。

[0093]いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、候補挿入のためのプルーニングプロセスを実施し得る。異なるブロックからの候補は偶然同じであり得、これはマージ／ＡＭＶＰ候補リストの効率を減少させる。この問題を解決するために、プルーニングプロセスが適用され得る。プルーニングプロセスに従って、ビデオコーダは、ある程度まで、同等の候補を挿入することを回避するために、現在候補リスト中のある候補を他の候補と比較する。複雑さを低減するために、各潜在的候補を、すでにリスト中にあるすべての他の既存の候補と比較する代わりに、限られた数のプルーニングプロセスのみが適用される。

[0094]高度時間動きベクトル予測（ＡＴＭＶＰ）は、各ＰＵが（動きベクトルと参照フレームとを含む）動き情報の複数のセットを取得することを可能にするために提案された。ＡＴＭＶＰにおける動き情報は、ただし、参照ピクチャからのみ来る。現在ＰＵのＡＴＭＶＰを導出するために、第１のステップは、時間動きベクトルがどこでフェッチされるべきかを決定することである。ビデオコーダは、５つの隣接ブロック中で、順番に、または、左、上、右上、左下、および左上に、第１の利用可能な動きベクトルを見つける。５つの隣接ブロックの定義は、現在ＰＵの空間マージ候補と同じである。隣接ブロックの反復的な走査プロセスを回避するために、ビデオコーダは、時間動きベクトルをどこでフェッチすべきかを決定するために、すでに導出されたマージ候補リスト中の第１のマージ候補の動きベクトルのみを見つけ得る。ビデオコーダは、ＰＵを正方形Ｎ×ＮサブＰＵにスプリットし得る（たとえば、Ｎは、４に設定される）。サブＰＵの動きベクトルは、ラスタ走査順序に従って、再帰的に導出される。

[0095]図５は、参照ピクチャからのサブＰＵ動き予測を示す概念図である。この例では、現在ピクチャ８８０は、現在ＰＵ８８４（たとえば、ＰＵ）を含む。この例では、動きベクトル８９２は、ＰＵ８８４に対する参照ピクチャ８８２のＰＵ８８６を識別する。ＰＵ８８６は、各々がそれぞれの動きベクトル８９０Ａ～８９０Ｄを有する、サブＰＵ８８８Ａ～８８８Ｄに区分される。したがって、現在ＰＵ８８４は、実際は別個のサブＰＵに区分されないが、この例では、現在ＰＵ８８４は、サブＰＵ８８８Ａ～８８８Ｄからの動き情報を使用して予測され得る。特に、ビデオコーダは、それぞれの動きベクトル８９０Ａ～８９０Ｄを使用して現在ＰＵ８８４のサブＰＵをコーディングし得る。しかしながら、ビデオコーダは、現在ＰＵ８８４がサブＰＵにスプリットされることを示すシンタックス要素をコーディングする必要がない。このようにして、現在ＰＵ８８４は、現在ＰＵ８８４を複数のサブＰＵにスプリットするために使用されるシンタックス要素のシグナリングオーバーヘッドなしに、それぞれのサブＰＵ８８８Ａ～８８８Ｄから継承される、複数の動きベクトル８９０Ａ～８９０Ｄを使用して効果的に予測され得る。

[0096]図６は、（ＴＭＶＰと同様の）ＡＴＭＶＰにおける関連するピクチャを示す概念図である。特に、図６は、現在ピクチャ９０４と、動きソースピクチャ９０６と、参照ピクチャ９００、９０２とを示す。より詳細には、現在ピクチャ９０４は現在ブロック９０８を含む。時間動きベクトル９１２は、現在ブロック９０８に対する動きソースピクチャ９０６の対応するブロック９１０を識別する。対応するブロック９１０は、今度は、動きベクトル９１４を含み、これは、参照ピクチャ９０２を参照し、現在ブロック９０８の少なくとも一部分、たとえば、現在ブロック９０８のサブＰＵのための高度時間動きベクトル予測子として働く。すなわち、動きベクトル９１４は、現在ブロック９０８のための候補動きベクトル予測子として追加され得る。選択された場合、現在ブロック９０８の少なくとも一部分は、参照ピクチャ９００を参照する、対応する動きベクトル、すなわち、動きベクトル９１６を使用して予測され得る。

[0097]（たとえば、Ｌ．Ｚｈａｎｇ、Ｋ．Ｚｈａｎｇ、Ｈ．Ｌｉｕ、Ｙ．Ｗａｎｇ、Ｐ．Ｚｈａｏ、およびＤ．Ｈｏｎｇ、「CE4-related: History-based Motion Vector Prediction」、ＪＶＥＴ－Ｋ０１０４、２０１８年７月に記載されている）履歴ベース動きベクトル予測（ＨＭＶＰ：history-based motion vector prediction）は、ビデオエンコーダ２００とビデオデコーダ３００とが、すぐ隣り合う因果的隣接動きフィールドにおけるＭＶに加えて、過去から復号されたＭＶのリストから各ブロックのためのＭＶ予測子を決定する、履歴ベースの方法である。ＨＭＶＰは、ＨＭＶＰ候補として以前に復号された動きベクトルのためのテーブルを保つことを伴う。

[0098]ビデオエンコーダ２００とビデオデコーダ３００とは、符号化／復号プロセス中に複数のＨＭＶＰ候補をもつテーブルを維持する。テーブルを維持することは、テーブルにＨＭＶＰ候補を追加すること、ならびにテーブルからＨＭＶＰ候補を除去することを含み得る。ビデオエンコーダ２００とビデオデコーダ３００とは、新しいスライスに遭遇したとき、テーブルを空にする（たとえば、ＨＭＶＰ候補を除去する）ように構成され得る。インターコード化ブロックがあるときはいつでも、ビデオエンコーダ２００とビデオデコーダ３００とは、関連する動き情報を、先入れ先出し（ＦＩＦＯ）様式で、新しいＨＭＶＰ候補としてテーブルに挿入するように構成され得る。次いで、ビデオエンコーダ２００とビデオデコーダ３００とは、制約ＦＩＦＯルールを適用するように構成され得る。ＨＭＶＰ候補をテーブルに挿入するとき、ビデオエンコーダ２００とビデオデコーダ３００とは、同等のＨＭＶＰ候補がテーブル中にあるかどうかを決定するために冗長検査（たとえば、プルーニング）を最初に適用するように構成され得る。見つけた場合、ビデオエンコーダ２００とビデオコーダ３００とは、テーブルからのその特定のＨＭＶＰ候補を除去するように構成され得、その候補の後のすべてのＨＭＶＰ候補が移動される。

[0099]ビデオエンコーダ２００とビデオデコーダ３００とは、マージ候補リスト構築プロセスにおいてＨＭＶＰ候補を使用するように構成され得る。たとえば、ビデオエンコーダ２００とビデオデコーダ３００とは、最後のエントリから最初のエントリまでのすべてのＨＭＶＰ候補を、ＴＭＶＰ候補の後にテーブルに挿入するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＭＶＰ候補に対してプルーニングを適用するように構成され得る。利用可能なマージ候補の総数が、許容マージ候補のシグナリングされるまたは所定の最大数に達すると、ビデオエンコーダ２００とビデオデコーダ３００とは、マージ候補リスト構築プロセスを終了するように構成され得る。

[0100]同様に、ビデオエンコーダ２００とビデオデコーダ３００とは、ＡＭＶＰ候補リスト構築プロセスにおいてＨＭＶＰ候補を使用するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、最後のＫ個のＨＭＶＰ候補の動きベクトルを、ＴＭＶＰ候補の後にテーブルに挿入するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ＡＭＶＰ候補リストを構築するために、ＡＭＶＰターゲット参照ピクチャと同じ参照ピクチャをもつＨＭＶＰ候補のみを使用するように構成され得る。ビデオエンコーダ２００とビデオデコーダ３００とは、ＨＭＶＰ候補に対してプルーニングを適用するように構成され得る。

[0101]非サブＰＵ空間時間動きベクトル予測子（ＳＴＭＶＰ）予測モードが、ビデオコーディング規格（ＶＶＣ）の将来世代のために提案される。図７は、非サブＰＵ空間時間動きベクトル予測子の導出を示す概念図である。ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、位置のうちの多くとも２つを、上の位置、すなわち、（ＰＵ＿ｗｉｄｔｈ－１，－１）および（ＰＵ＿ｗｉｄｔｈ×２，－１））について、ならびに左の位置、すなわち、（－１，ＰＵ＿ｈｅｉｇｈｔ－１）、（－１，ＰＵ＿ｈｅｉｇｈｔ×２））について、検査し得る。ビデオコーダは、２つの空間候補と１つの時間候補とを含む３つの候補を平均化することによって、非サブＰＵ ＳＴＭＶＰを生成し得る。候補のうちの２つまたは１つのみが利用可能である場合、ビデオコーダは、２つの利用可能な候補を平均化することによってＳＴＭＶＰを生成するか、またはただ１つの動きベクトルを使用し得る。

[0102]簡略化されたＳＴＭＶＰ設計が、Ｙ．－Ｈ．Ｃｈａｏ、Ｙ．Ｈａｎ、Ｄ．Ｒｕｓａｎｏｖｓｋｙｙ、Ｗ．－Ｊ．Ｃｈｉｅｎ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、ＣＥ４：ＳＴＭＶＰ簡略化（テスト４．２．３ａ）、ＪＶＥＴ－Ｍ０２２１（以下、「ＪＶＥＴ－Ｍ０２２１」）において提案され、ここで、ＳＴＭＶＰ導出に対する入力として検査される空間ネイバーの数が、２つに限定され、１つの上空間ネイバーおよび１つの左ネイバーに限定される。検査されるネイバーは、上ネイバーについて、（ＰＵ＿ｗｉｄｔｈ－１，－１）または（ＰＵ＿ｗｉｄｔｈ×２，－１）であり、左ネイバーについて、（－１，ＰＵ＿ｈｅｉｇｈｔ－１）または（－１、ＰＵ＿ｈｅｉｇｈｔ×２）のみを検査する。

[0103]ＳＴＭＶＰ出力のための導出プロセスが、以下のように定義される。

[0104]乗数および分母は、両方とも２のべき乗と等価な値のものであり、したがって、ビットシフトによってハードウェアで容易に実装され得る。

[0105]乗数および分母は、両方とも２のべき乗と等価な値のものであり、したがって、ビットシフトによってハードウェアで容易に実装され得る。Ａ０、Ａ１、Ｂ１、Ｂ０候補位置（それらが利用可能である場合）に続いて、マージ／ＡＭＶＰ候補リスト位置における５番目の潜在的位置にＳＴＭＶＰ候補を配置することが提案された。偶然にも空間候補のいずれも利用可能でない場合、候補リスト中のＳＴＭＶＰエントリ位置インデックスは５よりも小さくなることに留意されたい。

[0106]ＶＶＣドラフト４における提案されたマージリスト構築プロセスの一例が以下で示され、ＳＴＭＶＰ態様が、アスタリスク（＊）シンボルによって挟まれている。

ａ． ブロックＡ１、Ｂ１、Ｂ０およびＡ０のための空間候補。

ｂ． ＊ＳＴＭＶＰ候補ＭＶ_STMVP＊。

ｃ． 候補の数が４よりも小さい場合、Ｂ２を追加する。

ｄ． ＴＭＶＰ候補。

ｅ． ＨＭＶＰ候補。

ｆ． ペアワイズ候補。

ｇ． ０候補。

[0107]ＳＴＭＶＰ出力ＭＶＰおよびＳＴＭＶＰ入力ＭＶＰについての冗長検査によって実施されるべきＳＴＭＶＰ候補に対するプルーニングプロセスことも提案された。

[0108]ＭＰＥＧ５エッセンシャルビデオコーディング（ＥＶＣ）ＷＤ１のマージモードにおいて利用されるＭＶＰが、以下の動きベクトル候補、すなわち、ａ）４つの空間候補Ａ１、Ｂ１、Ｂ０、Ａ０およびＢ２、ｂ）ＴＭＶＰ候補、ｃ）ＨＭＶＰ候補、ｄ）合成双候補、ならびにｅ）０候補を考慮する。いくつかの例では、追加の合成ペアワイズ動きベクトル候補が、追加のコーディング利得を提供することができる。

[0109]本開示は、上述の問題を解決し得るＴＭＶＰ設計に対するいくつかの改善を提案する。本明細書で説明される改善のいずれも、独立してまたは組合せで使用され得る。

[0110]本開示は、概して、シンタックス要素など、ある情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、概して、符号化されたビデオデータを復号するために使用されるシンタックス要素および／または他のデータについての値の通信を指し得る。すなわち、ビデオエンコーダ２００は、ビットストリームにおいてシンタックス要素についての値をシグナリングし得る。概して、シグナリングは、ビットストリームにおいて値を生成することを指す。上述のように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素をストレージデバイス１１２に記憶するときに行われ得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。

[0111]第１の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、コロケートされたブロックのＭＶのスケーリングされたバージョンとして、ＴＭＶＰ候補を導出し得る。スケーリングプロセスの例示的な実装形態が、以下で示される。

[0112]変数ｒｅｆＰｉｃＬｉｓｔＣｏｌ［ｒｅｆＩｄｘＣｏｌ］は、ＣｏｌＰｉｃによって指定されたコロケートされたピクチャ中の予測ブロックｃｏｌＰｂを含んでいるスライスの参照ピクチャリストｌｉｓｔＣｏｌ中に参照インデックスｒｅｆＩｄｘＣｏｌをもつピクチャになるように設定され、以下が適用される。

[0113]現在ピクチャと、ｒｅｆＩｄｘＬＸをもつ現在ピクチャの参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］との間の（ｃｕｒｒＰｏｃＤｉｆｆＸとして示される）ＰＯＣ距離が０に等しく、以下のように算出される。

[0114]コロケートされたピクチャＣｏｌＰｉｃと、コロケートされたピクチャのリストＸ参照ピクチャｒｅｆＰｉｃＬｉｓｔＣｏｌ［ｒｅｆＩｄｘＬＸＣｏｌ］との間のＰＯＣ距離は、ｃｏｌＰｏｃＤｉｆｆＬＸとして示され、以下のように算出される。

[0115]有効なｒｅｆＩｄｘＣｏｌＬＸの場合、変数ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが１に等しく設定され、ｍｖＬＸＣｏｌが、動きベクトルｍｖＣｏｌＬＸのスケーリングされたバージョンとして以下のように導出される。

Ｘは０または１であり、それぞれ、参照リスト０および参照リスト１を指定する。

[0116]第２の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、スケーリングの以下のパラメータ（ｃｏｌＰｏｃＤｉｆｆＬＸ、ｃｕｒｒＰｏｃＤｉｆｆＬＸ）で、ＴＭＶＰを導出し得る。導出の例示的な一実装形態が、以下で示される。

[0117]変数ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは、Ｘが０または１に等しい場合、以下のように導出される。

－ ｃｏｌＣｂがイントラ予測モードでコーディングされる場合、ｍｖＬＸＣｏｌの両方の成分は０に等しく設定され、ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは０に等しく設定される。

－ 他の場合、動きベクトルｍｖＣｏｌ、参照インデックスｒｅｆＩｄｘＣｏｌおよび参照リスト識別子ｌｉｓｔＣｏｌは以下のように導出される。

○ ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が０に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が１に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］に等しく設定され、およびＸをもつＬＸが１に等しい。

○ ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が１に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が０に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］に等しく設定され、およびＸをもつＬＸが０に等しい。

○ 他の場合（ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が１に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が１に等しい場合）、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］およびＬＸに等しく設定される。

－ また、ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは以下のように導出される。

[0118]第３の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、スケーリングの以下のパラメータ（ｃｏｌＰｏｃＤｉｆｆＬＸ、ｃｕｒｒＰｏｃＤｉｆｆＬＸ）で、ＴＭＶＰを導出し得る。スケーリングプロセスの例示的な一実装形態が、以下で示される。

[0119]変数ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは、Ｘが０または１に等しい場合、以下のように導出される。

－ ｃｏｌＣｂがイントラ予測モードでコーディングされる場合、ｍｖＬＸＣｏｌの両方の成分は０に等しく設定され、ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは０に等しく設定される。

－ 他の場合、動きベクトルｍｖＣｏｌ、参照インデックスｒｅｆＩｄｘＣｏｌおよび参照リスト識別子ｌｉｓｔＣｏｌは以下のように導出される。

・ｐｒｅｄＦｌａｇＬＸＣｏｌ［ｘ］［ｙ］が１に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］等しく設定され、およびＸをもつＬＸがｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘに等しい。

ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは以下のように導出される。

[0120]第３の技法のいくつかの例では、ビデオコーダは、ＭＶＣの単予測のＭＶＣから双予測ＴＭＶＰを作り出し得る。たとえば、ビデオコーダは、現在ピクチャのＭＶＣおよびＰＯＣと、コロケートされたブロックのＬＩＳＴ０からのコロケートされたピクチャｄｐｔｒ［ＲＥＦＰ＿０］およびｄｐｔｒ＿ｃｏ［ＲＥＦＰ＿０］のＰＯＣとを導出し、スケーリングされたＭＶＰを導出するためにこれらの値を使用し得る。ビデオコーダは、コロケートされた動きベクトル（ｍｖｃ）をスケーリングすることによって、ＴＭＶＰ出力のＬＩＳＴ０（ｍｖｐ［ＲＥＦＰ＿０］）およびＬＩＳＴ１（ｍｖｐ［ＲＥＦＰ＿１］）におけるＭＶＰを作り出すために、得られたスケーリングされたＭＶＰを使用し、異なる符号を伴ってとり得る。

ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘリストからの、および２つのリストに割り当てられたｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］。

[0121]第４の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、ＴＭＶＰ導出のパラメータをシグナリング（たとえば、符号化および復号）し得る。一例として、ビデオコーダは、ＴＭＶＰ導出のパラメータをシグナリングし得る。別の例として、ビデオコーダは、導出フローを制御し得る。たとえば、ビデオコーダは、代替方法によるＴＭＶＰ導出間で（たとえば、上記で説明された第１、第２、または第３の技法のいずれかの間で）切り替わり得る。

[0122]ＴＭＶＰ導出のパラメータのための例示的なシンタックステーブルが以下で提供される（追加はイタリック体で示されている）。

[0124]上記のシンタックステーブル中のシンタックス要素のための例示的なセマンティクスが以下で提供される。

[0125]ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇは、時間動きベクトル予測子導出プロセスがビットストリームにおいてシグナリングされる追加のパラメータでコンフィギュアドされるべきかどうかを指定する。存在しないとき、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇの値は０に等しいと推論される。

[0126]ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、コロケートされたピクチャの導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＰに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＢに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、１に等しいと推論される。

[0127]ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、時間動きベクトル予測のために使用されるコロケートされたピクチャの参照インデックスを指定する。ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはＲｅｆＰｉｃＬｉｓｔ［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］におけるピクチャを参照し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は、両端値を含む、０～ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］の範囲内にあるものとする。ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、０に等しいと推論される。

[0128]ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、動きベクトル候補の導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。１に等しいｔｉｌｅ＿ｇｒｏｕｐ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｆｌａｇは、デブロッキングフィルタの動作が現在タイルグループのために適用されることを指定する。０に等しいｔｉｌｅ＿ｇｒｏｕｐ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｆｌａｇは、デブロッキングフィルタの動作が現在タイルグループのために適用されないことを指定する。

[0129]第４の技法によれば、ビデオデコーダ（たとえば、ビデオデコーダ３００）は、どのＴＭＶＰ導出方法（たとえば、上記で説明された第１、第２、または第３の技法のうちのどれ）が使用されるべきであるかを導出し得る。いくつかの例では、ビデオデコーダは、現在スライスに好適なＴＭＶＰ方法について選択するための導出プロセスと、ビットストリームのパースプロセスとを採用することができる。そのような導出プロセスの非限定的な例が、以下で提供される。

[0130]どのＴＭＶＰ導出方法が使用されるかを導出するための第１の例示的なプロセスとして、ビデオデコーダは、参照ピクチャリスト（ＲＥＦＰ＿０およびＲＥＦＰ＿１）の各々におけるＴＭＶＰスケーリングのために、現在ピクチャｐｔｒとターゲットピクチャとの間のＰＯＣ距離を算出し得る。

[0131]どのＴＭＶＰ導出方法が使用されるかを導出するための第２の例示的なプロセスとして、ビデオデコーダは、ＭＶスケーリングのための両方のターゲットピクチャが同じ予測方向にあるかどうか（たとえば、各ターゲットピクチャのＰＯＣが現在ピクチャのＰＯＣよりも小さいかどうか）を識別し得る。

[0132]代替的に、いくつかの例では、ビデオデコーダは、ＭＶスケーリングのための両方のターゲットピクチャが同じ予測方向にあるかどうか（たとえば、各ターゲットピクチャのＰＯＣが現在ピクチャのＰＯＣよりも小さいのか、両方のＰＯＣが現在ピクチャのＰＯＣそのときより大きいのか）を検査し得る。

[0133]一例では、本開示の技法は、以下のように実装され得る。

[0134]ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇは、時間動きベクトル予測子導出プロセスがビットストリームにおいてシグナリングされる追加のパラメータでコンフィギュアドされるべきかどうかを指定する。存在しないとき、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇの値は０に等しいと推論される。

[0135]ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、コロケートされたピクチャの導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＰに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＢに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、１に等しいと推論される。

[0136]ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、時間動きベクトル予測のために使用されるコロケートされたピクチャの参照インデックスを指定する。ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはＲｅｆＰｉｃＬｉｓｔ［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］におけるピクチャを参照し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は、両端値を含む、０～ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］の範囲内にあるものとする。ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、０に等しいと推論される。

[0137]ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、動きベクトル候補の導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。

[0138]後方予測フラグおよびコロケートされたピクチャがない場合の復号プロセス
[0139]このプロセスは、各ＰまたはＢスライス（またはタイルグループ）のための復号プロセスの始まりにおいて、スライス（またはタイルグループ）ヘッダの復号ならびに節８．３．３において指定されている参照ピクチャセットのための復号プロセスの呼出し、および節８．３．２において指定されているスライス（またはタイルグループ）のための参照ピクチャリスト構築のための復号プロセスの呼出しの後に、ただし、任意のコーディングユニットの復号より前に、呼び出される。変数ＣｏｌＰｉｃは、ＲｅｆＰｉｃＬｉｓｔ［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］［ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘ］に等しく設定される。

[0140]コロケートされた動きベクトルのための導出プロセス
このプロセスへの入力は、以下の通りである。
－ 現在コーディングブロックを指定する変数ｃｕｒｒＣｂ、
－ ＣｏｌＰｉｃによって指定されるコロケートされたピクチャ内のコロケートされたコーディングブロックを指定する変数ｃｏｌＣｂ、
－ ｃｏｌＰｉｃによって指定されるコロケートされたピクチャの左上ルーマサンプルに対してｃｏｌＣｂによって指定されるコロケートされたルーマコーディングブロックの左上サンプルを指定するルーマロケーション（ｘＣｏｌＣｂ，ｙＣｏｌＣｂ）、
－ Ｘが０または１である、参照インデックスｒｅｆＩｄｘＬＸ、
このプロセスの出力は、以下の通りである。
－ Ｘをもつ１／１６の分数サンプル精度における動きベクトル予測ｍｖＬＸＣｏｌが、０または１に等しい。
－ 利用可能性フラグａｖａｉｌａｂｌｅＦｌａｇＣｏｌ（リスト０および１について共同）。

[0141]変数ｃｕｒｒＰｉｃは現在ピクチャを指定する。

[0142]アレイｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］、ｍｖＬ０Ｃｏｌ［ｘ］［ｙ］およびｒｅｆＩｄｘＬ０Ｃｏｌ［ｘ］［ｙ］は、ＣｏｌＰｉｃによって指定されたコロケートされたピクチャの、それぞれ、ＰｒｅｄＦｌａｇＬ０［ｘ］［ｙ］、ＭｖＬ０［ｘ］［ｙ］およびＲｅｆＩｄｘＬ０［ｘ］［ｙ］に等しく設定され、アレイｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］、ｍｖＬ１Ｃｏｌ［ｘ］［ｙ］およびｒｅｆＩｄｘＬ１Ｃｏｌ［ｘ］［ｙ］は、ＣｏｌＰｉｃによって指定されたコロケートされたピクチャの、それぞれ、ＰｒｅｄＦｌａｇＬ１［ｘ］［ｙ］、ＭｖＬ１［ｘ］［ｙ］およびＲｅｆＩｄｘＬ１［ｘ］［ｙ］に等しく設定される。

[0143]変数ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは、Ｘが０または１に等しい場合、以下のように導出される。
ｃｏｌＣｂがイントラ予測モードでコーディングされる場合、ｍｖＬＸＣｏｌの両方の成分は０に等しく設定され、ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは０に等しく設定される。
他の場合、動きベクトルｍｖＣｏｌ、参照インデックスｒｅｆＩｄｘＣｏｌおよび参照リスト識別子ｌｉｓｔＣｏｌは以下のように導出される。

－ ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇが０に等しい場合、以下が適用される。

－ ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が０に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が１に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］に等しく設定され、およびＸをもつＬＸが１に等しい。

－ ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が１に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が０に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］に等しく設定され、およびＸをもつＬＸが０に等しい。

－ 他の場合（ｐｒｅｄＦｌａｇＬ０Ｃｏｌ［ｘ］［ｙ］が１に等しく、ｐｒｅｄＦｌａｇＬ１Ｃｏｌ［ｘ］［ｙ］が１に等しい場合）、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］およびＬＸに等しく設定される。

－ ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇが１に等しい場合、以下が適用される。

－ Ｘがｃｏｌｌｏｃａｔｅｄ＿ｍｖｐ＿ｓｏｕｒｃｅ＿ｌｉｓｔ＿ｉｄｘに等しいｐｒｅｄＦｌａｇＬＸＣｏｌ［ｘ］［ｙ］が１に等しい場合、ｍｖＣｏｌ、ｒｅｆＩｄｘＣｏｌおよびｌｉｓｔＣｏｌは、それぞれ、ｍｖＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］、ｒｅｆＩｄｘＬＸＣｏｌ［ｘＣｏｌＣｂ］［ｙＣｏｌＣｂ］に等しく設定され、および、ＸをもつＬＸがｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘに等しい。

[0144]ｍｖＬＸＣｏｌおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは以下のように導出される。

[0145]変数ｒｅｆＰｉｃＬｉｓｔＣｏｌ［ｒｅｆＩｄｘＣｏｌ］は、ＣｏｌＰｉｃによって指定されたコロケートされたピクチャ中の予測ブロックｃｏｌＰｂを含んでいるスライスの参照ピクチャリストｌｉｓｔＣｏｌ中に参照インデックスｒｅｆＩｄｘＣｏｌをもつピクチャになるように設定され、以下が適用される。
－ 現在ピクチャと、ｒｅｆＩｄｘＬＸをもつ現在ピクチャの参照ピクチャリストＲｅｆＰｉｃＬｉｓｔＸ［ｒｅｆＩｄｘＬＸ］との間の（ｃｕｒｒＰｏｃＤｉｆｆＸとして示される）ＰＯＣ距離が０に等しく、以下のように算出される。

－ コロケートされたピクチャＣｏｌＰｉｃと、コロケートされたピクチャのリストＸ参照ピクチャｒｅｆＰｉｃＬｉｓｔＣｏｌ［ｒｅｆＩｄｘＬＸＣｏｌ］との間の（ｃｏｌＰｏｃＤｉｆｆＬＸとして示される）ＰＯＣ距離は、以下のように算出される。

－ 有効なｒｅｆＩｄｘＣｏｌおよびｃｏｌＰｏｃＤｉｆｆＬＸが０に等しくない場合、変数ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが１に等しく設定され、ｍｖＬＸＣｏｌが、動きベクトルｍｖＣｏｌＬＸのスケーリングされたバージョンとして以下のように導出される。

－ 他の場合（無効なｒｅｆＩｄｘＣｏｌまたはｃｏｌＰｏｃＤｉｆｆＬＸが０に等しい）、変数ａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌは０に等しく設定され、

であり、Ｘは０または１であり、それぞれ、参照リスト０および参照リスト１を指定する。

[0146]コロケートされた動きベクトルｍｖＬＸＣｏｌのための変数についてのピクチャ境界ベースのクリッピングプロセスが、節８．５．２．２１において指定されているように、入力パラメータとして、ｍｖＬＸＣｏｌ、（ｘＣｂ、ｙＣｂ）、ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓおよびｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓを用いて呼び出される。

[0147]ａｖａｉｌａｂｌｅＦｌａｇＣｏｌが、以下のように導出される。

－ Ｘが０であるおよび１である場合のａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが両方とも有効である場合、ａｖａｉｌａｂｌｅＦｌａｇＣｏｌは３に設定され、
－ そうではなく、Ｘが０に等しい場合のａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが有効であり、Ｘが１である場合のａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが無効である場合、ａｖａｉｌａｂｌｅＦｌａｇＣｏｌは１に設定され、
－ そうではなく、Ｘが１に等しい場合のａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが有効であり、Ｘが０である場合のａｖａｉｌａｂｌｅＦｌａｇＬＸＣｏｌが無効である場合、ａｖａｉｌａｂｌｅＦｌａｇＣｏｌは２に設定され、
－ 他の場合、ａｖａｉｌａｂｌｅＦｌａｇＣｏｌは０に設定される。

[0148]タイルグループへの参照はＶＶＣドラフト４への参照であると見なされ得るが、スライスへの参照はＶＶＣドラフト５への参照と見なされ得ることに留意されたい。したがって、タイルグループヘッダ中に含まれるものは、いくつかの例では、スライスヘッダまたは任意の同様の区分のヘッダ中に含まれ得る。

[0149]本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、ビデオデータの現在ピクチャの現在ブロックのために、時間動きベクトル予測（ＴＭＶＰ）候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを行い得る。

[0150]図８Ａおよび図８Ｂは、例示的なクワッドツリーバイナリツリー（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線はクワッドツリースプリッティングを表し、点線はバイナリツリースプリッティングを示す。バイナリツリーの各スプリット（すなわち、非リーフ）ノードでは、どのスプリッティングタイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平スプリッティングを示し、１は垂直スプリッティングを示す。クワッドツリースプリッティングでは、クワッドツリーノードが、ブロックを、等しいサイズをもつ４つのサブブロックに水平および垂直にスプリットするので、スプリッティングタイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）についての（スプリッティング情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）についての（スプリッティング情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。

[0151]概して、図８ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル中のＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小クワッドツリーサイズ（最小許容クワッドツリーリーフノードサイズを表すＭｉｎＱＴＳｉｚｅ）と、最大バイナリツリーサイズ（最大許容バイナリツリールートノードサイズを表すＭａｘＢＴＳｉｚｅ）と、最大バイナリツリー深度（最大許容バイナリツリー深度を表すＭａｘＢＴＤｅｐｔｈ）と、最小バイナリツリーサイズ（最小許容バイナリツリーリーフノードサイズを表すＭｉｎＢＴＳｉｚｅ）とを含み得る。

[0152]ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、クワッドツリー区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、または４つの子ノードを有するかのいずれかである。ＱＴＢＴ構造１３０の例は、分岐のために実線を有する親ノードと子ノードとを含むようなノードを表す。第１のレベルのノードが最大許容バイナリツリールートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードは、それぞれのバイナリツリーによってさらに区分され得る。１つのノードのバイナリツリースプリッティングは、スプリットから生じるノードが最小許容バイナリツリーリーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容バイナリツリー深度（ＭａｘＢＴＤｅｐｔｈ）に達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐のために破線を有するようなノードを表す。バイナリツリーリーフノードはコーディングユニット（ＣＵ）と呼ばれ、ＣＵは、さらなる区分なしに予測（たとえば、ピクチャ内またはピクチャ間予測）および変換のために使用される。上記で説明されたように、ＣＵは「ビデオブロック」または「ブロック」と呼ばれることもある。

[0153]ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプルおよび２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。クワッドツリー区分は、クワッドツリーリーフノードを生成するために、最初にＣＴＵに適用される。クワッドツリーリーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。リーフクワッドツリーノードが１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では６４×６４）を超えるので、それはバイナリツリーによってさらにスプリットされない。他の場合、リーフクワッドツリーノードは、バイナリツリーによってさらに区分される。したがって、クワッドツリーリーフノードはまた、バイナリツリーのためのルートノードであり、０としてのバイナリツリー深度を有する。バイナリツリー深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に達したとき、さらなるスプリッティングは許可されない。バイナリツリーノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、それは、さらなる水平スプリッティングが許可されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有するバイナリツリーノードは、さらなる垂直スプリッティングがそのバイナリツリーノードのために許可されないことを暗示する。上述のように、バイナリツリーのリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。

[0154]図９は、本開示の技法を実施し得る例示的なビデオエンコーダ２００を示すブロック図である。図９は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、ＨＥＶＣビデオコーディング規格ならびに開発中のＥＶＣおよびＶＶＣビデオコーディング規格などのビデオコーディング規格のコンテキストにおいて、ビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、概して、ビデオ符号化および復号に適用可能である。

[0155]図９の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0156]ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（ＳＤＲＡＭ）を含むＤＲＡＭ、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0157]本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。そうではなく、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在ブロックのためのビデオデータ）を記憶する参照メモリとして理解されるべきである。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的なストレージを提供し得る。

[0158]図９の様々なユニットは、ビデオエンコーダ２００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。

[0159]ビデオエンコーダ２００は、算術論理ユニット（ＡＬＵ）、基本機能ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実施される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し、実行するソフトウェアのオブジェクトコードを記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示せず）が、そのような命令を記憶し得る。

[0160]ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット２０４とモード選択ユニット２０２とに提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである生のビデオデータであり得る。

[0161]モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実施するための追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。

[0162]モード選択ユニット２０２は、概して、符号化パラメータの組合せと、そのような組合せについての得られたレートひずみ値とをテストするために、複数の符号化パスを協調させる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。

[0163]ビデオエンコーダ２００は、ビデオデータメモリ２３０から取り出されたピクチャを一連のＣＴＵに区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造またはクワッドツリー構造など、ツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＵは、概して「ビデオブロック」または「ブロック」と呼ばれることもある。

[0164]概して、モード選択ユニット２０２はまた、現在ブロック（たとえば、現在ＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）のための予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在ブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８に記憶されている１つまたは複数の以前にコーディングされたピクチャ）中で１つまたは複数のぴったり一致する参照ブロックを識別するために動き探索を実施し得る。特に、動き推定ユニット２２２は、たとえば、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、現在ブロックに対して潜在的参照ブロックがどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在ブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実施し得る。動き推定ユニット２２２は、現在ブロックに最もぴったり一致する参照ブロックを示す、これらの計算から得られた最も低い値を有する参照ブロックを識別し得る。

[0165]動き推定ユニット２２２は、現在ピクチャ中の現在ブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動きベクトルを動き補償ユニット２２４に提供し得る。たとえば、単方向インター予測では、動き推定ユニット２２２は、単一の動きベクトルを提供し得るが、双方向インター予測では、動き推定ユニット２２２は、２つの動きベクトルを提供し得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが部分サンプル精度を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックについての値を補間し得る。その上、双方向インター予測では、動き補償ユニット２２４は、それぞれの動きベクトルによって識別された２つの参照ブロックについてデータを取り出し、たとえば、サンプルごとの平均化または加重平均化を通して、取り出されたデータを組み合わせ得る。

[0166]別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在ブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、概して、予測ブロックを作り出すために、隣接サンプルの値を数学的に組み合わせ、現在ブロックにわたって規定の方向にこれらの計算された値をポピュレートし得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在ブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。

[0167]モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在ブロックの生の、符号化されていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在ブロックと予測ブロックとの間のサンプルごとの差分を計算する。得られたサンプルごとの差分は、現在ブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために、残差ブロック中のサンプル値間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実施する１つまたは複数の減算器回路を使用して形成され得る。

[0168]モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと、対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記で示されたように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ビデオエンコーダ２００は、イントラ予測のための２Ｎ×２ＮまたはＮ×ＮのＰＵサイズと、インター予測のための２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または同様のものの対称ＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズの非対称区分をサポートし得る。

[0169]モード選択ユニットがＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ３００とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。

[0170]いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法では、モード選択ユニット２０２は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在ブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成しないことがあり、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。

[0171]上記で説明されたように、残差生成ユニット２０４は、現在ブロックのためのビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在ブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在ブロックとの間のサンプルごとの差分を計算する。

[0172]変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ばれる）変換係数のブロックを生成するために、残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向性変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換などの１次変換および２次変換を実施し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。

[0173]量子化ユニット２０８は、量子化された変換係数ブロックを作り出すために、変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在ブロックに関連付けられた量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は（たとえば、モード選択ユニット２０２を介して）、ＣＵに関連付けられたＱＰ値を調整することによって、現在ブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって作り出された元の変換係数よりも低い精度を有し得る。

[0174]逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化された変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックと、モード選択ユニット２０２によって生成された予測ブロックとに基づいて、（潜在的にある程度のひずみを伴うが）現在ブロックに対応する再構築されたブロックを作り出し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを作り出すために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。

[0175]フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。

[0176]ビデオエンコーダ２００は、再構築されたブロックをＤＰＢ２１８に記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例では、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在ピクチャ中の他のブロックをイントラ予測するために、現在ピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。

[0177]概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するために、ビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実施し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変対可変（Ｖ２Ｖ）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実施し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。

[0178]ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。特に、エントロピー符号化ユニット２２０がビットストリームを出力し得る。

[0179]上記で説明された動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマ成分およびクロマ成分である。

[0180]いくつかの例では、ルーマコーディングブロックに関して実施される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ）と参照ピクチャとを識別するための動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであり得る。

[0181]上記で説明されたように、ビデオエンコーダ２００またはビデオデコーダ３００などのビデオコーダは動きベクトル候補リストを生成し得、いくつかの例では、リスト中の少なくとも１つの候補が時間動きベクトル予測子（ＴＭＶＰ）候補である。いくつかの例では、ビデオコーダは、ビデオコーダが、コロケートされたピクチャ中のコロケートされたＰＵからＴＭＶＰ候補を導出するように、推論されたパラメータを使用してＴＭＶＰ候補を決定し得る。たとえば、推論されたパラメータを使用してＴＭＶＰ候補を決定するために、ビデオコーダは、図３Ａおよび図３Ｂを参照しながら上記で説明された技法に従って、ＴＭＶＰ候補を決定し得る。しかしながら、いくつかの例では、推論されたパラメータを使用して導出されたＴＭＶＰ候補は、最良のＴＭＶＰ候補でないことがある。たとえば、他のピクチャからの他の動きベクトルが、現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを識別し得る。現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを有することは、残差データのサイズを低減することによってコーディング効率を改善し得る。

[0182]本開示の１つまたは複数の技法によれば、ＴＭＶＰ候補の導出は、よりフレキシブルに行われ得る。たとえば、ＴＭＶＰ候補導出を制御するパラメータ（ＴＭＶＰパラメータ）を推論することとは対照的に、ビデオコーダは、ＴＭＶＰ候補導出を制御するパラメータを明示的にシグナリングし得る。シグナリングされ得るいくつかの例示的なパラメータは、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストと、コロケートされたピクチャの参照インデックスと、ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストとを含む。パラメータを明示的にシグナリングすることによって、ビデオエンコーダは、現在ブロックのサンプルによりぴったり一致するサンプルをもつ参照ブロックを識別するＴＭＶＰ候補を選択することが可能であり得る。たとえば、ビデオコーダは、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリスト、または推論されたパラメータとともに使用されることになる参照ピクチャリストとは異なる任意の他のパラメータを選択し得る。残差データサイズにおける得られた低減は、ＴＭＶＰパラメータをシグナリングするために使用されるより多くのそのデータであり得る。このようにして、本開示の技法は、（たとえば、ビデオデータを符号化するために使用されるデータの量を低減することによって）コーディング効率を改善し得る。

[0183]いくつかの例では、ビデオエンコーダ２００は、各々がＴＭＶＰ候補導出プロセスの１つまたは複数のパラメータを指定する複数のシンタックス要素をシグナリングすることによって、パラメータをシグナリングし得る。たとえば、モード選択ユニット２０２は、エントロピー符号化ユニット２２０に、コード化ビデオビットストリームにおいて複数のシンタックス要素を符号化させ得る。ＴＭＶＰ候補導出プロセスの１つまたは複数のパラメータを指定する複数のシンタックス要素は、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素（ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ）、コロケートされたピクチャの参照インデックスを指定するシンタックス要素（ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘ）、および／またはＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素（ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘ）のうちの１つまたは複数を含み得る。

[0184]いくつかの例では、ビデオエンコーダ２００は、ＴＭＶＰパラメータを選択的にシグナリング（たとえば、各々がＴＭＶＰ候補導出プロセスの１つまたは複数のパラメータを指定する複数のシンタックス要素を選択的にシグナリング）し得る。たとえば、常にＴＭＶＰパラメータを推論すること、または常にＴＭＶＰパラメータを明示的にシグナリングすることとは対照的に、ビデオコーダは、ＴＭＶＰパラメータが明示的にシグナリングされるか否かを示すシンタックス要素（たとえば、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇ）をシグナリングし得る。シンタックス要素が、ＴＭＶＰパラメータが明示的にシグナリングされることを示す場合、ビデオコーダは、ＴＭＶＰパラメータを指定する複数のシンタックス要素をコーディングし得る。他の場合（たとえば、シンタックス要素が、ＴＭＶＰパラメータが明示的にシグナリングされることを示さない場合）、ビデオコーダはＴＭＶＰパラメータを推論（たとえば、明示的シグナリングなしにＴＭＶＰパラメータを決定）し得る。いくつかの例では、ビデオエンコーダ２００のモード選択ユニット２０２は、ＴＭＶＰパラメータを明示的にシグナリングするためのデータの量が、推論されたＴＭＶＰパラメータに基づいて導出されたＴＭＶＰ候補以外のＴＭＶＰ候補を使用することによって節約されるデータの量よりも大きいことになる場合、ＴＭＶＰパラメータを推論すること、およびデコーダにＴＭＶＰパラメータを推論させることを選択し得る。このようにして、本開示の技法は、（たとえば、ビデオデータを符号化するために使用されるデータの量を低減することによって）コーディング効率を改善し得る。

[0185]以下のシンタックスおよびセマンティクスは、ビデオエンコーダ２００が、コード化ビデオビットストリームにおいて複数のシンタックス要素をどのようにシグナリングし得るかの一例である。以下の例では、複数のシンタックス要素は、タイルグループヘッダシンタックスにおいてシグナリングされる。しかしながら、他の例では、複数のシンタックス要素は、スライスヘッダ、ピクチャヘッダ、コーディングユニット、または任意の他のシンタックス構造など、他のシンタックス構造においてシグナリングされ得る。

[0186]ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇは、時間動きベクトル予測子導出プロセスがビットストリームにおいてシグナリングされる追加のパラメータでコンフィギュアドされるべきかどうかを指定する。存在しないとき、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇの値は０に等しいと推論される。

[0187]ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、コロケートされたピクチャの導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＰに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘが存在せず、ｓｌｉｃｅ＿ｔｙｐｅがＢに等しいとき、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘは、１に等しいと推論される。

[0188]ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、時間動きベクトル予測のために使用されるコロケートされたピクチャの参照インデックスを指定する。ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘはＲｅｆＰｉｃＬｉｓｔ［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］におけるピクチャを参照し、ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘの値は、両端値を含む、０～ｎｕｍ＿ｒｅｆ＿ｉｄｘ＿ａｃｔｉｖｅ＿ｍｉｎｕｓ１［ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ］の範囲内にあるものとする。ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘは、０に等しいと推論される。

[0189]ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、時間動きベクトル予測の目的で、動きベクトル候補の導出のための参照ピクチャリストを指定する。ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘが存在しないとき、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘは、０に等しいと推論される。

[0190]ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表し、１つまたは複数の処理ユニットは、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素を符号化することと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、コード化ビデオビットストリームを介して複数のシンタックス要素を符号化することと、ビデオデコーダによって、および複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを行うように構成される。

[0191]図１０は、本開示の技法を実施し得る例示的なビデオデコーダ３００を示すブロック図である。図１０は、説明の目的で提供されており、本開示において広く例示され、説明される技法を限定するものではない。説明の目的で、本開示は、ＥＶＣ、ＪＥＭ、ＶＶＣ、およびＨＥＶＣの技法に従って、ビデオデコーダ３００について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実施され得る。

[0192]図１０の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサまたは処理回路において実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実施するための追加または代替のプロセッサまたは処理回路を含み得る。

[0193]予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実施するための追加のユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１６の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。

[0194]ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されるビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化されたビデオビットストリームからの符号化されたビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ３００が参照ビデオデータとして出力および／または使用し得る復号されたピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、ＳＤＲＡＭを含むＤＲＡＭ、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。

[0195]追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコーディングされたビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０とともに上記で説明されたようにデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。

[0196]図１０に示されている様々なユニットは、ビデオデコーダ３００によって実施される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図９と同様に、固定機能回路は、特定の機能を提供する回路を指し、実施され得る動作に関してプリセットされる。プログラマブル回路は、様々なタスクを実施するように、および実施され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するために）ソフトウェア命令を実行し得るが、固定機能回路が実施する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。

[0197]ビデオデコーダ３００は、ＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブル回路から形成されるプログラマブルコアを含み得る。ビデオデコーダ３００の動作が、プログラマブル回路上で実行するソフトウェアによって実施される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。

[0198]エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。

[0199]概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して個々に再構築演算を実施し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在ブロック」と呼ばれることがある）。

[0200]エントロピー復号ユニット３０２は、量子化された変換係数ブロックの量子化された変換係数を定義するシンタックス要素、ならびに量子化パラメータ（ＱＰ）および／または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度と、同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたＱＰを使用し得る。逆量子化ユニット３０６は、量子化された変換係数を逆量子化するために、たとえば、ビット単位の左シフト演算を実施し得る。逆量子化ユニット３０６は、それにより、変換係数を含む変換係数ブロックを形成し得る。

[0201]逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在ブロックに関連付けられた残差ブロックを生成するために、変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を係数ブロックに適用し得る。

[0202]さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、予測情報シンタックス要素が、現在ブロックがインター予測されることを示す場合、動き補償ユニット３１６は、予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそれから取り出すべきＤＰＢ３１４中の参照ピクチャ、ならびに現在ピクチャ中の現在ブロックのロケーションに対する参照ピクチャ中の参照ブロックのロケーションを識別する動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図９）に関して説明されたものと実質的に同様である様式で、インター予測プロセスを実施し得る。

[0203]別の例として、予測情報シンタックス要素が、現在ブロックがイントラ予測されることを示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図９）に関して説明されたものと実質的に同様である様式で、イントラ予測プロセスを実施し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在ブロックに対する隣接サンプルのデータを取り出し得る。

[0204]再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在ブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在ブロックを再構築するために、予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。

[0205]フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ演算を実施し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実施し得る。フィルタユニット３１２の動作は、必ずしもすべての例において実施されるとは限らない。

[0206]ビデオデコーダ３００は、再構築されたブロックをＤＰＢ３１４に記憶し得る。上記で説明されたように、ＤＰＢ３１４は、イントラ予測のための現在ピクチャのサンプル、および後続の動き補償のための以前に復号されたピクチャなど、参照情報を、予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢ３１４からの復号されたピクチャを、図１のディスプレイデバイス１１８などのディスプレイデバイス上での後続の提示のために、出力し得る。

[0207]本開示の１つまたは複数の技法によれば、ビデオデコーダ３００は、ビデオエンコーダ２００として、ＴＭＶＰ候補を導出するための相互プロセスを実施し得る。たとえば、エントロピー復号ユニット３０２は、コード化ビデオビットストリームから、各々がＴＭＶＰ候補導出プロセスの１つまたは複数のパラメータを指定する複数のシンタックス要素を復号し得る。たとえば、エントロピー復号ユニット３０２は、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素（ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ）、コロケートされたピクチャの参照インデックスを指定するシンタックス要素（ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘ）、および／またはＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素（ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘ）のうちの１つまたは複数のための値を復号し、それらの値を予測処理ユニット３０４に提供し得る。

[0208]予測処理ユニット３０４は、複数のシンタックス要素によって指定されたパラメータの値に基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出し得る。予測処理ユニット３０４は、導出されたＴＭＶＰ候補を動きベクトル候補のリストに挿入し、動きベクトル候補のリスト基づいて、ビデオデータの現在ブロックを予測し得る。

[0209]ビデオエンコーダ２００と同様に、ビデオデコーダ３００は、明示的にシグナリングされたパラメータに基づいてＴＭＶＰ候補を選択的に導出するか、または推論されたパラメータに基づいてＴＭＶＰ候補を導出し得る。たとえば、制御シンタックス要素（たとえば、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇ）の値に応じて、ビデオデコーダ３００は、複数のシンタックス要素を復号し、複数のシンタックス要素によって指定された明示的にシグナリングされたパラメータに基づいて、ＴＭＶＰ候補を導出するか、または複数のシンタックス要素を復号せず、推論された（すなわち、明示的にシグナリングされない）パラメータに基づいて、ＴＭＶＰ候補を導出するかのいずれかであり得る。

[0210]このようにして、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数の処理ユニットとを含むビデオ復号デバイスの一例を表し、１つまたは複数の処理ユニットは、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素を復号することと、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する場合、コード化ビデオビットストリームを介して複数のシンタックス要素を復号することと、複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを行うように構成される。

[0211]図１１は、現在ブロックを符号化するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオエンコーダ２００（図１および図９）に関して説明されるが、他のデバイスが図１１の方法と同様の方法を実施するように構成され得ることを理解されたい。

[0212]この例では、ビデオエンコーダ２００は、最初に、現在ブロックを予測する（３５０）。たとえば、ビデオエンコーダ２００は、現在ブロックのための予測ブロックを形成し得る。ビデオエンコーダ２００は、次いで、現在ブロックのための残差ブロックを計算し得る（３５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元の符号化されていないブロックと、現在ブロックのための予測ブロックとの間の差分を計算し得る。ビデオエンコーダ２００は、次いで、残差ブロックの係数を変換し、量子化し得る（３５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（３５６）。走査中に、または走査に続いて、ビデオエンコーダ２００は係数をエントロピー符号化し得る（３５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピーコーディングされたデータを出力し得る（３６０）。

[0213]図１２は、ビデオデータの現在ブロックを復号するための例示的な方法を示すフローチャートである。現在ブロックは現在ＣＵを備え得る。ビデオデコーダ３００（図１および図１０）に関して説明されるが、他のデバイスが図１２の方法と同様の方法を実施するように構成され得ることを理解されたい。

[0214]ビデオデコーダ３００は、エントロピーコーディングされた予測情報、および現在ブロックに対応する残差ブロックの係数についてのエントロピーコーディングされたデータなど、現在ブロックについてのエントロピーコーディングされたデータを受信し得る（３７０）。ビデオデコーダ３００は、現在ブロックのための予測情報を決定し残差ブロックの係数を再生するために、エントロピーコーディングされたデータをエントロピー復号し得る（３７２）。ビデオデコーダ３００は、現在ブロックのための予測ブロックを計算するために、たとえば、現在ブロックのための予測情報によって示されるイントラ予測またはインター予測モードを使用して、現在ブロックを予測し得る（３７４）。ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（３７６）。ビデオデコーダ３００は、次いで、残差ブロックを作り出すために、係数を逆量子化し、逆変換し得る（３７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在ブロックを復号し得る（３８０）。

[0215]図１３は、本開示の１つまたは複数の技法による、時間動きベクトル予測子（ＴＭＶＰ）候補を導出するための例示的な方法を示すフローチャートである。ビデオデコーダ３００（図１０）に関して説明されるが、ビデオエンコーダ２００など、他のデバイスが、（たとえば、再構築ループの一部として）図１３の方法と同様の方法を実施するように構成され得ることを理解されたい。

[0216]ビデオデコーダ３００は、コード化ビデオビットストリームを介して、コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素を復号し得る（１３０２）。たとえば、ビデオデコーダ３００のエントロピー復号ユニット３０２は、コード化ビデオビットストリームのスライスヘッダシンタックス構造からのｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇを復号し得る。

[0217]ビデオデコーダ３００は、推論されたパラメータに基づいて、または複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ブロック（たとえば、現在ＣＵ）のためのＴＭＶＰ候補を選択的に導出し得る。たとえば、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定しない（たとえば、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇが０の値を有する）場合（１３０４の「ＮＯ」分岐）、ビデオデコーダ３００は、推論されたパラメータに基づいて、ビデオデータの現在ブロックのためのＴＭＶＰ候補を導出し得る（１３０６）。たとえば、予測処理ユニット３０４は、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストと、コロケートされたピクチャの参照インデックスと、ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストとのうちの少なくとも１つを推論し得る。１つの具体的な例として、推論されたパラメータに基づいてＴＭＶＰ候補を導出するために、予測処理ユニット３０４は、図３Ａおよび３Ｂを参照しながら上記で説明された技法を利用し得る。このようにして、予測処理ユニット３０４は、ＴＭＶＰ候補導出プロセスのパラメータを推論し、ビデオコーダによって、および推論されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出し得る。

[0218]代替的に、シンタックス要素が、コード化ビデオビットストリームが複数のシンタックス要素を含むことを指定する（たとえば、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇが１の値を有する）場合（１３０４の「ＹＥＳ」分岐）、ビデオデコーダ３００は、コード化ビデオビットストリームを介して複数のシンタックス要素を復号し得る（１３０８）。たとえば、エントロピー復号ユニット３０２は、ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素（たとえば、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘ）、コロケートされたピクチャの参照インデックスを指定するシンタックス要素（たとえば、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘ）、およびＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素（たとえば、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘ）のうちの１つまたは複数を含む複数のシンタックス要素を復号し得る。いくつかの例では、エントロピー復号ユニット３０２は、スライスヘッダシンタックス構造からの複数のシンタックス要素を復号し得る。

[0219]ビデオデコーダ３００は、複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出し得る（１３１０）。たとえば、予測処理ユニット３０４は、指定された参照インデックスを有し、指定されたソース参照ピクチャリストを有するＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための指定された参照ピクチャリスト中のピクチャから動きベクトルを取得し得る。

[0220]暗黙的導出が使用されるのか、明示的導出が使用されるのかにかかわらず、ビデオデコーダ３００は、現在ブロックのために、動きベクトル候補のリストを生成し得、リストは、導出されたＴＭＶＰ候補を含む（１３１２）。たとえば、予測処理ユニット３０４は、ＴＭＶＰ候補および１つまたは複数の空間候補、ＨＭＶＰ候補、ペアワイズ候補、および０候補を含むように、動きベクトル候補リストを生成し得る。

[0221]ビデオデコーダ３００は、動きベクトル候補のリストに基づいて、現在ブロックを予測し得る（１３１４）。たとえば、エントロピー復号ユニット３０２は、動きベクトル候補のリスト中のどのエントリが使用されるべきであるかを指定するシンタックス要素を復号し得る。予測処理ユニット３０４は、予測ブロックと呼ばれる、シンタックス要素によって指定された動きベクトル候補によって識別されたビデオデータのブロックから、サンプルを取得し得る。予測処理ユニット３０４は、図１２を参照しながら上記で説明されたように、予測ブロックからのサンプルを残差データと組み合わせ得る。

[0222]以下の例は、本開示の１つまたは複数の態様を示し得る。

[0223]例１． ビデオデータをコーディングする方法であって、方法は、ビデオデコーダによって、およびビデオデータの現在ピクチャの現在ブロックのために、時間動きベクトル予測（ＴＭＶＰ）候補を導出することと、現在ブロックのために、動きベクトル候補のリストを生成することと、リストが、導出されたＴＭＶＰ候補を含む、動きベクトル候補のリストに基づいて、現在ブロックを予測することとを備える、方法。

[0224]例２． ＴＭＶＰ候補を導出することは、現在ピクチャのコロケートされたブロックの動きベクトルを取得することと、コロケートされたブロックが、現在ピクチャのコロケートされた参照ピクチャに位置する、コロケートされたブロックの取得された動きベクトルのスケーリングされたバージョンとして、ＴＭＶＰ候補を導出することとを備える、例１に記載の方法。

[0225]例３． コロケートされたブロックの取得された動きベクトルのスケーリングされたバージョンとして、ＴＭＶＰ候補を導出することが、現在ピクチャとコロケートされた参照ピクチャとの間のピクチャ順序カウント（ＰＯＣ）差分に基づいて、スケーリングファクタを決定することと、スケーリングファクタに基づいて、ＴＭＶＰ候補を取得するためにコロケートされたブロックの取得された動きベクトルをスケーリングすることとを備える、例２に記載の方法。

[0226]例４． スケーリングファクタが第１のスケーリングファクタであり、方法が、コロケートされた参照ピクチャとコロケートされた参照ピクチャの参照ピクチャとの間のＰＯＣ差分に基づいて、第２のスケーリングファクタを決定することをさらに備え、ＴＭＶＰ候補を取得するためにコロケートされたブロックの取得された動きベクトルをスケーリングすることが、第１のスケーリングファクタおよび第２のスケーリングファクタに基づいて、ＴＭＶＰ候補を取得するためにコロケートされたブロックの取得された動きベクトルをスケーリングすることを備える、例３に記載の方法。

[0227]例５． コード化ビデオビットストリームを介して、ＴＭＶＰ候補導出プロセスのパラメータを指定する１つまたは複数のシンタックス要素をコーディングすることをさらに備える、例１～４のいずれかに記載の方法。

[0228]例６． １つまたは複数のシンタックス要素が、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇシンタックス要素、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘシンタックス要素、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘシンタックス要素、および／またはｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘシンタックス要素のうちの１つまたは複数を含む、例５に記載の方法。

[0229]例７． ビデオコーダがビデオデコーダを備え、方法が、ビデオデコーダによって、ＴＭＶＰ候補導出プロセスのパラメータを導出することをさらに備える、例１～４のいずれかに記載の方法。

[0230]例８． コーディングすることが復号することを備える、例１～７のいずれかに記載の方法。

[0231]例９． コーディングすることが符号化することを備える、例１～８のいずれかに記載の方法。

[0232]例１０． ビデオデータをコーディングするためのデバイスであって、デバイスが、例１～９のいずれかに記載の方法を実施するための１つまたは複数の手段を備える、デバイス。

[0233]例１１． １つまたは複数の手段が、回路中に実装された１つまたは複数のプロセッサを備える、例１０に記載のデバイス。

[0234]例１２． ビデオデータを記憶するためのメモリをさらに備える、例１０および１１のいずれかに記載のデバイス。

[0235]例１３． 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、例１０～１２のいずれかに記載のデバイス。

[0236]例１４． デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、例１０～１３のいずれかに記載のデバイス。

[0237]例１５． デバイスがビデオデコーダを備える、例１０～１４のいずれかに記載のデバイス。

[0238]例１６． デバイスがビデオエンコーダを備える、例１０～１５のいずれかに記載のデバイス。

[0239]例１７． 実行されたとき、１つまたは複数のプロセッサに、例１～９のいずれかに記載の方法を実施させる命令を記憶したコンピュータ可読記憶媒体。

[0240]上記例に応じて、本明細書で説明された技法のいずれかのいくつかの行為またはイベントは、異なるシーケンスで実施され得、追加、マージ、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して同時に実施され得る。

[0241]１つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

[0242]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0243]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積またはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。

[0244]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されたが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって提供され得る。

[0245]様々な例が説明された。これらおよび他の例は以下の特許請求の範囲内に入る。

Claims (20)

1. ビデオデータをコーディングする方法であって、前記方法は、
   ビデオコーダによって、およびコード化ビデオビットストリームを介して、前記コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、
   前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定する場合、
   前記ビデオコーダによって、前記コード化ビデオビットストリームを介して前記複数のシンタックス要素をコーディングすることと、
   前記ビデオコーダによって、および前記複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、
   前記現在ブロックのために、動きベクトル候補のリストを生成することと、前記リストが、前記導出されたＴＭＶＰ候補を含む、
   動きベクトル候補の前記リストに基づいて、前記現在ブロックを予測することと
   を備える、方法。
2. 前記ＴＭＶＰ候補導出プロセスの前記パラメータを指定する前記複数のシンタックス要素が、
   前記ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素と、
   前記コロケートされたピクチャの参照インデックスを指定するシンタックス要素と、
   前記ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素と
   のうちの１つまたは複数を備える、請求項１に記載の方法。
3. 前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むかどうかを指定する前記シンタックス要素が、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇシンタックス要素を備え、
   前記ＴＭＶＰ候補の導出のための前記コロケートされたピクチャの導出のための前記参照ピクチャリストを指定する前記シンタックス要素が、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘシンタックス要素を備え、
   前記コロケートされたピクチャの前記参照インデックスを指定する前記シンタックス要素が、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘシンタックス要素を備え、
   前記ＴＭＶＰ候補の導出のための前記動きベクトル候補の導出のための前記参照ピクチャリストを指定する前記シンタックス要素が、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘシンタックス要素を備える、
   請求項２に記載の方法。
4. 前記複数のシンタックス要素をコーディングすることが、前記コード化ビデオビットストリームのスライスヘッダシンタックス構造中で前記複数のシンタックス要素をコーディングすることを備える、請求項１に記載の方法。
5. 前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定しない場合、
   前記ビデオコーダによって、前記ＴＭＶＰ候補導出プロセスのパラメータを推論することと、
   前記ビデオコーダによって、および前記推論されたパラメータに基づいて、ビデオデータの前記現在ピクチャの前記現在ブロックのための前記ＴＭＶＰ候補を導出することと
   をさらに備える、請求項１に記載の方法。
6. 前記ビデオコーダがビデオデコーダを備え、コーディングすることが復号することを備える、請求項１に記載の方法。
7. 前記ビデオコーダがビデオエンコーダを備え、コーディングすることが符号化することを備える、請求項１に記載の方法。
8. ビデオデータをコーディングするためのデバイスであって、前記デバイスが、
   コード化ビデオビットストリームの少なくとも一部分を記憶するように構成されたメモリと、
   回路中に実装された１つまたは複数のプロセッサとを備え、前記１つまたは複数のプロセッサは、
   前記コード化ビデオビットストリームを介して、前記コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、
   前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定する場合、
   前記コード化ビデオビットストリームを介して前記複数のシンタックス要素をコーディングすることと、
   前記複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、
   前記現在ブロックのために、動きベクトル候補のリストを生成することと、前記リストが、前記導出されたＴＭＶＰ候補を含む、
   動きベクトル候補の前記リストに基づいて、前記現在ブロックを予測することと
   を行うように構成された、デバイス。
9. 前記ＴＭＶＰ候補導出プロセスの前記パラメータを指定する前記複数のシンタックス要素が、
   前記ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素と、
   前記コロケートされたピクチャの参照インデックスを指定するシンタックス要素と、
   前記ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素と
   のうちの１つまたは複数を備える、請求項８に記載のデバイス。
10. 前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むかどうかを指定する前記シンタックス要素が、ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ａｓｉｇｎｅｄ＿ｆｌａｇシンタックス要素を備え、
    前記ＴＭＶＰ候補の導出のための前記コロケートされたピクチャの導出のための前記参照ピクチャリストを指定する前記シンタックス要素が、ｃｏｌ＿ｐｉｃ＿ｌｉｓｔ＿ｉｄｘシンタックス要素を備え、
    前記コロケートされたピクチャの前記参照インデックスを指定する前記シンタックス要素が、ｃｏｌ＿ｐｉｃ＿ｒｅｆ＿ｉｄｘシンタックス要素を備え、
    前記ＴＭＶＰ候補の導出のための前記動きベクトル候補の導出のための前記参照ピクチャリストを指定する前記シンタックス要素が、ｃｏｌ＿ｓｏｕｒｃｅ＿ｍｖｐ＿ｌｉｓｔ＿ｉｄｘシンタックス要素を備える、
    請求項９に記載のデバイス。
11. 前記複数のシンタックス要素をコーディングするために、前記１つまたは複数のプロセッサが、前記コード化ビデオビットストリームのスライスヘッダシンタックス構造中で前記複数のシンタックス要素をコーディングするように構成された、請求項８に記載のデバイス。
12. 前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定しない場合、前記１つまたは複数のプロセッサが、
    前記ＴＭＶＰ候補導出プロセスのパラメータを推論することと、
    前記推論されたパラメータに基づいて、ビデオデータの前記現在ピクチャの前記現在ブロックのための前記ＴＭＶＰ候補を導出することと
    を行うように構成された、請求項８に記載のデバイス。
13. 前記ビデオコーダがビデオデコーダを備え、前記シンタックス要素および前記複数のシンタックス要素をコーディングするために、前記１つまたは複数のプロセッサが、前記シンタックス要素および前記複数のシンタックス要素を復号するように構成された、請求項８に記載のデバイス。
14. 前記ビデオコーダがビデオエンコーダを備え、前記シンタックス要素および前記複数のシンタックス要素をコーディングするために、前記１つまたは複数のプロセッサが、前記シンタックス要素および前記複数のシンタックス要素を符号化するように構成された、請求項８に記載のデバイス。
15. 前記１つまたは複数のプロセッサが、特定用途向け集積回路（ＡＳＩＣ）を備える、請求項８に記載のデバイス。
16. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、ビデオコーダの１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
    コード化ビデオビットストリームを介して、前記コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングすることと、
    前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定する場合、
    前記ビデオコーダによって、前記コード化ビデオビットストリームを介して前記複数のシンタックス要素をコーディングすることと、
    前記ビデオコーダによって、および前記複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出することと、
    前記現在ブロックのために、動きベクトル候補のリストを生成することと、前記リストが、前記導出されたＴＭＶＰ候補を含む、
    動きベクトル候補の前記リストに基づいて、前記現在ブロックを予測することと
    を行わせる、コンピュータ可読記憶媒体。
17. 前記ＴＭＶＰ候補導出プロセスの前記パラメータを指定する前記複数のシンタックス要素が、
    前記ＴＭＶＰ候補の導出のためのコロケートされたピクチャの導出のための参照ピクチャリストを指定するシンタックス要素と、
    前記コロケートされたピクチャの参照インデックスを指定するシンタックス要素と、
    前記ＴＭＶＰ候補の導出のための動きベクトル候補の導出のための参照ピクチャリストを指定するシンタックス要素と
    のうちの１つまたは複数を備える、請求項１６に記載のコンピュータ可読記憶媒体。
18. 前記１つまたは複数のプロセッサに前記複数のシンタックス要素をコーディングすることを行わせる前記命令が、前記１つまたは複数のプロセッサに、前記コード化ビデオビットストリームのスライスヘッダシンタックス構造中で前記複数のシンタックス要素をコーディングすることを行わせる命令を備える、請求項１６に記載のコンピュータ可読記憶媒体。
19. 前記１つまたは複数のプロセッサに、前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定しない場合、
    前記ＴＭＶＰ候補導出プロセスのパラメータを推論することと、
    前記推論されたパラメータに基づいて、ビデオデータの前記現在ピクチャの前記現在ブロックのための前記ＴＭＶＰ候補を導出することと
    を行わせる命令をさらに備える、請求項１６に記載のコンピュータ可読記憶媒体。
20. ビデオデータをコーディングするためのデバイスであって、前記デバイスは、
    コード化ビデオビットストリームを介して、前記コード化ビデオビットストリームが、時間動きベクトル予測（ＴＭＶＰ）候補導出プロセスのパラメータを指定する複数のシンタックス要素を含むかどうかを指定するシンタックス要素をコーディングするための手段と、
    前記シンタックス要素が、前記コード化ビデオビットストリームが前記複数のシンタックス要素を含むことを指定する場合、前記コード化ビデオビットストリームを介して前記複数のシンタックス要素をコーディングするための手段と、
    前記複数のシンタックス要素によって指定されたパラメータに基づいて、ビデオデータの現在ピクチャの現在ブロックのためのＴＭＶＰ候補を導出するための手段と、
    前記現在ブロックのために、動きベクトル候補のリストを生成するための手段と、前記リストが、前記導出されたＴＭＶＰ候補を含む、
    動きベクトル候補の前記リストに基づいて、前記現在ブロックを予測するための手段と
    を備える、デバイス。

Images