JP2023065561A - イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置 - Google Patents

Abstract

【課題】イントラピクチャブロック補償のための予測候補リストサイズシグナリング方法及び装置を提供する。【解決手段】ビデオデコード方法は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップと、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップと、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（ＩＢＣ）候補の数に基づいて、ベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するステップと、ベクトル予測を用いて候補リストを作成するステップと、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すステップと、取り出されたベクトル予測にしたがって、現在ブロックをデコードするステップと、を含む。【選択図】図１２

Description

参照による組み込み
本開示は、2020年4月30日に出願された米国特許出願第16／863，661号「イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置」に基づく優先権の利益を主張するものであり、当該米国特許出願第16／863，661号は、2019年9月23日に出願された米国仮出願第62／904，307号「イントラピクチャブロック補償のための予測方法」および2019年7月11日に出願された米国仮出願第62／873，044号「イントラピクチャブロック補償のための予測候補リストサイズシグナリング」に基づく優先権の利益を主張するものである。先行出願の開示全体は、参照によりその全体が本明細書に組み込まれる。

本開示は、一般的にビデオコーディングに関する実施形態を説明する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。現在、名前が示されている発明者らの研究は、この背景技術の項に記載されている限りにおいて、ならびに出願時にその他の場合に先行技術として適格ではない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。

ビデオコーディングおよび復号は、動き補償を伴うインターピクチャ予測を用いて行われ得る。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連するクロミナンスサンプルの空間次元を有している。一連のピクチャは、例えば毎秒60枚または60 Hzの固定または可変のピクチャレート（非公式にはフレームレートとしても知られている）を有し得る。非圧縮ビデオは、重要なビットレート要件を有している。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60 Hzフレームレートで1920x1080の輝度サンプル解像度）は、1．5 Gビット／秒に近い帯域幅を必要とする。1時間のこのようなビデオは、600 Gバイトを超えるストレージスペースを必要とする。

ビデオコーディングおよびデコーディングの目的の1つは、圧縮を通して入力ビデオ信号の冗長性を削減し得ることである。圧縮は、前述の帯域幅またはストレージスペースの要件を、場合によっては2桁以上削減するのに役立ち得る。可逆と非可逆圧縮の両方、ならびにそれらの組合せが採用され得る。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構成し得る技術を指す。非可逆圧縮を使用するとき、再構成された信号は元の信号と同一ではない場合があるが、元と再構成された信号との歪みは十分に小さいため、再構成された信号は目的のアプリケーションで役立つようになる。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は、アプリケーションによって異なり、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、許容できる／許容可能な歪みが大きいほど、圧縮比が高くなる場合があることを反映し得る。

動き補償は非可逆圧縮技術とすることができ、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以後MV）によって示される方向に空間的にシフトされた後、新たに再構成されたピクチャまたはピクチャ部分の予測に使用される技術に関することができる。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、第3のものは、使用中の参照ピクチャの表示であり得る（後者は、間接的に、時間次元とすることができる）。

いくつかのビデオ圧縮技術では、サンプルデータのある領域に適用可能なMVは、他のMVから、例えば再構成中の領域に空間的に隣接し、復号順でそのMVに先行するサンプルデータの別の領域に関連するものから予測され得る。そうすることで、MVのコーディングに必要なデータ量を大幅に削減することができ、それによって冗長性が排除され、圧縮が増加する。MV予測は、例えば、カメラ（ナチュラルビデオとして知られる）から導出された入力映像信号をコーディングするとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、近傍の領域のMVから導出された同様の動きベクトルを使用して予測され得るため、効果的に機能することができる。これにより、所与の領域について見つかったMVは、周囲のMVから予測されたMVと類似または同じになり、エントロピーコーディング後に、MVを直接コーディングする場合に使用されるものよりも少ないビット数で表され得る。場合によっては、MV予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合では、例えば、いくつかの周囲のMVから予測(predictor)を計算するときの丸めエラーのために、MV予測自体が非可逆であり得る。

様々なMV予測メカニズムは、H．265／HEVC（ITU－T Rec．H．265、「高効率ビデオコーディング」、2016年12月）に記載されている。ここでは、H．265が提供する多くのMV予測メカニズムのうち、以後「空間マージ」と呼ばれる技術について説明する。

図1を参照すると、現在ブロック（101）は、空間的にシフトされた同じサイズの前のブロックから予測可能であるように動き探索プロセス中にエンコーダによって見つけられたサンプルを含む。そのMVを直接コーディングする代わりに、MVは、A0、A1、およびB0、B1、B2（それぞれ102から106）で示される5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つまたは複数の参照ピクチャに関連付けられたメタデータから、例えば（復号順序で）最新の参照ピクチャから導出され得る。H．265では、MV予測は、近傍のブロックが使用しているのと同じ参照ピクチャからの予測(predictor)を使用することができる。候補リストを形成する順序は、A0→B0→B1→A1→B2であってもよい。

例示的な一実施形態によれば、ビデオデコードの方法は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップを含む。本方法は、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップを含む。本方法は、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測(vector predictor)の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するステップを含む。本方法は、ベクトル予測を用いて候補リストを作成するステップを含む。本方法は、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すステップを含む。本方法は、取り出されたベクトル予測にしたがって、現在ブロックをデコードするステップをさらに含む。

例示的な一実施形態によれば、ビデオデコードの方法は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップを含む。本方法は、現在ブロックについてコーディングされたビデオビットストリームからシグナリングデータを取り出すステップをさらに含む。本方法は、現在ブロックの取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定するステップをさらに含む。本方法は、マージ候補の最大数が現在ブロックのシグナリングデータに含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するステップをさらに含む。

例示的な一実施形態によれば、ビデオデコードのためのビデオデコード装置は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するように構成された処理回路を含む。処理回路は、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するようにさらに構成される。処理回路は、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するようにさらに構成される。処理回路は、ベクトル予測を用いて候補リストを作成し、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すようにさらに構成される。処理回路は、取り出されたベクトル予測にしたがって、現在ブロックをデコードするようにさらに構成される。

例示的な一実施形態によれば、ビデオデコードのためのビデオデコーダ装置は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するように構成された処理回路を含む。処理回路は、現在ブロックのコーディングされたビデオビットストリームからシグナリングデータを取り出すようにさらに構成される。処理回路は、現在ブロックの取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定するようにさらに構成される。処理回路は、マージ候補の最大数が現在ブロックのシグナリングデータに含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するようにさらに構成される。

ビデオデコーダのプロセッサによって実行されたとき、プロセッサに、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップを含む方法を実行させる命令がそれに格納された非一時的コンピュータ可読媒体。本方法は、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップを含む。本方法は、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するステップを含む。本方法は、ベクトル予測を用いて候補リストを作成するステップを含む。本方法は、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すステップを含む。本方法は、取り出されたベクトル予測により現在ブロックをデコードするステップをさらに含む。

ビデオデコーダのプロセッサによって実行されたとき、プロセッサに、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップを含む方法を実行させる命令がそれに格納された非一時的コンピュータ可読媒体。本方法は、現在ブロックについてコーディングされたビデオビットストリームからシグナリングデータを取り出すステップをさらに含む。本方法は、現在ブロックの取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定するステップをさらに含む。本方法は、マージ候補の最大数が現在ブロックのシグナリングデータに含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するステップをさらに含む。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

一例における現在ブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システム（200）の簡略化されたブロック図の概略図である。 一実施形態による通信システム（300）の簡略化されたブロック図の概略図である。 一実施形態によるデコーダの簡略化されたブロック図の概略図である。 一実施形態によるエンコーダの簡略化されたブロック図の概略図である。 別の実施形態によるエンコーダのブロック図である。 別の実施形態によるデコーダのブロック図である。 一実施形態によるイントラピクチャブロック補償の概略図である。 一実施形態による、1つのコーディングツリーユニット（CTU）サイズの探索範囲を用いたイントラピクチャブロック補償の概略図である。 一実施形態による、1つのコーディングツリーユニット（CTU）サイズの探索範囲を用いたイントラピクチャブロック補償の概略図である。 一実施形態による、1つのコーディングツリーユニット（CTU）サイズの探索範囲を用いたイントラピクチャブロック補償の概略図である。 一実施形態による、1つのコーディングツリーユニット（CTU）サイズの探索範囲を用いたイントラピクチャブロック補償の概略図である。 実施形態によるバッファがどのように更新されるかの概略図である。 実施形態によるバッファがどのように更新されるかの概略図である。 実施形態によるバッファがどのように更新されるかの概略図である。 実施形態によるバッファがどのように更新されるかの概略図である。 履歴ベースのMV予測（HMVP）バッファのための復号フローチャートの図である。 HMVPバッファの更新の概略図である。 一実施形態による例示的な復号プロセスの図である。 一実施形態による例示的な復号プロセスの図である。 本開示の一実施形態によるコンピュータシステムの概略図である。

図2は、本開示の一実施形態による通信システム（200）の簡略化されたブロック図を示している。通信システム（200）は、例えばネットワーク（250）を介して互いに通信可能な複数の端末装置を含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末機器の第1のペア（210）および（220）を含む。図2の例では、端末デバイスの第1のペア（210）および（220）は、データの単方向伝送を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他の端末デバイス（220）に伝送するためにビデオデータ（例えば、端末デバイス（210）によってキャプチャされたビデオピクチャのストリーム）を符号化することができる。コーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形態で送信され得る。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータによりビデオピクチャを表示することができる。単方向データ伝送は、メディアサービングアプリケーションなどで一般的であり得る。

別の例では、通信システム（200）は、例えばビデオ会議中に発生する可能性があるコーディングされたビデオデータの双方向伝送を実行する端末デバイス（230）および（240）の第2のペアを含む。データの双方向伝送のために、一例では、端末デバイス（230）および（240）の各端末デバイスは、ネットワーク（250）を介して端末デバイス（230）および（240）の他方の端末デバイスに伝送するためのビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）を符号化することができる。端末デバイス（230）および（240）の各端末デバイスはまた、端末デバイス（230）および（240）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信することができ、コーディングされたビデオデータを復号してビデオピクチャを復元することができ、復元されたビデオデータによりアクセス可能な表示デバイスにビデオピクチャを表示することができる。

図2の例では、端末（210）、（220）、（230）および（240）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示され得るが、本開示の原理は、そのように限定され得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、および／または専用のビデオ会議機器による用途であることが分かる。ネットワーク（250）は、例えば、有線（有線配線）および／または無線通信ネットワークを含む、端末（210）、（220）、（230）および（240）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回線交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットを含む。本解説の目的のために、ネットワーク（250）のアーキテクチャおよびトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

図3は、開示された主題の用途の一例として、ストリーミング環境でのビデオエンコーダおよびビデオデコーダの配置を示している。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの格納を含む、他のビデオ対応アプリケーションに等しく適用され得る。

ストリーミングシステムは、ビデオソース（301）、例えばデジタルカメラを含み得、例えば非圧縮であるビデオピクチャのストリーム（302）を作成するキャプチャサブシステム（313）を含み得る。一例では、ビデオピクチャのストリーム（302）は、デジタルカメラによって撮影されたサンプルを含む。コーディングされたビデオデータ（304）（またはコーディングされたビデオビットストリーム）と比較して高いデータ量を強調するために太線として示されているビデオピクチャのストリーム（302）は、ビデオソース（301）に結合されたビデオエンコーダ（303）を含む電子デバイス（320）によって処理され得る。ビデオエンコーダ（303）は、ハードウェア、ソフトウェア、またはそれらの組合せを含み、以下により詳細に説明するように、開示された主題の態様を可能に、または実装し得る。ビデオピクチャのストリーム（302）と比較するとき、より少ないデータ量を強調するために細い線として図示されているコーディングされたビデオデータ（304）（またはコーディングされたビデオビットストリーム（304））は、将来の使用のためにストリーミングサーバ（305）に格納され得る。図3のクライアントサブシステム（306）および（308）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（305）にアクセスして、コーディングされたビデオデータ（304）のコピー（307）および（309）を取り出すことができる。クライアントサブシステム（306）は、例えば電子デバイス（330）のビデオデコーダ（310）を含むことができる。ビデオデコーダ（310）は、コーディングされたビデオデータの入力コピー（307）を復号し、ディスプレイ（312）（例えば、ディスプレイスクリーン）または他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャの出力ストリーム（311）を作成する。いくつかのストリーミングシステムでは、コーディングされたビデオデータ（304）、（307）、および（309）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格により符号化され得る。それらの規格の例には、ITU－T勧告H．265が含まれる。例えば、開発中のビデオコーディング規格が多用途ビデオコーディング（VVC）として非公式に知られている。開示された主題は、VVCの文脈で使用され得る。

電子デバイス（320）および（330）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（320）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（330）はビデオエンコーダ（図示せず）も含むことができる。

図4は、本開示の一実施形態によるビデオデコーダ（410）のブロック図を示している。ビデオデコーダ（410）は、電子デバイス（430）に含まれ得る。電子デバイス（430）は、受信器（431）（例えば、受信回路）を含むことができる。ビデオデコーダ（410）は、図3の例のビデオデコーダ（310）の代わりに使用され得る。

受信器（431）は、ビデオデコーダ（410）によって復号される1つまたは複数のコーディングされたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスであり、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（401）から受信することができ、それは、コーディングされたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクであり得る。受信器（431）は、他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリームを伴い符号化されたビデオデータを受信することができ、それは、それぞれの使用エンティティ（図示せず）に転送され得る。受信器（431）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッターを抑制するために、バッファメモリ（415）は、受信器（431）とエントロピーデコーダ／パーサー（420）（以降、「パーサー（420）」）の間に結合され得る。特定の用途では、バッファメモリ（415）は、ビデオデコーダ（410）の一部である。他の場合には、それはビデオデコーダ（410）の外部にあってもよい（図示せず）。さらに他の場合には、例えばネットワークジッターを抑制するためにビデオデコーダ（410）の外部にバッファメモリ（図示せず）があり、さらに例えば再生タイミングを処理するためにビデオデコーダ（410）の内部に別のバッファメモリ（415）があり得る。受信器（431）が十分な帯域幅および制御可能性のストア／フォワードデバイスから、または等同期ネットワークからデータを受信しているとき、バッファメモリ（415）は必要とされない場合、または小さい場合がある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（415）が必要とされてもよく、比較的大きくてもよく、有利には適応サイズであってもよく、ビデオデコーダ（410）の外部のオペレーティングシステムまたは同様の要素（図示せず）に少なくとも部分的に実装されてもよい。

ビデオデコーダ（410）は、コーディングされたビデオシーケンスからシンボル（421）を再構成するためのパーサー（420）を含み得る。それらのシンボルのカテゴリは、ビデオデコーダ（410）の動作を管理するために使用される情報、および潜在的に、図4に示したように、電子デバイス（430）の不可欠な部分ではないが電子デバイス（430）に結合することができるレンダリングデバイス（412）（例えば、ディスプレイスクリーン）などのレンダリングデバイスを制御するための情報を含む。レンダリングデバイスの制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形式であり得る。パーサー（420）は、受信したコーディングされたビデオシーケンスを解析／エントロピーデコードすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格によることができ、可変長コーディング、ハフマンコーディング、コンテキスト依存の有無にかかわらず算術コーディングなどを含む様々な原理に従うことができる。パーサー（420）は、グループに対応する少なくとも1つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダのピクセルのサブグループの少なくとも1つのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャのグループ（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含み得る。パーサー（420）はまた、変換係数、量子化パラメータ値、動きベクトルなどのコーディングされたビデオシーケンス情報から抽出することができる。

パーサー（420）は、バッファメモリ（415）から受信したビデオシーケンスに対してエントロピー復号／構文解析動作を実行して、シンボル（421）を作成することができる。

シンボル（421）の再構成は、符号化ビデオピクチャまたはその一部のタイプ（例えば、インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロック）、および他の要因に応じて、複数の異なるユニットを含み得る。どのユニットが、どのように関与するかは、パーサー（420）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサー（420）と以下の複数のユニットとのそのようなサブグループ制御情報の流れは、明確にするために図示されていない。

すでに言及した機能ブロックを超えて、ビデオデコーダ（410）は、以下で説明されるように、概念的にいくつかの機能ユニットに細分され得る。商業的制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合され得る。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。

第1のユニットはスケーラー／逆変換ユニット（451）である。スケーラー／逆変換ユニット（451）は、量子化された変換係数、ならびに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサー（420）からシンボル（421）として受信する。スケーラー／逆変換ユニット（451）は、アグリゲータ（455）に入力され得るサンプル値を含むブロックを出力できる。

場合によっては、スケーラー／逆変換（451）の出力サンプルは、イントラ符号化されたブロックに関係する場合があり、すなわちそれは、以前に再構成されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構成された部分からの予測情報を使用できるブロックである。そのような予測情報は、イントラピクチャ予測ユニット（452）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（452）は、現在ピクチャバッファ（458）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ（458）は、例えば、部分的に再構成された現在ピクチャおよび／または完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報を、スケーラー／逆変換ユニット（451）によって提供される出力サンプル情報に追加する。

他の場合では、スケーラー／逆変換ユニット（451）の出力サンプルは、インター符号化され、潜在的に動き補償されたブロックに関係する場合がある。このような場合、動き補償予測ユニット（453）は、参照ピクチャメモリ（457）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（421）によりフェッチされたサンプルを動き補償した後、これらのサンプルは、アグリゲータ（455）によってスケーラー／逆変換ユニット（451）の出力に追加され得（この場合、残差サンプルまたは残差信号と呼ばれる）、出力サンプル情報を生成する。動き補償予測ユニット（453）が予測サンプルをフェッチする参照ピクチャメモリ（457）内のアドレスは、例えばX、Y、および参照ピクチャ構成要素を有することができるシンボル（421）の形式で動き補償予測ユニット（453）が利用できる、動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（457）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。

アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）で様々なループフィルタリング技術に依存する場合がある。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサー（420）からのシンボル（421）としてループフィルタユニット（456）に利用可能になるインループフィルタ技術を含むことができるが、符号化されたピクチャまたはコーディングされたビデオシーケンスの前の（復号順序の）部分の復号中に取得されたメタ情報に応答することもできるほか、以前に再構成およびループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（456）の出力は、レンダリングデバイス（412）に出力され得るほか、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（457）にも格納され得るサンプルストリームであり得る。

特定の符号化されたピクチャは、十分に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在ピクチャに対応する符号化されたピクチャが完全に再構成され、符号化されたピクチャが参照ピクチャとして識別されると（例えば、パーサー（420）によって）、現在ピクチャバッファ（458）は、参照ピクチャメモリ（457）の一部になることができ、次の符号化されたピクチャの再構成を開始する前に、新しい現在ピクチャバッファは再割り当てされ得る。

ビデオデコーダ（410）は、ITU－T Rec．H．265などの規格の所定のビデオ圧縮技術により復号動作を実行することができる。ビデオ圧縮技術または規格で文書化されているように、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文とプロファイルの両方に準拠しているという意味で、コーディングされたビデオシーケンスは、ビデオ圧縮技術または使用されている規格で指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で利用可能なすべてのツールから、そのプロファイルの下で使用可能な唯一のツールとして特定のツールを選択することができる。また、コンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルが、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、1秒あたりのメガサンプル数で測定）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）の仕様、およびコーディングされたビデオシーケンスで通知されるHRDバッファ管理のメタデータによってさらに制限される場合がある。

一実施形態では、受信器（431）は、符号化されたビデオを伴う追加の（冗長な）データを受信することができる。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切にデコードするため、および／または元のビデオデータをより正確に再構成するために、ビデオデコーダ（410）によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号ノイズ比（SNR）強化層、冗長スライス、冗長ピクチャ、順方向エラー訂正コードなどの形式であり得る。

図5は、本開示の一実施形態によるビデオエンコーダ（503）のブロック図を示している。ビデオエンコーダ（503）は、電子デバイス（520）に含まれる。電子デバイス（520）は、送信器（540）（例えば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例のビデオエンコーダ（303）の代わりに使用され得る。

ビデオエンコーダ（503）は、ビデオエンコーダ（503）によって符号化されるビデオ画像をキャプチャすることができるビデオソース（501）（図5の例では電子デバイス（520）の一部ではない）からビデオサンプルを受信することができる。別の例では、ビデオソース（501）は電子デバイス（520）の一部である。

ビデオソース（501）は、ビデオエンコーダ（503）によって符号化されるソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）からであり得るデジタルビデオサンプルストリームの形式で提供することができる。メディアサービングシステムでは、ビデオソース（501）は、以前に準備されたビデオを格納するストレージデバイスであり得る。ビデオ会議システムでは、ビデオソース（501）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間配列として編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

一実施形態によれば、ビデオエンコーダ（503）は、リアルタイムで、またはアプリケーションによって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスのピクチャを符号化してコーディングされたビデオシーケンス（543）に圧縮することができる。適切なコーディング速度を実施することは、コントローラ（550）の1つの機能である。いくつかの実施形態では、コントローラ（550）は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、カップリングは図示していない。コントローラ（550）によって設定されるパラメータは、レート制御関連のパラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値など）、ピクチャサイズ、ピクチャのグループ（GOP）レイアウト、最大動きベクトル探索範囲などを含み得る。コントローラ（550）は、特定のシステム設計に最適化されたビデオエンコーダ（503）に関する他の適切な機能を有するように構成され得る。

いくつかの実施形態では、ビデオエンコーダ（503）は、コーディングループで動作するように構成される。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ（530）（例えば、符号化される入力ピクチャと、参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することを担当する）と、ビデオエンコーダ（503）に組み込まれた（ローカル）デコーダ（533）とを含むことができる。デコーダ（533）は、（リモート）デコーダも作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構成する（開示された主題で考慮されるビデオ圧縮技術では、シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が可逆的であるため）。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームの復号により、デコーダのロケーション（ローカルまたはリモート）に関係なくビットが正確な結果が得られるため、参照ピクチャメモリ（534）のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確になる。言い換えると、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネルエラーのために同期性を維持できない場合に生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用される。

「ローカル」デコーダ（533）の動作は、ビデオデコーダ（410）などの「リモート」デコーダの動作と同じであり得、これは、図4に関連して上記ですでに詳細に説明されている。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（545）およびパーサー（420）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るため、バッファメモリ（415）およびパーサー（420）を含む、ビデオデコーダ（410）のエントロピー復号部分は、ローカルデコーダ（533）に十分実装されていない場合がある。

現時点で行うことができる観察は、デコーダに存在する解析／エントロピー復号以外のデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在する必要があるということである。このため、開示された主題は、デコーダ動作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されているデコーダ技術の逆であるため、省略され得る。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

動作中、いくつかの例では、ソースコーダ（530）は、動き補償予測コーディングを実行することができ、これは、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前に符号化されたピクチャを参照して入力ピクチャを予測的に符号化する。このようにして、コーディングエンジン（532）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャのピクセルブロックとの差異を符号化する。

ローカルビデオデコーダ（533）は、ソースコーダ（530）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコードすることができる。コーディングエンジン（532）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図5には示されていない）で復号され得るとき、再構成されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（533）は、参照ピクチャ上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（534）に格納させ得る。このようにして、ビデオエンコーダ（503）は、遠端ビデオデコーダによって取得される（伝送エラーがない）再構成された参照ピクチャとして共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに格納することができる。

予測（535）は、コーディングエンジン（532）の予測探索を実行することができる。すなわち、符号化される新しいピクチャについて、予測（535）は、参照ピクチャメモリ（534）を取り出して、サンプルデータ（候補参照ピクセルブロックとして）または参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを探すことができ、それは新しいピクチャの適切な予測参照として機能し得る。予測（535）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロック上で動作することができる。場合によっては、予測（535）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に格納された複数の参照ピクチャから引き出された予測参照を有することができる。

コントローラ（550）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（530）のコーディング動作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（545）においてエントロピーコーディングを受け得る。エントロピーコーダ（545）は、例えばハフマンコーディング、可変長コーディング、算術コーディングなどのテクノロジによりシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

送信器（540）は、エントロピーコーダ（545）によって作成されたコーディングされたビデオシーケンスをバッファリングして、通信チャネル（560）を介した伝送のために準備することができ、これは、符号化されたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクであり得る。送信器（540）は、ビデオコーダ（503）からのコーディングされたビデオデータを、送信される他のデータ、例えば、符号化されたオーディオデータおよび／または補助データストリーム（ソースは示されていない）とマージすることができる。

コントローラ（550）は、ビデオエンコーダ（503）の動作を管理することができる。コーディング中に、コントローラ（550）は、各符号化されたピクチャに特定の符号化されたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、ピクチャは多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンスの他のいずれかのピクチャを使用せずに符号化および復号され得るものであり得る。いくつかのビデオコーデックでは、例えば独立デコーダリフレッシュ（「IDR」）ピクチャなど、様々なタイプのイントラピクチャを使用できる。当業者は、Iピクチャのそれらの変形およびそれらのそれぞれの用途および特徴を認識している。

予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。

双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連するメタデータを使用できる。

ソースピクチャは、通常、空間的に複数のサンプルブロック（例えば、それぞれ4x4、8x8、4x8、または16x16サンプルのブロック）に細分され、ブロックごとに符号化され得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（すでに符号化された）ブロックを参照して予測的に符号化され得る。例えば、Iピクチャのブロックは、非予測的に符号化され得るか、またはそれらは、同じピクチャのすでに符号化されたブロックを参照して予測的に符号化され得る（空間予測またはイントラ予測）。Pピクチャのピクセルブロックは、空間予測を介して、または以前に符号化された1つの参照ピクチャを参照する時間予測を介して、予測的に符号化され得る。Bピクチャのピクセルブロックは、空間予測を介して、または以前に符号化された1つまたは2つの参照ピクチャを参照する時間予測を介して、予測的に符号化され得る。

ビデオエンコーダ（503）は、ITU－T Rec．H．265などの所定のビデオコーディング技術または規格によりコーディング動作を実行することができる。その動作において、ビデオエンコーダ（503）は、入力ビデオシーケンスでの時間的および空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。

一実施形態では、送信器（540）は、符号化されたビデオを伴う追加のデータを送信することができる。ソースコーダ（530）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含み得る。追加のデータは、時間的／空間的／SNR強化層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含むことができる。

ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列にキャプチャされてもよい。イントラピクチャ予測（しばしばイントラ予測と略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、インターピクチャの（時間的または他の）相関を利用する。一例では、現在ピクチャと呼ばれる、符号化／復号中の特定のピクチャがブロックに分割される。現在ピクチャのブロックがビデオの以前に符号化されてなおバッファリングされている参照ピクチャの参照ブロックに類似しているとき、現在ピクチャのブロックは、動きベクトルと呼ばれるベクトルによって符号化され得る。動きベクトルは、参照ピクチャの参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。

いくつかの実施形態では、インターピクチャ予測に双予測技術が使用され得る。双予測技術によれば、第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用され、これらは両方ともビデオの現在ピクチャの復号順より前にある（しかし、表示順序では、それぞれ過去および未来のものであってもよい）。現在ピクチャのブロックは、第1の参照ピクチャの第1の参照ブロックを指す第1の動きベクトル、および第2の参照ピクチャの第2の参照ブロックを指す第2の動きベクトルによって符号化され得る。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測され得る。

さらに、コーディング効率を改善するために、インターピクチャ予測にマージモード技術を使用することができる。

本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンスのピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャのCTUは、64x64ピクセル、32x32ピクセル、または16x16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルマCTBおよび2つのクロマCTBである3つのコーディングツリーブロック（CTB）を含む。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に4分木分割することができる。例えば、64x64ピクセルのCTUは、64x64ピクセルの1つのCU、または32x32ピクセルの4つのCU、または16x16ピクセルの16個のCUに分割され得る。一例では、各CUは、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために分析される。CUは、時間的および／または空間的な予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUは、ルマ予測ブロック（PB）と、2つのクロマPBとを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値の行列（例えば、ルマ値）を含む。

図6は、本開示の別の実施形態によるビデオエンコーダ（603）の図を示している。ビデオエンコーダ（603）は、ビデオピクチャのシーケンスの現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを、コーディングされたビデオシーケンスの一部である符号化ピクチャに符号化するように構成される。一例では、ビデオエンコーダ（603）は、図3の例のビデオエンコーダ（303）の代わりに使用される。

HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルの予測ブロックなどの処理ブロックのためのサンプル値の行列を受信する。ビデオエンコーダ（603）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最良に符号化されているかどうかを決定する。処理ブロックがイントラモードでエンコードされる場合、ビデオエンコーダ（603）は、処理ブロックを符号化されたピクチャへ符号化するために、イントラ予測技術を使用し得、処理ブロックがインターモードまたは双予測モードでエンコードされるべきであるとき、ビデオエンコーダ（603）は、処理ブロックを符号化ピクチャに符号化するために、それぞれインター予測技術または双予測技術を使用することができる。特定のビデオコーディング技術では、マージモードは、予測の外側の符号化された動きベクトル構成要素の恩恵を受けずに動きベクトルが1つまたは複数の動きベクトル予測から導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル構成要素が存在し得る。一例では、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図6の例では、ビデオエンコーダ（603）は、図6に示すように互いに結合されたインターエンコーダ（630）、イントラエンコーダ（622）、残差計算部（623）、スイッチ（626）、残差エンコーダ（624）、一般コントローラ（621）、およびエントロピーエンコーダ（625）を含む。

インターエンコーダ（630）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャの1つまたは複数の参照ブロック（例えば、前のピクチャおよび後のピクチャのブロック）と比較し、インター予測情報（例えば、インター符号化技術、動きベクトル、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測されたブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、符号化ビデオ情報に基づいて復号される復号参照ピクチャである。

イントラエンコーダ（622）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを同じピクチャですでに符号化されているブロックと比較し、変換後に量子化係数を生成し、場合によってはイントラ予測情報（例えば、1つまたは複数のイントラ符号化技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（622）はまた、イントラ予測情報と、同一ピクチャの参照ブロックとに基づいて、イントラ予測結果（例えば、予測されたブロック）を計算する。

一般コントローラ（621）は、一般制御データを決定し、一般制御データに基づいてビデオエンコーダ（603）の他の構成要素を制御するように構成される。一例では、一般コントローラ（621）は、ブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を提供する。例えば、モードがイントラモードである場合、一般コントローラ（621）は、残差計算部（623）によって使用されるイントラモード結果を選択するようにスイッチ（626）を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御し、モードがインターモードである場合、一般コントローラ（621）は、残差計算部（623）によって使用されるインター予測結果を選択するようにスイッチ（626）を制御し、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御する。

残差計算部（623）は、受信されたブロックと、イントラエンコーダ（622）またはインターエンコーダ（630）から選択された予測結果との差分（残差データ）を計算するように構成される。残差エンコーダ（624）は、変換係数を生成するために残差データを符号化するため、残差データに基づいて動作するように構成される。一例では、残差エンコーダ（624）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで変換係数は、量子化された変換係数を取得するために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（603）はまた、残差デコーダ（628）を含む。残差デコーダ（628）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（622）およびインターエンコーダ（630）によって適切に使用され得る。例えば、インターエンコーダ（630）は、復号された残差データとインター予測情報とに基づいて復号されたブロックを生成でき、イントラエンコーダ（622）は、復号された残差データとイントラ予測情報とに基づいて復号されたブロックを生成することができる。いくつかの例では、復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用され得る。

エントロピーエンコーダ（625）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（625）は、HEVC規格などの適切な規格により様々な情報を含むように構成される。一例では、エントロピーエンコーダ（625）は、一般制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報をビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックを符号化するとき、残差情報は存在しないことに留意されたい。

図7は、本開示の別の実施形態によるビデオデコーダ（710）の図を示している。ビデオデコーダ（710）は、コーディングされたビデオシーケンスの一部である符号化されたピクチャを受信し、符号化されたピクチャを復号して再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（710）は、図3の例のビデオデコーダ（310）の代わりに使用される。

図7の例では、ビデオデコーダ（710）は、図7に示すように互いに結合されたエントロピーデコーダ（771）、インターデコーダ（780）、残差デコーダ（773）、再構成モジュール（774）、およびイントラデコーダ（772）を含む。

エントロピーデコーダ（771）は、符号化されたピクチャから、符号化されたピクチャが構成されるシンタックス要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックが符号化されるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモードの後者の2つ）、イントラデコーダ（772）またはインターデコーダ（780）によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報（例えば、イントラ予測情報やインター予測情報など）、例えば量子化変換係数の形態の残差情報などを含むことができる。一例では、予測モードがインター予測モードまたは双予測モードである場合、インター予測情報はインターデコーダ（780）に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報はイントラデコーダ（772）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（773）に提供される。

インターデコーダ（780）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（772）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（773）は、逆量子化を実行して逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（773）はまた、（量子化器パラメータ（QP）を含むために）特定の制御情報を必要とする場合があり、その情報はエントロピーデコーダ（771）によって提供される場合がある（これとして示されていないデータ経路は、低ボリューム制御情報のみであり得る）。

再構成モジュール（774）は、空間領域において、残差デコーダ（773）による出力としての残差と（場合によってはインターまたはイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成されたピクチャの一部であり得る、再構成ブロックを形成するように構成され、それは次に再構成されたビデオの一部であり得る。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作を実行することができることに留意されたい。

ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、任意の適切な技術を使用して実装され得ることに留意されたい。一実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、1つまたは複数の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（303）、（503）、および（503）、ならびにビデオデコーダ（310）、（410）、および（710）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装され得る。

異なるピクチャからのブロックベースの補償は、動き補償と呼ばれる場合がある。ブロック補償はまた、同じイントラピクチャの以前に再構成された領域から行われ得、これは、イントラピクチャブロック補償、イントラブロックコピー（IBC）、または現在ピクチャ参照（CPR）と呼ばれる場合がある。例えば、現在ブロックと参照ブロックとの間のオフセットを示す変位ベクトルはブロックベクトルと呼ばれる。いくつかの実施形態によれば、ブロックベクトルは、すでに再構成され、参照に利用可能な参照ブロックを指す。また、並列処理の考慮のために、タイル／スライス境界または波面はしご状境界を超える参照領域も、ブロックベクトルにより参照されることから除外されてもよい。これらの制約により、ブロックベクトルは、動き補償における動きベクトルとは異なり得、動きベクトルは、任意の値（xまたはy方向のいずれかで正または負）であり得る。

ブロックベクトルのコーディングは、明示的であっても黙示的であってもよい。インターコーディングにおいて（高度動きベクトル予測）AMVPモードと呼ばれることもある明示的モードでは、ブロックベクトルとその予測との間の差がシグナリングされる。黙示モードでは、ブロックベクトルは、マージモードの動きベクトルと同様の方法で、ブロックベクトルの予測から復元される。ブロックベクトルの分解能は、いくつかの実施形態では、整数位置に制限される。他の実施形態では、ブロックベクトルの分解能は、小数位置を指すことができる。

ブロックレベルでのイントラブロックコピーの使用は、IBCフラグと呼ばれる、ブロックレベルフラグを使用してシグナリングされ得る。一実施形態では、IBCフラグは、現在ブロックがマージモードでエンコードされていないときにシグナリングされる。IBCフラグはまた、現在の復号されたピクチャを参照ピクチャとして扱うことによって実行される、参照インデックス手法によってシグナリングされ得る。HEVCスクリーンコンテンツコーディング（SCC）では、このような参照ピクチャがリストの最後の位置に置かれる。この特別な参照ピクチャは、DPBの他の時間参照ピクチャと共に管理されてもよい。IBCはまた、フリップされたIBC（例えば、参照ブロックは、現在ブロックを予測するために使用される前に水平方向または垂直方向にフリップされる）、またはラインベース（IBC）（例えば、MxNコーディングブロック内の各補償ユニットは、Mx1または1xNラインである）などの変形を含むことができる。

図8は、イントラピクチャブロック補償（例えば、イントラブロックコピーモード）の一実施形態を示す。図8において、現在ピクチャ800は、すでに符号化／復号されているブロック領域のセット（すなわち、灰色の正方形）と、まだ符号化／復号されていないブロック領域のセット（すなわち、白色の正方形）とを含む。まだ符号化／復号されていないブロック領域のうちの1つのブロック802は、以前に符号化／復号された別のブロック806を指すブロックベクトル804と関連付けられ得る。したがって、ブロック806に関連付けられた任意の動き情報は、ブロック802の符号化／復号に使用され得る。

いくつかの実施形態では、CPRモードの探索範囲は、現在のCTU内に制限される。CPRモードのための参照サンプルを格納するための有効なメモリ要件は、サンプルの1 CTUサイズである。現在の64x64領域に再構成されたサンプルを格納するために既存の参照サンプルメモリを考慮すると、3つ以上の64x64サイズの参照サンプルメモリが必要である。本開示の実施形態は、参照ピクセルを格納するための総メモリ要件が変更されないまま（1 CTUサイズ、合計4 64x64参照サンプルメモリ）、CPRモードの有効探索範囲を左CTUの一部に拡張する。

図9Aでは、CTU 900の左上領域が復号されている現在の領域である。CTU 900の左上領域が復号されると、図10Aに示すように、参照サンプルメモリのエントリ［1］がこの領域からのサンプルで上書きされる（例えば、上書きされたメモリ位置は対角クロスハッチングを有する）。図9Bでは、CTU 900の右上領域は、復号されている次の現在の領域である。CTU 900の右上領域が復号されると、図10Bに示すように、参照サンプルメモリのエントリ［2］がこの領域からのサンプルで上書きされる。図9Cでは、CTU 900の左下領域は、復号されている次の現在の領域である。CTU 900の左下領域が復号されると、図10Cに示すように、参照サンプルメモリのエントリ［3］がこの領域からのサンプルで上書きされる。図9Dでは、CTU 900の右下領域は、復号されている次の現在の領域である。CTU 900の右下領域が復号されると、図10Dに示すように、参照サンプルメモリのエントリ［3］がこの領域からのサンプルで上書きされる。

いくつかの実施形態では、有効なブロックベクトル（mvL、1／16－pel分解能）が以下に指定される条件に従うべきビットストリーム適合性条件。いくつかの実施形態では、ルマ動きベクトルmvLは、以下の制約A1、A2、B1、C1、およびC2に従う。

第1の制約（A1）において、（xCb、yCb）に等しく設定された現在のルマ位置（xCurr、yCurr）および近傍のルマ位置（xCb＋（mvL［0］＞＞4）＋cbWidth－1，yCb＋（mvL［1］＞＞4）＋cbHeight－1）を入力としてブロック可用性（例えば、近傍ブロック可用性チェックプロセス）の導出プロセスが呼び出されるとき、出力はTRUEに等しくなるべきである。

第2の制約（A2）において、（xCb、yCb）に等しく設定された現在のルマ位置（xCurr、yCurr）および近傍のルマ位置（xCb＋（mvL［0］＞＞4）＋cbWidth－1，yCb＋（mvL［1］＞＞4）＋cbHeight－1）を入力としてブロック可用性（例えば、近傍ブロック可用性チェックプロセス）の導出プロセスが呼び出されるとき、出力はTRUEに等しくなるべきである。

第3の制約（B1）では、以下の条件の一方または両方が真である。
（i）（mvL［0］＞＞4）＋cbWidthの値が0以下である。
（ii）（mvL［1］＞＞4）＋cbHeightの値が0以下である。

第4の制約（C1）では、以下の条件が真である。
（i）（yCb＋（mvL［1］＞＞4））＞＞CtbLog2SizeY＝yCb＞＞CtbLog2SizeY
（ii）（yCb＋（mvL［1］＞＞4）＋cbHeight－1）＞＞CtbLog2SizeY＝yCb＞＞CtbLog2SizeY
（iii）（xCb＋（mvL［0］＞＞4））＞＞CtbLog2SizeY＞＝（xCb＞＞CtbLog2SizeY）－1
（iv）（xCb＋（mvL［0］＞＞4）＋cbWidth－1）＞＞CtbLog2SizeY＜＝（xCb＞＞CtbLog2SizeY）

第5の制約（C2）において、（xCb＋（mvL［0］＞＞4））＞＞CtbLog2SizeYが（xCb＞＞CtbLog2SizeY）－1に等しい場合、（xCb、yCb）に等しく設定された現在のルマ位置（xCurr、yCurr）および近傍のルマ位置（（（xCb＋（mvL［0］＞＞4）＋CtbSizeY）＞＞（CtbLog2SizeY－1））＜＜（CtbLog2SizeY－1）、（（yCb＋（mvL［1］＞＞4））＞＞（CtbLog2SizeY－1））＜＜（CtbLog2SizeY－1））を入力としてブロック可用性（例えば、近傍ブロック可用性チェックプロセス）のための導出プロセスが呼び出され、出力はFALSEに等しくなる。

上式において、xCbおよびyCbは、それぞれ現在ブロックのx座標およびy座標である。変数cbHeightおよびcbWidthは、それぞれ現在ブロックの高さおよび幅である。変数CtbLog2sizeYは、log2ドメインのCTUサイズを指す。例えば、CtbLog2sizeY＝7は、CTUサイズが128×128であることを意味する。変数mvL0［0］およびmvL0［1］は、それぞれブロックベクトルmvL0のx構成要素およびy構成要素を指す。出力がFALSEである場合、参照ブロックのサンプルは利用可能であると決定される（例えば、イントラブロックコピー使用のために近隣ブロックが利用可能である）。出力がTRUEである場合、参照ブロックのサンプルは利用できないと決定される。

いくつかの実施形態によれば、履歴ベースのMVP（HMVP）方法は、以前に符号化されたブロックの動き情報として定義されるHMVP候補を含む。複数のHMVP候補を伴うテーブルは、符号化／復号プロセス中に維持される。新しいスライスに遭遇すると、テーブルは空になる。インター符号化された非アフィンブロックが存在するときはいつでも、関連する動き情報は、新しいHMVP候補としてテーブルの最後のエントリに追加される。HMVP方法のコーディングフローを図11Aに図示する。

テーブルサイズSは6に設定され、最大6つのHMVP候補がテーブルに追加され得ることを示す。新しい動き候補をテーブルに挿入するとき、同一のHMVPがテーブルにあるかどうかを決定するために冗長検査が最初に適用されるように、制約付きFIFO規則が利用される。発見された場合、同一のHMVPがテーブルから除去され、その後、すべてのHMVP候補が前方に移動される（すなわち、インデックスが1だけ減少している）。図11Bは、新しい動き候補をHMVPテーブルに挿入する一例を示す。

マージ候補リスト構成プロセスでは、HMVP候補が使用され得る。テーブルの最新のいくつかのHMVP候補が順にチェックされ、TMVP候補の後に候補リストに挿入される。プルーニングは、サブブロック動き候補（すなわち、ATMVP）を除く空間または時間マージ候補に対するHMVP候補に適用され得る。

いくつかの実施形態では、プルーニング動作の数を減らすために、チェックされるべきHMPV候補の数（Lによって示される）はL＝（N＜＝4）？M：（8－N）と設定され、ここで、Nは利用可能な非サブブロックマージ候補の数を示し、Mはテーブルの利用可能なHMVP候補の数を示す。加えて、利用可能なマージ候補の総数が、シグナリングされた最大許容マージ候補から1を引いた数に達すると、HMVPリストからのマージ候補リスト構成プロセスは終了する。さらに、組み合わせた双予測マージ候補導出のためのペアの数は、12から6に削減される。

HMVP候補はまた、AMVP候補リスト構成プロセスで使用され得る。TMVP候補の後には、テーブルの最後のK個のHMVP候補の動きベクトルが挿入される。AMVP候補リストの構成には、AMVPターゲット参照ピクチャと同じ参照ピクチャを伴うHMVP候補のみが使用される。HMVP候補には、プルーニングが適用される。いくつかのアプリケーションでは、AMVPリストサイズが変更されないまま（すなわち、2に等しい）、Kが4に設定される。

いくつかの実施形態によれば、イントラブロックコピーがインターモードとは別個のモードとして動作するとき、HBVPと呼ばれる、別個の履歴バッファが、以前に符号化されたイントラブロックコピーブロックベクトルを格納するために使用され得る。インター予測とは別のモードとして、イントラブロックコピーモードのための簡略化されたブロックベクトル導出プロセスを有することが望ましい。AMVPモードにおけるIBC BV予測のための候補リストは、IBCマージモードで使用されるもの（マージ候補リスト）を、2つの空間候補＋5つのHBVP候補と共有することができる。

IBCモードのマージ候補リストサイズは、MaxNumMergeCandとして割り当てられてもよい。MaxNumMergeCandは、いくつかの例では、six＿minus＿max＿num＿merge＿candとして指定される、インターモードマージ候補リストサイズMaxNumMergeCandによって決定されてもよい。変数six＿minus＿max＿num＿merge＿candは、6から減算されたスライスにおいてサポートされるマージ動きベクトル予測（MVP）候補の最大数を指定し得る。

いくつかの例では、マージMVP候補の最大数、MaxNumMergeCandは、以下のように導出され得る。
式（1）：MaxNumMergeCand＝6－six＿minus＿max＿num＿merge＿cand

MaxNumMergeCandの値は、1以上6以下の範囲であり得る。いくつかのビデオコーディングシステムでは、IBCモードのマージリストサイズは、すべてのI／P／Bスライスについて、インターマージモードのマージリストサイズとは別にシグナリングされる。このサイズの範囲は、インターマージモード（例えば、1以上6以下）と同じであり得る。いくつかの例では、IBC候補の最大数MaxNumIbcMergeCandは、以下のように導出され得る。
式（2）：MaxNumIBCMergeCand＝6－six＿minus＿max＿num＿ibc＿merge＿cand

式（2）において、変数six＿minus＿max＿num＿ibc＿merge＿candは、6から減算されたスライスにおいてサポートされるIBCマージ動きベクトル予測（MVP）候補の最大数を指定する。MaxNumIBCMergeCandの値は、1以上6以下の範囲であり得る。いくつかのビデオコーディングシステムでは、IBCマージモードのためのマージインデックスシグナリングは、依然として、インターマージモードに使用されるマージインデックスシグナリングを共有することができる。これに関して、IBCマージモードおよびインターマージモードは、マージインデックスについて同じシンタックス要素を共有することができる。マージインデックスはトランケートライス（TR）コードを使用して2値化されるため、マージインデックスの最大長はMaxNumMergeCand－1である。しかしながら、MaxNumIbcMergeCandがMaxNumMergeCandと等しくない場合、マージインデックスシグナリングの解決策が必要である。

本開示の実施形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、本開示の実施形態による方法、エンコーダ、およびデコーダの各々は、処理回路（例えば、1つまたは複数のプロセッサあるいは1つまたは複数の集積回路）によって実施されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。いくつかの実施形態によれば、用語ブロックは、予測ブロック、コーディングブロック、またはコーディングユニット（すなわち、CU）として解釈され得る。

いくつかの実施形態によれば、マージインデックス2値化のための最大マージサイズの数は、MaxNumMergeCandの数とMaxNumIbcMergeCandの数との間で切り替え可能であるように設定される。例えば、現在ブロックがIBCモードでエンコードされる場合、マージインデックスの最大マージサイズはMaxNumIbcMergeCandである。しかしながら、現在ブロックがIBCモードでエンコードされていない場合、マージインデックスの最大マージサイズはMaxNumMergeCandである。表1は、シンタックス要素および関連する2値化の例を示す。

表1に示すように、マージインデックス（すなわち、merge＿idx［］［］）の2値化は、現在ブロックがIBCモードでエンコードされているかどうかに基づいている。さらに、FLは固定長を指し、cMaxは、可変長コードの最大可能値を指し、eRiceParamは、可変長コードのライスパラメータである。ライスパラメータは、各入力値のバイナリコードを決定するために使用され得る。切り捨てられたバイナリコードでは、ライスパラメータは0である。

いくつかの実施形態によれば、マージインデックス2値化の最大マージサイズの数は、MaxNumMergeCandとMaxNumIbcMergeCandとの間の最大数に設定される。Iスライス／タイルグループでは、MaxNumMergeCandの値はシグナリングされないので、MaxNumMergeCandは1の推測値（すなわち、MaxNumIbcMergeCandの最小可能性値）を有することができる。したがって、MaxNumMergeCandがシグナリングされていないとき、MaxNumMergeCandの値は1であると推測されるので、six＿minus＿max＿num＿merge＿candの値は5であると推測される。したがって、式（1）において、six＿minus＿max＿num＿merge＿candは5であるので、MaxNumMergeCandは1に等しい。式（2）において、MaxNumIbcMergeCandの値は、1以上6以下の範囲である。

表2は、構文および関連する2値化の例を示す。

表2に示すように、マージインデックス（すなわち、merge＿idx［］［］）の2値化は、マージモード候補の最大数（すなわち、MaxNumMergeCand）がIBC候補の最大数（すなわち、MaxNumIbcMergeCand）より大きいかどうかに基づいている。

いくつかの実施形態によれば、MaxNumIbcMergeCandの範囲は、MaxNumMergeCand以下であるものとする。Iスライス／タイルグループでは、MaxNumMergeCandの値はシグナリングされないので、MaxNumMergeCandの値は6であると推測される。したがって、式（1）では、MaxNumMergeCandは6であると推測されるので、six＿minus＿max＿num＿merge＿candの値は0であると推測される。いくつかの実施形態では、シグナリングされたMaxNumIbcMergeCand値がMaxNumMergeCandよりも大きい場合、MaxNumIbcMergeCandはMaxNumMergeCandにクリップされる。したがって、式（2）では、スライスタイプがIである場合、MaxNumIbcMergeCandの値は、1以上6以下の範囲とする。しかしながら、スライスタイプがPまたはBである場合、MaxNumIbcMergeCandの値は、1以上MaxNumMergeCand以下の範囲である。したがって、スライスタイプがPまたはB（すなわち、MaxNumMergeCandはシグナリングされない）である場合、MaxNumIbcMergeCandの値は次のように決定され得る、すなわち、MaxNumIbcMergeCand＝min（MaxNumIbcMergeCand，MaxNumMergeCand）。

図12は、ビデオデコーダ（710）などのビデオデコーダによって実行されるビデオデコードプロセスの一実施形態を示している。プロセスは、現在ピクチャを含むコーディングされたビデオビットストリームが受信されるステップ（S1200）で開始することができる。プロセスはステップ（S1202）に進み、ここで、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件が決定される。

プロセスはステップ（S1204）に進み、ここで、所定の条件に基づき、ベクトル予測の候補リストのシグナリングデータに含まれるインデックスのサイズが、マージモード候補の最大数およびIBC候補の数のいずれかに設定される。一例として、インデックスは、コーディングされたビデオビットストリームに含まれるマージインデックスであってもよい。一例として、所定の条件は、現在ブロックがIBCモードでエンコードされているかどうかを決定することを含む。現在ブロックがIBCモードでエンコードされる場合、インデックスのサイズはMaxNumIbcMergeCandに設定される。しかしながら、現在ブロックがIBCモードでエンコードされていない場合、インデックスのサイズはMaxNumMergeCandに設定される。

別の例として、所定の条件は、マージモード候補の最大数がIBC候補の最大数より大きいかどうかを決定することを含む。マージモード候補の最大数がIBC候補の最大数より大きい場合、インデックスのサイズはMaxNumMergeCandに設定される。しかしながら、マージモード候補の最大数がIBC候補の最大数未満である場合、インデックスのサイズはMaxNumIbcMergeCandに設定される。

プロセスはステップ（S1204）から（S1206）に進み、ここで、候補リストはベクトル予測で作成される。例えば、現在ブロックがマージモードでエンコードされる場合、候補リストはマージリストであり、ベクトル予測は動きベクトルである。別の例では、現在ブロックがIBCモードでエンコードされる場合、候補リストはブロックベクトル予測のリストである。プロセスはステップ（S1208）から進み、ここで、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからのベクトル予測が取り出される。例えば、候補リストからベクトル予測を取り出すために使用されるインデックスの値は、ステップ（S1204）でインデックスの決定されたサイズを超えることはできない。プロセスはステップ（S1210）に進み、ここで、現在ブロックは取り出されたベクトル予測にしたがってデコードされる。

図13は、ビデオデコーダ（710）などのビデオデコーダによって実行されるビデオデコードプロセスの一実施形態を示す。プロセスは、現在ピクチャを含むコーディングされたビデオビットストリームが受信されるステップ（S1300）で開始することができる。プロセスはステップ（S1302）に進み、ここで、コーディングされたビデオビットストリームからのシグナリングデータが現在ブロックについて取り出される。プロセスはステップ（S1304）に進み、現在ブロックの取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定する。例えば、MaxNumMergeCandがシグナリングされているかどうかが決定される。上述したように、いくつかの例では、MaxNumMergeCandは、Iスライス／タイルグループタイプについてシグナリングされず、PまたはBスライス／タイルグループタイプについてシグナリングされる。

プロセスはステップ（S1306）に進み、ここで、現在ブロックのシグナリングデータにマージ候補の最大数が含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数が設定される。例えば、MaxNumMergeCandがシグナリングされない場合、MaxNumIbcMergeCandの値は、1以上6以下の範囲である。しかしながら、MaxNumMergeCandがシグナリングされる場合、MaxNumIbcMergeCandの値は、1以上MaxNumMergeCand以下の範囲である。

いくつかの例では、コーディングユニットは、ルマ構成要素とクロマ構成要素の両方のサンプルを含む。クロマ構成要素のこれらのサンプルは、ルマ構成要素の1つと比較して、独立したまたは別個のスプリットツリー構造を有することができる。いくつかの例では、別個のコーディングツリー構造はCTUレベルから始まる。したがって、クロマCU（例えば、2つのクロマ構成要素のみを含むCU）は、対応するサンプル位置でのクロマCUのルマ対応部分よりも大きくすることができる。

いくつかの実施形態によれば、第1の方法では、デュアルツリー構造が使用されるとき、少なくとも以下の条件が満たされる場合、クロマブロックをIBCモードでエンコードすることができる。
1．クロマCUの各サブブロック領域について、コロケートルマ領域はIBCモードでエンコードされる。
2．クロマCUのコロケートルマ領域サンプルはすべて、同じブロックベクトルを有する。
3．クロマCU全体の導出された共通ブロックベクトルは有効なBVである。すなわち、このBVは、現在ピクチャの、クロマ構成要素のための所与の制約領域内のすでに再構成された領域を指し示す。

第1の方法に基づいて、デコーダ側は、クロマCUをサブブロックベースのCUとしてではなく、CU全体として扱うことができる。したがって、CUをデコードするためにコロケートルマ領域（例えば、通常、CUの左上隅）から単一の導出BVを使用することで十分である。

いくつかの実施形態によれば、第2の方法では、デュアルツリー構造が使用されるとき、デュアルツリー構造でクロマIBCモードの使用を可能にするために異なる条件が使用されてもよい。一実施形態では、（i）すべてのクロマサンプルの対応するルマサンプルが同じルマコーディングブロックに属するとき、および（ii）同じルマコーディングブロックがIBCモードでエンコードされるとき、クロマブロックはIBCモードでエンコードされ得る。一例として、この条件は、クロマCUの2つの隅を評価することによってチェックされる。左上のクロマサンプルのルマ対応および右下のクロマサンプルのルマ対応が同じルマコーディングブロックに属する場合には、クロマCUの対応するルマ領域全体が同じルマコーディングブロックに属する。別の実施形態では、対応するルマコーディング時に、クロマブロックはIBCモードでエンコードされ得る。

第2の方法に基づいて、デコーダ側は、クロマCUをサブブロックベースのCUとしてではなく、CU全体として扱うことができる。したがって、CUをデコードするためにコロケートルマ領域（通常、CUの左上隅）から単一の導出BVを使用することで十分である。

いくつかの実施形態によれば、デュアルツリー構造に関する第1の方法または第2の方法のいずれかについて、以下に開示される非限定的な実施形態は、第1の方法または第2の方法のいずれかにおける上記の条件が満たされたときに、デュアルツリーでクロマIBCモードの使用をシグナリングする方法を示す。

一実施形態では、デュアルツリー構造を伴うクロマCUにIBCモードを使用するための上記の制約は、適用可能な場合に各クロマCUに対して使用フラグ（例えば、ibc＿flag）がシグナリングされるように実装される。しかしながら、この実施形態では、第1の方法のすべての条件または第2の方法のすべての条件が満たされたときにのみ、ibc＿flagが真としてシグナリングされる。そうでない場合、ibc＿flagは偽としてシグナリングされる。いくつかの例では、第1の方法または第2の方法のいずれかについてすべての条件が満たされると、エンコーダがどのように実装されるかに基づいてibc＿flagを偽としてシグナリングすることもできる。

別の実施形態では、デュアルツリー構造を伴うクロマCUにIBCモードを使用するための上記の制約は、使用フラグ（例えば、ibc＿flag）がまったくシグナリングされないように実装される。例えば、デュアルツリー構造を伴うクロマCUについて、第1の方法または第2の方法のすべての条件が満たされると、CUはIBCモードでエンコードされ、ibc＿flagは真として推測される。そうでない場合、ibc＿flagはシグナリングされず、偽であると推測される。

上述した技術は、コンピュータ可読命令を使用し、1つまたは複数のコンピュータ可読媒体に物理的に格納されたコンピュータソフトウェアとして実装され得る。例えば、図14は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（1400）を示している。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、または同様のメカニズムに依存し得る任意の適切なマシンコードまたはコンピュータ言語を使用して符号化され、1つまたは複数のコンピュータ中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）などによって、直接、または解釈、マイクロコード実行などを通じて実行され得る命令を含むコードを作成することができる。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行され得る。

コンピュータシステム（1400）について図14に示される構成要素は、事実上例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関する制限を示唆することを意図するものではない。構成要素の構成も、コンピュータシステム（1400）の例示的な実施形態に示される構成要素のいずれか1つまたは組合せに関連する依存関係または要件を有すると解釈されるべきではない。

コンピュータシステム（1400）は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を介して、1人または複数の人間ユーザによる入力に応答することができる。ヒューマンインターフェースデバイスは、オーディオ（音声、音楽、周囲の音など）、画像（スキャン画像、静止画カメラから取得された写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするためにも使用され得る。

入力ヒューマンインターフェースデバイスは、キーボード（1401）、マウス（1402）、トラックパッド（1403）、タッチスクリーン（1410）、データグローブ（図示せず）、ジョイスティック（1405）、マイク（1406）、スキャナ（1407）、カメラ（1408）の1つまたは複数（それぞれの1つのみを図示）を含み得る。

コンピュータシステム（1400）は、特定のヒューマンインターフェース出力デバイスも含み得る。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を通して、1人または複数の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（1410）、データグローブ（図示せず）、またはジョイスティック（1405）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音声出力デバイス（スピーカ（1409）、ヘッドホン（図示せず）など）、視覚出力デバイス（CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（1410）など、それぞれタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、そのいくつかはステレオグラフィック出力などの手段を通して、2次元視覚出力または3次元を超える出力を出力できるものもある、仮想現実グラス（図示せず）、ホログラフィックディスプレイ、およびスモークタンク（図示せず））、およびプリンタ（図示せず）を含み得る。

コンピュータシステム（1400）は、人間がアクセス可能なストレージデバイスおよびそれらに関連するメディア、例えば、CD／DVDなどのメディア（1421）を伴うCD／DVD ROM／RWを含む光学メディア（1420）、サムドライブ（1422）、リムーバブルハードドライブまたはソリッドステートドライブ（1423）、テープやフロッピーディスク（図示せず）などのレガシー磁気メディア、セキュリティドングル（図示せず）などの特殊なROM／ASIC／PLDベースのデバイスなどを含み得る。

当業者は、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送メディア、搬送波、または他の一時的な信号を含まないことも理解されたい。

コンピュータシステム（1400）は、1つまたは複数の通信ネットワークへのインターフェースを含むこともできる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネットなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルTV、衛星TV、地上波放送TVを含むTV有線または無線ワイドエリアデジタルネットワーク、およびCANBusを含む車両および産業用などを含む。特定のネットワークは一般に、特定の一般データポートまたは周辺バス（1449）（例えば、コンピュータシステム（1400）のUSBポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に説明するようにシステムバスへの接続によってコンピュータシステム（1400）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1400）は他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、TVの放送）、単方向の送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または双方向、例えば、ローカルまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステム向けであり得る。上述のように、特定のプロトコルとプロトコルスタックはそれらのネットワークとネットワークインターフェースのそれぞれで使用され得る。

前述のヒューマンインターフェースデバイス、ヒューマンアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム（1400）のコア（1440）に接続され得る。

コア（1440）は、1つまたは複数の中央処理ユニット（CPU）（1441）、グラフィックス処理ユニット（GPU）（1442）、フィールドプログラマブルゲートエリア（FPGA）の形式の特殊なプログラム可能な処理ユニット（1443）、特定のタスクのためのハードウェアアクセラレータ（1444）などを含み得る。これらのデバイスは、読み取り専用メモリ（ROM）（1445）、ランダムアクセスメモリ（1446）、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量ストレージ（1447）と共に、システムバス（1448）を通して接続され得る。いくつかのコンピュータシステムでは、システムバス（1448）は、1つまたは複数の物理プラグの形でアクセス可能であり、追加のCPU、GPUなどによる拡張を可能にする。周辺デバイスは、コアのシステムバス（1448）に直接接続することも、周辺バス（1449）を介して接続することもできる。周辺バスのアーキテクチャは、PCI、USBなどを含む。

CPU（1441）、GPU（1442）、FPGA（1443）、およびアクセラレータ（1444）は、組み合わせて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM（1445）またはRAM（1446）に格納され得る。移行データはまた、RAM（1446）に格納され得るが、永久データは、例えば、内部大容量ストレージ（1447）に格納され得る。1つまたは複数のCPU（1441）、GPU（1442）、大容量ストレージ（1447）、ROM（1445）、RAM（1446）などと密接に関連付けられ得るキャッシュメモリを使用することにより、任意のメモリデバイスへの高速の格納および取り出しが可能にされ得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードをその上に有し得る。メディアおよびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に良く知られ、利用可能な種類のものであり得る。

一例として、限定としてではなく、アーキテクチャ、具体的にはコア（1440）を有するコンピュータシステム（1400）は、1つまたは複数の有形のコンピュータ可読媒体で具体化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上部で紹介したようにユーザがアクセス可能な大容量ストレージのほか、コア内部大容量ストレージ（1447）またはROM（1445）などの非一時的性質のコア（1440）の特定のストレージにも関連するメディアであり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納され、コア（1440）によって実行され得る。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含み得る。ソフトウェアは、コア（1440）、特にその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1446）に格納されたデータ構造の定義およびソフトウェアによって定義されたプロセスによる、そのようなデータ構造の変更を含む、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりにまたは一緒に動作することができる回路（例えば、アクセラレータ（1444））に配線されたまたはそうでなければ具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの参照にはロジックを含めることができ、必要に応じてその逆も可能である。コンピュータ可読媒体への参照は、必要に応じて、実行のためのソフトウェアを格納する回路（集積回路（IC）など）、実行のためのロジックを具体化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

付録A：頭字語
JEM 共同探査モデル
VVC 多用途ビデオコーディング
BMS ベンチマークセット
MV 動きベクトル
HEVC 高効率ビデオコーディング
SEI 補足エンハンスメント情報
VUI ビデオユーザビリティ情報
GOP ピクチャのグループ
TU 変換ユニット、
PU 予測ユニット
CTU コーディングツリーユニット
CTBs コーディングツリーブロック
PB 予測ブロック
HRD 仮想参照デコーダ
SNR 信号ノイズ比
CPU 中央処理装置
GPU グラフィックス処理装置
CRT 陰極線管
LCD 液晶ディスプレイ
OLED 有機発光ダイオード
CD コンパクトディスク
DVD デジタルビデオディスク
ROM 読み出し専用メモリ
RAM ランダムアクセスメモリ
ASIC 特定用途向け集積回路
PLD プログラマブルロジックデバイス
LAN ローカルエリアネットワーク
GSM モバイル通信用グローバルシステム
LTE ロングタームエボリューション
CANBus コントローラエリアネットワークバス
USB ユニバーサルシリアルバス
PCI 周辺構成要素相互接続
FPGA フィールドプログラマブルゲートエリア
SSD ソリッドステートドライブ
IC 集積回路
CU コーディングユニット

本開示は、いくつかの例示的な実施形態を説明しているが、本開示の範囲内にある変更、順列、および様々な代替の同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具体化し、したがってその趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

（1）ビデオデコードの方法は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップ、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップ、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するステップ、ベクトル予測で候補リストを作成するステップ、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すステップ、ならびに取り出されたベクトル予測により現在ブロックをデコードするステップを含む。

（2）所定の条件は、現在ブロックがIBCモードでエンコードされているかどうかを決定するステップを含む、特徴（1）によるビデオデコードの方法。

（3）現在ブロックがIBCモードでエンコードされていると決定したことに応じて、インデックスのサイズをIBC候補の最大数に設定し、現在ブロックがIBCモードでエンコードされていないと決定したことに応じて、インデックスのサイズをマージモード候補の最大数に設定する、特徴（2）によるビデオデコードの方法。

（4）所定の条件は、マージモード候補の最大数がIBC候補の最大数よりも大きいかどうかを決定するステップを含む、特徴（1）～（3）のいずれか1つによるビデオデコードの方法。

（5）マージモード候補の最大数がIBC候補の最大数よりも大きいと決定したことに応じて、インデックスのサイズをマージモード候補の最大数に設定し、マージモード候補の最大数がIBC候補の最大数よりも小さいと決定したことに応じて、インデックスのサイズをIBC候補の最大数に設定する、特徴（4）によるビデオデコードの方法。

（6）ビデオデコードの方法は、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップ、現在ブロックのコーディングされたビデオビットストリームからシグナリングデータを取り出すステップ、現在ブロックについて取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定するステップ、および現在ブロックについてシグナリングデータにマージ候補の最大数が含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するステップを含む。

（7）シグナリングデータにマージ候補の最大数が含まれないという決定に応じて、IBC候補の最大数は1以上6以下の値に設定される、特徴（6）によるビデオデコードの方法。

（8）マージ候補の最大数がシグナリングデータに含まれるという決定に応じて、IBC候補の最大数は1からマージ候補の最大数の間の値に設定される、特徴（7）によるビデオデコードの方法。

（9）ビデオデコードのためのビデオデコード装置は、現在ピクチャを含むコーディングされたビデオビットストリームを受信し、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定し、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいてベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定し、ベクトル予測で候補リストを作成し、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出し、ならびに取り出されたベクトル予測に従って、現在ブロックをデコードするように構成された処理回路を含む。

（10）所定の条件は、現在ブロックがIBCモードでエンコードされているかどうかを決定するように構成された処理回路を含む、特徴（9）によるビデオデコード装置。

（11）現在ブロックがIBCモードでエンコードされているという決定に応じて、処理回路は、インデックスのサイズをIBC候補の最大数に設定するように構成されており、現在ブロックがIBCモードでエンコードされていないという決定に応じて、処理回路は、インデックスのサイズをマージモード候補の最大数に設定するように構成される、特徴（10）によるビデオデコード装置。

（12）所定の条件は、マージモード候補の最大数がIBC候補の最大数より大きいかどうかの決定を含む、特徴（9）～（12）のいずれか1つによるビデオデコード装置。

（13）マージモード候補の最大数がIBC候補の最大数よりも大きいという決定に応じて、処理回路は、インデックスのサイズをマージモード候補の最大数に設定するようにさらに構成され、マージモード候補の最大数がIBC候補の最大数よりも小さいという決定に応じて、処理回路は、インデックスのサイズをIBC候補の最大数に設定するようにさらに構成される、特徴（12）のビデオデコード装置。

（14）現在ピクチャを含むコーディングされたビデオビットストリームを受信し、現在ブロックのコーディングされたビデオビットストリームからシグナリングデータを取り出し、現在ブロックの取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定し、およびマージ候補の最大数が現在ブロックのシグナリングデータに含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するように構成された処理回路を含む、ビデオデコードのためのビデオデコーダ装置。

（15）シグナリングデータにマージ候補の最大数が含まれないという決定に応じて、IBC候補の最大数は1以上6以下の値に設定される、特徴（14）のビデオデコーダ。

（16）マージ候補の最大数がシグナリングデータに含まれるという決定に応じて、IBC候補の最大数は1からマージ候補の最大数の間の値に設定される、特徴（15）によるビデオデコーダ。

（17）ビデオデコーダのプロセッサによって実行されたとき、プロセッサに、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップ、コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップ、所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測の候補リストのためのシグナリングデータに含まれるインデックスのサイズを決定するステップ、ベクトル予測で候補リストを作成するステップ、インデックスの決定されたサイズを超えない値を有するインデックスにしたがって、候補リストからベクトル予測を取り出すステップ、ならびに取り出されたベクトル予測にしたがって、現在ブロックをデコードするステップを含む方法を実行させる命令を記憶する、非一時的コンピュータ可読媒体。

（18）所定の条件が、現在ブロックがIBCモードでエンコードされているかどうかを決定するステップを含む、特徴（17）による非一時的コンピュータ可読媒体。

（19）ビデオデコーダのプロセッサによって実行されたとき、プロセッサに、現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップ、現在ブロックのコーディングされたビデオビットストリームからシグナリングデータを取り出すステップ、現在ブロックについて取り出されたシグナリングデータにマージ候補の最大数が含まれるかどうかを決定するステップ、および現在ブロックについてシグナリングデータにマージ候補の最大数が含まれるかどうかの決定に基づいて、イントラブロックコピー（IBC）候補の最大数を設定するステップを含む方法を実行させる命令を記憶する、非一時的コンピュータ可読媒体。

（20）シグナリングデータにマージ候補の最大数が含まれないという決定に応じて、IBC候補の最大数は1以上6以下の値に設定される、特徴（19）による非一時的コンピュータ可読媒体。

101 現在ブロック
102 サンプル
103 サンプル
104 サンプル
105 サンプル
106 サンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 ネットワーク
300 通信システム
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 コーディングされたビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 コーディングされたビデオデータ
308 クライアントサブシステム
309 コーディングされたビデオデータ
310 ビデオデコーダ
311 ビデオピクチャの出力ストリーム
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 パーサー
421 シンボル
430 電子デバイス
431 受信器
451 スケーラー／逆変換ユニット
452 イントラ予測ユニット
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在ピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 デコーダ
534 参照ピクチャメモリ
535 予測
540 送信器
543 コーディングされたビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 チャネル
603 ビデオエンコーダ
621 一般コントローラ
622 イントラエンコーダ
623 残差計算部
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
800 現在ピクチャ
802 ブロック
804 ブロックベクトル
806 ブロック
900 コーディングツリーユニット（CTU）
1400 コンピュータシステム
1401 キーボード
1402 マウス
1403 トラックパッド
1405 ジョイスティック
1406 マイク
1407 スキャナ
1408 カメラ
1409 出力デバイス
1410 スクリーン
1420 CD／DVD ROM／RWを含む光学メディア
1421 DVDなどのメディア
1422 サムドライブ
1423 リムーバブルハードドライブまたはソリッドステートドライブ
1440 コア
1441 中央処理ユニット（CPU）
1442 グラフィックス処理ユニット（GPU）
1443 フィールドプログラマブルゲートエリア（FPGA）
1444 特定のタスクのためのハードウェアアクセラレータ
1445 読み取り専用メモリ（ROM）
1446 ランダムアクセスメモリ
1447 内部大容量ストレージ
1448 システムバス
1449 周辺バス
1450 グラフィックスアダプタ
1454 ネットワークインターフェース

Claims (1)

1. 現在ピクチャを含むコーディングされたビデオビットストリームを受信するステップと、
   前記コーディングされたビデオビットストリームに含まれるシグナリングデータに関連付けられた所定の条件を決定するステップと、
   前記所定の条件に基づき、マージモード候補の数およびイントラブロックコピー（IBC）候補の数に基づいて、ベクトル予測の候補リストのための前記シグナリングデータに含まれるインデックスのサイズを決定するステップと、
   ベクトル予測で前記候補リストを作成するステップと、
   前記インデックスの決定された前記サイズを超えない値を有する前記インデックスにしたがって、前記候補リストからベクトル予測を取り出すステップと、
   取り出された前記ベクトル予測にしたがって、前記現在ブロックをデコードするステップと
   を含む、ビデオデコードの方法。

Images