JP2022518587A - イントラ画像ブロック補償のためのデコードされたブロックベクトルの変換 - Google Patents

Abstract

方法、装置及び非一時的コンピュータ可読媒体が提供される。現在の画像を含むコーディングされたビデオビットストリームが受信される。現在の画像に含まれる現在のコーディングツリーユニット（ＣＴＵ）内の現在のブロックが、コーディングされたビデオビットストリームに含まれるフラグに基づいて、イントラブロックコピー（ＩＢＣ）モードでコーディングされているかどうかに関して決定が行われる。前記現在のブロックがＩＢＣモードでコーディングされていると決定されていることに応じて、前記現在のブロックの第１参照ブロックを指すブロックベクトルが決定され、前記現在のブロック上で動作が実行され、したがって、前記第１参照ブロックが完全に再構成されていないか、又は前記現在のブロックの有効なサーチレンジ内にない場合に、前記ブロックベクトルは変更されて、完全に再構成された領域内にあり且つ現在ブロックの有効なサーチレンジ内にある第２参照ブロックを指し、変更されたブロックベクトルに基づいて現在のブロックがデコードされる。

Description

参照による援用
本願は、２０１９年６月１８日に出願された米国仮出願第６２／８６３，０３７号「ＣＯＮＶＥＲＳＩＯＮ ＯＦ ＤＥＣＯＤＥＤ ＢＬＯＣＫ ＶＥＣＴＯＲ ＦＯＲ ＩＮＴＲＡ ＰＩＣＴＵＲＥ ＢＬＯＣＫ ＣＯＭＰＥＮＳＡＴＩＯＮ（イントラ画像ブロック補償のためのデコードされたブロックベクトルの変換）」に基づく優先権の利益を主張する２０２０年４月２８日出願の米国特許出願第１６／８６０，９７５号「ＣＯＮＶＥＲＳＩＯＮ ＯＦ ＤＥＣＯＤＥＤ ＢＬＯＣＫ ＶＥＣＴＯＲ ＦＯＲ ＩＮＴＲＡ ＰＩＣＴＵＲＥ ＢＬＯＣＫ ＣＯＭＰＥＮＳＡＴＩＯＮ（イントラ画像ブロック補償のためのデコードされたブロックベクトルの変換）」の利益を主張し、
その全体を本明細書に参照援用する。

技術分野
本開示は、概して、ビデオコーディングに関連する実施形態を記載する。

本明細書で提供される背景説明は、本開示のコンテキストを全般的に提示するためのものである。現在挙げられている発明者の研究は、その研究がこの背景部分に記載されている範囲において、また、出願時に他の点では先行技術として適格でないかもしれない説明の側面において、本開示に対する先行技術として明示的にも黙示的にも認められていない。

ビデオコーディングとデコーディングは、動き補正を伴うインター画像予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）を用いて行うことができる。非圧縮ディジタルビデオは、一連の画像を含むことができ、各画像は、例えば、１９２０×１０８０の輝度サンプル及び関連するルミナンスサンプルの空間寸法を有する。一連の画像は、固定又は可変の画像レート（例えば、６０画像／秒又は６０Ｈｚ）を有することができる。非圧縮ビデオは、大きいビットレートを必要とする。例えば、サンプル当たり８ビットの１０８０ｐ６０ ４：２：０ビデオ（６０Ｈｚのフレームレートでの１９２０ｘ１０８０の輝度サンプル解像度）は、１．５Ｇビット／秒に近い帯域幅を必要とする。このようなビデオの１時間は、６００Ｇバイトを超える記憶領域を必要とする。

ビデオコーディング及びデコーディングの１つの目的は、圧縮による入力ビデオ信号の冗長性の低減である。圧縮は、場合によっては、２桁以上前述の帯域幅又は記憶スペースの必要性を低減するのに役立つ。可逆圧縮及び非可逆圧縮の両方、並びにそれらの組み合わせを用いることができる。可逆圧縮とは、元の信号の正確なコピーを圧縮された元の信号から再構成することができる技術をいう。非可逆圧縮を使用する場合、再構成された信号は、元の信号と同一ではないかもしれないが、元の信号と再構成された信号との間の歪みは十分小さく、再構成された信号を意図された用途に役立てられる。
ビデオの場合、非可逆圧縮が広く用いられている。許容される歪みの量は、アプリケーションに依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを容認し得る。達成可能な圧縮比は、より高い許容可能／容認可能歪みは、より高い圧縮比をもたらすことができることを反映することができる。

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換、量子化、及びエントロピーコーディングを含むいくつかの広範なカテゴリからの技術を利用することができる。

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照画像からのサンプル又は他のデータを参照することなく表現される。いくつかのビデオコーデックでは、画像は空間的にサンプルのブロックに分割される。サンプルのすべてのブロックがイントラモードでコーディングされている場合、その画像はイントラ画像とすることができる。イントラ画像と、独立デコーダリフレッシュ画像等のそれらの派生物は、デコーダ状態をリセットするために用いられることができ、したがって、コーディングされたビデオビットストリーム及びビデオセッションにおける第１画像として、又は静止画像として用いられることができる。イントラブロックのサンプルを変換にさらされることができ、変換係数はエントロピーコーディングの前に量子化されることができる。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術であり得る。場合によっては、変換後のＤＣ値が小さく、ＡＣ係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要なビットが少なくなる。

例えばＭＰＥＧ－２世代のコーディング技術から知られるような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコード順において先行するデータのブロックをエンコード／デコード中に得られる周囲のサンプルデータ及び／又はメタデータから試みる技術を含む。このような技術は、以後「イントラ予測」技術と称される。少なくともいくつかの場合では、イントラ予測は再構成中の現在画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに留意されたい。

さまざまな形式のイントラ予測があり得る。かかり技術のうちの１つ以上が、所与のビデオコーディング技術において用いられることができる場合、使用中の技術は、イントラ予測モードでコーディングすることができる。特定の場合には、モードは、サブモード及び／又はパラメータを有することができ、それらは、個別にコーディングされることができ、又はモードコード名（ｍｏｄｅ ｃｏｄｅｗｏｒｄ）に含まれることができる。所与のモード／サブモード／パラメータの組み合わせに用いられるコード名は、イントラ予測を通してコーディング効率ゲイン（ｃｏｄｉｎｇ ｅｆｆｉｃｉｅｎｃｙ ｇａｉｎ）に影響を与える可能性があり、同様に、コード名をビットストリームに変換するために使用されるエントロピー符号化技術も同様に影響を与える可能性がある。

特定のイントラ予測モードがＨ．２６４で導入され、Ｈ．２６５で改良され、共同探索モデル（ＪＥＭ：ｊｏｉｎｔ ｅｘｐｌｏｒａｔｉｏｎ ｍｏｄｅｌ）、汎用ビデオコーディング（ＶＶＣ：ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）、及びベンチマークセット（ＢＭＳ：ｂｅｎｃｈｍａｒｋ ｓｅｔ）等のより新しいコーディング技術でさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する隣接するサンプル値を使用して形成されることができる。隣接するサンプルのサンプル値は、方向にしたがって予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリームでコーディングされることができ、又はそれ自体が予測されることがある。

動き補償は、非可逆圧縮技術であることができ、かつ、先行して再構成された画像又はその一部（参照画像）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶとも称する。）によって示される方向に空間的にシフトされた後に、新たな再構成画像又はその一部の予測のために使用される技術に関連付けることができる。場合によっては、参照画像は現在再構成中の画像と同一であることもできる。ＭＶは、Ｘ及びＹの２次元、又は３次元を有することができ、第３次元は、使用中の参照画像の表示である（後者は、間接的に、時間次元であることができる）。

いくつかのビデオ圧縮技術では、サンプルデータの、あるエリアに適用可能なＭＶは、他のＭＶから、例えば、再構成中のエリアに空間的に隣接し、デコードの順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）でそのＭＶに先行するサンプルデータの別のエリアに関連するＭＶから予測することができる。このようにして、ＭＶのコーディングに必要なデータ量を大幅に削減することができ、それによって冗長性を除去し、圧縮を増大させることができる。ＭＶ予測は効率的に作用することができ、なぜならば、例えば、（ナチュラルビデオとして既知の）カメラから導出された入力ビデオ信号をコーディングする場合、単一のＭＶが適用可能であるエリアよりも大きなエリアは、類似の方向に移動するという統計的可能性があり、したがって、場合によっては、隣接するエリアのＭＶから導出された類似の動きベクトルを用いて予測することができるからである。
その結果、所与のエリアについて見出されたＭＶは、周囲のＭＶから予測されるＭＶと類似又は同一になり、それは、エントロピーコーディングの後、ＭＶを直接コーディングする場合に使用されるであろうものよりも、より少ない数のビットで表され得る。場合によっては、ＭＶ予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、ＭＶ）の可逆圧縮の例であり得る。他の場合には、ＭＶ予測それ自体は、例えば、いくつかの周囲ＭＶから予測子を計算する際の丸め誤差のために、非可逆的であり得る。

様々なＭＶ予測メカニズムがＨ．２６５／ＨＥＶＣ （ＩＴＵ－Ｔ Ｒｅｃ． Ｈ．２６５， Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ， Ｄｅｃｅｍｂｅｒ ２０１６）に、記述されている。Ｈ．２６５が提供する多くのＭＶ予測メカニズムのうち、ここでは、以後「空間マージ」と称されるテクニックについて説明する。

図１を参照すると、現在ブロック（１０１）は、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが、モーションサーチプロセス中にエンコーダによって見出されたサンプルを含む。そのＭＶを直接コーディングする代わりに、１つ以上の参照画像に関連付けられたメタデータから、例えば、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２から１０６）と示される５つの周囲のサンプルのいずれかに関連付けられたＭＶを使用して、（デコード順において）最新の参照画像から、ＭＶを導出することができる。Ｈ．２６５では、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照画像からの予測子を使用することができる。

本開示の態様は、デコーダにおけるビデオコーディングのための方法及び装置を提供する。一実施形態において、デコーダにおけるビデオコーディングの方法が提供される。方法では、現在の画像を含むコーディングされたビデオビットストリームが受信される。現在の画像に含まれる現在のコーディングツリーユニット（ＣＴＵ）内の現在のブロックが、コーディングされたビデオビットストリームに含まれるフラグに基づいて、イントラブロックコピー（ＩＢＣ）モードでコーディングされているかどうかに関して決定が行われる。現在のブロックがＩＢＣモードでコーディングされていると決定されていることに応答して、現在のブロックの第１参照ブロックを指すブロックベクトルが決定され、現在のブロックに動作、操作又は演算（ｏｐｅｒａｔｉｏｎ）が実行され、したがって、第１参照ブロックが完全に再構成されていないか、又は現在のブロックの有効なサーチレンジ又は検索範囲（ｓｅａｒｃｈ ｒａｎｇｅ）内にない場合に、ブロックベクトルは変更されて、完全に再構成された領域内にあり且つ現在ブロックの有効なサーチレンジ内にある第２参照ブロックを指し、変更されたブロックベクトルに基づいて現在のブロックがデコードされる。

実施形態において、完全に再構成された領域及び現在のブロックは、同一のタイル、スライス又はタイルグループ内にある。

実施形態において、操作を実行するステップは、前記現在のＣＴＵのサイズに基づいて、前記現在のベクトルのｘ成分及びｙ成分のそれぞれにモジュロ操作を実行するステップ、
を含む。

このようにして、ＭＶのコーディングに必要なデータ量を大幅に削減することができ、それによって冗長性を除去し、圧縮を増大させることができる。操作を実行するステップは、現在のＣＴＵのサイズの倍数（ｍｕｌｔｉｐｌｅ ｏｆ ａ ｓｉｚｅ）に基づいて、ブロックベクトルのｘ成分にモジュロ操作（ｍｏｄｕｌｏ ｏｐｅｒａｔｉｏｎ）を実行するステップを含む。操作はさらに、現在のＣＴＵのサイズに基づいて、ブロックベクトルのｙ成分にモジュロ操作を実行するステップを含む。

実施形態において、操作を実行するステップは、第１参照ブロックが完全に再構成されていない（ｎｏｔ ｆｕｌｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ）か、又は現在のブロックの有効なサーチレンジ内にない場合にのみ、ブロックベクトルを変更する。

実施形態において、操作を実行するステップは、第１参照ブロックが完全に再構成されており且つ現在のブロックの有効なサーチレンジ内にある場合は、ブロックベクトルを変更しない。

実施形態において、現在ブロックの有効なサーチレンジは、現在のＣＴＵを含む。

実施形態において、操作を実行するステップは、第１参照ブロックを含むＣＴＵに対する第１参照ブロックのオフセットが、現在のＣＴＵに対する第２参照ブロックのオフセットと同じになるように、ブロックを変更する。

実施形態において、操作を実行するステップは、ブロックベクトルをクリッピングするステップであって、したがって、クリッピングされたブロックベクトルは、第１参照ブロックが完全に再構成されていないか、又は現在のブロックの有効なサーチレンジ内にない場合に、現在ブロックの有効なサーチレンジの境界にある第２参照ブロックを指す、ステップを含む。

開示の態様は、上記方法のいずれかを実行するように構成される装置を提供する。

また、本開示の態様は、コンピュータによって実行されたときに、コンピュータに上記方法のいずれかを実行させる命令を格納する、非一時的なコンピュータ読取可能媒体記憶を提供する。

開示された主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
図１は、一実施例における現在ブロック及びその周囲の空間マージ候補を模式的に示す図である。 図２は、一実施形態による通信システムの簡略ブロック図を模式的に示す図である。 図３は、一実施形態による通信システムの簡略ブロック図を模式的に示す図である。 図４は、一実施形態によるデコーダの簡略ブロック図を模式的に示す図である。 図５は、一実施形態によるエンコーダの簡略ブロック図を模式的に示す図である。 図６は、別の実施形態によるエンコーダのブロック図である。 図７は、別の実施形態によるデコーダのブロック図である。 図８は、一実施形態によるイントラ画像ブロック（ＩＢＣ）の一実施例を示す図である。 図９Ａは、実施形態によるＩＢＣベース補償の実施例を示す図である。 図９Ｂは、実施形態によるＩＢＣベース補償の実施例を示す図である。 図９Ｃは、実施形態によるＩＢＣベース補償の実施例を示す図である。 図９Ｄは、実施形態によるＩＢＣベース補償の実施例を示す図である。 図１０は、一実施形態による空間マージ候補の実施例をしめす図である。 図１１は、一実施形態によるデコーディングプロセスを概説するフローチャートを示す図である。 図１２は、一実施形態によるコンピュータシステムを模式的に示す図である。

Ｉ． ビデオコーディングエンコーダ及びデコーダ

図２は、本開示の一実施形態による通信システム（２００）の簡略化されたブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された第１対の端末デバイス（２１０）及び（２２０）を含む。図２の例では、第１対の端末デバイス（２１０）及び（２２０）は、データの一方向送信を行う。例えば、端末デバイス（２１０）は、ネットワーク（２５０）を介して他の端末デバイス（２２０）に伝送するために、ビデオデータ（例えば、端末デバイス（２１０）によって捕捉されるビデオ画像のストリーム）をコーディングすることができる。エンコードされた画像データは、１つ以上のコーディングされたビデオビットストリームの形態で送信されることができる。端末デバイス（２２０）は、ネットワーク（２５０）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがってビデオ画像を表示することができる。一方向性データ伝送は、メディア提供アプリケーション等において一般的であり得る。

別の例では、通信システム（２００）は、第２対の端末デバイス（２３０）及び（２４０）を含み、例えばビデオ会議中に、発生し得るコーディングされたビデオデータの双方向伝送を行う。データの双方向伝送のために、例えば、端末デバイス（２３０）及び（２４０）の各端末デバイスは、ネットワーク（２５０）を介して端末デバイス（２３０）及び（２４０）の他方の端末デバイスに伝送するために、ビデオデータ（例えば、端末デバイスによって捕捉されるビデオ画像のストリーム）をコーディングすることができる。端末デバイス（２３０）及び（２４０）の各端末デバイスは、端末デバイス（２３０）及び（２４０）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコードして、ビデオ画像を復元し、復元されたビデオデータにしたがって、アクセス可能な表示デバイスにビデオ画像を表示することができる。

図２の例では、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ及びスマートフォンとして示され得るが、本発明の原理はこれらに限定されない。本発明の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のビデオ会議機器への適用を見出す。ネットワーク（２５０）は、例えばワイヤライン（有線）及び／又は無線通信ネットワークを含む、端末デバイス（２１０）、（２２０）、（２３０）及び（２４０）の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（２５０）は、回線交換及び／又はパケット交換チャネル内のデータを交換することができる。代表的なネットワークには、テレコミュニケーションネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。本説明の目的のためには、以下に説明しない限り、ネットワーク（２５０）のアーキテクチャ及びトポロジーは本発明の操作には重要ではない。

図３は、開示された主題の適用例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶや、ＣＤ、ＤＶＤ、メモリースティック等を含むデジタルメディアへの圧縮ビデオの保存等を含む、他のビデオ対応アプリケーションに等しく適用することができる。

ストリーミングシステムは、例えば、非圧縮のビデオ画像（３０２）のストリームを生成するビデオソース（３０１）、例えばデジタルカメラを含むことができるキャプチャサブシステム（３１３）を含み得る。一実施形態では、ビデオ画像のストリーム（３０２）は、デジタルカメラによって撮影されるサンプルを含む。エンコードされたビデオデータ（３０４）（又はコーディングされたビデオビットストリーム）と比較した場合に、高データ量を強調するために太線として描かれたビデオ画像のストリーム（３０２）は、ビデオソース（３０１）に結合されたビデオエンコーダ（３０３）を含む電子デバイス（３２０）によって処理されることができる。ビデオエンコーダ（３０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができ、以下により詳細に説明されるように、開示された主題の態様を可能にし、又は実施する。エンコードされたビデオデータ（３０４）（又はエンコードされたビデオビットストリーム（３０４））は、ビデオ画像（３０２）のストリームと比較した場合に、より低いデータ量を強調するために細線として示され、将来の使用のためにストリーミングサーバ（３０５）に記憶され得る。図３のクライアントサブシステム（３０６）及び（３０８）等の１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスすることができ、エンコードされたビデオデータ（３０４）のコピー（３０７）及び（３０９）を読み出すことができる。クライアントサブシステム（３０６）は、例えば電子デバイス（３３０）内のビデオデコーダ（３１０）を含むことができる。ビデオデコーダ（３１０）は、エンコードされたビデオデータの入力コピー（３０７）をデコードし、ディスプレイ（３１２）（例えばディスプレイスクリーン）又は他のレンダリングデバイス（図示せず）上にレンダリングすることができるビデオ画像の出力ストリーム（３１１）を生成する。いくつかのストリーミングシステムでは、エンコードされたビデオデータ（３０４）、（３０７）及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準にしたがってコーディングされることができる。これらの標準の例としては、ＩＴＵ－Ｔ勧告Ｈ．２６５がある。例えば、開発中のビデオコーディング規格は、汎用ビデオコーディング（ＶＶＣ）として非公式に知られている。開示された主題は、ＶＶＣのコンテキストで使用され得る。

電子デバイス（３２０）及び（３３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（３２０）は、ビデオデコーダ（図示せず）を含むことができ、電子デバイス（３３０）は、ビデオエンコーダ（図示せず）も含むことができる。

図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子デバイス（４３０）に含まれることができる。電子デバイス（４３０）は、受信器（４３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（４１０）は、図３の例のビデオデコーダ（３１０）の代わりに使用されることができる。

受信器（４３１）は、ビデオデコーダ（４１０）によってデコードされるべき１つ以上のコーディングされたビデオシーケンスを受信することができ、同一又は別の実施形態では、一度に１つのコーディングされたビデオシーケンスを受信することができ、その際、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（４０１）から受信することができ、このチャネルは、エンコードされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信器（４３１）は、エンコードされたビデオデータを、他のデータ、例えばコーディングされたオーディオデータ及び／又は付随的なデータストリームと共に受信することができ、これらのデータは、それぞれのエンティティ（図示せず）を使用して転送され得る。受信器（４３１）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、バッファメモリ（４１５）が、受信器（４３１）とエントロピーデコーダ／パーサ（４２０）（以後「パーサ（４２０）」）との間に結合され得る。特定の用途では、バッファメモリ（４１５）はビデオデコーダ（４１０）の一部である。他の場合には、ビデオデコーダ（４１０）の外側にあることができる（図示せず）。さらに別の場合には、例えばネットワークジッタに対抗するために、ビデオデコーダ（４１０）の外側にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを処理するために、ビデオデコーダ（４１０）の内側に別のバッファメモリ（４１５）が存在することもできる。受信器（４３１）が、十分な帯域幅及び制御可能性の記憶／転送デバイスから、又は、アイソクロナスネットワークから、データを受信している場合、バッファメモリ（４１５）は不要であるか、又は小さくてもよい。インターネット等のベストエフォート型パケットネットワークでの使用のために、バッファメモリ（４１５）は、必要とされ、比較的大きく、有利に適応サイズであり得、ビデオデコーダ（４１０）の外側のオペレーティングシステム又は類似の要素（図示せず）に少なくとも部分的に実装され得る。

ビデオデコーダ（４１０）は、コーディングされたビデオシーケンスからシンボル（４２１）を再構成するためのパーサ（４２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報、及び、図４に示されているように、電子デバイス（４３０）の不可欠な部分ではないが、電子デバイス（４３０）に結合され得るレンダリングデバイス（４１２）（例えば、表示スクリーン）等のレンダリングデバイスを制御する潜在的な情報を含む。（複数の）レンダリングデバイスの制御情報は、付加拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメント（図示せず）の携帯であり得る。パーサ（４２０）は、受信されるコーディングされたビデオシーケンスをパースし／エントロピーデコードすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴う又は伴わない算術コーディングなどを含む種々の原理に従うことができる。パーサ（４２０）は、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも１つに対するサブグループパラメータのセットを、コーディングされたビデオシーケンスから抽出し得る。サブグループは、画像グループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）等を含み得る。パーサ（４２０）はまた、変換係数、量子化パラメータ値、モーションベクター等の情報を、コーディングされたビデオシーケンスから抽出し得る。

パーサ（４２０）は、シンボル（４２１）を生成するように、バッファメモリ（４１５）から受信したビデオシーケンスに、エントロピーデコード／パース操作を実行し得る。

シンボル（４２１）の再構成は、コーディングされたビデオ画像又はその部分のタイプ（例えば、画像間及び画像内、ブロック間及びブロック内）及び他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットが、どのように含まれているかは、パーサ（４２０）によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御されることができる。パーサ（４２０）と以下の複数ユニットとの間のかかるサブグループ制御情報のフローは、明確さのために図示されていない。

すでに述べた機能ブロックの他に、ビデオデコーダ（４１０）は、概念的に、以下に説明するように、いくつかの機能ユニットに分割されることができる。商業的制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されることができる。しかしながら、開示された主題を説明するの目的で、以下の機能単位に概念的に細分化することが適切である。

第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数、並びに、パーサ（４２０）から（複数の）シンボルとして、使用されるべき変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力されることができるサンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換（４５１）の出力サンプルは、内部コーディングされたブロックに関係することができ、すなわち、以前に再構成された画像からの予測情報を使用していないが、現在の画像の以前に再構成された部分からの予測情報を使用することができるブロックに関連付けることができる。かかる予測情報は、画像内部予測ユニット（４５２）によって提供されることができる。場合によっては、画像内部予測ユニット（４５２）は、現在の画像バッファ（４５８）からフェッチされた周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在の画像バッファ（４５８）は、例えば、部分的に再構成された現在の画像及び／又は完全に再構成された現在の画像をバッファする。アグリゲータ（４５５）は、場合によっては、サンプル毎に、イントラ予測ユニット（４５２）が生成した予測情報を、スケーラ／逆変換ユニット（４５１）によって提供される出力サンプル情報に加算する。

他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、相互コーディングに関係し、潜在的にモーション補償ブロックに関係することができる。かかる場合、モーション補償予測ユニット４５３は、予測に使用されるサンプルをフェッチするために参照画像メモリ４５７にアクセスすることができる。ブロックに関連するシンボル（４２１）にしたがって、フェッチされたサンプルをモーション補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（４５５）によって、スケーラ／逆変換ユニット（４５１）の出力（この場合、残留サンプル又は残留信号と称される）に加算されることができる。モーション補償予測ユニット（４５３）が予測サンプルをフェッチする参照画像メモリ（４５７）内のアドレスは、モーションベクターによって制御することができ、例えばＸ、Ｙ、及び参照画像コンポーネントを有することができるシンボル（４２１）の形態でモーション補償予測ユニット（４５３）に利用可能である。モーション補償はまた、サブサンプルの正確なモーションベクターが使用されている場合に参照画像メモリ（４５７）からフェッチされるようにサンプル値を補間すること、モーションベクター予測機構、等を含むことができる。

アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）内の種々のループフィルタリング技術を受けることができる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができ、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも称される）に含まれるパラメータによって制御され、パーサ（４２０）からシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされるが、コーディングされた画像又はコーディングされたビデオシーケンスの（デコード順において）前の部分のデコードの間に得られるメタ情報に応答することができると共に、以前に再構成されループフィルタリングされたサンプル値に応答することができる、ループ内フィルタ技術を含むことができる。

ループフィルタユニット（４５６）の出力は、レンダリングデバイス（４１２）に出力されることができ、また将来の画像内部予測に使用するために参照画像メモリ（４５７）に記憶されることができるサンプルストリームであることができる。

コーディングされた画像は、一旦完全に再構成されると、将来の予測のための参照画像として使用されることができる。例えば、一旦現在の画像に対応するコーディング画像が完全に再構成され、（例えば、パーサ（４２０）によって）コーディングされた画像が参照画像として識別されると、現在の画像バッファ（４５８）は参照画像メモリ（４５７）の一部となることができ、新たな現在画像バッファは、後続のコーディング画像の再構成を開始する前に再割当てされ得る。

ビデオデコーダ（４１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．等の標準の所定のビデオ圧縮技術にしたがってデコーディング操作を実行し得る。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術若しくは標準の構文、及び、ビデオ圧縮技術若しくは標準に文書化されているプロファイルの両方に準拠するという意味で、使用されているビデオ圧縮技術又は標準によって特定された構文に適合し得る。具体的には、プロファイルは、特定のツールを、そのプロファイルの下で使用できる唯一のツールとして、ビデオ圧縮技術又は標準で使用可能なすべてのツールから選択することができる。また、コンプライアンスのために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることであり得る。場合によっては、レベルは、最大画像サイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照画像サイズなどを制限する。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）の仕様と、コーディングされたビデオシーケンスでシグナリングされるＨＲＤバッファ管理のメタデータによってさらに制限され得る。

一実施形態では、受信器（４３１）は、エンコードされたビデオと共に追加の（冗長な）データを受信することができる。追加データは、コーディングされた（複数の）ビデオシーケンスの部分として含まれ得る。追加のデータは、データを適切にデコードするため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（４１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）拡張層、冗長スライス、冗長画像、前方エラー補正コードなどの形態であり得る。

図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子デバイス（５２０）に含まれる。電子デバイス（５２０）は、送信器（５４０）（例えば、送信回路）を含む。図３の例のビデオエンコーダ（３０３）の代わりに、ビデオエンコーダ（５０３）を用いることができる。

ビデオエンコーダ（５０３）は、ビデオエンコーダ（５０３）によってコーディングされる（複数の）ビデオ映像を捕捉することができるビデオソース（５０１）（図５の例では電子デバイス（５２０）の一部ではない）からビデオサンプルを受信し得る。別の例では、ビデオソース（５０１）は、電子デバイス（５２０）の一部である。

ビデオソース（５０１）は、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形態で、ビデオエンコーダ（５０３）によってコーディングされるべきソースビデオシーケンスを提供し得る。メディア配信システムにおいて、ビデオソース（５０１）は、予め準備されたビデオを記憶する記憶デバイスであり得る。ビデオ会議システムでは、ビデオソース（５０１）は、局所映像情報をビデオシーケンスとして捕捉するカメラであり得る。ビデオデータは、シーケンスで見たときにモーションをもたらす複数の個々の画像として提供され得る。画像自体は、ピクセルの空間アレイとして組織化されることができ、各ピクセルは、使用中のサンプリング構造、色空間等に応じて、１つ以上のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。

一実施形態によれば、ビデオエンコーダ（５０３）は、ソースビデオシーケンスの画像を、リアルタイムで、又はアプリケーションによって要求される任意の他の時間制約下で、コーディングされたビデオシーケンス（５４３）にコーディングし、圧縮し得る。適切なコーディングレートを実現することは、コントローラ（５５０）の一つの機能である。いくつかの実施形態において、コントローラ（５５０）は、以下に記載されるように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確性のために示されていない。コントローラ（５５０）によって設定されるパラメータは、レート制御関連パラメータ（画像スキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、画像サイズ、画像グループレイアウト、最大動きベクトルサーチレンジ等を含むことができる。コントローラ（５５０）は、特定のシステム設計のために最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するように構成されることができる。

いくつかの実施形態では、ビデオエンコーダ（５０３）は、コーディングループで動作するように構成される。過剰に単純化された説明として、一例において、コーディングループは、（例えば、コーディングされるべき入力画像及び参照画像に基づいて、シンボルストリーム等のシンボルを生成する責任を担う）ソースコーダ（５３０）と、ビデオエンコーダ（５０３）に埋め込まれた（ローカル）デコーダ（５３３）とを含むことができる。デコーダ（５３３）は、（シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が、開示された主題において考慮されたビデオ圧縮技術において可逆的であるように）、（リモート）デコーダも作成するのと同様の方法で、シンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（５３４）に入力される。シンボルストリームのデコーディングは、デコーダロケーション（ローカル又はリモート）に依存しないビットイクザクトな結果（ｂｉｔ－ｅｘａｃｔ ｒｅｓｕｌｔｓ）をもたらすので、参照画像メモリ（５３４）中の内容もまた、ローカルエンコーダとリモートエンコーダとの間でビットイクザクトである。換言すれば、エンコーダの予測部分は、デコーダがデコード中に予測を使用するときに「見る」のとまったく同じサンプル値を参照画像サンプルとして「見る」。参照画像同期性のこの基本原理（及び、例えばチャンネルエラーのために、同期性が維持できない場合の結果として生じるドリフト）は、いくつかの関連技術においても同様に使用される。

「ローカル」デコーダ（５３３）の動作は、ビデオデコーダ（４１０）等の「リモート」デコーダと同じであることができ、これは、図４と関連して詳細に既に上述したとおりである。しかしながら、図４も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（５４５）及びパーサ（４２０）によるコーディングビデオシーケンスへのシンボルのコーディング／デコーディングが可逆的であることができるので、バッファメモリ（４１５）を含むビデオデコーダ（４１０）のエントロピーデコーディング部分及びパーサ（４２０）は、ローカルデコーダ（５３３）に完全には実装されない場合がある。

この点で行うことができる観察は、デコーダ内に存在するパース／エントロピーデコードを除く任意のデコーダ技術もまた、対応するエンコーダ内に実質的に同一の機能的形態で存在する必要があることである。この理由のために、開示された主題はデコーダ動作に焦点を当てる。エンコーダ技術の記述は、総合的に記述されたデコーダ技術の逆であるため、省略することができる。特定の分野においてのみ、より詳細な説明が必要であり、以下に提供される。

動作中に、いくつかの例において、ソースコーダ（５３０）は、「参照画像」として指定されたビデオシーケンスからの１つ以上の、先行してコーディングされた画像を参照して入力画像を予測的にコーディングする、モーション補償予測コーディングを実行し得る。このようにして、コーディングエンジン（５３２）は、入力画像のピクセルブロックと、入力画像に対する（複数の）予測参照として選択され得る（複数の）参照画像のピクセルブロックとの間の差をコーディングする。

ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）によって生成されたシンボルに基づいて、参照画像として指定され得る画像のコーディングされたビデオデータをデコードし得る。コーディングエンジン（５３２）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図５には示されていない）でデコードされ得る場合、再構成されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（５３３）は、参照画像上でビデオデコーダによって実行され、参照画像キャッシュ（５３４）に記憶されるべき再構成された参照画像を生じさせ得るデコーディング処理を繰り返す。このようにして、ビデオエンコーダ（５０３）は、遠位端ビデオデコーダによって得られるであろう再構成された参照画像として、共通のコンテンツを有する再構成された参照画像のコピーをローカルに記憶することができる。

予測器（５３５）は、コーディングエンジン（５３２）について予測サーチを実行し得る。すなわち、コーディングされるべき新しい画像について、予測器（５３５）は、新しい画像についての適切な予測参照として役立ち得る、参照画像動きベクトル、ブロック形状等の特定のメタデータ、又は、サンプルデータ（参照ピクセルブロックの候補として）、について参照画像メモリ（５３４）をサーチし得る。予測器（５３５）は、適切な予測参照を見出すために、サンプルブロック毎に動作し得る。場合によっては、予測器（５３５）によって得られたサーチ結果によって決定されるように、入力画像は、参照画像メモリ（５３４）に記憶された複数の参照画像から引き出された予測参照を有し得る。

コントローラ（５５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（５３０）のコーディング操作を管理し得る。

上述した機能ユニットの全ての出力は、エントロピーコーダ（５４５）におけるエントロピーコーディングを受け得る。エントロピーコーダ（５４５）は、ハフマンコーディング、可変長コーディング、算術コーディング等の技術にしたがって、シンボルを可逆的に圧縮することによって、種々の機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

送信器（５４０）は、エントロピーコーダ（５４５）によって作成されたコーディングされたビデオシーケンスをバッファすることができ、エンコードされたビデオデータを記憶するだろう記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（５６０）を経由した送信のために用意する。送信器（５４０）は、ビデオコーダ（５０３）からのコーディングされたビデオデータを、例えばコーディングされたオーディオデータ及び／又は補助的なデータストリーム（図示せず）等の、送信されるべき他のデータとともにマージし得る。

コントローラ（５５０）は、ビデオエンコーダ（５０３）の動作を管理し得る。コーディングの間、コントローラ（５５０）は、各コーディングされた画像に、特定のコーディングされた画像タイプを割り当てることができ、これは、各画像に適用され得るコーディング技術に影響を及ぼし得る。例えば、画像は、しばしば、次の画像タイプの１つとして割り当てられる：

イントラ画像（Ｉ画像）は、予測ソースとしてシーケンス内の他の画像を使用することなく、コーディングされ、デコードされ得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」：Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）画像を含む、異なるタイプのイントラ画像を許容する。当業者は、Ｉ画像のこれらの変形例、並びにそれらのそれぞれの用途及び特徴を認識している。

予測画像（Ｐ画像）は、各ブロックのサンプル値を予測するために、最大で１つの運動ベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。

双方向（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌｌｙ）予測画像（Ｂ画像）は、各ブロックのサンプル値を予測するために、最大で２つの動きベクトルと参照インデックスを用いるインター予測又はイントラ予測を使用して、コーディングされ、デコードされ得るものであり得る。同様に、複数の予測画像は、１つのブロックの再構成のために、２つ以上の参照画像及び関連するメタデータを使用することができる。

ソース画像は、通常、空間的に複数のサンプルブロック（例えば、４×４、８×８、４×８、又は１６×１６の各サンプルのブロック）に分割され、ブロック毎にコーディングされる。ブロックは、ブロックのそれぞれの画像に適用されるコーディング割り当てによって決定された、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉ画像のブロックは、非予測的にコーディングされるか、又は、それらは、同じ画像の既にコーディングされたブロック（空間的予測又はインター予測）を参照して予測的にコーディングされ得る。Ｐ画像の画素ブロックは、先行してコーディングされた一つの参照画像を参照して、空間的予測又は時間的予測を介して予測的にコーディングされ得る。Ｂ画像のブロックは、１つ又は２つの、先行してコーディングされた参照画像を参照して、空間的予測を介して、又は時間的予測を介して予測的にコーディングされ得る。

ビデオエンコーダ（５０３）は、所定のビデオコーディング技術又はＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５．等の標準にしたがってコーディング操作を実行し得る。その操作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を活用する予測コーディング操作を含む種々の圧縮操作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は標準によって指定された構文に適合し得る。

一実施形態では、送信器（５４０）は、エンコードされたビデオと共に追加データを送信し得る。ソースコーダ（５３０）は、コーディングされたビデオシーケンスの一部としてかかるデータを含むことができる。追加のデータは、時間的／空間的／ＳＮＲ強調レイヤーや、他の形式の冗長データ、例えば冗長画像及びスライス、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント等を含み得る。

ビデオは、時間シーケンスにおいて複数のソース画像（ビデオ画像）として捕捉され得る。画像内予測（Ｉｎｔｒａ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）（しばしば、イントラ予測と略される）は、所与の画像における空間的相関を使用し、画像間予測又はインター予測（ｉｎｔｅｒ－ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）は、画像間の（時間的又は他の）相関を使用する。一例では、現在画像と称されるコーディング／デコーディング中の特定の画像は、ブロックに分割される。現在画像内のブロックが、ビデオ内の、先行してコーディングされ、まだバッファされている参照画像内の参照ブロックに類似する場合、現在の画像内ブロックは、動きベクトルと称されるベクトルによってコーディングされ得る。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合には、参照画像を識別する第３次元を有することができる。

いくつかの実施形態において、双方向予測技術（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）は、画像間予測において使用され得る。双方向予測技術によれば、ビデオ内の現在画像に対してデコード順では両方とも先行する（ただし、表示順序では、それぞれ過去及び未来であり得る）第１参照画像及び第２参照画像等の２つの参照画像が使用される。現在画像内のブロックは、第１参照画像内の第１参照ブロックを指す第１動きベクトルと、第２参照画像内の第２参照ブロックを指す第２の動きベクトルとによってコーディングされることができる。ブロックは、第１参照ブロックと第２参照ブロックとの組み合わせによって予測されることができる。

さらに、コーディング効率を改善するために、画像間予測にマージモード技術を使用することができる。

本開示のいくつかの実施形態によれば、画像間予測及び画像内予測等の予測は、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、ビデオ画像シーケンス中の画像は、圧縮のためにコーディングツリーユニット（ＣＴＵ）に仕切られ、画像中のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセル等の、同じサイズを有する。一般に、ＣＴＵは、１つのルマＣＴＢ（ｏｎｅ ｌｕｍａ ＣＴＢ）と２つのクロマＣＴＢ（ｔｗｏ ｃｈｒｏｍａ ＣＴＢｓ）である３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵは、１つ又は複数のコーディング単位（ＣＵ）に再帰的に４分木分割することができる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１ＣＵ、３２×３２ピクセルの４ＣＵ、又は１６×１６ピクセルの１６ＣＵに分割することができる。例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプ等の、ＣＵの予測タイプを決定するために分析される。ＣＵは時間的及び／又は空間的予測可能性に依存して１つ以上の予測単位（ＰＵ）に分割される。一般に、各ＰＵはルマ予測ブロック（ＰＢ）と２つの彩度ＰＢを含む。一実施形態では、コーディング（エンコード／デコード）における予測操作は、予測ブロックのユニットにおいて実行される。予測ブロックの一例としてルマ予測ブロックを用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル等、ピクセルに対する値（例えば、ルマ値）の行列を含む。

図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオ画像シーケンス内の現在ビデオ画像内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされた画像にエンコードするように構成されている。一実施例では、ビデオエンコーダ（６０３）は、図３の例のビデオエンコーダ（３０３）の代わりに使用される。

ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプルの予測ブロック等の処理ブロックに対するサンプル値のマトリックスを受信する。ビデオエンコーダ（６０３）は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、又は双方向予測モードを使用して、最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ（６０３）は、処理ブロックをコーディングされた画像にエンコードするためにイントラ予測技術を使用し得、処理ブロックがインターモード又は双方向予測モードでコーディングされる場合、ビデオエンコーダ（６０３）は、処理ブロックをコーディングされた画像にコーディングするために、それぞれ、インター予測技術又は双方向予測技術を使用し得る。特定のビデオコーディング技術では、マージモードは、予測器外部のコーディングされた動きベクトル成分の利益なしに、動きベクトルが１つ以上の動きベクトル予測器から導出される画像間予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一実施形態では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）等の他の構成要素を含む

図６の例では、ビデオエンコーダ（６０３）は、図６に示すように一緒に結合されたエントロピーエンコーダ（６２５）と、インターエンコーダ（６３０）と、イントラエンコーダ（６２２）と、残差計算器（６２３）と、スイッチ（６２６）と、残差エンコーダ（６２４）と、汎用コントローラ（６２１）と、を含む。

インターエンコーダ（６３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照画像内の１つ以上の参照ブロックと比較し（例えば、先行する画像内及び後の画像内のブロック）、インター予測情報（例えば、インターエンコーディング技術による冗長情報の記述、動きベクトル、マージモード情報）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照画像は、エンコードされたビデオ情報に基づいてデコードされた、デコードされた参照画像である。

イントラエンコーダ（６２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを、同じ画像内で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によっては、イントラ予測情報（例えば、１つ以上のイントラコーディング技術に従ったイントラ予測方向情報）も生成するように構成されている。一実施例では、イントラエンコーダ（６２２）はまた、同じ画像内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

汎用制御デバイス（６２１）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（６０３）の他の構成要素を制御するように構成される。一実施形態では、汎用コントローラ（６２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（６２６）に制御信号を供給する。例えば、モードがイントラモードの場合、汎用コントローラ６２１は、スイッチ６２６を制御して、残差計算器６２３が使用するイントラモードの結果を選択し、エントロピーエンコーダ６２５を制御して、イントラ予測情報を選択し、ビットストリームにイントラ予測情報を含め、モードがインターモードの場合、汎用コントローラ６２１は、スイッチ６２６を制御して、残差計算器６２３が使用するインター予測結果を選択し、エントロピーエンコーダ６２５を制御して、インター予測情報を選択し、ビットストリームにインター予測情報を含める。

残差計算器（６２３）は、受信されたブロックと、イントラエンコーダ（６２２）又はインターエンコーダ（６３０）から選択された予測結果との差（残差データ）を計算するように構成される。残差エンコーダ（６２４）は、残差データに基づいて動作し、残差データをエンコードして変換係数を生成するように構成される。一実施例では、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインにコンバートし、変換係数を生成するように構成される。その後、変換係数は、量子化処理にかけられ、量子化された変換係数を得る。様々な実施形態では、ビデオエンコーダ（６０３）は、残差デコーダ（６２８）も含む。残差デコーダ（６２８）は、逆変換を実行し、デコードされた残差データを生成するように構成される。デコードされた残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）によって適切に使用されることができる。例えば、インターエンコーダ（６３０）は、デコードされた残差データ及びインター予測情報に基づいてデコードされたブロックを生成することができ、イントラエンコーダ（６２２）は、デコードされた残差データ及びイントラ予測情報に基づいてデコードされたブロックを生成することができる。デコードされたブロックは、いくつかの例では、デコードされた画像を生成するために適切に処理され、デコードされた画像は、メモリ回路（図示せず）内でバッファされ、参照画像として使用され得る。

エントロピーエンコーダ（６２５）は、エンコードされたブロックを含むようにビットストリームをフォーマットするように構成されている。エントロピーエンコーダ（６２５）は、ＨＥＶＣ標準のような適切な標準に従った種々の情報を含むように構成される。一実施例では、エントロピーエンコーダ（６２５）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及びビットストリーム内の他の適切な情報を含むように構成される。開示された主題にしたがって、インターモード又は双方向予測モードのいずれかのマージサブモードにおけるブロックをコーディングする場合、残差情報は存在しないことに留意されたい。

図７は、本開示の別の実施形態によるビデオデコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、コーディングされたビデオシーケンスの一部であるコーディングされた画像を受信し、コーディングされた画像をデコードして再構成画像を生成するように構成されている。一実施形態では、ビデオデコーダ（７１０）は、図３の実施形態のビデオデコーダ（３１０）の代わりに使用される。

図７の実施例では、ビデオデコーダ（７１０）は、図７に示すように一緒に結合されたイントラデコーダ（７７２）と、エントロピーデコーダ（７７１）と、インターデコーダ（７８０）と、残差デコーダ（７７３）と、再構成モジュール（７７４）と、及びを含む。

エントロピーデコーダ（７７１）は、コーディングされた画像から、そのコーディング画像を作成する（ｏｆ ｗｈｉｃｈ ｔｈｅ ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｉｓ ｍａｄｅ ｕｐ）構文要素を表す特定のシンボルを再構成するように構成することができる。かかるシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は別のサブモードにおけるインターモード、双方向予測モード等）、予測情報（例えば、イントラ予測情報又はインター予測情報）を含むことができ、それらは、イントラデコーダ（７２２）又はインターデコーダ（７８０）によって、それぞれ使用される特定のサンプル又はメタデータ、例えば量子化された変換係数の形態の残差情報等、を識別することができる。一実施例として、予測モードがインターモード又は双方向予測モードである場合には、インター予測情報がインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ（７７３）に提供される。

インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（７７３）は、逆量子化変換係数（ｄｅ－ｑｕａｎｔｉｚｅｄ ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を抽出するために逆量子化を実行し、逆量子化変換係数を処理して残差を周波数領域から空間領域にコンバートするように構成される。残差デコーダ（７７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要とすることがあり、その情報は、エントロピーデコーダ（７７１）によって提供され得る（データパスは、低ボリューム制御情報のみであるため、図示されていない）。

再構成モジュール（７７４）は、空間領域において、残差デコーダ（７７３）による出力としての残差と、（場合によってはインター又はイントラ予測モジュールによる出力としての）予測結果とを組み合わせて、再構成ブロックを形成するように構成され、これは、再構成画像の一部であり得、したがって、再構成ビデオの一部であり得る。デブロッキング等の他の適切な操作を行って、視覚品質を改善することができることに留意されたい。

なお、ビデオエンコーダ（３０３）、（５０３）及び（６０３）と、ビデオデコーダ（３１０）、（４１０）、及び（７１０）とは、任意の適切な技術を用いて実現することができる。一実施形態では、ビデオエンコーダ（３０３）、（５０３）及び（６０３）と、ビデオデコーダ（３１０）、（４１０）及び（７１０）とは、１つ以上の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）及び（５０３）と、ビデオデコーダ（３１０）、（４１０）、及び（７１０）とは、ソフトウェア命令を実行する１つ以上のプロセッサを使用して実現することができる。

ＩＩ． イントラブロックコピー

ブロックは、異なる又は同一の画像からの参照ブロックを使用してコーディングされることができる。異なる画像からの参照ブロックを用いたブロックベースの補償は、動き補償と称されることができる。同一画像内の、先行して再構成されたエリアからの参照ブロックを用いたブロックベース補償は、イントラ画像ブロック補償、現在画像参照（ＣＰＲ：ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ）、又はイントラブロックコピー（ＩＢＣ：ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ）と称されることができる。現在のブロックと参照ブロックとの間のオフセットを示す変位ベクトルは、ブロックベクトル（略してＢＶ又はｂｖＬ）と称されることができる。任意の値（ｘまたはｙ方向のいずれかで正または負）の動き補償の動きベクトルとは異なり、ＢＶは、参照ブロックがすでに再構築され、その再構築されたサンプルが利用可能である。いくつかの実施形態では、並列処理の制約を考慮して、特定の境界（例えば、タイル境界または波面ラダー形状境界）を超える参照領域が除外される

ＢＶのコーディングは、明示的又は暗示的（ｅｘｐｌｉｃｉｔ ｏｒ ｉｍｐｌｉｃｉｔ）のいずれかである。明示的モードでは、ＢＶとその予測子の違いは、インターコーディングの高度な動きベクトル予測（ＡＭＶＰ）モードと同様の方法でシグナリングされることができる。暗示的モードでは、ＢＶは、たとえばマージモードの動きベクトルと同様の方法で、予測子のみからリカバーされることができる。一部の実装では、ＢＶの解像度は整数位置に設定され、又は一部の実施例では、小数位置に設定される。

ブロックレベルでのＩＢＣの使用は、ブロックレベルフラグ（又はＩＢＣフラグ）を用いてシグナリングすることができる。いくつかの実施形態において、このフラグは、現在のブロックがマージモードでコーディングされていない場合にシグナリングされる。他の例では、このフラグは、例えば、現在のデコードされた画像を参照画像として扱うことによって、参照インデックスアプローチによってシグナリングすることができる。かかる参照画像は、ＨＥＶＣスクリーンコンテンツコーディング（ＨＥＶＣ ＳＣＣ）等の、リストの最後の位置に配置されることができる。この特別な参照画像は、デコードされた画像バッファ（ＤＰＢ）内の他の時間的参照画像と共に管理される。

ＩＢＣの一実施形態が、本開示の一実施例として使用されるが、本開示の一実施形態は、ＩＢＣの変形例に適用されることができる。ＩＢＣの変形例には、例えば、イントラ予測又はインター予測モードとは異なる第３のモードとしてＩＢＣを扱うことが含まれる。したがって、マージモード及びＡＭＶＰモードにおけるブロックベクトル予測は、通常のインターモードから分離されることができる。例えば、独立したマージ候補リストをＩＢＣモード用に定義／作成することができ、この場合、リスト内のすべてのエントリはブロックベクトルである。同様に、ＩＢＣ ＡＭＶＰモードにおけるブロックベクトル予測リストは、ブロックベクトルのみから構成され得る。ブロックベクトル予測リストは、候補導出プロセスに関して、インターマージ候補リスト又はＡＭＶＰ予測子リストと同じロジックに従うことができる。例えば、ＨＥＶＣ又はＶＶＣのインターマージモードにおける５つの空間的隣接位置は、ＩＢＣがそれ自身のマージ候補リストを導出するためにアクセスされる。

図８は、一実施形態によるＩＢＣベースの補償を使用してコーディングされる現在の画像（８００）内の電流ブロック（８１０）の概略図である。図８において、現在の画像（８００）が３つの行と５つの列に配置された１５ブロックを含むＩＢＣベースの補償を使用する例が示されている。いくつかの例では、各ブロックはＣＴＵに対応する。現在のブロック（８１０）は、現在の画像（８００）内の参照サブブロック（８３２）を指すブロックベクトル（８２２）を有するサブブロック（８１２）（例えば、ＣＴＵ内のコードブロック）を含む。

現在画像の再構成されたサンプルは、メモリ又はメモリブロック（例えば、専用の又は指定されたメモリ又はメモリの一部）に格納され得る。実装コストを考慮すると、専用メモリのメモリサイズによっては、再構築されたサンプルが参照ブロックのために利用可能なままである参照領域は、フレーム全体ほど大きくない場合がある。したがって、ＩＢＣベースの補償を使用する現在サブブロックについては、いくつかの例において、ＩＢＣ参照サブブロックは、特定の隣接領域のみに限定され得るが、全体像には限定されない。

一実施例において、メモリサイズは１ＣＴＵのサイズに制限され、これは、参照ブロックが現在のブロックと同じＣＴＵ内にある場合にのみＩＢＣモードが用いられることができることを意味する。別の実施例では、メモリサイズは、２つのＣＴＵのサイズに制限され、これは、参照ブロックが現在のＣＴＵ内、又は現在のＣＴＵの左側にあるＣＴＵ内のいずれかにある場合にのみ、ＩＢＣモードが用いられることができることを意味する。参照ブロックが制約された（ｃｏｎｓｔｒａｉｎｅｄ）参照エリア（すなわち、指定されたローカルエリア）の外側にある場合、たとえそれが再構成されていても、参照サンプルはＩＢＣベースの補償に使用されないことがある。したがって、デコーダは、回復された又は決定されたブロックベクトルが、制約された参照エリア（すなわち、有効なサーチエリア）内の参照ブロックを指すかどうかをチェックする必要があり得る。本開示の態様は、いくつかの制約を除去する方法を含み、ブロックベクトルが制約された参照エリアの外側にある参照ブロックを指す場合であっても、デコーダがブロックベクトルを変更し使用することを可能にする。

一実施形態では、ＩＢＣで使用されるべき参照サンプルを格納するための有効なメモリ所要量は、１つのＣＴＵサイズである。一実施例では、ＣＴＵサイズは１２８×１２８サンプルである。現在ＣＴＵは、再構成中の現在領域を含む。現在領域は、６４×６４サンプルのサイズを有する。参照メモリは、現在領域内の再構成されたサンプルを格納することもできるので、参照メモリサイズが１２８×１２８サンプルのＣＴＵサイズに等しい場合、参照メモリは、６４×６４サンプルの３つの追加領域を格納することができる。したがって、サーチレンジは、参照サンプルを格納するための総メモリ所要量が変化しない間に（例えば、１２８×１２８サンプルの１ ＣＴＵサイズ又は合計４つの６４×６４参照サンプル）、先行して再構成されたＣＴＵの特定の部分を含むことができる。

実施例において、サーチレンジがＩＢＣ内で制限される場合、現在ブロックのＢＶは、現在ブロックの位置及びメモリサイズに応じて、現在ＣＴＢ境界、左側隣接ＣＴＢ境界等によって取り囲まれ得る。

図９Ａ～９Ｄは、本開示のいくつかの実施形態によるＩＢＣベース補償の例を示す。図９Ａ～９Ｄを参照すると、現在の画像（９０１）は、再構成中の現在ＣＴＵ（９１５）と、現在のＣＴＵ（９１５）の左隣である先行して再構成されたＣＴＵ（９１０）とを含む。現在の画像（９０１）内のＣＴＵは、ＣＴＵサイズとＣＴＵ幅を有する。現在ＣＴＵ （９１５）は４つの領域（９１６）～（９１９）を含む。同様に、先行して再構成されたＣＴＵ （９１０）は４つの領域（９１１）～（９１４）を含む。一実施形態では、ＣＴＵサイズは参照メモリサイズに等しい。例えば、ＣＴＵサイズ及び参照メモリサイズは１２８×１２８サンプルであり、領域（９１１）～（９１４）及び（９１６）～（９１９）のそれぞれのサイズは６４×６４サンプルである。

図９Ａを参照すると、現在領域（９１６）は再構成中である。現在領域（９１６）は、再構成されるべき現在ブロックを含む。いくつかの実施形態によれば、現在のブロックのためのサーチレンジは、現在領域（９１６）のコロケーションされたされた領域（９１１）を除外し、先行して再構成されたＣＴＵ（９１０）の領域（９１２）～（９１４）を含む。

図９Ｂを参照すると、現在領域（９１７）は再構成中である。現在領域（９１７）は、再構成されるべき現在ブロックを含む。現在領域（９１７）は、コロケーションされた（すなわち、同じ位置に配置された）領域（すなわち、先行して再構成されたＣＴＵ （９１０）内の領域（９１２））を有する。現在のブロックのためのサーチレンジは、コロケーションされた領域（９１２）を除外する。サーチレンジは、先行して再構成されたＣＴＵ（９１０）の領域（９１３）及び（９１４）と、現在のＣＴＵ（９１５）の領域（９１６）と、を含む。さらに、サーチレンジは、参照メモリサイズ（すなわち、１ＣＴＵサイズ）の制約のため、領域（９１１）を除外する。

図９Ｃを参照すると、現在領域（９１８）は再構成中である。現在領域（９１８）は、再構成されるべき現在ブロックを含む。現在の領域（９１８）は、先行して再構成されたＣＴＵ（９１０）内にコロケーションされた領域（すなわち、領域（９１３））を有する。現在ブロックのサーチレンジは、コロケーションされた領域（９１３）を除外する。サーチレンジは、先行して再構成されたＣＴＵ（９１０）の領域（９１４）、及び現在のＣＴＵ（９１５）内の領域（９１６）及び（９１７）を含む。さらに、サーチレンジは、参照メモリサイズの制約のために、領域（９１１）及び（９１２）を除外する。

図９Ｄを参照すると、現在領域（９１９）は再構成中である。現在領域（９１９）は、再構成される現在ブロックを含む。現在領域（９１９）は、先行して再構成されたＣＴＵ （９１０）内にコロケーションされた領域（すなわち、領域（９１４））を有する。現在ブロックのためのサーチレンジは、コロケーションされた領域（９１４）を除外する。サーチレンジは、現在のＣＴＵ（９１５）内の領域（９１６）～（９１８）を含む。サーチレンジは、参照メモリサイズの制約のため、領域（９１１）～（９１３）を除外し、したがって、サーチレンジは、先行して再構成されたＣＴＵ（９１０）全体を除外する。

ＢＶ及び／又はサーチレンジに様々な制約を適用することができる。一実施形態では、現在のＣＴＵにおいて再構成中の現在ブロックのためのサーチレンジは、現在のＣＴＵ内にあるように制約される。

一実施形態では、現在の画像は、ルマ画像（ｌｕｍａ ｐｉｃｔｕｒｅ）であり、現在のＣＴＵは、複数のルマサンプル及びブロックベクトル（ｍｖＬ、１／１６－ｐｅｌ解像度）を含むルマＣＴＵである。いくつかの実施形態では、ルマ動きベクトルｍｖＬは、ビットストリーム適合性について、以下の制約Ａ１、Ａ２、Ｂ１、Ｃ１、及びＣ２に従う。

いくつかの実施態様において、第１の制約（Ａ１）及び第２の制約（Ａ２）は、現在のブロックのための参照ブロックが既に再構成されていることを必要とする。例えば、参照ブロックが矩形形状を有する場合、参照ブロックの左上のサンプル及び右下のサンプルが再構成されているかどうかをチェックするために、参照ブロックの可用性チェックプロセスを実施することができる。参照ブロックの左上のサンプルと右下のサンプルの両方が再構成されている場合、参照ブロックは再構成されるものと決定される。

第１の制約（Ａ１）において、いくつかの実施形態によれば、参照ブロック可用性のための導出プロセスが、入力として、（ｘＣｂ，ｙＣｂ）に等しく設定された現在ブロックの左上のサンプルの位置（ｘＣｕｒｒｒ，ｙＣｕｒｒ）及び参照ブロックの左上のサンプルの位置（ｘＣｂ＋（ｍｖＬ［０］＞４）、ｙＣｂ＋（ｍｖＬ［１］＞＞４））で呼び出される場合、参照ブロックの左上のサンプルが再構築されると、出力はＴＲＵＥに等しくなり、ここで、動きベクトルｍｖＬは、ｘ成分ｍｖＬ［０］とｙ成分ｍｖＬ［１］を持つ２次元ベクトルである。

第２の制約（Ａ２）において、いくつかの実施形態によれば、ブロック可用性のための導出プロセスが、入力として、（ｘＣｂ，ｙＣｂ）に等しく設定された現在のブロックの左上のサンプルの位置（ｘＣｕｒｒｒ，ｙＣｕｒｒ）及び参照ブロックの右下のサンプルの右下のサンプルの位置（ｘＣｂ＋（ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈ－１，ｙＣｂ＋（ｍｖＬ［１］＞＞４）＋ｃｂＨｅｉｇｈｔ－１）で呼び出される場合、出力は、参照ブロックの右下のサンプルが再構成されるとき、ＴＲＵＥに等しい。パラメータｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔは、それぞれ参照ブロックの幅と高さを表す。

第３の制約（Ｂ１）は、いくつかの実施例では、以下の条件のうちの少なくとも１つを含む：
１） （ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈの値が０以下であり、これは参照ブロックが現在のブロックの左側にあり、現在のブロックとオーバーラップしないことを示す；
２） （ｍｖＬ［１］＞＞４）＋ｃｂＨｅｉｇｈｔの値が０以下であり、これは参照ブロックが現在ブロックより上方にあり、現在ブロックとオーバーラップしないことを示す。

第４の制約条件（Ｃ１）において、いくつかの実施態様において、以下の条件が真（ｔｒｕｅ）である：
（ｙＣｂ＋（ｍｖＬ［１］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ （１）
（ｙＣｂ＋（ｍｖＬ［１］＞＞４＋ｃｂＨｅｉｇｈｔ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ ＣｔｂＬｏｇ２Ｓｉｚｅ （２）
（ｘＣｂ＋（ｍｖＬ［０］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＞＝ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１
（３）
（ｘＣｂ＋（ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈ－１）＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＜＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ） （４）
ここで、ＣｔｂＬｏｇ２ＳｉｚｅＹはＣＴＵ幅をｌｏｇ２形式で表す。例えば、ＣＴＵ幅が１２８サンプルの場合、ＣｔｂＬｏｇ２ＳｉｚｅＹは７である。式（１） 及び（２）は、参照ブロックを含むＣＴＵが、現在ＣＴＵと同じＣＴＵ行内にある（すなわち、参照ブロックが先行して再構成されたＣＴＵ（１０１０）内にある場合、先行して再構成されたＣＴＵ（１０１０）は現在ＣＴＵ（１０１５）と同じ行内にあること）ことを特定する。式 （３）及び（４）は、参照ブロックを含むＣＴＵが、現在ＣＴＵの左側のＣＴＵ列、又は現在ＣＴＵと同じＣＴＵ列のいずれかにあることを特定する。式（１）～（４）で記載される第４の制約は、参照ブロックを含むＣＴＵが、現在ＣＴＵ、又は現在のＣＴＵの左隣接ＣＴＵのいずれかであることを特定する。

いくつかの実施態様において、第５の制約（Ｃ２）は、参照ブロックが現在ＣＴＵの左隣接部にある場合、参照ブロックのためのコロケーションされた領域は再構成されない（すなわち、コロケーションされた領域内のサンプルは再構成されていない）ことを含む。さらに、参照ブロックに対するコロケーションされた領域は、現在ＣＴＵ内にある。

実施例において、第５の制約は、下記のように特定されることができる：
（ｘＣｂ＋（ｍｖＬ［０］＞＞４））＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹが（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）－１に等しい場合、参照ブロック可用性の導出プロセスは、入力として、（ｘＣｂ，ｙＣｂ）に等しく設定された現在ブロックの位置（ｘＣｕｒｒ，ｙＣｕｒｒ）と、（（（ｘＣｂ＋（ｍｖＬ［０］＞＞４）＋ＣｔｂＳｉｚｅＹ）＞＞（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））＜＜（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１），（（ｙＣｂ＋（ｍｖＬ［１］＞＞４））＞＞（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））＜＜（ＣｔｂＬｏｇ２ＳｉｚｅＹ－１））の位置と、で呼び出され、出力は、コロケーション領域（ｃｏｌｌｏｃａｔｅｄ ｒｅｇｉｏｎ）が再構成されないことを示すＦＡＬＳＥに等しい。

上記の式において、ｘＣｂ及びｙＣｂは、それぞれ現在ブロックのｘ及びｙ座標である。変数ｃｂＨｅｉｇｈｔとｃｂＷｉｄｔｈは、それぞれ現在ブロックの高さと幅である。変数ｍｖＬ０［０］及び変数ｍｖＬ０［１］は、それぞれブロックベクトルｍｖＬ０のｘ及びｙ成分を表す。サーチレンジ及び／又はブロックベクトルに対する制約は、上述の第１、第２、第３、第４、及び第５の制約の適切な組み合わせを含むことができる。一実施例では、第１、第２、第３、第４、及び／又は第５制約を変更することができる。

ＩＩＩ． 空間的マージ候補

図１０は、一実施形態による、現在ブロック（１０１０）の空間マージ候補位置の例を示す。最大４つのマージ候補が選択されることができ、図１０に示す候補位置の中から導出されることができる。導出の順序は、一実施例において、Ａ０、Ｂ０、Ｂ１、Ａ１及びＢ２であり得る。一実施例では、位置Ｂ２は、位置Ａ０、Ｂ０、Ｂ１、及びＡ１の任意のＣＵが使用不可能であるか、又はイントラコーディングされている場合にのみ考慮される。一実施例では、ある位置のＣＵは、そのＣＵが別のスライス又はタイルに属する場合、利用できないことがある。

ＩＶ． 履歴ベースのマージ候補の導出

いくつかの実施形態では、履歴ベースの動きベクトル予測（ＨＭＶＰ）マージ候補が、空間的及び時間的な候補ＭＶＰの後、現在のＣＵの拡張マージリストに追加される。ＨＭＶＰでは、先行してコーディングされたブロックの動き情報をテーブル（又は履歴バッファ）に格納し、現在ＣＵのＭＶＰ候補として使用することができる。かかる動き情報は、ＨＭＶＰ候補と呼ばれる。複数のＨＭＶＰ候補を有するテーブルは、エンコード又はデコードプロセスの間、維持される。一実施例では、テーブルは、新しいＣＴＵ行が検出された場合、リセット（空に）されることができる。一実施形態において、非サブブロックインターコーディングＣＵが存在する場合はいつでも、関連する動き情報は、新たなＨＭＶＰ候補として、テーブルの最後のエントリに追加されることができる。

一実施形態では、Ｓで示されるＨＭＶＰテーブルのサイズは、６に設定される。したがって、最大６個のＨＭＶＰ候補がテーブルに追加される可能性がある。一実施形態において、新たな動き候補をテーブルに挿入するとき、制約付き先入先出（ＦＩＦＯ）ルールを利用することができる。 さらに、新たなＨＭＶＰ候補を追加するときに、テーブルに同一のＨＭＶＰがあるかどうかを確認するために、冗長性チェックを適用することができる。テーブル内に同一のＨＭＶＰが見つかった場合、同一のＨＭＶＰ候補がテーブルから削除され、削除されたＨＭＶＰ候補に続くすべてのＨＭＶＰ候補が前に移動され得る。その後、新たなＨＭＶＰ候補をテーブルの最後に追加されることができる。

一実施形態では、ＨＭＶＰ候補は、拡張マージ候補リスト構築プロセスにおいて使用される。一実施形態では、テーブル内のいくつかの新たに追加されたＨＭＶＰ候補は、順番にチェックされ、ＴＭＶＰ候補の後の位置で拡張候補リストに挿入されることができる。冗長性チェックは、ＨＭＶＰ候補が、先行して拡張マージリストに追加された空間的又は時間的マージ候補と類似しているか、又は同一であるかどうかを決定するために適用され得る。

ＨＭＶＰ候補はまた、ＡＭＶＰ候補リスト構築プロセスで使用されることもできる。テーブル内の最後のＫ ＨＭＶＰ候補の動きベクトルをＴＭＶＰ候補の後に挿入した。ＡＭＶＰ候補リストの構築には、ＡＭＶＰターゲット参照画像と同じ参照画像を有するＨＭＶＰ候補のみが使用される。プルーニング（Ｐｒｕｎｉｎｇ）はＨＭＶＰ候補に適用される。用途によっては、ＡＭＶＰリストサイズが変更されない、すなわち、２に等しいまま、Ｋが４に設定される場合があります。

冗長性チェック操作の数を減らすために、以下の簡略化を実施形態に導入する：
（ｉ） 拡張マージリストの生成に使用されるＨＭＰＶ候補の数は、（Ｎ＜＝４）？Ｍ：（８－Ｎ）として設定され、ここで Ｎは、拡張マージリスト内の既存の候補の数を示し、Ｍは、履歴テーブル内の使用可能なＨＭＶＰ候補の数を示す。
（ｉｉ） 拡張マージリスト内の利用可能なマージ候補の総数が、最大許容マージ候補から１を引いた数に達すると、ＨＭＶＰからのマージ候補リスト構築プロセスが終了する。

いくつかの実施形態によれば、ＩＢＣがインターモードとは別のモードとして動作する場合、ＨＢＶＰと呼ばれる別の履歴バッファを使用して、先行してコーディングされたＩＢＣブロックベクトルを格納することができる。相互予測とは別のモードとして、ＩＢＣモードのための単純化ブロックベクトル導出プロセスを持つことが望ましい。ＡＭＶＰモードでのＩＢＣ ＢＶ予測の候補リストは、ＩＢＣマージモード（マージ候補リスト）で使用される候補リストと、２つの空間候補＋５つのＨＢＶＰ候補とが共有される場合があります。

ＩＢＣモードのマージ候補リストサイズはＭａｘＮｕｍＭｅｒｇｅＣａｎｄとして割り当てることができる。ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、いくつかの例では６＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄとして指定されている、モード間マージ候補リストサイズＭａｘＮｕｍＭｅｒｇｅＣａｎｄによって決定され得る。変数 ６＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄは、６から差し引いたスライスでサポートされるマージ動きベクトル予測（ＭＶＰ）候補の最大数を指定することができます。

いくつかの実施例では、マージＭＶＰ候補の最大数、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは以下のように導出される：
ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ＝６－ｓｉｘ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ

ＭａｘＮｕｍＭｅｒｇｅＣａｎｄの値は１～６の範囲であり得る。非マージモードでのＢＶ予測は、ＩＢＣマージモードで生成されたのと同じリストを共有し得る。しかしながら、いくつかの実施例では、非マージモードの場合、候補リストサイズは常に２である。したがって、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが種々の値に設定され、ＩＢＣマージ候補リストの最大数がインターマージ候補リストサイズと比較して異なるように設定される場合、ＩＢＣマージ候補リストサイズ及びＩＢＣ非マージモード（ＡＭＶＰモード）予測リストサイズを取り扱うための適切な方法を開発する必要がある。

Ｖ． ＩＢＣモードに対するブロックベクトルの変換／変更

上述のように、いくつかの実施形態では、有効なデコードされたブロックベクトルに対する既存の制約は、少なくとも２つの要件を含む：

（ｉ） ブロックベクトルが指す参照ブロックは、完全に再構成され、且つ現在ブロックと同じコーディング領域の内側にある必要がある。同じコーディング領域は、同じタイル、又はスライス、又はタイル群等の、試料が互いに予測し得るエリアを指し得る。このタイプの制約は、可用性チェック制約と称され得る。

（ｉｉ） ブロックベクトルが指す参照ブロックは、波動並列処理（ＷＰＰ）能力、メモリ要求に対する現在ＣＴＵ及び左側ＣＴＵ範囲などの考慮の観点から、許容されるサーチレンジの内側である必要がある。この種の制約は、レンジ制約と称され得る。

本開示の態様は、いくつかの制約（例えば、範囲制約、可用性検査）が除去され得るように、デコードされたブロックベクトルを変換／変更する方法を含む。この点に関して、デコーダは、ブロックベクトルがＩＢＣモードで現在のブロックをデコードする際の要件のいくつかを満たしているかどうかをチェックする必要がない場合がある。

例えば、ビットストリーム適合性の制約は、動きベクトル（ｍｖＬ）が、現在のブロックと同じＣＴＵに完全に含まれるか又は現在のＣＴＵと同じ高さ、１２８ルマサンプルに等しい幅を有する左側のブロックに完全に含まれる参照ブロックを指すことを含み得る。すなわち、以下の条件の全てが真である：
ｙＲｅｆＴＬ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ （５）
ｙＲｅｆＢＲ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＝ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ （６）
ｘＲｅｆＴＬ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＞＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）＋Ｍｉｎ（１，７－ＣｔｂＬｏｇ２ＳｉｚｅＹ）－（１＜＜（（７－ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜１））） （７）
ｘＲｅｆＢＲ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ＜＝（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ） （８）

本開示のいくつかの実施形態にしたがってブロックベクトルが変換され／変更される場合、上記のビットストリーム適合制約（すなわち、式（５）～（８））は取り除かれることができる。

本開示のいくつかの実施形態において、モジュロ演算は、現在ＣＴＵのサイズに基づいて、ブロックベクトルのｘ成分及びｙ成分の両方に対して実行され得、その結果、参照ブロックの左上の位置が、ＩＢＣのための予め定義されたサーチレンジ（例えば、現在のＣＴＵ又は左隣のＣＴＵ）の外側にある場合、変更されたブロックベクトルは、参照ブロックの左上コーナーをターゲットレンジ（例えば、参照メモリサイズ及び現在のＣＴＵにおける現在ブロックの位置に基づいて、許容される／有効なサーチレンジ）内で移動し得る。一実施形態では、変更されたブロックベクトルは、ターゲットレンジ内の別の参照ブロックの左上コーナーを指すことができる。あるいは、ブロックベクトルがターゲットレンジ内の参照ブロックを指す場合、このブロックベクトルに変化（例えば、変更（ｍｏｄｉｆｉｃａｔｉｏｎ））を与えることはできない。

本開示の一実施形態において、無効なブロックベクトル（例えば、有効な検索範囲外）は、現在ＣＴＵ内にあるように変更されてもよい。本開示の一実施形態では、ターゲットレンジが現在ＣＴＵ及び左隣のＣＴＵを含む場合、無効なブロックベクトルは、現在ＣＴＵ又は左隣のＣＴＵにあるように変更され得る。本開示の一実施形態では、ターゲットレンジは、参照サンプルメモリのサイズ及び現在画像中のＣＴＵのサイズに応じて、現在ＣＴＵ及び多数の左側ＣＴＵを含むことができる。

一実施形態では、ブロックベクトルのｘ成分及びブロックベクトルのｙ成分は、以下の式を用いて修正され得る：
ｂｖＬ［０］＝ｘＲｅｆＴＬ％ＣｔｂＳｉｚｅＹ＋ｘＣｕｒｒＣｔｕＴＬ－ｘＣｂ－（（ｘＲｅｆＣｔｕＴＬ＜ｘＣｕｒｒＣｔｕＴＬ＆＆ｘＣｕｒｒＣｔｕＴＬ－ｘＲｅｆＣｔｕＴＬ＜＝ｎｕｍＬｅｆｔＣｔｕｓ＊ＣｔｂＳｉｚｅＹ）？ｘＣｕｒｒＣｔｕＴＬ－ｘＲｅｆＣｔｕＴＬ：０） （９）
ｂｖＬ［１］＝ｙＲｅｆＴＬ％ＣｔｂＳｉｚｅＹ＋ｙＣｕｒｒＣｔｕＴＬ－ｙＣｂ （１０）

上記の２つの式（９）及び（１０）において、ｂｖＬ［０］はブロックベクトルのｘ成分を表し、ｂｖＬ［１］はブロックベクトルのｙ成分を表す。ＣｔｂＳｉｚｅＹはＣＴＵのサイズ（例えばルマサンプル）を表し、’‘％’‘はモジュロ演算子である。モジュロ演算子は、ターゲットレンジが１つ以上の左側ＣＴＵを含む場合、ＣＴＵのサイズの倍数に基づいて実行することができます。この倍数（ｍｕｌｔｉｐｌｅ）は、ターゲットレンジに含まれる１つ以上の左側ＣＴＵの数に対応する。例えば、ターゲットレンジが現在ＣＴＵと左隣のＣＴＵを含む場合、倍数は２に等しくなることができ、ターゲットレンジが現在のＣＴＵと３つの左側ＣＴＵとを含む場合、倍数は８に等しくなることができる。現在のＣＴＵの左上位置（ｘＣｕｒｒＣｔｕＴＬ，ｙＣｕｒｒＣｔｕＴＬ）と、参照ブロックが（ｘＲｅｆＣｔｕＴＬ，ｙＲｅｆＣｔｕＴＬ）にあるＣＴＵの左上の位置は、以下のように導出される：
（ｘＣｕｒｒＣｔｕＴＬ，ｙＣｕｒｒＣｔｕＴＬ）＝（（ｘＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ，（ｙＣｂ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ） （１１）
（ｘＲｅｆＣｔｕＴＬ，ｙＲｅｆＣｔｕＴＬ）＝（（ｘＲｅｆＴＬ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ，（ｙＲｅｆＴＬ＞＞ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜ＣｔｂＬｏｇ２ＳｉｚｅＹ （１２）

さらに、式（９）の変数ｎｕｍＬｅｆｔＣｔｕｓは、現在ＣＴＵの左側ＣＴＵの数を示し、以下のように導出することができる：
ｎｕｍＬｅｆｔＣｔｕｓ＝（１＜＜（（７－ＣｔｂＬｏｇ２ＳｉｚｅＹ）＜＜１）））－Ｍｉｎ（１，７－ＣｔｂＬｏｇ２ＳｉｚｅＹ） （１３）

変更後、ブロックベクトルの解像度をストレージのために使用されるものに変えるために、シフト操作が実行され得る。ブロックベクトルの分解能をシフトする例を次に示す：
ｍｖＬ〔０〕＝ｂｖＬ〔０〕＜＜４ （１４）
ｍｖＬ〔１〕＝ｂｖＬ〔１〕＜＜４ （１５）

本開示のいくつかの実施形態において、ブロックベクトルは、変更されることができ、結果として、変更前に位置していたＣＴＵに対する参照ブロックのオフセットが、変更後の現在ＣＴＵに対する変更された参照ブロックのオフセットと同じになる。
この点に関して、ブロックベクトルの変更は、オフセットの変更をもたらす場合がある。オフセットは、式（９）の（ｘＲｅｆＣｔｕＴＬ＜ｘＣｕｒｒＣｔｕＴＬ＆＆ｘＣｕｒｒＣｔｕＴＬ－ｘＲｅｆＣｔｕＴＬ＜＝ｎｕｍＬｅｆｔＣｔｕｓ＊ＣｔｂＳｉｚｅＹ）と等しくなり得る。

本開示の一実施形態では、参照ブロックの右下コーナー（ｘＲｅｆＢＲ、ｙＲｅｆＢＲ）は、上述の左上コーナー（ｘＲｅｆＴＬ、ｙＲｅｆＴＬ）と同様に修正することができる。したがって、開示の態様は、参照ブロックの上左隅だけでなく、全体の参照ブロックが現在のＣＴＵ内にあることを確実にすることができる。

本開示の一実施形態では、クリッピング後に、ブロックベクトルが常にターゲットレンジ内の参照ブロックを指すように、クリッピング操作が行われ、デコードされたブロックベクトルを調整することができる。参照ブロックの左上の位置がＩＢＣのための許容シーチレンジ外の場合（例えば、現在のＣＴＵ又は左隣接するＣＴＵ）、変更されたブロックベクトルは参照ブロックの左上コーナーがターゲットレンジ内に入るように、参照ブロックの左上コーナーを調整することができる。あるいは、ブロックベクトルがターゲットレンジ内の参照ブロックを指す場合には、このブロックベクトルに変化（例えば、クリッピング操作）を適用しない場合がある。

一実施例において、ブロックベクトルのｘ成分又はｙ成分の１つがターゲットレンジ外である場合、クリッピング操作を適用することによって、参照ブロックの左上コーナーをターゲットレンジ内にクリッピングされ得る。参照ブロックの右下のコーナーは、ターゲットレンジ内にクリップされ得る。参照ブロックの左上コーナーと参照ブロックの右下コーナーの両方はターゲットレンジ内にクリップされると、参照ブロック全体がターゲットレンジ内にある。

一実施形態では、参照ブロックの左上コーナーのｙ座標（ブロックベクトルによって示される）が現在ＣＴＵ行の外側にある場合、ブロックベクトルは、現在ＣＴＵの頂部行（すなわち、現在のＣＴＵの境界）にあるようにクリッピングされ得る。同様に、参照ブロックの左上コーナーのｘ座標（ブロックベクトルで示される）が、現在ＣＴＵ又は左隣のＣＴＵレンジ外の場合、ブロックベクトルは、現在ＣＴＵの最も左の列にクリップされ得る。したがって、結合されていないブロックベクトル（ｏｕｔ－ｏｆ－ｂｏｕｎｄ ｂｌｏｃｋ ｖｅｃｔｏｒ ）は、変更された参照ブロックが現在ＣＴＵの頂部行又は最も左の列のいずれかにあるように、クリップされることができる。

他のすべての制約（例えば、上述の第１、第２、第３、及び第５の制約）は、変更されたブロックベクトルが有効であるかどうかを評価するために、依然として使用され／課され得ることに留意されたい。

本開示の一実施形態では、以下のビットストリーム制約は、デコードされたブロックベクトルに変更（上述のクリッピング又はモジュロ操作のいずれか）を適用することによって除去され得る：

以下の条件のいずれか又は両方が真であるものとする：
（ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈの値が０以下である
（ｍｖＬ［１］＞＞＞４）＋ｃｂＨｅｉｇｈｔの値が０以下である

上記の条件は、参照ブロックが現在ブロックとオーバーラップしないことを保証するために使用され得る。
参照ブロックが現在のブロックとオーバーラップする場合（すなわち、両方の条件が偽である場合）、ブロックベクトルは、上記の２つの条件のうちの少なくとも１つが真になることを保証するように変更され得る。本開示の一実施形態では、デコードされたブロックベクトルに対して操作／変更が行われない場合でも、上記の２つの条件は取り除かれることができる。

例えば、上記２つの条件のいずれかが真になることを保証するために、以下の操作を適用することができる：
（ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈ＞０及び（ｍｖＬ［１］＞４）＋ｃｂＨｅｉｇｈｔ＞０の場合は、以下が適用される：
ｍｖＬ［０］＝－ｃｂＷｉｄｔｈ＜＜４

別の例では、次の操作を適用して、上記の２つの条件の１つが真になることを確実にすることができる：
（ｍｖＬ［０］＞＞４）＋ｃｂＷｉｄｔｈ＞０及び（ｍｖＬ［１］＞４）＋ｃｂＨｅｉｇｈｔ＞０の場合は、以下が適用される：
ｍｖＬ［１］＝－ｃｂＨｅｉｇｈｔ＜＜４

ＶＩ． 例示的なデコーディングプロセス

図１１は、本開示のいくつかの実施形態による、プロセス（１１００）を概説するフローチャートを示す。プロセス（１１００）は、現在ブロックをＩＢＣモードでデコードする際に使用することができる。様々な実施形態では、プロセス（１１００）は、端末装置（２１０）、（２２０）、（２３０）及び（２４０）における処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路などの処理回路によって実行されることができる。いくつかの実施形態では、プロセス（１１００）は、ソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス（１１００）を実行する。プロセスは（Ｓ１１０１）から始まり、（Ｓ１１１０）に進む。

（Ｓ１１１０）において、現在画像を含むコーディングされたビデオビットストリームが受信される。

（Ｓ１１２０）において、現在画像に含まれる現在コーディングツリーユニット（ＣＴＵ）内の現在ブロックが、イントラブロックコピー（ＩＢＣ）モードでコーディングされているかどうかを、コーディングされたビデオビットストリームに含まれるフラグに基づいて決定する。フラグは、ブロックレベルでＩＢＶの使用を示すＩＢＣフラグであり得る。現在ブロックがＩＢＣモードでコーディングされていないと決定される場合、図１１に示されているプロセスは終了する。

（Ｓ１１３０）では、現在ブロックがＩＢＣモードでコーディングされていると決定されていることに応答して、現在のブロックの第１参照ブロックを指すブロックベクトルを決定する。ブロックベクトルは、ＩＢＣ ＡＭＶＰモード又はマージモードに基づいて決定され得る。

（Ｓ１１４０）において、ブロックベクトル上で操作を実行し、したがって、第１参照ブロックが完全に再構成されていないか、又は現在のブロックの有効なサーチレンジ内にない場合に、ブロックベクトルは変更されて、完全に再構成された領域内にあり且つ現在ブロックの有効なサーチレンジ内にある第２参照ブロックを指す。例えば、現在のＣＴＵのサイズに基づいて、ブロックベクトルのｘ成分及びｙ成分のそれぞれにモジュロ操作を実行することができる。一実施形態では、ブロックベクトルのｘ成分及びブロックベクトルのｙ成分は、式（９）及び式（１０）を使用して変更され得る。一実施形態では、現在ＣＴＵのサイズの倍数に基づいて、ブロックベクトルのｘ成分にモジュロ操作を実行する。現在ＣＴＵのサイズに基づいて、ブロックベクトルのｙ成分にモジュロ操作を実行する。ブロックベクトルが、完全に再構成された、現在のブロックの有効なサーチレンジ内にある参照ブロックを指す場合、実行された操作（例えば、式（９）及び式（１０））は、ブロックベクトルを変更しない。その場合、第１参照ブロックは第２参照ブロックと同じである。

（Ｓ１１５０）において、現在のブロックは、変更されたブロックベクトルに基づいてデコードされる。具体的には、現在のブロックは、変更されたブロックベクトルが指す第２の参照ブロック内の参照サンプルに基づいてデコードされ得る。プロセス（１１００）は（Ｓ１１９９）に進み、（Ｓ１１９９）において終了する。

ＶＩＩ． コンピュータシステム

上記の技術は、コンピュータ可読命令を用いたコンピュータソフトウェアとして行うことができて、物理的に一つ以上のコンピュータ可読媒体に格納されることができる。例えば、図１２は、開示された主題の特定の実施例を実施するのに適しているコンピュータシステム（１４００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は類似のメカニズムの対象となり得る任意の適切な機械コード若しくはコンピュータ言語を使用してコーディングされることができ、直接実行されることができるか、又は、１つ以上のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）等による、実施、マイクロコード実行等を介して実行されることができる命令を含むコードを作成する。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、物品のインターネット等を含む種々のタイプのコンピュータ又はその構成要素上で実行されることができる。

コンピュータシステム（１２００）のための図１２に示されるコンポーネントは、例示的な性質のものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能性に関する制限を示唆することを意図するものではない。また、コンポーネントの構成は、コンピュータシステム（１２００）の例示的な実施形態に示されるコンポーネントのいずれか１つ又は組み合わせに関連する依存性又は要件を有すると解釈されるべきではない

コンピュータシステム（１２００）は、特定のヒューマンインタフェース入力デバイスを含み得る。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スイッピング、データグローブの動き）、音声入力（例えば、音声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介して、一人又は複数の人間ユーザによる入力に応答し得る。また、ヒューマンインタフェースデバイスは、オーディオ（例えば、音声、音楽、周囲の音声）、画像（例えば、走査画像、静止画像カメラから得られる写真画像）、ビデオ（例えば、２次元ビデオ、立体画像を含む３次元ビデオ）等の、人間による意識的入力に必ずしも直接関係しない特定の媒体を捕捉するために用いられ得る。

入力ヒューマンインタフェースデバイスには、次のものが１つ以上含まれ得る（それぞれ１つのみ表されている）：キーボード（１２０１）、マウス（１２０２）、トラックパッド（１２０３）、タッチスクリーン（１２１０）、データグローブ（図示せず）、ジョイスティック（１２０５）、マイクロホン（１２０６）、スキャナ（１２０７）、カメラ（１２０８）。

コンピュータシステム（１２００）はまた、特定のヒューマンインタフェース出力デバイスを含み得る。かかるヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光、及び嗅覚／味覚を通して、１人又は複数の人間ユーザの感覚を刺激し得る。かかるヒューマンインタフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１２１０）、データグローブ（図示せず）、又はジョイスティック（１２０５）による触覚フィードバック）、入力デバイスとして働かない触覚フィードバックデバイスであることもでき）と、オーディオ出力デバイス（例えば、スピーカー（１２０９）、ヘッドフォン（図示せず））と、視覚出力デバイス（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１２１０）であり、各々が触覚フィードバック能力を有するか又は有さず、各々が触覚フィードバック能力を有するか又は有さず、そのうちのいくつかは、仮想現実眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）等の立体出力のような手段を介して２次元視出力又は３次元以上の出力を可能にし得るもの）と、プリンタ（図示せず）と、を含み得る。

コンピュータシステム（１２００）はまた、人間がアクセス可能な記憶デバイスと、それらのアクセス可能な媒体とを含むことができ、媒体は、例えば、ＣＤ／ＤＶＤ等の媒体（１２２１）によるＣＤ／ＤＶＤ ＲＯＭ／ＲＷを含む光学媒体ドライブ（１２２０）、ＵＳＢメモリ（１２２２）、着脱可能ヘッドドライブ又はソリッドステートドライブ（１２２３）、テープ、フロッピーディスク（図示せず）等の従来の磁気媒体、セキュリティドングル等の特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースデバイス等である。

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解されたい。

コンピュータシステム（１２００）はまた、１つ以上の通信ネットワークへのインタフェースを含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは、さらに、ローカル、広域、大都市、車両及び工業、リアルタイム、遅延耐性等であり得る。ネットワークの例としては、イーサネット、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等を含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上放送ＴＶ、ＣＡＮＢｕｓを含む産業用及び車両用を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（１２４９）に接続される外部ネットワークインタフェースアダプタ（例えば、コンピュータシステム（１２００）のＵＳＢポート）を必要とし、他のネットワークは、一般に、以下に説明するシステムバスに接続されることにより、コンピュータシステム（１２００）のコアに統合される（、例えば、ＰＣコンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインタフェースである）。これらのネットワークのいずれかを使用して、コンピュータシステム（１２００）は、他のエンティティと通信することができる。かかる通信は、単指向性通信、受信のみ（例えば、放送テレビ）通信、単指向性送信専用（例えば、特定のＣＡＮバスデバイスへのＣＡＮバス）通信、又は、例えばローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの、双方向通信であることができる。特定のプロトコル及びプロトコルスタックは、上述のように、それらのネットワーク及びネットワークインタフェースの各々で使用されることができる。

前述のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス、及びネットワークインタフェースは、コンピュータシステム（１２００）のコア（１２４０）に接続されることができる。。

コア（１２４０）は、１つ以上の中央処理デバイス（ＣＰＵ）（１２４１）、グラフィックス処理デバイス（ＧＰＵ）（１２４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１２４３）の形態の特殊なプログラマブル処理デバイス、特定のタスクのためのハードウェアアクセラレータ（１２４４）等を含むことができる。これらのデバイスは、読出し専用メモリ（ＲＯＭ） （１２４５）、ランダムアクセスメモリ（１２４６）、内部大容量記憶デバイス、例えば内部非ユーザアクセス可能ハードドライブ、ＳＳＤ等（１２４７）と共に、システムバス（１２４８）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（１２４８）は、追加のＣＰＵ、ＧＰＵ等による拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺デバイスは、コアのシステムバス（１２４８）に直接接続するか、又は周辺バス（１２４９）を介して接続することができる。周辺バスのアーキテクチャは、ＰＣＩ、ＵＳＢ等を含む。

ＣＰＵ（１２４１）、ＧＰＵ（１２４２）、ＦＰＧＡ（１２４３）、及びアクセラレータ（１２４４）は、組み合わされて、上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ＲＯＭ（１２４５）又はＲＡＭ（１２４６）に格納されることができる。移行データは、ＲＡＭ（１２４６）に格納されることもできるが、永久データは例えば内部大容量記憶デバイス（１２４７）に格納されことができる。１つ以上のＣＰＵ（１２４１）、ＧＰＵ（１２４２）、大容量記憶デバイス（１２４７）、ＲＯＭ（１２４５）、ＲＡＭ（１２４６）等と密接に関連付けることができるキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索を可能にすることができる。

コンピュータ可読媒体は、各種のコンピュータ実施動作（ｃｏｍｐｕｔｅｒ－ｉｍｐｌｅｍｅｎｔｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行するためにその上のコンピュータコードを有することができる。メディアおよびコンピュータコードは特別に設計されたそれらであることができて、本開示のために作成されることができる、または、それらはよく公知で、コンピュータソフトウェア技術の技術を有するそれらが利用できる種類でありえる。

一例として、限定するものではなく、アーキテクチャ（１２００）、具体的にはコア（１２４０）を有するコンピュータシステムは、１つ以上の有形のコンピュータ可読媒体に具現化されたソフトウェアを実行するプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ等を含む）の結果として機能性を提供することができる。かかるコンピュータ可読媒体は、コア－内部大容量記憶デバイス（１２４７）又はＲＯＭ（１２４５）等の一時的でない性質のコア（１２４０）の特定の記憶デバイスと同様に、上述のようにユーザがアクセス可能な大容量記憶デバイスに関連する媒体であってもよい。本開示の様々な実施形態を実装するソフトウェアは、かかるデバイスに記憶され、コア（１２４０）によって実行され得る。コンピュータ読取可能媒体は、特定のニーズに応じて、１つ以上のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（１２４０）及びその中の具体的にプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を含む）に、ＲＡＭ （１２４６）に記憶されたデータ構造を定義し、ソフトウェアによって定義されたプロセスにしたがって、かかるデータ構造を変更することを含む、本明細書に記載された特定のプロセス又は特定の部分を実行させることができる。付加的に又は代替的に、コンピュータシステムは、回路（例えば、アクセラレータ（１２４４））内に配線された、又は他の方法で具現化されたロジックの結果として、機能性を提供することができ、これは、本明細書に記載される特定のプロセス又は特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、又はソフトウェアと共に動作することができる。ソフトウェアへの言及は、論理を含み、また、必要に応じて、その逆も可能である。コンピュータ読取り可能媒体への参照は、実行のためのソフトウェアを記憶する（集積回路（ＩＣ）等の）回路、実行のためのロジックを具体化する回路、又は適切な場合にはその両方を含むことができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

付録Ａ：頭文字
ＪＥＭ：ジョイント探索モデル
ＶＶＣ：広用途ビデオコーディング
ＢＭＳ：ベンチマークセット
ＭＶ：動きベクトル
ＨＥＶＣ：高効率ビデオコーディング
ＳＥＩ：付加強調情報
ＶＵＩ：ビデオユーザビリティ情報
ＧＯＰ：画像グループ
ＴＵ：変換ユニット
ＰＵ：予測ユニット
ＣＴＵ：コーディングツリーユニット
ＣＴＢ：コーディングツリーブロック
ＰＢ：予測ブロック
ＨＲＤ：仮想参照デコーダ
ＳＮＲ：信号雑音比
ＣＰＵ：中央処理装置
ＧＰＵ：グラフィックスプロセッシングユニット
ＣＲＴ：陰極線管
ＬＣＤ：液晶ディスプレイ
ＯＬＥＤ：有機発光ダイオード
ＣＤ：コンパクトディスク
ＤＶＤ：デジタルビデオディスク
ＲＯＭ：リードオンリーメモリ
ＲＡＭ：ランダムアクセスメモリ
ＡＳＩＣ：特定用途向け集積回路
ＰＬＤ：プログラマブルロジックデバイス
ＬＡＮ：ローカルエリアネットワーク
ＧＳＭ：グローバスシステムフォーモバイルコミュニケーション
ＬＴＥ：ロングタームエヴォリューション
ＣＡＮバス：コントローラエリアネットワークバス
ＵＳＢ：ユニバーサルシリアルバス
ＰＣＩ：ペリフェラルコンポーネントインターコネクト
ＦＰＧＡ：フィールドプログラマブルゲートエリア
ＳＳＤ：ソリッドステートドライブ
ＩＣ：集積回路
ＣＵ：コーディングユニット
ＣＧ：係数群
ＩＢＣ：イントラブロックコピー

本開示はいくつかの例示的な実施形態を説明しているが、本発明の範囲内に入る、変更、置換、及び様々な均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本発明の原理を実施し、したがってその概念及び範囲内にある多数のシステム及び方法を創造することができることが理解されよう。

Claims (12)

1. ビデオデコーダによって実行される、ビデオデコーディングの方法であって、
   現在の画像を含むコーディングされたビデオビットストリームを受信するステップと、
   前記現在の画像に含まれる現在のコーディングツリーユニット（ＣＴＵ）内の現在のブロックが、前記コーディングされたビデオビットストリームに含まれるフラグに基づいて、イントラブロックコピー（ＩＢＣ）モードでコーディングされているかどうかを決定するステップと、
   前記現在のブロックがＩＢＣモードでコーディングされていると決定されていることに応答して、
   現在のブロックの第１参照ブロックを指すブロックベクトルを決定するステップと、
   前記現在のブロックの為に前記第１参照ブロックが有効でない場合に、前記ブロックベクトルに対して、変更操作を実行するステップであって、前記ブロックベクトルは、前記変更操作によって、現在ブロックの為に有効な第２参照ブロックを指すように変更される、ステップと、
   変更された前記ブロックベクトルに基づいて前記現在のブロックをデコードするステップと、
   を含む方法。
2. 前記有効な第２参照ブロックは、完全に再構成された領域内にあり、
   有効な第２参照ブロック及び前記現在のブロックは、同一のタイル、スライス又はタイルグループ内にある、
   請求項１記載の方法。
3. 前記変更操作を実行するステップは、
   前記現在のＣＴＵのサイズに基づいて、前記現在のベクトルのｘ成分及びｙ成分のそれぞれにモジュロ動作を実行するステップを含む、
   請求項１又は２記載の方法。
4. 前記変更操作を実行するステップは、
   前記現在のＣＴＵのサイズの倍数に基づいて、前記ブロックベクトルのｘ成分にモジュロ動作を実行するステップと、
   前記現在のＣＴＵの前記サイズに基づいて、前記ブロックベクトルのｙ成分にモジュロ動作を実行するステップと、
   を含む、請求項１乃至３いずれか１項記載の方法。
5. 前記変更操作を実行するステップは、前記第１参照ブロックが完全に再構成されていないか、又は前記現在のブロックの有効なサーチレンジ内にない場合にのみ、前記ブロックベクトルを変更する、
   請求項１記載の方法。
6. 前記変更操作を実行するステップは、前記第１参照ブロックが完全に再構成されており且つ前記現在のブロックの有効なサーチレンジ内にある場合は、前記ブロックベクトルを変更しない、
   請求項１乃至４いずれか１項記載の方法。
7. 前記有効な第２参照ブロックは前記現在ブロックの有効なサーチレンジ内にあり、前記有効なサーチレンジは前記現在のＣＴＵを含む、
   請求項１乃至６いずれか１項記載の方法。
8. 前記変更操作を実行するステップは、前記第１参照ブロックを含むＣＴＵに対する前記第１参照ブロックのオフセットが、前記現在のＣＴＵに対する前記第２参照ブロックのオフセットと同じになるように、前記ブロックベクトルを変更する、
   請求項１乃至７いずれか１項に記載の方法。
9. 前記変更操作を実行するステップは、
   前記ブロックベクトルをクリッピングするステップであって、したがって、クリッピングされた前記ブロックベクトルは、前記第１参照ブロックが完全に再構成されていないか、又は前記現在のブロックの有効なサーチレンジ内にない場合に、前記現在ブロックの前記有効なサーチレンジの境界にある第２参照ブロックを指す、ステップを含む、
   請求項１乃至８いずれか１項に記載の方法。
10. ビデオエンコーダによって実行される、ビデオエンコーディングの方法であって、
    ビデオビットストリームをエンコードするステップであって、
    コーディングされたビデオビットストリームは、
    現在の画像を含み、
    前記現在の画像に含まれる現在のコーディングツリーユニット（ＣＴＵ）内の現在のブロックが、前記コーディングされたビデオビットストリームに含まれるフラグに基づいて、イントラブロックコピー（ＩＢＣ）モードでコーディングされているかどうかを決定し、
    前記現在のブロックがＩＢＣモードでコーディングされていると決定されていることに応答して、
    現在のブロックの第１参照ブロックを指すブロックベクトルを決定し、
    前記現在のブロックの為に前記第１参照ブロックが有効でない場合に、前記ブロックベクトルに対して、変更操作を実行するステップであって、前記ブロックベクトルは、前記変更操作によって、現在ブロックの為に有効な第２参照ブロックを指すように変更され、
    変更された前記ブロックベクトルに基づいて前記現在のブロックをデコードする、
    ようにコーディングされている、ステップ
    を含む方法。
11. 処理回路を備える装置であって、前記処理回路は、請求項１乃至１０いずれか１項記載の方法を実行するように構成されている、
    装置。
12. コンピュータによって実行されるプログラムであって、
    前記コンピュータに請求項１乃至１０いずれか１項記載の方法を実行させるように構成されている、
    プログラム。
    

Images