JP2022528581A - ビデオ符号化復号化のためのサブブロックの時間的動きベクトル予測 - Google Patents

Abstract

コンピューティング装置は、現在の符号化ユニットのコロケーテッド画像を決定することと、前記コロケーテッド画像に対応する前記現在の符号化ユニットの空間的隣接ブロックを位置決めることと、所定の固定の順序で前記空間的隣接ブロックに関する1つ又は複数の動きベクトルから、前記現在の符号化ユニットの動きシフトベクトルを決定することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することで、ビデオデータを復号化する方法を実行する。【選択図】図１

Description

本発明は、全般的にビデオデータの符号化および復号化に関し、特に、ビデオデータ符号化および復号化においてサブブロックの動きベクトル予測の方法およびシステムに関する。

デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置などの各種電子装置は全てデジタル-ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ・データを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレーム内）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレームが、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複数のビデオブロックを含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つまたは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各ＣＵは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能である。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照サンプルに関する時間予測を使用する。

以前符号化された参照ブロック、例えば隣接ブロックに基づく空間予測又は時間予測では、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実現されることが可能である。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成した参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符号化される。動きベクトルを確定する処理は、通常、動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化される。

そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットストリームから構文要素を取得し、このビットストリームから取得された構文要素の少なくとも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームから元のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレイに再現する。

デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ、さらに８Ｋ×４Ｋに進んでいるにつれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化されたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化することは、常に課題である。

本願は、ビデオデータの符号化および復号化、より具体的には、サッブブロックの動きベクトル予測の方法およびシステムに関する実現を説明する。

本願の第１の方面に従い、現在の画像における現在の符号化ユニットを復号化するための方法であって、前記現在の符号化ユニットのコロケーテッド画像を決定することと、前記現在の符号化ユニットの空間的隣接ブロックを位置決めることと、前記空間的隣接ブロックの第１の参照フレームリスト（Ｌｉｓｔ０）に含まれる動きベクトルのそれぞれを順次検査することと、Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ０における当該前記動きベクトルを前記動きシフトベクトルとして設定し、前記空間的隣接ブロックのＬｉｓｔ０における後続の動きベクトル及び第２の参照フレームリスト（Ｌｉｓｔ１）における動きベクトルの検査を放棄することと、Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を参照画像として使用しないという決定に従って：前記空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査し、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って：Ｌｉｓｔ１内の当該動きベクトルを前記動きシフトベクトルとして設定し、Ｌｉｓｔ１における後続の動きベクトルの検査を放棄し、Ｌｉｓｔ１内のそれぞれの動きベクトルがいずれも前記コロケーテッド画像を当該動きベクトルの参照画像として使用しないという決定に従って、前記動きシフトベクトルをゼロ値ベクトルに設定することと、を含み、前記現在の画像における前記現在の符号化ユニットと前記コロケーテッド画像における対応するコロケーテッドブロックとの間の空間的位置のシフトを示す前記現在の符号化ユニットの動きシフトベクトルを決定することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することと、を含む復号化方法を提供する。

本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に上記の操作を実行させる。

本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に上記の操作を実行させる。

本発明の実現のさらなる理解を提供する、本明細書の一部として本明細書に引き入れる添付図面は、上述した実現を示し、その説明と共に基礎原理を説明するためものである。なお、同一符号は同一または相当な部分を示す。
図１は、本開示のある実施形態に係る例示的なビデオ符号化および復号化システムを示すブロック図である。 図２は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。 図３は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。 図４Ａ～４Ｅは、本開示のある実施形態に係る、フレームがどのように再帰的に異なるサイズ及び形状の複数のビデオブロックに区画されるかを示すブロック図である。 図５は、本開示のある実施形態に係る、符号化対象である現在ＣＵの空間的に隣り合っている位置かつ時間的に並べているブロック位置を示すブロック図である。 図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子または現在ブロックにおけるサッブブロックのサッブブロック時間的動きベクトル予測子を導出するためのステップを示すブロック図である。 図７は、本開示のある実施形態に係る、時間的動きベクトル予測子およびサッブブロック時間的動きベクトル予測子を導出することに使用される有効な領域を決定するためのブロック図を示している。 図８は、本開示のある実施形態に係る、ビデオエンコーダがサッブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセスを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。以下の詳細な説明において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の変形により実施することができることは当業者には明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得る。

図１は、本開示のある実施形態に係る、ビデオブロックを並列に符号化および復号化するための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。

ある実施形態では、目標装置１４が、リンク１６を介して復号化対象の符号化されたビデオデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２から目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である。一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装置１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）スペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含むことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネット等のグローバルネットワークなどのようなパケットベースに基づくネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。

他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４によってアクセスされる。ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレージ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプのコンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであってもよい。

図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適用可能であり、そして無線および／または有線アプリケーションに適用可能である。

ビデオエンコーダ２０は、捕れるビデオ、予め捕らえられたビデオ、またはコンピュータによって生成されたビデオを符号化することができる。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後目標装置１４または他の装置によってアクセスされて復号化および／または再生されるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信された、またはストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文要素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのような構文要素を含んでもよい。

ある実施形態では、目標装置１４が、集積された表示装置や、目標装置１４と通信できるように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプの表示装置などの各種の表示装置のいずれかを含んでもよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または将来の標準のいずれかに従ってビデオデータを復号化するように構成される。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種々の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェアによって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコンピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェアにおける命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダまたはデコーダに含まれてもよい。

図２は、本願で説明されるある実施形態に係るビデオエンコーダ２０を例示するブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイントラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性を低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの隣接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する。

図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界をフィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図示せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニットの１つ又は複数内で区画されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化対象のビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップであってもよく、またはそれらの部品に対するオフチップであってもよい。

図２に示すように、ビデオデータを受信した後、予測処理部４１における区画部４５は、このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関するｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレームをスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含んでもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロックに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイントラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つを選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供して残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードインジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提供する。

予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適するイントラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレーム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予測符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオデータにおける各ブロックに適切な符号化モードを選択してもよい。

ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められたパターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測ブロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像内の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユニット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニット）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められたパターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとして指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動きベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクトルを決定してもよい。

予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メトリックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密にマッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動き推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行して、分数画素精度を有する動きベクトルを出力ことが可能である。

動き推定部４２は、インター予測符号化フレーム内のビデオブロックのＰＵの位置と、それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベクトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し、そして、エントロピー符号化部５６に送信する。

動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレームリストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によって提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロックに関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデコーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含んでよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示されているが、高度に集積されてもよい。

ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関して上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができるが、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４８は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することができる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種のイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれらのパフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試験されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応するイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み解析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモードからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして選択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符号化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み（又は、エラー）の量、および、この符号化されるブロックを生成するために使用されるビットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号化されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードがこのブロックに対して最適なレート歪み値を示しているかを決定してもよい。

別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４の全体または一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるものであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。

ビデオエンコーダ２０は、予測ブロックがイントラ予測に基づいて同じフレームからのものであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブロックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。

イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロックを符号化することができる。それを実現するために、イントラ予測処理部４６は、例えば、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロックを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験されたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化することができる。

予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビデオデータを残差変換係数に変換する。

変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、これらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これらの係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合いは、定量化パラメータを調整することによって変更されることができる。そして、ある例では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行することができる。この走査は、エントロピー符号化部５６によって実行されてもよい。

定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔区画エントロピー（ＰＩＰＥ）符号化や別のエントロピー符号化方法または技術により、定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０へ送信するか、またはビデオデコーダ３０によって検索するためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビデオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格納されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィルタを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。

加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター予測することが可能である。

図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測処理部８４及びイントラＢＣ部８５をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。

ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つまたは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を単独で実現してもよいし、または動き補償部８２、イントラ予測処理部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素によって実現されてもよい。

ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオデータメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無線ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードディスク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソースから取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０による（例えば、イントラ予測またはインター予測符号化モードでの）ビデオデータの復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能である。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデコーダ３０における２つの個別の構成要素として示されている。しかし、当業者にとっては、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスによって提供されることは明らかである。ある例では、ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要素に対するオフチップであってもよい。

ビデオデコーダ３０は、復号化プロセスにおいて、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、このビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。

ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけるイントラ予測処理部８４は、信号で通知されたイントラ予測モード、および現在フレームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成することが可能である。

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化された場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックのための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロックは、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ３０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこれらの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。

ある例では、ビデオブロックがここで述べたイントラＢＣモードに従って符号化された場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのための予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定された現在のビデオブロックと同一の画像の再構成領域にあり得る。

動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要素を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、そして、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、このビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各インター予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビデオブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定する。

同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるどのビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情報、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、このフレームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することができる。

また、動き補償部８２は、ビデオエンコーダ２０がビデオブロックの符号化において使用した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。

逆定量化部８６は、ビデオエンコーダ２０によって定量化の度合いを決定するためにこのビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じものを使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域にある残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換処理をこれらの変換係数に適用する。

動き補償部８２またはイントラＢＣ部８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図示せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能である。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブロックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４などのような表示装置にその後表示されるように、復号化されたビデオも格納されることが可能である。

典型的なビデオ符号化プロセスでは、１つのビデオシーケンスが、通常、順序付けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒで示す３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元行列である。別の例では、フレームがモノクロであることがあり、この場合、輝度サンプルの１つの２次元行列のみが含まれる。

図４Ａに示すように、ビデオエンコーダ２０（または、より具体的には区画部４５）は、まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化表現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連続的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユニットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように、ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願は必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプルの１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得る。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのようにビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであって、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよび他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１つのＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化するために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロックであることが可能である。

より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２×３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さいＣＵのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つのＣＵに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それぞれ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示されたＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の各リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４Ｂに示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの符号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの符号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノクロ画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロックと、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得る。なお、図４Ｃおよび図４Ｄに示す四分木分割は、例示的にすぎず、１つのＣＴＵが四分/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができる。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リーフＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに示すように、幅Ｗおよび高さＨを有する符号化ブロックの５種の可能な区画タイプ、すなわち、四元区画、水平二元区画、垂直二元区画、水平三元区画、および垂直三元区画がある。

ある実施形態では、ビデオエンコーダ２０が、さらにＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測（インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロック、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測するために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有する画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用される構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣｂブロックおよび予測的なＣｒブロックを生成することができる。

ビデオエンコーダ２０は、イントラ予測またはインター予測により、ＰＵに対してこれらの予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測によりＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコーダ２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連するフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。

ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測的な輝度ブロック、予測的なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブロックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロックを生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測的な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの元の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで、このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロックのうち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおけるＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を示す。

さらに、図４Ｃに示すように、ビデオエンコーダ２０は、四分木区画により、ＣＵの輝度残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される構文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロックおよびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個別の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサンプルを変換するために使用される構文構造とを含み得る。

ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。

ビデオエンコーダ２０は、係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化とは、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減し、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量化した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能である。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対してコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実行してもよい。最終的に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成するビットシーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか、または目標装置１４に送信する。

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得する。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一部に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構成するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセスと逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可能である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプルと現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在ＣＵの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された後、ビデオデコーダ３０はこのフレームを再構成することが可能である。

上述したように、ビデオ符号化では、主に２つのモード、即ちイントラフレーム予測（またはイントラ予測）及びインターフレーム予測（またはインター予測）を使用してビデオ圧縮を実現する。なお、ＩＢＣは、イントラフレーム予測または第三モードと見なすことができる。この２つのモードを比べると、インターフレーム予測は、動きベクトルを使用して参照ビデオブロックから現在のビデオブロックを予測するため、イントラフレーム予測よりも符号化効率に大きく貢献する。

しかし、ビデオデータ・キャプチャ技術の向上及びビデオデータの詳細を保持するためのより精細化的なビデオブロックサイズにつれて、現在フレームのための動きベクトルを表すために必要なデータの量も大幅に増加している。この課題を解決するための１つの方法は、空間ドメインと時間ドメインにおける１組の隣り合うＣＵが、予測目的のための同じビデオデータを含むだけでなく、これらの隣り合うＣＵ間で動きベクトルも同じであるという事実が有益である。したがって、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報の空間的および時間的相関性を探索することにより、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報を、現在ＣＵの「動きベクトル予測子」（ＭＶＰ）もという動き情報（例えば、動きベクトル）の近似として使用することが可能である。

図２を参照して上述した動き推定部４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子を差し引くにより、現在ＣＵの動きベクトル差（ＭＶＤ）を生成する。これにより、フレームの各ＣＵに対して動き推定部４２によって決定した動きベクトルをビデオビットストリームに符号化する必要がなく、ビデオビットストリームにおける動き情報を表すためのデータの量を大幅に減らすことができる。

符号化ブロックのインターフレーム予測中に参照フレーム内から予測ブロックを選択するプロセスと同様に、ビデオエンコーダ２０及びビデオデコーダ３０は、１組のルールにより、現在ＣＵの空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵに関連する潜在的な候補動きベクトルを使用して動きベクトル候補リスト（「マージリスト」とも呼ばれる）を構成し、そしてこれらの動きベクトル候補リストから１つの項目を選択して現在ＣＵの動きベクトル予測子とする必要がある。これにより、ビデオエンコーダ２０とビデオデコーダ３０との間で動きベクトル候補リスト自身を送信する必要がなく、動きベクトル候補リスト内の選択された動きベクトル予測子の索引は、ビデオエンコーダ２０およびビデオデコーダ３０が動きベクトル候補リスト内で同じ動きベクトル予測子を使用して現在ＣＵを符号化および復号化することに十分である。

ある実施形態では、各インター予測ＣＵが、動きベクトル候補リストを構成するためのインター（「高度な動きベクトル予測」（ＡＭＶＰ））、スキップおよびマージを含む３つの動きベクトル予測モードを有する。各モードでは、以下に説明するアルゴリズムに従って、１つまたは複数の動きベクトル候補を動きベクトル候補リストに追加することが可能である。最終的に、候補リスト内のそれらの動きベクトル候補のうちの１つは、ビデオエンコーダ２０によってビデオビットストリームに符号化されるか、またはビデオデコーダ３０によってビデオビットストリームから復号化されるインター予測ＣＵの最適な動きベクトル予測子として使用される。候補リストから最適な動きベクトル予測子を見つけるために、動きベクトル競合（ＭＶＣ）スキームが導入されて、空間的および時間的動きベクトル候補を含む所定の動きベクトル候補セット、すなわち動きベクトル候補リストから１つの動きベクトルが選択される。

動きベクトル予測子候補は、空間的に隣り合い、または時間的にコロケーテッドＣＵから導出されることに加えて、いわゆる「履歴による動きベクトル予測」（ＨＭＶＰ）テーブルからも導出されることが可能である。ＨＭＶＰテーブルには、それぞれがＣＴＵの同じ行（または同じＣＴＵ）の所定のＣＵを符号化/復号化することに使用された予め定められた数の動きベクトル予測子を収納している。これらのＣＵの空間的/時間的近接性によって、ＨＭＶＰテーブルにおける動きベクトル予測子のうち１つが、ＣＴＵの同じ行内の異なるＣＵを符号化/復号化することに再利用される可能性は高い。したがって、動きベクトル候補リストを構成する処理にＨＭＶＰテーブルを使用することにより、より高い符号化効率を達成することが可能である。

ある実施形態では、ＨＭＶＰテーブルが固定の長さ（例えば５）を有し、先入れ先出し（ＦＩＦＯ）の方式で管理される。例えば、ＣＵの１つのインター符号化ブロックを復号化する際に、このＣＵに対して動きベクトルを再構成する。再構成された動きベクトルが後続のＣＵの動きベクトル予測子である可能性があるので、ＨＭＶＰテーブルは、この動きベクトルによりオンザフライで更新される。ＨＭＶＰテーブルの更新では、以下の２つの状況がある。（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと異なる、または（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと同じである。第１の状況では、ＨＭＶＰテーブルが未満の場合、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶＰテーブルがすでにいっぱいになる場合、再構成された動きベクトルが最新のものとして追加される前に、まずＨＭＶＰテーブル内の最も古い動きベクトルがＨＭＶＰテーブルから削除される必要がある。言い換えると、この場合、ＨＭＶＰテーブルは、ＦＩＦＯバッファと同様に、ＦＩＦＯバッファの先頭にあり且つ以前にインター符号化された別のブロックに関連する動き情報がこのバッファから取り除かれて、再構成された動きベクトルがＨＭＶＰテーブルにおける最新の項目としてＦＩＦＯバッファの末端に追加される。第２の状況では、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される前に、ＨＭＶＰテーブル内の、再構成された動きベクトルと実質的に同じ既存の動きベクトルがＨＭＶＰテーブルから削除される。ＨＭＶＰテーブルもＦＩＦＯバッファの方式で維持されている場合、ＨＭＶＰテーブル内の同じ動きベクトルの次の動きベクトル予測子が１つの項目だけ前方に移動されて削除された動きベクトルによって残された空間を占有し、そして、再構成された動きベクトルがＨＭＶＰテーブル内の最新のものとしてＦＩＦＯバッファの末端に追加される。

ＨＭＶＰテーブルにおける動きベクトルは、ＡＭＶＰ、マージ、スキップなどの異なる予測モードで動きベクトル候補リストに追加されることが可能である。ＨＭＶＰテーブルに保存されている以前にインター符号化されたブロックの動き情報は、現在ブロックに隣り合っていなくても、より効率的な動きベクトル予測に利用できることが分かった。

現在ＣＵに対する所定の動きベクトル候補セット内で１つのＭＶＰ候補が選択された後、ビデオエンコーダ２０は、対応するＭＶＰ候補に対して１つまたは複数の構文要素を生成し、ビデオビットストリームに符号化してビデオデコーダ３０がこの構文要素を使用してこのデオビットストリームからこのＭＶＰ候補を検索できる。動きベクトル候補セットを構成するための特定のモードによっては、異なるモード（例えば、ＡＭＶＰ、マージ、スキップなど）が異なる構文要素セットを有する。ＡＭＶＰモードの場合には、構文要素が、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照索引、動きベクトル候補索引、動きベクトル予測残差信号などを含む。スキップモード及びマージモード場合には、現在ＣＵが、符号化されたマージ索引によって指す隣接ＣＵから、インター予測インジケータ、参照索引、動きベクトルなどの他の構文要素を継承するので、マージ索引のみがビットストリームに符号化される。スキップ符号化されたＣＵの場合には、動きベクトル予測残差信号も省略される。

図５Ａは、本開示のある実施形態に係る、符号化／復号化対象の現在ＣＵの空間的に隣り合いかつ時間的にコロケーテッドブロック位置を示すブロック図である。所定のモードでは、まず空間的に左側隣接ブロック位置および上方隣接ブロック位置に関連する動きベクトルの利用可能性、時間的にコロケーテッドブロック位置に関連する動きベクトルの利用可能性を検査し、次にＨＭＶＰテーブル内の動きベクトルの利用可能性を検査することで、動きベクトル予測（ＭＶＰ）候補リストを構成する。ＭＶＰ候補リストを構成するプロセスには、いくつかの冗長なＭＶＰ候補が候補リストから削除され、必要に応じて候補リストが固定の長さを有するようにゼロ値の動きベクトルが追加される（なお、モードによって固定の長さが異なることがある）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２０は、この候補リストから最適な動きベクトル予測子を選択し、選択された候補を指す対応する索引をビデオビットストリームに符号化することができる。

ある例では、候補リスト（マージ候補リストとも呼ばれる）が、以下の５種タイプの候補を以下の順に含むことによって構成されることができる。
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ

ある実施形態では、候補リストのサイズがスライスヘッダーで通知され、候補リストの最大許容サイズが６である（例えば、ＶＶＣの場合）。マージモードの各ＣＵコードについて、最適なマージ候補のインデックスが、切り捨て単項二値化（ＴＵ）により符号化される。マージインデックスの第１のビンは、コンテキストで符号化され、一方バイパス符号化が他のビンに使用される。本開示の以下の文脈において、この拡張されたマージモードは、概念がＨＥＶＣに使用されるマージモードと同じであるため、通常のマージモードとも呼ばれる。

図５Ａを例として使用し、かつ候補リストが２の固定長さを有すると仮定すると、現在ＣＵに関する動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモードで以下のステップを順に実行することによって構成されることが可能である。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラモードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つの空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、このＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。

以上の構成されたＡＭＶＰモードＭＶＰ候補リストには２つの候補しかないので、候補リスト内の２つのＭＶＰ候補のうちどのが現在ＣＵの復号化に使用されるかを示すように、バイナリフラグのような関連する構文要素をビットストリームに符号化する。

ある実施形態では、スキップモードまたはマージモードでは、上述のような一連のステップを順に実行することで、現在ＣＵに関するＭＶＰ候補リストを構成し得る。なお、「ペアワイズマージ候補」と呼ばれる１つの特別な種類のマージ候補も、スキップモードまたはマージモードのためのＭＶＰ候補リストに含まれる。ペアワイズマージ候補は、以前に導出された２つのマージモード動きベクトル候補のＭＶを平均化することによって生成される。マージＭＶＰ候補リストのサイズ（たとえば、１から６）は、現在ＣＵのスライスヘッダーで通知される。マージモードの各ＣＵについて、最適なマージ候補の索引は、切り捨て単項二値化（ＴＵ）により復号化される。マージ索引の第１のビンはコンテキストで符号化され、バイパス符号化が他のビンに使用される。

上述のように、履歴によるＭＶＰは、空間的ＭＶＰ及び時間的ＭＶＰの後、ＡＭＶＰモードＭＶＰ候補リスト又はマージＭＶＰ候補リストに追加されることができる。以前インター符号化されたＣＵの動き情報は、ＨＭＶＰテーブルに保存され、現在ＣＵのためのＭＶＰ候補として使用される。ＨＭＶＰテーブルは、符号化/復号化プロセス中に維持されている。非サブブロックインター符号化したＣＵがあるたびに、関連する動きベクトル情報が新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方（ＨＭＶＰテーブルがすでにいっぱいで、このテーブル内に関連動きベクトル情報の同じ複本がない場合）ＨＭＶＰテーブルの第１のエントリに格納されている動きベクトル情報がそこから削除される。これの代わりに、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエントリに追加される前に、関連する動きベクトル情報の同じ複本をこのテーブルから削除してもよい。

上述のように、イントラブロックコピー（ＩＢＣ）は、スクリーンコンテンツ素材の符号化効率を著しく改善することができる。ＩＢＣモードはブロックレベルの符号化モードとして実現されるので、ビデオエンコーダ２０では、ブロックマッチング（ＢＭ）を実行して、各ＣＵに対して最適なブロックベクトルを見つける。ここでは、ブロックベクトルは、現在の画像内で現在ブロックからすでに再構成された参照ブロックへの変位を示すためのものである。ＩＢＣ符号化されたＣＵは、イントラ予測モードまたはインター予測モード以外の第三予測モードとして扱われる。

ＣＵレベルでは、ＩＢＣモードが、以下のようにＩＢＣ ＡＭＶＰモードまたはＩＢＣスキップ／マージモードとして信号で通知されることができる。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベクトル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロックベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣からである。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示すように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクトル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのものである。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候補を含む。

図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子（ＴＭＶＰ）またはサッブブロックのサッブブロック時間的動きベクトル予測子（ＳｂＴＭＶＰ）を導出するためのステップを示すブロック図である。

ある実施形態では、図５に関して説明したように、１つの時間的動きベクトル予測子（ＴＭＶＰ）候補のみがマージ候補リストに追加される。このＴＭＶＰ候補が有効か無効かを指示すように、第１フラグ（sps_temporal_mvp_enabled_flag）が画像のシーケンスパラメータセット（ＳＰＳ）で通知され、第２フラグ（slice_temporal_mvp_enabled_flag）がスライスヘッダーで通知される。特に、この時間的マージ候補の導出では、スケール動きベクトルが、参照画像リストにおける以前に符号化復号化された画像であるコロケーテッド画像のＭＶから導出される。この時間的動き候補の導出では、このコロケーテッド画像が第１の参照フレームリスト（Ｌｉｓｔ０）か第２の参照フレームリスト（Ｌｉｓｔ１）から選択されたかを指示すように、スライスヘッダー内の明示的なフラグ（co-located_from_l0_flag）が最初にデコーダーに送信される。使用されるリスト内のどの画像が、時間的動き候補を導出するためのコロケーテッド画像として選択されるかを指示すように、コロケーテッド参照インデックス（co-located_ref_idx）がさらに送信される。時間的動き候補のＬｉｓｔ０（Ｌ０とも呼ばれる）およびＬｉｓｔ１（Ｌ１とも呼ばれる）ＭＶは、以下の擬似コードに従ってコロケーテッド画像のコロケーテッドブロック内の異なるリストのＭＶに対する予め定められた順序で個別に導出される。

時間的併合候補のスケール動きベクトル６０２は、図６Ａの点線で示すように、ＰＯＣ距離ｔｂ６０４およびＰＯＣ距離ｔｄ６０６を使用して、選択されたコロケーテッドブロックの動きベクトルからスケールされることで得られる。ここで、ｔｂは、現在の画像の参照画像（例えば、現在の参照６０８）と現在の画像（例えば、現在の画像６１０）との間のＰＯＣ差と定義され、ｔｄは、コロケーテッド画像の参照画像（コロケーテッド参照６１４）とコロケーテッド画像（コロケーテッド画像６１２）との間のＰＯＣ差と定義される。時間的マージ候補の参照画像インデックスはゼロに設定される。スケールプロセスの実際的な実現は、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、１つが参照画像Ｌｉｓｔ０用、もう１つが参照画像Ｌｉｓｔ１用のような２つの動きベクトルは、取得されて結合され、双予測マージ候補を作成する。

参照フレームに属するコロケーテッドブロック（例えば、コロケーテッドブロック６２０）において、時間的候補の位置は、図６Ｂに示すように、候補Ｃ_０とＣ_１との間で選択される。位置Ｃ_０でのブロックが利用不可であり、イントラ符号化復号化されており、または現在のＣＴＵの外にある場合は、位置Ｃ_１が使用される。それ以外の場合、位置Ｃ_０は時間的マージ候補の導出に使用される。

ある符号化復号化標準（例えば、ＶＶＣ試験モデル１）は、サッブブロックに基づく時間的動きベクトル予測子（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、コロケーテッド画像の動きフィールドを使用して、現在の画像におけるＣＵの動きベクトル予測及びマージモードを改善する。ＳｂＴＭＶＰでは、ＴＭＶＰで使用されたコロケーテッド画像と同じものが使用される。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベクトルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択された時間的動き情報に適用する。

ＳｂＴＭＶＰプロセスは、図６Ｃ-６Ｄに示されている。ＳｂＴＭＶＰ（図６ＤのＳｂＴＭＶＰ６３２）は、２つのステップで、現在のＣＵ（図６Ｄの現在のＣＵ６３６）内のサブＣＵ（例えば、サブＣＵ６３４）の動ベクトルを予測する。第１のステップにおいて、図６Ｃ中の空間的隣Ａ１（例えば、空間的隣６３８）を調べる。Ａ１がコロケーテッド画像（例えば、図６Ａのコロケーテッド画像６１２）を参照画像として使用する動きベクトルを有する場合、この動きベクトルは、適用される動きシフト（例えば、図６Ｄの動きシフト６３０）として選択される。そのような動きベクトルが識別されながった場合、動きシフトはゼロ値ベクトル（０、０）に設定される。ブロックＡ１のＬｉｓｔ０ＭＶおよびＬｉｓｔ１ＭＶのうちの最初に利用可能な動きベクトルは、動きシフトとして設定される。このように、ＳｂＴＭＶＰでは、常に現在のＣＵに対して右下または中央の位置にある対応するブロック（コロケーテッドブロックと呼ばれることもある）がＴＭＶＰと比較して、より正確に識別されることができる。動きシフトを決定するための擬似コードは以下のとおりである。

ＶＶＣにおけるＳｂＴＭＶＰの動きシフトを決定するための擬似コード

上記の表で使用される変数および関数は、以下のように示す。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるかどうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取得するための関数。

第２のステップでは、図６Ｄに示すように、ステップ１で識別された動きシフトが適用されて（すなわち、現在のブロックの座標に追加されて）、コロケーテッド画像からサブＣＵレベルの動き情報（動きベクトルおよび参照インデックス）を取得する。図６Ｄの例では、動きシフトがブロックＡ１の動きに設定されているとする。実際の実現では、動きシフトがブロックＡ１、Ａ２、Ｂ１、またはＢ２の動きのいずれかに設定されることが可能である。

まず、代表的なサブＣＵが選択され、この代表的なサブＣＵの対応するブロックの動き情報がデフォルト動き情報として使用される。ＳｂＴＭＶＰの既存のスキームでは、現在のＣＵの中央位置の右下にあるサブＣＵが代表的なサブＣＵとして選択される。代表的なサブＣＵの対応するブロックからデフォルト動き情報として有効な動き情報を導出できなかった場合、ＳｂＴＭＶＰ候補は利用不可と見なされる。デフォルト動き情報が利用可能な場合、次のステップに進み、現在のＣＵ内の各サブＣＵの動き情報を取得する。いずれかのサブＣＵの対応するブロックに利用可能な動き情報がないたびに、デフォルト動き情報がそのサブＣＵの導出された時間的動きとして使用される。

次に、各サブＣＵについて、コロケーテッド画像内の対応するブロック（中央のサンプルを含む最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報を導出する。コロケーテッドサブＣＵの動き情報が特定された後、時間的動きスケールを適用して時間的動きベクトルの参照画像を現在のＣＵの参照画像と位置合わせるＨＥＶＣのＴＭＶＰプロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。

なお、現在の設計では、コロケーテッド画像におけるコロケーテッドＣＴＵ内の動きフィールド＋このコロケーテッドＣＴＵの右側の１つの列のみが、各ＣＵのＳｂＴＭＶＰおよびＴＭＶＰ導出に使用できる。図６に示すように、コロケーテッドＣＴＵ内の動き情報＋このコロケーテッドＣＴＵの右側にある１列の動き情報（この例では、ＣＴＵ２は現在のＣＵのコロケーテッドＣＴＵ）のみは、ＳｂＴＭＶＰおよびＴＭＶＰの時間的なｍｖ導出に使用される可能である。以降、説明の便宜上、このコロケーテッドＣＴＵ＋１つの列を、ＳｂＴＭＶＰ / ＴＭＶＰ導出のための「有効な領域」と呼びる。このコンテキストでは、サブＣＵのコロケーテッド画像内の対応するＮ×Ｎブロックが有効な領域の外側にあるたびに、この対応するＮ×ＮブロックがコロケーテッドＣＴＵ内にある代替ブロックに置き換えられる。代替Ｎ×Ｎブロックの位置は、以下の式を使用して、有効な領域内に位置決めされる対応するＮ×Ｎブロックの元の位置をクリップすることで導出される。以下の式（各サブＣＵの位置クリッププロセス）では、CurPicWidthInSamplesY及びCurPicHeightInSamplesYは符号化復号化された画像の幅及び高さであり、CTUWidthInSamplesX及びCTUWidthInSamplesYはＣＴＵの幅及び高さであり、xCtb及びyCtbはコロケーテッドＣＴＵの左上のサンプルの水平位置及び垂直位置である。xColCtrCb及びyColCtrCbはサブＣＵの代表的なサンプルの水平位置及び垂直位置であり、MotionShiftX及びMotionShiftYは、動きシフトのｘ成分及びｙ成分である。関数Clip3（x, y, z）及びMin（x, y）は次のように定義される。

ＶＶＣでは、ＳｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む、サブブロックに基づく結合式マージリストが、サブブロックに基づくマージモードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効化/無効化される。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基づくマージ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。サブブロックに基づくマージリストのサイズはＳＰＳで信号により通知され、ＶＶＣでは、サブブロックに基づくマージリストの最大許可サイズが５である。

ＳｂＴＭＶＰで使用されるサブＣＵサイズは８×８に固定されており、アフィンマージモードの場合のように、ＳｂＴＭＶＰモードは、幅および高さの両方が８以上であるＣＵにのみ適用可能である。さらに、現在のＶＶＣでは、ＴＭＶＰおよびＳｂＴＭＶＰで使用される時間的動きフィールドストレージの場合、動きフィールド圧縮は、ＨＥＶＣにおける１６×１６の粒度とは対照的に、８×８の粒度で実行される。

ある実施形態では、動きシフトは、常に隣接ブロックのＬｉｓｔ０ｍｖから導出される。Ｌｉｓｔ０ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ１ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。

ＳｂＴＭＶＰの動きシフトを決定するための擬似コード

ある実施形態では、動きシフトが、常に隣接ブロックのＬｉｓｔ１ｍｖから導出される。 Ｌｉｓｔ１ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ０ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。

ＳｂＴＭＶＰの動きシフトを決定するための擬似コード

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれがあるたびに、ゼロベクトルが動きシフトベクトルとして使用されてＳｂＴＭＶＰを導出する。このように、現在のＣＵのすべてのサブＣＵの対応するブロックが有効な領域内に位置することが保証される。したがって、各サブＣＵのための位置クリッププロセスは不要である。現在のＣＵにおいてサブＣＵの対応するブロックのいずれが有効な領域の外にあるかどうかを判定する方法はたくさんある。一例では、左上のＮ×ＮサブＣＵの対応するブロックおよび右下のＮ×ＮサブＣＵの対応するブロックは、この２つの対応するブロックが有効な領域内にあるかどうかを決定するようにチェックされる。いずれかの対応するブロックが有効な領域の外にある場合、ゼロベクトルが動きシフトベクトルとして使用される。それ以外の場合（対応するブロックの両方はとも有効な領域内にある）、導出された動きシフトがＳｂＴＭＶＰに使用される。

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、ＳｂＴＭＶＰは、現在のＣＵに対して利用不可と見なされる。

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、動きシフトは、すべてのサブＣＵの対応するブロックが有効な領域内に位置することを保証するように修正される。したがって、各サブＣＵのための位置クリッププロセスは不要である。

ある実施形態では、ゼロベクトルは、常にＳｂＴＭＶＰ導出のための動きシフトに使用される。

ある実施形態では、有効な領域の外に位置する対応するブロックを有するサブＣＵのＭＶとして、代表的なサブＣＵから導出されたデフォルトＭＶを使用することが提案される。

図７は、本開示のある実施形態に係る、現在の画像（例えば、現在の画像７０４）における符号化ブロック（例えば、現在のＣＵ７０２）のためのＴＭＶＰおよびＳｂＴＭＶＰを導出することに使用される有効な領域を決定するためのブロック図を示している。有効な領域は、ＴＭＶＰまたはＳｂＴＭＶＰのために現在のＣＵ（例えば、現在のＣＵ７０２）に対応するＣＵ（例えば、対応するＣＵ７０２'）が検索されているコロケーテッド画像（例えば、コロケーテッド画像７０４'）内の領域である。ある実施形態では、有効な領域は、ＴＭＶＰおよびＳｂＴＭＶＰを導出するためのＣＴＵ（例えば、ＣＴＵ２）＋１つの列（例えば、１列のＴＭＶバッファ７０６）によって決定される。有効な領域制約は、メモリ使用の削減のための設計である。有効な領域をコロケーテッドＣＴＵ＋１つの列に制限することにより、有効な領域内の動き情報のみを内部メモリ（例えば、キャッシュ）に保存して、外部メモリからの時間的動きデータへのアクセスの平均コスト（時間またはエネルギー）を削減する必要がある。今、最大ＣＴＵサイズはＶＶＣで１２８×１２８であり（最大ＣＴＵサイズはＶＶＣプロファイルの後続の段階で決定される可能性がある）、ＣＴＵサイズは１２８×１２８未満（例えば、６４×６４又は３２×３２）に設定されることが可能である。１つの例では、ＣＴＵサイズが６４×６４に設定されている場合、有効な領域は、コロケーテッド６４×６４ブロック＋１つの列に制約される。最大ＣＴＵのための時間的ＭＶバッファーの設計はすでに存在するので、符号化復号化効率の観点から、最大ＣＴＵサイズよりも小さい有効な領域を使用するのは賢明ではない場合がある。ある実施形態では、使用中のＣＴＵサイズに関係なく、有効な領域は、常に許可な最大ＣＴＵサイズ＋１つの列に固定されている。

ある実施形態では、有効な領域は、コロケーテッドＣＴＵだけになるように変更される。

第１０の実施形態によれば、ＣＴＵサイズが最大ＣＴＵサイズに等しい場合、有効な領域は、コロケーテッドＣＴＵ＋１つの列である。ＣＴＵサイズが最大ＣＴＵサイズよりも小さい場合、有効な領域は、コロケーテッドＣＴＵ＋コロケーテッドＣＴＵの右側の１つの列及びコロケーテッドＣＴＵの下の１つの行になるように変更される。

図８Ａ～８Ｂは、本開示のある実施形態に係る、ビデオエンコーダがサブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセス８００を示すフローチャートである。プロセス８００は、復号化プロセスか符号化プロセスかであり得るが、便宜上、プロセス８００は、ビデオデコーダ（例えば、図３のビデオデコーダ３０）によって実行される復号化プロセスとして説明される。

第１のステップとして、デコーダは、現在の符号化ユニットのコロケーテッド画像を決定する（例えば、ビットストリームから現在のフレームのコロケーテッド画像が第１のリストまたは第２のリストからのものであるかを指示する第１の構文要素を受信する；次に、ビットストリームから選択されたリストのどのフレームがコロケーテッドフレームとして使用されるかを指示する第２の構文要素を受信する）（８０５）。例えば、図６Ａを参照すると、現在の画像６１０における現在のＣＵ６０１は、コロケーテッド画像６１２内のコロケーテッドＣＵ６０１'に対応する。

次に、デコーダは、現在の符号化ユニットの空間的隣接ブロックを位置決める（８１０）。例えば、図６Ｄを参照すると、現在の符号化ユニット（例えば、現在のＣＵ６３６）は、空間的隣６３８（ブロックＡ１）を有する。ある実施形態では、空間的隣接ブロックは、符号化ユニットまたはサブブロックである。

空間的隣接ブロックを位置決めした後、デコーダは、次に、現在の符号化ユニットの動きシフトベクトルを決定する（８１５）。動きシフトベクトルは、現在の画像（例えば、図６Ｄにおける現在の画像６１０）における現在の符号化ユニット（例えば、図６Ｄにおける現在のＣＵ６３６）とコロケーテッド画像（例えば、図６Ｄにおけるコロケーテッド画像６１２）における対応するコロケーテッドブロック（例えば、図６Ｄにおける空間的隣６３８'（ブロックＡ１'））との間の空間的位置のシフトを示す。

動きシフトベクトルを決定するために、デコーダは、空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルのそれぞれを順次検査する（８２０）。Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれがコロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８２５）：デコーダは、Ｌｉｓｔ０内の当該動きベクトルを動きシフトベクトルとして設定し（８３０）（例えば、動きシフトベクトル６３０）、空間的隣接ブロックのＬｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベクトルの検査を放棄する（８３５）。その結果、動きベクトルの検索が終了し、Ｌｉｓｔ０内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。言い換えると、デコーダは、空間的隣接ブロックのＬｉｓｔ１をチェックする前に、常に最初に空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルをチェックする。

一方、Ｌｉｓｔ０内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を参照画像として使用しないという決定に従って（８４０）、デコーダは、空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査する（８４５）。つまり、デコーダは、Ｌｉｓｔ０内の動きベクトルの検索が否定的な結果を返す場合にのみ、空間的隣接ブロックのＬｉｓｔ１の動きベクトルをチェックする。

空間的隣接ブロックのＬｉｓｔ１内の動きベクトルを検索している間、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが、コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８５０）、デコーダは、Ｌｉｓｔ１における当該動きベクトルを動きシフトベクトルとして設定し（８５５）、Ｌｉｓｔ１における後続の動きベクトルの検査を放棄する（８６０）。つまり、Ｌｉｓｔ１内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。Ｌｉｓｔ１内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を当該動きベクトルの参照画像として使用しないという決定に従って（８６５）、デコーダは、動きシフトベクトルをゼロ値に設定する（８７０）。結果として、対応する符合化ユニットおよび現在の符号化ユニットは、コロケーテッド画像および現在の画像に対して同じ相対な位置にある（例えば、現在の符号化ユニットと対応する符号化ユニットとの間に動きのシフトがない）。

最後に、デコーダは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像内の対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する（８７５）。例えば、図６Ｄを参照すると、スケーリング後、サブブロック時間的動きベクトル予測子６３２は、動きシフトベクトル６３０により、対応するサブブロック時間的動きベクトル６３１を位置決めすことで構成される（例えば、図６Ａに関して説明されたスケールプロセス及び関する説明）。ある実施形態では、サブブロックは、Ｌｉｓｔ０およびＬｉｓｔ１からの１つまたは２つの時間的動きベクトルを含む。

ある実施形態では、動きシフトベクトルに基づいてコロケーテッド画像内の対応するサブブロックから、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを再構築することは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測することを含み、動きシフトベクトルに基づいてコロケーテッド画像における所定の領域（例えば、有効な領域）内において、それぞれのサブブロックに対応するコロケーテッドサブブロックを探索する；コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在するという決定に従って、コロケーテッドサブブロックの１つ又は２つの動きベクトルを識別し、それぞれのサブブロックのためのサブブロックに基づく時間的動きベクトルを、現在の画像と現在の画像の参照画像との間の第１の画像順序カウント（ＰＯＣ）距離（例えば、図６ＡにおけるＰＯＣ距離ｔｂ）およびコロケーテッド画像とコロケーテッド画像の参照画像との間の第２のＰＯＣ距離（例えば、図６ＡにおけるＰＯＤ距離ｔｄ）に基づいてスケールされた１つまたは２つの動きベクトルとして設定する。ある実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、対応するサブブロックのサブブロックに基づく時間的運動ベクトルは、ゼロ値動きベクトルに設定される。別の実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、コロケーテッド画像における所定の領域内の代替的サブブロックは対応するサブブロックとして設定される。例えば、代替的サブブロックは、コロケーテッドサブブロックに最も近い所定の領域内における境界サブブロックである。

ある実施形態では、コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく、所定の領域は、最大許可ＣＴＵサイズ＋１つの列に等しいサイズを有する。

ある実施形態では、デコーダは、空間的隣接ブロックのＬｉｓｔ０をチェックする前に、まず空間的隣接ブロックのＬｉｓｔ１における動きベクトルをチェックする。

１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含むことが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形態を実現するための命令、コード、および／またはデータ構造を検索することができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含んでもよい。

ここで実施形態を説明するために使用される用語は、特定の実施形態を説明することのみを目的としており、特許請求の範囲を限定することを意図することがではない。実施形態の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、および「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列挙された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべきである。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／または成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/またはそれらの組の存在または追加を排除するものではないことがさらに理解されべきである。

ここで、第１、第２などの用語を使用して各種の要素を説明したことが、これらの要素はこれらの用語によって限定されないことも理解されべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱することない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１の電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極ではない。

本願の説明は、例示および説明のために提示されており、網羅的なまたは開示された形態の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できるようにするために選択されおよび説明されたものである。したがって、特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、添付の特許請求の範囲に含まれることを理解されるべきである。

本発明は、全般的にビデオデータの符号化および復号化に関し、特に、ビデオデータ符号化および復号化においてサブブロックの動きベクトル予測の方法およびシステムに関する。

デジタル・テレビ、ラップトップまたはデスクトップ・コンピュータ、タブレット・コンピュータ、デジタル・カメラ、デジタル記録装置、デジタル・メディア・プレーヤー、ビデオ・ゲーム機、スマートフォン、ビデオ会議装置やビデオ・ストリーミング装置などの各種電子装置は全てデジタル・ビデオを支持する。電子装置は、ＭＰＥＧ-４、ＩＴＵ-Ｔ Ｈ.２６３、ＩＴＵ-Ｔ Ｈ.２６４／ＭＰＥＧ-４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）及びＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）の標準で定義されたビデオ圧縮/展開の標準を実行することで、デジタル・ビデオ・データを受送信し、符号化し、復号化や格納する。ビデオ圧縮は、通常、空間（フレーム内）予測および／または時間（フレーム間）予測を実行して、ビデオデータに固有の冗長性を低減または削除することを含む。ブロックに基づくビデオ符号化では、ビデオフレームが、符号化木ユニット（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ ＵＮＩＴ)と呼ばれる複数のビデオブロックを含む１つ又は複数のスライスに区画される。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含み、または予め定められた最小のＣＵサイズに達するまでより小さなＣＵに再帰的に区画されることがある。各ＣＵ（リーフＣＵとも呼ばれる）には、１つまたは複数の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）と、１つまたは複数の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）とが含まれる。各ＣＵは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されることが可能である。１つのビデオフレームにおけるイントラ符号化された（I）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測で符号化される。１つのビデオフレームにおけるインター符号化された（ＰまたはＢ）スライス内のビデオブロックは、同ビデオフレームにおける隣接ブロック内の参照サンプルに関する空間予測、または他の以前および／または将来の参照ビデオフレームにおける参照サンプルに関する時間予測を使用する。

以前符号化された参照ブロック、例えば隣接ブロックに基づく空間予測又は時間予測では、符号化対象である現在のビデオブロックの予測ブロックが得られる。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実現されることが可能である。符号化対象である現在ブロックと予測ブロックとの間の画素差を示す残差データは、残差ブロック又は予測誤差と呼ばれる。インター符号化ブロックは、予測ブロックを生成した参照フレームにおける参照ブロックに指す動きベクトルと、残差ブロックとに応じて符号化される。動きベクトルを確定する処理は、通常、動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モードと残差ブロックに応じて符号化されたものである。更なる圧縮のために、残差ブロックは画素領域から変換領域、例えば周波数領域に変換され、結果としてその後定量化される残差変換係数が得られる。そして、最初に二次元行列で配置され且つ定量化された変換係数は、走査されて変換係数の一次元ベクトルを生成し、その後、更なる圧縮を達成するようにビデオ・ビットストリームにエントロピー符号化される。

そして、符号化されたビデオ・ビットストリームは、コンピュータ読取可能な記憶媒体（例えば、フラッシュメモリ）に保存されて、デジタル・ビデオ能力を持つ電子装置によってアクセスされ、或いは有線または無線でこの電子装置に直接送信される。そして、この電子装置は、例えば、符号化されたビデオ・ビットストリームを解析してこのビットストリームから構文要素を取得し、このビットストリームから取得された構文要素の少なくとも一部に基づいてデジタル・ビデオデータをこの符号化されたビデオストリームから元のフォーマットに再構成することで、ビデオ展開（上述したビデオ圧縮とは反対のプロセス）を実行しており、この再構成されたデジタル・ビデオデータを電子装置のディスプレイに再現する。

デジタル・ビデオの品質が高解像度から４Ｋ×２Ｋ、さらに８Ｋ×４Ｋに進んでいるにつれて、符号化／復号化対象となるビデオデータの量は指数関数的に増加する。復号化されたビデオデータの画像品質を維持しながらビデオデータを効率的に符号化／復号化することは、常に課題である。

本願は、ビデオデータの符号化および復号化、より具体的には、サッブブロックの動きベクトル予測の方法およびシステムに関する実現を説明する。

本願の第１の方面に従い、現在の画像における現在の符号化ユニットを復号化するための方法であって、前記現在の画像のコロケーテッド画像を決定することと、前記現在の符号化ユニットの空間的隣接ブロックの動きベクトルに基づいて前記現在の画像における前記現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックと前記コロケーテッド画像における対応するサブブロックとの間の空間的位置のシフトを示す前記現在の符号化ユニットの動きシフトベクトルを決定することと、前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することと、を含む、復号化方法を提供する。

本願の第２の方面に従い、コンピューティング装置は、１つまたは複数のプロセッサと、メモリと、前記メモリに格納されている複数のプログラムと、を含む。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に上記の操作を実行させる。

本願の第３の方面に従い、非一時的なコンピュータ読取可能な記憶媒体は、１つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納する。前記プログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に上記の操作を実行させる。

本発明の実現のさらなる理解を提供する、本明細書の一部として本明細書に引き入れる添付図面は、上述した実現を示し、その説明と共に基礎原理を説明するためものである。なお、同一符号は同一または相当な部分を示す。
図１は、本開示のある実施形態に係る例示的なビデオ符号化および復号化システムを示すブロック図である。 図２は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。 図３は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。 図４Ａ～４Ｅは、本開示のある実施形態に係る、フレームがどのように再帰的に異なるサイズ及び形状の複数のビデオブロックに区画されるかを示すブロック図である。 図５は、本開示のある実施形態に係る、符号化対象である現在ＣＵの空間的に隣り合っている位置かつ時間的に並べているブロック位置を示すブロック図である。 図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子または現在ブロックにおけるサッブブロックのサッブブロック時間的動きベクトル予測子を導出するためのステップを示すブロック図である。 図７は、本開示のある実施形態に係る、時間的動きベクトル予測子およびサッブブロック時間的動きベクトル予測子を導出することに使用される有効な領域を決定するためのブロック図を示している。 図８は、本開示のある実施形態に係る、ビデオエンコーダがサッブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセスを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。以下の詳細な説明において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳細を述べる。ただし、本発明は、特許請求の範囲及びその趣旨から逸脱することではなく種々の変形により実施することができることは当業者には明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多くの種類の電子装置で実施され得る。

図１は、本開示のある実施形態に係る、ビデオブロックを並列に符号化および復号化するための例示的なシステム１０を示すブロック図である。図１に示すように、システム１０は、将来目標装置１４によって復号化されるビデオデータを生成し符号化するソース装置１２を含む。ソース装置１２および目標装置１４には、デスクトップまたはラップトップ・コンピュータ、タブレット・コンピュータ、スマートフォン、セットトップボックス、デジタル・テレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオ・ゲーム機、ビデオ・ストリーミング装置などを含む多種の電子装置のいずれかを含んでもよい。ある実施形態では、ソース装置１２および目標装置１４は、無線通信機能を備えている。

ある実施形態では、目標装置１４が、リンク１６を介して復号化対象の符号化されたビデオデータを受信する。リンク１６には、符号化されたビデオデータをソース装置１２から目標装置１４に移動できる任意のタイプの通信媒体または装置を含むことが可能である。一つの例では、リンク１６には、ソース装置１２に符号化されたビデオデータを目標装置１４にリアルタイムで直接送信させることができる通信媒体を含んでもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信標準に従って変調され、目標装置１４に送信される。通信媒体には、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）スペクトルや１つまたは複数の物理的な伝送路などの任意の無線または有線通信媒体を含むことが可能である。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネット等のグローバルネットワークなどのようなパケットベースに基づくネットワークの一部として構成してもよい。通信媒体には、ルーター、交換機、基地局や、ソース装置１２から目標装置１４への通信に役立つ他の任意の装置を含んでもよい。

他のある実施形態では、符号化されたビデオデータは、出力インターフェース２２からストレージ装置３２に送信される。その後、ストレージ装置３２にある符号化されたビデオデータは、入力インターフェース２８を介して目標装置１４によってアクセスされる。ストレージ装置３２には、ハードドライブ、Ｂｌｕ-ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、や符号化されたビデオデータを格納するための他の適切なデジタル記憶媒体などのような多種の分散型またはローカルにアクセスされるデータ記憶媒体のいずれかを含むことが可能である。別の例では、ストレージ装置３２は、ファイルサーバ、やソース装置１２によって生成された符号化ビデオデータを保持することができる別の中間ストレージ装置に対応してもよい。目標装置１４は、ストリーミングまたはダウンロードによりストレージ装置３２から格納されたビデオデータにアクセスすることができる。ファイルサーバは、符号化されたビデオデータを格納し、この符号化されたビデオデータを目標装置１４に送信することができる任意のタイプのコンピュータであってよい。例示的なファイルサーバは、ウェブサーバ（例えば、ウェブサイト用もの）、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ）装置、またはローカルディスクドライブを含む。目標装置１４は、ファイルサーバーに保存されている符号化ビデオデータへのアクセスに適する無線チャネル（例えば、Ｗｉ―Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはそれらの組み合わせを含む任意の標準的なデータ接続を介して、符号化されたビデオデータをアクセスすることができる。ストレージ装置３２からの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組み合わせであってもよい。

図１に示すように、ソース装置１２は、ビデオソース１８、ビデオエンコーダ２０、および出力インターフェース２２を含む。ビデオソース１８には、ビデオ・キャプチャ装置（例えばビデオカメラ）、前に捕らえられたビデオを含むビデオアーカイブ、ビデオコンテンツ提供者からビデオを受信するためのビデオフィードインターフェイス、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはそれらの組み合わせ等のようなソースを含むことが可能である。一つの例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソース装置１２および目標装置１４は、カメラ付き携帯電話またはビデオ電話を構成できる。しかしながら、本願で説明する実施形態は、一般にビデオ符号化に適用可能であり、そして無線および／または有線アプリケーションに適用可能である。

ビデオエンコーダ２０は、捕れるビデオ、予め捕らえられたビデオ、またはコンピュータによって生成されたビデオを符号化することができる。符号化されたビデオデータは、ソース装置１２の出力インターフェース２２を介して目標装置１４に直接送信されることが可能である。これに加えて（または選択的に）、符号化されたビデオデータは、その後目標装置１４または他の装置によってアクセスされて復号化および／または再生されるように、ストレージ装置３２に格納されてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

目標装置１４は、入力インターフェース２８、ビデオデコーダ３０、および表示装置３４を含む。入力インターフェース２８は受信機および／またはモデムを含み、リンク１６を介して符号化されたビデオデータを受信する。リンク１６を介して通信された、またはストレージ装置３２に提供された符号化ビデオデータには、ビデオエンコーダ２０によって生成されかつビデオデコーダ３０によるビデオデータの復号化に使用される多くの構文要素を含んでもよい。これらの符号化されたビデオデータは、通信媒体で送信されたか、記憶媒体に記憶されているか、ファイルサーバーに記憶されているかに関わらず、そのような構文要素を含んでもよい。

ある実施形態では、目標装置１４が、集積された表示装置や、目標装置１４と通信できるように構成された外部表示装置である表示装置３４を含んでもよい。表示装置３４は、復号化されたビデオデータをユーザに表示するものであって、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプの表示装置などの各種の表示装置のいずれかを含んでもよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ-４、Ｐａｒｔ１０、高度なビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、またはそのような標準の拡張などの専門または業界標準に従って動作する。なお、本願は、特定のビデオ符号化／復号化の標準に限定されず、他のビデオ符号化／復号化標準にも適用可能であることが理解されるべきである。ソース装置１２のビデオエンコーダ２０は、これらの現在または将来の標準のいずれかに従ってビデオデータを符号化するように構成される。同様に、目標装置１４のビデオデコーダ３０は、これらの現在または将来の標準のいずれかに従ってビデオデータを復号化するように構成される。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、離散な論理、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせなどのような、種々の適切なエンコーダ回路のいずれかによって実現されることが可能である。ソフトウェアによって一部実現される場合、電子装置は、ソフトウェアの命令を適切な非一時的なコンピュータ読取可能な媒体に格納し、１つまたは複数のプロセッサによってハードウェアにおける命令を実行することで本開示に述べたビデオ符号化／復号化操作を実行してもよい。ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれの装置において結合式エンコーダ/デコーダ（ＣＯＤＥＣ）の一部として集積された一つまたは複数のエンコーダまたはデコーダに含まれてもよい。

図２は、本願で説明されるある実施形態に係るビデオエンコーダ２０を例示するブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックに対してイントラ予測符号化およびインター予測符号化を実行することができる。イントラ予測符号化は空間予測に依存し、所定のビデオフレームまたは画像内のビデオデータの空間的冗長性を低減または削除する。インター予測符号化は、時間予測に依存し、ビデオシーケンスの隣接するビデオフレームまたは画像内のビデオデータの時間的冗長性を低減または削除する。

図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理部４１、復号化画像バッファ（ＤＰＢ）６４、加算器５０、変換処理部５２、定量化部５４、エントロピー符号化部５６を備えている。予測処理部４１は、動き推定部４２、動き補償部４４、区画部４５、イントラ予測処理部４６、イントラブロックコピー（ＢＣ）部４８をさらに備えている。ある実施形態では、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆定量化部５８、逆変換処理部６０、および加算器６２をさらに備えている。加算器６２とＤＰＢ６４との間には、再構成されたビデオからブロック同士の境界をフィルタリングしてブロック性アーチファクトを除去するデブロッキング・フィルタ（図示せず）を配置することが可能である。また、加算器６２の出力をフィルタリングするために、デブロッキング・フィルタに加えて、環内フィルタ（図示せず）を用いてもよい。ビデオエンコーダ２０は、固定的、またはプログラマブル・ハードウェアユニットの形態で形成してもよいし、または図示された固定的またはプログラマブル・ハードウェアユニットの１つ又は複数内で区画されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０における部品によって符号化対象のビデオデータを格納する。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られる。ＤＰＢ６４は、ビデオエンコーダ２０によってビデオデータを（例えば、イントラ予測またはインター予測符号化モードで）符号化する際に使用される参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、種々のメモリデバイスのいずれかで形成されることが可能である。種々の例では、ビデオデータメモリ４０は、ビデオエンコーダ２０における他の部品とともにオンチップであってもよく、またはそれらの部品に対するオフチップであってもよい。

図２に示すように、ビデオデータを受信した後、予測処理部４１における区画部４５は、このビデオデータをビデオブロックに区画する。この区画には、このビデオデータに関するｑｕａｄ－ｔｒｅｅ構造のような予め定められた区画構造に従って、ビデオフレームをスライス、タイルまたは他のより大きい符号化ユニット（ＣＵ）に区画することを含んでもよい。ビデオフレームは、複数のビデオブロック（または、タイルと称されるビデオブロックトセット）に区画されることができる。予測処理部４１は、現在のビデオブロックに対して、エラー結果（例えば、符号化率および歪みレベル）に基づいて、複数のイントラ予測符号化モードのうちの１つまたは複数のインター予測符号化モードのうちの１つを選択するように、複数の可能な予測符号化モードのうちの１つを選択する。そして、予測処理部４１は、得られたイントラ又はインター予測符号化ブロックを加算器５０に提供して残差ブロックを生成し、その後の参照フレームの一部として使用するように符号化ブロックを再構成する。また、予測処理部４１は、さらに動きベクトル、イントラモードインジケータ、区画情報及び他の構文情報のような構文要素をエントロピー符号化部５６に提供する。

予測処理部４１におけるイントラ予測処理部４６は、現在のビデオブロックに適するイントラ予測符号化モードを選択するために、符号化対象である現在ブロックと同一のフレーム内の１つまたは複数の隣接ブロックと関連して、現在のビデオブロックのイントラ予測符号化を実行することで空間予測を行うことができる。予測処理部４１における動き推定部４２および動き補償部４４は、一つ又は複数の参照フレーム内の一つ又は複数の予測ブロックに関連して、現在のビデオブロックのインター予測符号化を実行することで時間予測を行う。ビデオエンコーダ２０は、複数のパスの符号化処理を実行して、例えばビデオデータにおける各ブロックに適切な符号化モードを選択してもよい。

ある実施形態では、動き推定部４２は、ビデオフレームのシーケンスの予め定められたパターンに従って、現在のビデオフレームについて、参照ビデオフレーム内における予測ブロックと関連する現在のビデオフレーム内におけるビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することで、インター予測モードを決定する。動き推定部４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成する処理である。動きベクトルは、例えば、現在のビデオ・フレームまたは画像内の符号化されている現在のビデオブロックに対する参照フレーム（または他の符号化ユニット）内の予測ブロックに対して、現在のビデオ・フレーム（または他の符号化ユニット）内のビデオブロックのＰＵの変位を示すことができる。シーケンスの予め定められたパターンは、このシーケンスにおけるビデオ・フレームをＰフレームまたはＢフレームとして指定できる。イントラＢＣ部４８は、動き推定部４２によるインター予測のための動きベクトル決定と同様な方法により、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定してもよいし、または動き推定部４２を利用してこのブロックベクトルを決定してもよい。

予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又はその他の差メトリックによって決定できる画素差に関して符号化対象のビデオブロックのＰＵと厳密にマッチングされる参照フレームにおけるブロックである。ある実施形態では、ビデオエンコーダ２０が、ＤＰＢ６４に格納されている参照フレームのサブ整数画素位置の値を算出することが可能である。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８の画素位置、または他の分数の画素位置の値を補間してよい。したがって、動き推定装置４２は、すべての画素位置および分数画素位置に対して動き探索処理を実行して、分数画素精度を有する動きベクトルを出力ことが可能である。

動き推定部４２は、インター予測符号化フレーム内のビデオブロックのＰＵの位置と、それぞれＤＰＢ６４に格納されている１つまたは複数の参照フレームを識別する第１の参照フレームリスト（Ｌｉｓｔ０）または第２の参照フレームリスト（Ｌｉｓｔ１）から選択された参照フレームの予測ブロックの位置と比較することで、このＰＵのための動きベクトルを算出する。動き推定部４２は、算出された動きベクトルを動き補償部４４に送信し、そして、エントロピー符号化部５６に送信する。

動き補償部４４によって実行される動き補償には、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取得または生成することを含み得る。動き補償部４４は、現在のビデオブロックのＰＵのための動きベクトルを受信すると、参照フレームリストの１つにおいてこの動きベクトルが指している予測ブロックを位置決めし、ＤＰＢ６４からこの予測ブロックを探し、この予測ブロックを加算器５０に転送する。そして、加算器５０は、符号化されている現在のビデオブロックの画素値から動き補償部４４によって提供された予測ブロックの画素値を差し引くことで、画素差値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差値は、輝度差成分または彩度差成分、あるいはその両方を含み得る。また、動き補償部４４は、ビデオフレームのビデオブロックに関する構文要素をさらに生成することが可能であり、これらの構文要素は、ビデオデコーダ３０によってビデオフレームのビデオブロックを復号化する際に使用される。構文要素には、例えば、この予測ブロックを識別するための動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書で説明される任意の他の構文情報を含んでよい。なお、動き推定部４２および動き補償部４４は、概念的な目的のために個別に示されているが、高度に集積されてもよい。

ある実施形態では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４に関して上述した方法と同様の方法でベクトルを生成し、予測ブロックを取得することができるが、ここで、予測ブロックは符号化されている現在ブロックと同じフレームにあり、ベクトルは、動きベクトルではなくブロックベクトルと呼ばれる。特に、イントラＢＣ部４８は、現在ブロックを符号化することに用いられるイントラ予測モードを決定することができる。ある例では、イントラＢＣ部４８は、例えば個別のパスの符号化において、各種のイントラ予測モードを使用して現在ブロックを符号化し、レート歪み解析によりそれらのパフォーマンスを試験することが可能である。次に、イントラＢＣ部４８は、種々の試験されたイントラ予測モードから、一つの適切なイントラ予測を選択し使用して、対応するイントラモードインジケータを生成する。例えば、イントラＢＣ部４８は、レート歪み解析により種々の試験されたイントラ予測モードのレート歪み値を算出し、試験されたモードからレート歪み特性が最適なイントラ予測モードを適切なイントラ予測モードとして選択し使用してもよい。レート歪み解析では、通常、符号化されているブロックとこの符号化されたブロックを符号化されて生成した、符号化されない元のブロックとの間の歪み（又は、エラー）の量、および、この符号化されるブロックを生成するために使用されるビットレート（すなわち、ビットの数）を決定する。イントラＢＣ部４８は、種々の符号化されるブロックについて歪み及びレートから比率を算出して、どのイントラ予測モードがこのブロックに対して最適なレート歪み値を示しているかを決定してもよい。

別の例では、イントラＢＣ部４８は、動き推定部４２および動き補償部４４の全体または一部を使用して、本明細書に記載の実施形態に従うイントラＢＣ予測に係る機能を実行してもよい。いずれの場合も、イントラ・ブロック・コピーについては、予測ブロックが、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）または他の差メトリックによって決定できる画素差に関して、符号化対象のブロックと厳密にマッチングすると考えられるものであり、予測ブロックの識別には、サブ整数画素位置の値の算出が含まれる場合がある。

ビデオエンコーダ２０は、予測ブロックがイントラ予測に基づいて同じフレームからのものであるか、インター予測に基づいて異なるフレームからのものであるかに関わらず、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を差し引いて画素差値を生成することで、残差ビデオブロックを生成することができる。残差ビデオブロックを形成する画素差値には、輝度成分差及び彩度成分差の両方を含んでよい。

イントラ予測処理部４６は、上述した動き推定部４２および動き補償部４４によって実行されるインター予測、またはイントラＢＣ部４８によって実行されるイントラ・ブロック・コピー予測の代わりに、現在のビデオブロックに対してイントラ予測することができる。特に、イントラ予測処理部４６は、１つのイントラ予測モードを決定して現在ブロックを符号化することができる。それを実現するために、イントラ予測処理部４６は、例えば、個別のパスの符号化処理において、種々のイントラ予測モードを使用して現在ブロックを符号化し、イントラ予測処理部４６（またはある例では、モード選択部）は、試験されたイントラ予測モードから１つの適切なイントラ予測モードを選択し使用してもよい。イントラ予測処理部４６は、このブロックに関して選択されたイントラ予測モードを示す情報をエントロピー符号化部５６に提供してもよい。エントロピー符号化部５６は、選択されたイントラ予測モードを示す情報をビットストリームに符号化することができる。

予測処理部４１がインター予測またはイントラ予測により現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックからこの予測ブロックを差し引くことで残差ビデオブロックを生成する。残差ブロック内の残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれて変換処理部５２に提供される。変換処理部５２は、離散コサイン変換（ＤＣＴ）または概念的に類似する変換などにより、残差ビデオデータを残差変換係数に変換する。

変換処理部５２は、得られた変換係数を定量化部５４に送信する。定量化部５４は、これらの変換係数を定量化して、ビットレートをさらに低減する。定量化プロセスは、これらの係数の一部または全部に関連するビット深度を減らすことができる。 定量化の度合いは、定量化パラメータを調整することによって変更されることができる。そして、ある例では、定量化部５４は、定量化された変換係数を含む行列に対する走査を実行することができる。この走査は、エントロピー符号化部５６によって実行されてもよい。

定量化に続いて、エントロピー符号化部５６は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔区画エントロピー（ＰＩＰＥ）符号化や別のエントロピー符号化方法または技術により、定量化された変換係数を、ビデオ・ビットストリームにエントロピー符号化する。そして、符号化されたビットストリームは、ビデオデコーダ３０に送信されてもよいし、またはその後にビデオデコーダ３０へ送信するか、またはビデオデコーダ３０によって検索するためにストレージ装置３２にアーカイブされてもよい。また、エントロピー符号化部５６は、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

逆定量化部５８および逆変換処理部６０は、それぞれ、逆定量化および逆変換により、他のビデオブロックの予測に使用される参照ブロックを生成するための画素領域内の残差ビデオブロックを再構成する。以上で述べたように、動き補償部４４は、ＤＰＢ６４に格納されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。また、動き補償部４４は、この予測ブロックに１つまたは複数の補間フィルタを適用して、動き推定に使用されるサブ整数画素値を算出してもよい。

加算器６２は、再構成された残差ブロックを動き補償部４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に格納する参照ブロックを生成する。そして、この参照ブロックは、予測ブロックとして、イントラＢＣ部４８、動き推定部４２および動き補償部４４によって使用されて後続のビデオフレーム内の別のビデオブロックをインター予測することが可能である。

図３は、本願のある実施形態に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化部８０、予測処理部８１、逆定量化部８６、逆変換処理部８８、加算器９０およびＤＰＢ９２を備える。予測処理部８１は、動き補償部８２、イントラ予測部８４及びイントラＢＣ部８５をさらに備える。ビデオデコーダ３０は、図２を参照してビデオエンコーダ２０に関して上述した符号化プロセスとおおよそ逆の復号化プロセスを実行することができる。例えば、動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルに基づいて予測データを生成し、イントラ予測部８４は、エントロピー復号化部８０から受信したイントラ予測モードインジケータに基づいて予測データを生成することができる。

ある例では、ビデオデコーダ３０における一つの構成要素が本願の実施を実行する任務を負ってもよい。また、ある例では、本開示の実施は、ビデオデコーダ３０における１つまたは複数の構成要素に区画されてもよい。例えば、イントラＢＣ部８５は、本願の実施を単独で実現してもよいし、または動き補償部８２、イントラ予測部８４およびエントロピー復号化部８０などのビデオデコーダ３０における他の構成要素と組み合わせて実現してもよい。ある例では、ビデオデコーダ３０がイントラＢＣ部８５を含まなく、イントラＢＣ部８５の機能が動き補償部８２のようなの予測処理部８１における他の構成要素によって実現されてもよい。

ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素によって復号化される符号化ビデオビットストリームなどのビデオデータを格納することができる。ビデオデータメモリ７９に格納されたビデオデータは、例えば、ビデオデータの有線または無線ネットワーク通信や物理的なデータ記憶媒体（例えば、フラッシュドライブやハードディスク）へのアクセスにより、ストレージ装置３２やカメラなどのローカルビデオソースから取得した。ビデオデータメモリ７９は、符号化されたビデオビットストリームからの符号化されたビデオデータを格納する符号化画像バッファ（ＣＰＢ）を含んでもよい。ビデオデコーダ３０における復号化画像バッファ（ＤＰＢ）９２は、ビデオデコーダ３０による（例えば、イントラ予測またはインター予測符号化モードでの）ビデオデータの復号化に使用される参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗型ＲＡＭ（ＲＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、または他のタイプのメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されることが可能である。説明の便利上、ビデオデータメモリ７９およびＤＰＢ９２は、図３ではビデオデコーダ３０における２つの個別の構成要素として示されている。しかし、当業者にとっては、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイス又は個別のメモリデバイスによって提供されることは明らかである。ある例では、ビデオデータメモリ７９は、ビデオデコーダ３０における他の構成要素とともにオンチップであってもよく、それらの構成要素に対するオフチップであってもよい。

ビデオデコーダ３０は、復号化プロセスにおいて、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を示す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで構文要素を受信してもよい。ビデオデコーダ３０のエントロピー復号化部８０は、このビットストリームをエントロピー復号化して、定量化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。そして、エントロピー復号化部８０は、動きベクトルおよび他の構文要素を予測処理部８１に転送する。

ビデオフレームがイントラ予測符号化（Ｉ）フレームに符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックに用いられる場合、予測処理部８１におけるイントラ予測部８４は、信号で通知されたイントラ予測モード、および現在フレームの以前復号化されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成することが可能である。

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームに符号化された場合、予測処理部８１における動き補償部８２は、エントロピー復号化部８０から受信した動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックのための１つまたは複数の予測ブロックを生成することが可能である。各予測ブロックは、参照フレームリストのうちの１つ内の参照フレームから生成される。ビデオデコーダ３０は、ＤＰＢ９２に格納された参照フレームに基いて、デフォルトの構成技術によりこれらの参照フレームリスト、Ｌｉｓｔ０およびＬｉｓｔ１を構成することが可能である。

ある例では、ビデオブロックがここで述べたイントラＢＣモードに従って符号化された場合には、予測処理部８１におけるイントラＢＣ部８５は、エントロピー復号化部８０から受信したブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのための予測ブロックを生成する。この予測ブロックは、ビデオエンコーダ２０によって决定された現在のビデオブロックと同一の画像の再構成領域にあり得る。

動き補償部８２および／またはイントラＢＣ部８５は、動きベクトルおよび他の構文要素を解析することで現在のビデオフレームのビデオブロックのための予測情報を決定し、そして、この予測情報を使用して復号化されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償部８２は、受信した構文要素の一部を使用して、このビデオフレームのビデオブロックを符号化するための予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、このフレームのための１つまたは複数の参照フレームリストの構造情報、このフレームの各インター予測符号化ビデオブロックの動きベクトル、このフレームの各インター予測符号化ビデオブロックのインター予測状態、および現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定する。

同様に、イントラＢＣ部８５は、受信した構文要素の一部、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードで予測されること、このフレームにおけるどのビデオブロックが再構成領域にあり且つＤＰＢ９２に格納されるべきかに関する構造情報、このフレームにおける各イントラＢＣ予測ビデオブロックのブロックベクトル、このフレームにおける各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号化するための他の情報を決定することができる。

また、動き補償部８２は、ビデオエンコーダ２０がビデオブロックの符号化において使用した補間フィルタを使用して補間を実行して、参照ブロックのサブ整数画素の補間値を算出することもできる。この場合、動き補償部８２は、受信した構文要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、この補間フィルタを使用して予測ブロックを生成してもよい。

逆定量化部８６は、ビデオエンコーダ２０によって定量化の度合いを決定するためにこのビデオフレーム内の各ビデオブロックに対して算出された定量化パラメータと同じものを使用して、ビットストリームに提供され且つエントロピー復号化部８０によってエントロピー復号化された定量化の変換係数を逆定量化する。逆変換処理部８８は、画素領域にある残差ブロックを再構成するように、逆変換、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換処理をこれらの変換係数に適用する。

動き補償部８２またはイントラＢＣ部８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理部８８からの残差ブロックと動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを加算することで、現在のビデオブロックに対して復号化されたビデオブロックを再構成する。加算器９０とＤＰＢ９２との間には、インループフィルタ（図示せず）を配置して、この復号化されたビデオブロックをさらに処理することが可能である。そして、所定のフレーム内のこれらの復号化されたビデオブロックは、次のビデオブロックの将来の動き補償に使用される参照フレームを格納するＤＰＢ９２に格納される。また、ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスには、図１の表示装置３４などのような表示装置にその後表示されるように、復号化されたビデオも格納されることが可能である。

典型的なビデオ符号化プロセスでは、１つのビデオシーケンスが、通常、順序付けられたフレームまたは画像のセットを含む。各フレームには、ＳＬ、ＳＣｂおよびＳＣｒで示す３つのサンプル行列を含むことが可能である。ＳＬは、輝度サンプルの２次元行列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元行列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元行列である。別の例では、フレームがモノクロであることがあり、この場合、輝度サンプルの１つの２次元行列のみが含まれる。

図４Ａに示すように、ビデオエンコーダ２０（または、より具体的には区画部４５）は、まずフレームを１組の符号化木ユニットに区画することにより、このフレームの符号化表現を生成する。ビデオフレームには、ラスター走査順で左から右、および上から下に連続的に順序付けられた整数個のＣＴＵが含まれる。各ＣＴＵは、最大の論理的な符号化ユニットであり、幅および高さが、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２及び１６×１６のうちの１つである同じサイズを有するように、ビデオエンコーダ２０によってシーケンスパラメータセットで通知される。なお、本願は必ずしも特定のサイズに限定されない。図４Ｂに示すように、各ＣＴＵは、輝度サンプルの１つの符号化木ブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用される構文要素を含み得る。構文要素は、画素の符号化ブロックの異なるタイプのユニットの属性、及びどのようにビデオシーケンスがビデオデコーダ３０において再構成されるかを記述するものであって、例えば、インター予測またはイントラ予測、イントラ予測モード、動きベクトルおよび他のパラメータを含む。モノクロ画像または３つの個別の色平面を有する画像では、１つのＣＴＵが、単一の符号化木ブロックと、この符号化木ブロックのサンプルを符号化するために使用される構文要素とを含み得る。符号化木ブロックは、Ｎ×Ｎのサンプルブロックであることが可能である。

より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。より良いパフォーマンスを達成するために、ビデオエンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木区画、三分木区画、四分木区画、またはそれらの組み合わせなどの木区画を再帰的に実行して、このＣＴＵをより小さな符号化ユニット（ＣＵ）に区画することができる。図４Ｃに示すように、６４×６４のＣＴＵ４００は、まず、３２×３２ブロックサイズの４つのより小さなＣＵに区画される。これらの４つのより小さいＣＵのうち、ＣＵ４１０及びＣＵ４２０は、それぞれ１６×１６ブロックサイズの４つのＣＵに区画される。１６×１６ブロックサイズの２つのＣＵ４３０および４４０は、それぞれ８×８ブロックサイズの４つのＣＵにさらに区画される。図４Ｄは、図４Ｃに示されたＣＴＵ４００の区画プロセスの最終的な結果を表す四分木データ構造を示し、四分木の各リーフノードは、３２×３２から８×８までの各サイズの１つのＣＵに対応する。図４Ｂに示されたＣＴＵのように、各ＣＵは、フレームの同じサイズの輝度サンプルの１つの符号化ブロック（ＣＢ）と、彩度サンプルの２つの対応する符号化ブロックと、これらの符号化ブロックのサンプルを符号化するために使用される構文要素とを含み得る。モノクロ画像または３つの個別の色平面を有する画像には、１つのＣＵが、単一の符号化ブロックと、この符号化ブロックのサンプルを符号化するために使用される構文構造とを含み得る。なお、図４Ｃおよび図４Ｄに示す四分木分割は、例示的にすぎず、１つのＣＴＵが四分/三分/二分木区画に基づいて各種のローカル特性に適するＣＵに分割されることができる。マルチタイプ木構造では、１つのＣＴＵが四分木構造に従って分割され、各四分木リーフＣＵが、二分木および三分木構造に従ってさらに分割されることができる。図４Ｅに示すように、幅Ｗおよび高さＨを有する符号化ブロックの５種の可能な区画タイプ、すなわち、四元区画、水平二元区画、垂直二元区画、水平三元区画、および垂直三元区画がある。

ある実施形態では、ビデオエンコーダ２０が、さらにＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）に区画するこができる。予測ブロックは、同じ予測（インター予測またはイントラ予測）が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの予測ユニット（ＰＵ）は、１つの輝度サンプルの予測ブロック、彩度サンプルの２つの対応する予測ブロック、およびこれらの予測ブロックを予測するために使用される構文要素を含み得る。モノクロ画像または３つの個別の色平面を有する画像では、ＰＵが単一の予測ブロックと、この予測ブロックを予測するために使用される構文構造とを含み得る。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度予測ブロック、Ｃｂ予測ブロックおよびＣｒ予測ブロックに対する予測的な輝度ブロック、予測的なＣｂブロックおよび予測的なＣｒブロックを生成することができる。

ビデオエンコーダ２０は、イントラ予測またはインター予測により、ＰＵに対してこれらの予測ブロックを生成することができる。ビデオエンコーダ２０は、イントラ予測によりＰＵの予測ブロックを生成する場合、このＰＵに関連するフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。ビデオエンコーダ２０は、インター予測によりＰＵの予測的なブロックを生成する場合、このＰＵに関連するフレーム以外の１つまたは複数のフレームの復号化されたサンプルに基づいて、このＰＵの予測的なブロックを生成することができる。

ビデオエンコーダ２０は、ＣＵの１つまたは複数のＰＵの予測的な輝度ブロック、予測的なＣｂブロック、および予測的なＣｒブロックを生成した後、ＣＵの元の輝度符号化ブロックからＣＵの予測的な輝度ブロックを差し引くことで、このＣＵの輝度残差ブロックを生成し、ここで、このＣＵの輝度残差ブロックにおける各サンプルが、このＣＵの予測的な輝度ブロックのうち１つの予測的な輝度ブロックにおける輝度サンプルとこのＣＵの元の輝度符号化ブロックにおける対応するサンプルとの差を示す。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し、ここで、このＣＵのＣｂ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｂブロックのうち１つの予測的なＣｂブロックにおけるＣｂサンプルとこのＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの差を示し、このＣＵのＣｒ残差ブロックにおける各サンプルが、このＣＵの予測的なＣｒブロックのうち１つの予測的なＣｒブロックにおけるＣｒサンプルとこのＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの差を示す。

さらに、図４Ｃに示すように、ビデオエンコーダ２０は、四分木区画により、ＣＵの輝度残差ブロック、Ｃｂ残差ブロック、およびＣｒ残差ブロックを１つまたは複数の輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに分解することができる。変換ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用される構文要素を含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロックおよびＣｒ変換ブロックに関連付けられることが可能である。ある例では、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。モノクロ画像または３つの個別の色平面を有する画像では、ＴＵが、単一の変換ブロックと、この変換ブロックのサンプルを変換するために使用される構文構造とを含み得る。

ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、このＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次元行列であってもよい。変換係数はスカラー量であってもよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、このＴＵのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、このＴＵのＣｒ係数ブロックを生成することができる。

ビデオエンコーダ２０は、係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、係数ブロックを定量化してもよい。定量化とは、一般的に、変換係数を定量化してこれらの変換係数を示すデータの量をなるべく低減し、更なる圧縮に達することを意味する。ビデオエンコーダ２０は、係数ブロックを定量化した後、定量化された変換係数を示す構文要素をエントロピー符号化することが可能である。例えば、ビデオエンコーダ２０は、定量化された変換係数を示す構文要素に対してコンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）を実行してもよい。最終的に、ビデオエンコーダ２０は、符号化されたフレームおよび関連データの表現を構成するビットシーケンスを含むビットストリームを出力して、ストレージ装置３２に保存するか、または目標装置１４に送信する。

ビデオデコーダ３０は、ビデオエンコーダ２０によって生成されたビットストリームを受信した後、このビットストリームを解析して、ビットストリームから構文要素を取得する。ビデオデコーダ３０は、ビットストリームから取得された構文要素の少なくとも一部に基づいて、ビデオデータのフレームを再構成することができる。ビデオデータを再構成するプロセスは、一般的に、ビデオエンコーダ２０によって実行された符号化プロセスと逆である。例えば、ビデオデコーダ３０は、現在ＣＵのＴＵに関連する係数ブロックに対して逆変換を実行して、現在ＣＵのＴＵに関連する残差ブロックを再構成することが可能である。また、ビデオデコーダ３０は、現在ＣＵのＰＵのための予測ブロックのサンプルと現在ＣＵのＴＵの変換ブロックの対応するサンプルとを加算することによって、現在ＣＵの符号化ブロックを再構成する。フレームの各ＣＵの符号化ブロックが再構成された後、ビデオデコーダ３０はこのフレームを再構成することが可能である。

上述したように、ビデオ符号化では、主に２つのモード、即ちイントラフレーム予測（またはイントラ予測）及びインターフレーム予測（またはインター予測）を使用してビデオ圧縮を実現する。なお、ＩＢＣは、イントラフレーム予測または第三モードと見なすことができる。この２つのモードを比べると、インターフレーム予測は、動きベクトルを使用して参照ビデオブロックから現在のビデオブロックを予測するため、イントラフレーム予測よりも符号化効率に大きく貢献する。

しかし、ビデオデータ・キャプチャ技術の向上及びビデオデータの詳細を保持するためのより精細化的なビデオブロックサイズにつれて、現在フレームのための動きベクトルを表すために必要なデータの量も大幅に増加している。この課題を解決するための１つの方法は、空間ドメインと時間ドメインにおける１組の隣り合うＣＵが、予測目的のための同じビデオデータを含むだけでなく、これらの隣り合うＣＵ間で動きベクトルも同じであるという事実が有益である。したがって、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報の空間的および時間的相関性を探索することにより、空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵの動き情報を、現在ＣＵの「動きベクトル予測子」（ＭＶＰ）もという動き情報（例えば、動きベクトル）の近似として使用することが可能である。

図２を参照して上述した動き推定部４２によって決定された現在ＣＵの実際の動きベクトルをビデオビットストリームに符号化する代わりに、現在ＣＵの実際の動きベクトルから現在ＣＵの動きベクトル予測子を差し引くにより、現在ＣＵの動きベクトル差（ＭＶＤ）を生成する。これにより、フレームの各ＣＵに対して動き推定部４２によって決定した動きベクトルをビデオビットストリームに符号化する必要がなく、ビデオビットストリームにおける動き情報を表すためのデータの量を大幅に減らすことができる。

符号化ブロックのインターフレーム予測中に参照フレーム内から予測ブロックを選択するプロセスと同様に、ビデオエンコーダ２０及びビデオデコーダ３０は、１組のルールにより、現在ＣＵの空間的に隣り合うＣＵおよび／または時間的にコロケーテッドＣＵに関連する潜在的な候補動きベクトルを使用して動きベクトル候補リスト（「マージリスト」とも呼ばれる）を構成し、そしてこれらの動きベクトル候補リストから１つの項目を選択して現在ＣＵの動きベクトル予測子とする必要がある。これにより、ビデオエンコーダ２０とビデオデコーダ３０との間で動きベクトル候補リスト自身を送信する必要がなく、動きベクトル候補リスト内の選択された動きベクトル予測子の索引は、ビデオエンコーダ２０およびビデオデコーダ３０が動きベクトル候補リスト内で同じ動きベクトル予測子を使用して現在ＣＵを符号化および復号化することに十分である。

ある実施形態では、各インター予測ＣＵが、動きベクトル候補リストを構成するためのインター（「高度な動きベクトル予測」（ＡＭＶＰ））、スキップおよびマージを含む３つの動きベクトル予測モードを有する。各モードでは、以下に説明するアルゴリズムに従って、１つまたは複数の動きベクトル候補を動きベクトル候補リストに追加することが可能である。最終的に、候補リスト内のそれらの動きベクトル候補のうちの１つは、ビデオエンコーダ２０によってビデオビットストリームに符号化されるか、またはビデオデコーダ３０によってビデオビットストリームから復号化されるインター予測ＣＵの最適な動きベクトル予測子として使用される。候補リストから最適な動きベクトル予測子を見つけるために、動きベクトル競合（ＭＶＣ）スキームが導入されて、空間的および時間的動きベクトル候補を含む所定の動きベクトル候補セット、すなわち動きベクトル候補リストから１つの動きベクトルが選択される。

動きベクトル予測子候補は、空間的に隣り合い、または時間的にコロケーテッドＣＵから導出されることに加えて、いわゆる「履歴による動きベクトル予測」（ＨＭＶＰ）テーブルからも導出されることが可能である。ＨＭＶＰテーブルには、それぞれがＣＴＵの同じ行（または同じＣＴＵ）の所定のＣＵを符号化/復号化することに使用された予め定められた数の動きベクトル予測子を収納している。これらのＣＵの空間的/時間的近接性によって、ＨＭＶＰテーブルにおける動きベクトル予測子のうち１つが、ＣＴＵの同じ行内の異なるＣＵを符号化/復号化することに再利用される可能性は高い。したがって、動きベクトル候補リストを構成する処理にＨＭＶＰテーブルを使用することにより、より高い符号化効率を達成することが可能である。

ある実施形態では、ＨＭＶＰテーブルが固定の長さ（例えば５）を有し、先入れ先出し（ＦＩＦＯ）の方式で管理される。例えば、ＣＵの１つのインター符号化ブロックを復号化する際に、このＣＵに対して動きベクトルを再構成する。再構成された動きベクトルが後続のＣＵの動きベクトル予測子である可能性があるので、ＨＭＶＰテーブルは、この動きベクトルによりオンザフライで更新される。ＨＭＶＰテーブルの更新では、以下の２つの状況がある。（ｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと異なる、または（ｉｉ）再構成された動きベクトルがＨＭＶＰテーブル内の既存の動きベクトルの１つと同じである。第１の状況では、ＨＭＶＰテーブルが未満の場合、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される。ＨＭＶＰテーブルがすでにいっぱいになる場合、再構成された動きベクトルが最新のものとして追加される前に、まずＨＭＶＰテーブル内の最も古い動きベクトルがＨＭＶＰテーブルから削除される必要がある。言い換えると、この場合、ＨＭＶＰテーブルは、ＦＩＦＯバッファと同様に、ＦＩＦＯバッファの先頭にあり且つ以前にインター符号化された別のブロックに関連する動き情報がこのバッファから取り除かれて、再構成された動きベクトルがＨＭＶＰテーブルにおける最新の項目としてＦＩＦＯバッファの末端に追加される。第２の状況では、再構成された動きベクトルが最新のものとしてＨＭＶＰテーブルに追加される前に、ＨＭＶＰテーブル内の、再構成された動きベクトルと実質的に同じ既存の動きベクトルがＨＭＶＰテーブルから削除される。ＨＭＶＰテーブルもＦＩＦＯバッファの方式で維持されている場合、ＨＭＶＰテーブル内の同じ動きベクトルの次の動きベクトル予測子が１つの項目だけ前方に移動されて削除された動きベクトルによって残された空間を占有し、そして、再構成された動きベクトルがＨＭＶＰテーブル内の最新のものとしてＦＩＦＯバッファの末端に追加される。

ＨＭＶＰテーブルにおける動きベクトルは、ＡＭＶＰ、マージ、スキップなどの異なる予測モードで動きベクトル候補リストに追加されることが可能である。ＨＭＶＰテーブルに保存されている以前にインター符号化されたブロックの動き情報は、現在ブロックに隣り合っていなくても、より効率的な動きベクトル予測に利用できることが分かった。

現在ＣＵに対する所定の動きベクトル候補セット内で１つのＭＶＰ候補が選択された後、ビデオエンコーダ２０は、対応するＭＶＰ候補に対して１つまたは複数の構文要素を生成し、ビデオビットストリームに符号化してビデオデコーダ３０がこの構文要素を使用してこのデオビットストリームからこのＭＶＰ候補を検索できる。動きベクトル候補セットを構成するための特定のモードによっては、異なるモード（例えば、ＡＭＶＰ、マージ、スキップなど）が異なる構文要素セットを有する。ＡＭＶＰモードの場合には、構文要素が、インター予測インジケーター（Ｌｉｓｔ０、Ｌｉｓｔ１、または双方向予測）、参照索引、動きベクトル候補索引、動きベクトル予測残差信号などを含む。スキップモード及びマージモード場合には、現在ＣＵが、符号化されたマージ索引によって指す隣接ＣＵから、インター予測インジケータ、参照索引、動きベクトルなどの他の構文要素を継承するので、マージ索引のみがビットストリームに符号化される。スキップ符号化されたＣＵの場合には、動きベクトル予測残差信号も省略される。

図５Ａは、本開示のある実施形態に係る、符号化／復号化対象の現在ＣＵの空間的に隣り合いかつ時間的にコロケーテッドブロック位置を示すブロック図である。所定のモードでは、まず空間的に左側隣接ブロック位置および上方隣接ブロック位置に関連する動きベクトルの利用可能性、時間的にコロケーテッドブロック位置に関連する動きベクトルの利用可能性を検査し、次にＨＭＶＰテーブル内の動きベクトルの利用可能性を検査することで、動きベクトル予測（ＭＶＰ）候補リストを構成する。ＭＶＰ候補リストを構成するプロセスには、いくつかの冗長なＭＶＰ候補が候補リストから削除され、必要に応じて候補リストが固定の長さを有するようにゼロ値の動きベクトルが追加される（なお、モードによって固定の長さが異なることがある）。ＭＶＰ候補リストの構成後、ビデオエンコーダ２０は、この候補リストから最適な動きベクトル予測子を選択し、選択された候補を指す対応する索引をビデオビットストリームに符号化することができる。

ある例では、候補リスト（マージ候補リストとも呼ばれる）が、以下の５種タイプの候補を以下の順に含むことによって構成されることができる。
１．空間的に隣り合うＣＵからの空間的ＭＶＰ（即ち、動きベクトル予測子）
２．コロケーテッドＣＵからの時間的ＭＶＰ
３．ＦＩＦＯテーブルから履歴によるＭＶＰ
４．ペアワイズ平均ＭＶＰ
５．ゼロＭＶ

ある実施形態では、候補リストのサイズがスライスヘッダーで通知され、候補リストの最大許容サイズが６である（例えば、ＶＶＣの場合）。マージモードの各ＣＵコードについて、最適なマージ候補のインデックスが、切り捨て単項二値化（ＴＵ）により符号化される。マージインデックスの第１のビンは、コンテキストで符号化され、一方バイパス符号化が他のビンに使用される。本開示の以下の文脈において、この拡張されたマージモードは、概念がＨＥＶＣに使用されるマージモードと同じであるため、通常のマージモードとも呼ばれる。

図５Ａを例として使用し、かつ候補リストが２の固定長さを有すると仮定すると、現在ＣＵに関する動きベクトル予測子（ＭＶＰ）候補リストは、ＡＭＶＰモードで以下のステップを順に実行することによって構成されることが可能である。
１）空間的に隣り合うＣＵからのＭＶＰ候補の選択
ａ）Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｂ）前のステップで左に利用可能な非スケールＭＶＰ候補がない場合には、Ａ０で始まり且つＡ１で終わる左側の空間的に隣り合う２つのＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
ｃ）Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の空間的に隣り合う３つのＣＵのうちの１つから、最大１つの非スケールＭＶＰ候補を導出する；
ｄ）Ａ０とＡ１の両方とも利用不可である場合、またはそれらがいずれもイントラモードで符号化された場合には、Ｂ０で始まり且つＢ１を通じてＢ２で終わる上側の３つの空間的隣り合うＣＵのうちの１つから、最大１つのスケールＭＶＰ候補を導出する；
２）前のステップで２つのＭＶＰ候補が見つかり、且つそれらが同一である場合は、このＭＶＰ候補リストからこの２つの候補のうちの１つを削除する；
３）時間的にコロケーテッドＣＵからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、時間的にコロケーテッドＣＵ（例えばＴ０）から最大１つのＭＶＰ候補を導出する；
４）ＨＭＶＰテーブルからのＭＶＰ候補の選択
ａ）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、ＨＭＶＰテーブルから最大２つの履歴によるＭＶＰを導出する；
５）前のステップの後、ＭＶＰ候補リストに２つのＭＶＰ候補が含まれていない場合には、最大２つのゼロ値ＭＶＰをＭＶＰ候補リストに追加する。

以上の構成されたＡＭＶＰモードＭＶＰ候補リストには２つの候補しかないので、候補リスト内の２つのＭＶＰ候補のうちどのが現在ＣＵの復号化に使用されるかを示すように、バイナリフラグのような関連する構文要素をビットストリームに符号化する。

ある実施形態では、スキップモードまたはマージモードでは、上述のような一連のステップを順に実行することで、現在ＣＵに関するＭＶＰ候補リストを構成し得る。なお、「ペアワイズマージ候補」と呼ばれる１つの特別な種類のマージ候補も、スキップモードまたはマージモードのためのＭＶＰ候補リストに含まれる。ペアワイズマージ候補は、以前に導出された２つのマージモード動きベクトル候補のＭＶを平均化することによって生成される。マージＭＶＰ候補リストのサイズ（たとえば、１から６）は、現在ＣＵのスライスヘッダーで通知される。マージモードの各ＣＵについて、最適なマージ候補の索引は、切り捨て単項二値化（ＴＵ）により復号化される。マージ索引の第１のビンはコンテキストで符号化され、バイパス符号化が他のビンに使用される。

上述のように、履歴によるＭＶＰは、空間的ＭＶＰ及び時間的ＭＶＰの後、ＡＭＶＰモードＭＶＰ候補リスト又はマージＭＶＰ候補リストに追加されることができる。以前インター符号化されたＣＵの動き情報は、ＨＭＶＰテーブルに保存され、現在ＣＵのためのＭＶＰ候補として使用される。ＨＭＶＰテーブルは、符号化/復号化プロセス中に維持されている。非サブブロックインター符号化したＣＵがあるたびに、関連する動きベクトル情報が新しい候補としてＨＭＶＰテーブルの最後のエントリに追加され、一方（ＨＭＶＰテーブルがすでにいっぱいで、このテーブル内に関連動きベクトル情報の同じ複本がない場合）ＨＭＶＰテーブルの第１のエントリに格納されている動きベクトル情報がそこから削除される。これの代わりに、関連する動きベクトル情報がＨＭＶＰテーブルの最後のエントリに追加される前に、関連する動きベクトル情報の同じ複本をこのテーブルから削除してもよい。

上述のように、イントラブロックコピー（ＩＢＣ）は、スクリーンコンテンツ素材の符号化効率を著しく改善することができる。ＩＢＣモードはブロックレベルの符号化モードとして実現されるので、ビデオエンコーダ２０では、ブロックマッチング（ＢＭ）を実行して、各ＣＵに対して最適なブロックベクトルを見つける。ここでは、ブロックベクトルは、現在の画像内で現在ブロックからすでに再構成された参照ブロックへの変位を示すためのものである。ＩＢＣモードは、イントラ予測モードまたはインター予測モード以外の第三予測モードとして扱われる。

ＣＵレベルでは、ＩＢＣモードが、以下のようにＩＢＣ ＡＭＶＰモードまたはＩＢＣスキップ／マージモードとして信号で通知されることができる。
-ＩＢＣ ＡＭＶＰモード：ＣＵの実際のブロックベクトルとこのＣＵのブロックベクトル候補から選択されたこのＣＵのブロックベクトル予測子との間のブロックベクトル差（ＢＶＤ）は、上述したＡＭＶＰモードで動きベクトル差に対する符号化と同じ方法で符合化される。（ＩＢＣ符合化される場合）ブロックベクトル予測方法では、２つのブロックベクトル候補が予測子として使用され、１つが左側の隣から、もう１つが上方の隣からである。いずれの隣も利用不可である場合には、デフォルトのブロックベクトルがブロックベクトル予測子として使用される。二値フラグは、ブロックベクトル予測子索引を示すように信号で通知される。ＩＢＣ ＡＭＶＰ候補リストには、空間的候補およびＨＭＶＰ候補を含む。
-ＩＢＣスキップ/マージモード：マージ候補索引は、隣り合うＩＢＣ符号化ブロックからのマージ候補リスト（「マージリスト」とも呼ばれる）においてどのブロックベクトル候補が現在ブロックのためのブロックベクトルの予測に使用されるかを示すためのものである。ＩＢＣマージ候補リストには、空間的候補、ＨＭＶＰ候補、およびペアワイズ候補を含む。

図６Ａ～６Ｄは、本開示のある実施形態に係る、現在ブロックの時間的動きベクトル予測子（ＴＭＶＰ）またはサッブブロックのサッブブロック時間的動きベクトル予測子（ＳｂＴＭＶＰ）を導出するためのステップを示すブロック図である。

ある実施形態では、図５に関して説明したように、１つの時間的動きベクトル予測子（ＴＭＶＰ）候補のみがマージ候補リストに追加される。このＴＭＶＰ候補が有効か無効かを指示すように、第１フラグ（sps_temporal_mvp_enabled_flag）が画像のシーケンスパラメータセット（ＳＰＳ）で通知され、第２フラグ（slice_temporal_mvp_enabled_flag）がスライスヘッダーで通知される。特に、この時間的マージ候補の導出では、スケール動きベクトルが、参照画像リストにおける以前に符号化復号化された画像であるコロケーテッド画像のＭＶから導出される。この時間的動き候補の導出では、このコロケーテッド画像が第１の参照フレームリスト（Ｌｉｓｔ０）か第２の参照フレームリスト（Ｌｉｓｔ１）から選択されたかを指示すように、スライスヘッダー内の明示的なフラグ（co-located_from_l0_flag）が最初にデコーダーに送信される。使用されるリスト内のどの画像が、時間的動き候補を導出するためのコロケーテッド画像として選択されるかを指示すように、コロケーテッド参照インデックス（co-located_ref_idx）がさらに送信される。時間的動き候補のＬｉｓｔ０（Ｌ０とも呼ばれる）およびＬｉｓｔ１（Ｌ１とも呼ばれる）ＭＶは、以下の擬似コードに従ってコロケーテッド画像のコロケーテッドブロック内の異なるリストのＭＶに対する予め定められた順序で個別に導出される。

時間的併合候補のスケール動きベクトル６０２は、図６Ａの点線で示すように、ＰＯＣ距離ｔｂ６０４およびＰＯＣ距離ｔｄ６０６を使用して、選択されたコロケーテッドブロックの動きベクトルからスケールされることで得られる。ここで、ｔｂは、現在の画像の参照画像（例えば、現在の参照６０８）と現在の画像（例えば、現在の画像６１０）との間のＰＯＣ差と定義され、ｔｄは、コロケーテッド画像の参照画像（コロケーテッド参照６１４）とコロケーテッド画像（コロケーテッド画像６１２）との間のＰＯＣ差と定義される。時間的マージ候補の参照画像インデックスはゼロに設定される。スケールプロセスの実際的な実現は、ＨＥＶＣ仕様に記載されている。Ｂスライスの場合、１つが参照画像Ｌｉｓｔ０用、もう１つが参照画像Ｌｉｓｔ１用のような２つの動きベクトルは、取得されて結合され、双予測マージ候補を作成する。

参照フレームに属するコロケーテッドブロック（例えば、コロケーテッドブロック６２０）において、時間的候補の位置は、図６Ｂに示すように、候補Ｃ_０とＣ_１との間で選択される。位置Ｃ_０でのブロックが利用不可であり、イントラ符号化復号化されており、または現在のＣＴＵの外にある場合は、位置Ｃ_１が使用される。それ以外の場合、位置Ｃ_０は時間的マージ候補の導出に使用される。

ある符号化復号化標準（例えば、ＶＶＣ試験モデル１）は、サッブブロックに基づく時間的動きベクトル予測子（ＳｂＴＭＶＰ）方法をサポートする。ＨＥＶＣにおける時間的動きベクトル予測（ＴＭＶＰ）と同様に、ＳｂＴＭＶＰは、コロケーテッド画像の動きフィールドを使用して、現在の画像におけるＣＵの動きベクトル予測及びマージモードを改善する。ＳｂＴＭＶＰでは、ＴＭＶＰで使用されたコロケーテッド画像と同じものが使用される。ＳｂＴＭＶＰは、次の２つの主な点でＴＭＶＰと異なる。
１．ＴＭＶＰはＣＵレベルで動きを予測するが、ＳｂＴＭＶＰはサブＣＵレベルで動きを予測する。
２．ＴＭＶＰがコロケーテッド画像におけるコロケーテッドブロックから時間的動きベクトルを選択する期間（コロケーテッドブロックは現在のＣＵに対して右下または中央のブロックである）では、ＳｂＴＭＶＰは、現在のＣＵの空間的に隣り合うブロックのうちの１つからの動きベクトルから取得された動きシフトをこのコロケーテッド画像から選択された時間的動き情報に適用する。

ＳｂＴＭＶＰプロセスは、図６Ｃ-６Ｄに示されている。ＳｂＴＭＶＰ（図６ＤのＳｂＴＭＶＰ６３２）は、２つのステップで、現在のＣＵ（図６Ｄの現在のＣＵ６３６）内のサブＣＵ（例えば、サブＣＵ６３４）の動ベクトルを予測する。第１のステップにおいて、図６Ｃ中の空間的隣Ａ１（例えば、空間的隣６３８）を調べる。Ａ１がコロケーテッド画像（例えば、図６Ａのコロケーテッド画像６１２）を参照画像として使用する動きベクトルを有する場合、この動きベクトルは、適用される動きシフト（例えば、図６Ｄの動きシフト６３０）として選択される。そのような動きベクトルが識別されながった場合、動きシフトはゼロ値ベクトル（０、０）に設定される。ブロックＡ１のＬｉｓｔ０ＭＶおよびＬｉｓｔ１ＭＶのうちの最初に利用可能な動きベクトルは、動きシフトとして設定される。このように、ＳｂＴＭＶＰでは、常に現在のＣＵに対して右下または中央の位置にある対応するブロック（コロケーテッドブロックと呼ばれることもある）がＴＭＶＰと比較して、より正確に識別されることができる。動きシフトを決定するための擬似コードは以下のとおりである。

ＶＶＣにおけるＳｂＴＭＶＰの動きシフトを決定するための擬似コード

上記の表で使用される変数および関数は、以下のように示す。
・ColFromL0Flag：コロケーテッド画像がＬｉｓｔ０参照画像リストからのものであるかどうかを示す構文；
・LDC：すべての参照画像のＰＯＣ値が現在の画像よりも小さいかどうかを示す；
・CurrentSliceType：現在のスライス（画像）のタイプ；
・count：すでに導出されたマージ候補の利用可能な数；
・interDirA1：N番目のマージ候補のinterDir（1：L0, 2：L1, または3：Bi）；
・refIdxA1 [0]：N番目のマージ候補のL0動き情報（例えば、MV, ref. index）
・refIdxA1 [1]：N番目のマージ候補のL1動き情報（例えば、MV, ref. index）
・getRefPic（M, I）：参照インデックスIによって参照画像ＬｉｓｔＭから参照画像を取得するための関数。

第２のステップでは、図６Ｄに示すように、ステップ１で識別された動きシフトが適用されて（すなわち、現在のブロックの座標に追加されて）、コロケーテッド画像からサブＣＵレベルの動き情報（動きベクトルおよび参照インデックス）を取得する。図６Ｄの例では、動きシフトがブロックＡ１の動きに設定されているとする。実際の実現では、動きシフトがブロックＡ１、Ａ２、Ｂ１、またはＢ２の動きのいずれかに設定されることが可能である。

まず、代表的なサブＣＵが選択され、この代表的なサブＣＵの対応するブロックの動き情報がデフォルト動き情報として使用される。ＳｂＴＭＶＰの既存のスキームでは、現在のＣＵの中央位置の右下にあるサブＣＵが代表的なサブＣＵとして選択される。代表的なサブＣＵの対応するブロックからデフォルト動き情報として有効な動き情報を導出できなかった場合、ＳｂＴＭＶＰ候補は利用不可と見なされる。デフォルト動き情報が利用可能な場合、次のステップに進み、現在のＣＵ内の各サブＣＵの動き情報を取得する。いずれかのサブＣＵの対応するブロックに利用可能な動き情報がないたびに、デフォルト動き情報がそのサブＣＵの導出された時間的動きとして使用される。

次に、各サブＣＵについて、コロケーテッド画像内の対応するブロック（中央のサンプルを含む最小の動きグリッド）の動き情報を使用して、このサブＣＵの動き情報を導出する。コロケーテッドサブＣＵの動き情報が特定された後、時間的動きスケールを適用して時間的動きベクトルの参照画像を現在のＣＵの参照画像と位置合わせるＨＥＶＣのＴＭＶＰプロセスと同様の方法で、現在のサブＣＵの動きベクトル及び参照インデックスに変換される。

なお、現在の設計では、コロケーテッド画像におけるコロケーテッドＣＴＵ内の動きフィールド＋このコロケーテッドＣＴＵの右側の１つの列のみが、各ＣＵのＳｂＴＭＶＰおよびＴＭＶＰ導出に使用できる。図７に示すように、コロケーテッドＣＴＵ内の動き情報＋このコロケーテッドＣＴＵの右側にある１列の動き情報（この例では、ＣＴＵ２は現在のＣＵのコロケーテッドＣＴＵ）のみは、ＳｂＴＭＶＰおよびＴＭＶＰの時間的なｍｖ導出に使用される可能である。以降、説明の便宜上、このコロケーテッドＣＴＵ＋１つの列を、ＳｂＴＭＶＰ / ＴＭＶＰ導出のための「有効な領域」と呼びる。このコンテキストでは、サブＣＵのコロケーテッド画像内の対応するＮ×Ｎブロックが有効な領域の外側にあるたびに、この対応するＮ×ＮブロックがコロケーテッドＣＴＵ内にある代替ブロックに置き換えられる。代替Ｎ×Ｎブロックの位置は、以下の式を使用して、有効な領域内に位置決めされる対応するＮ×Ｎブロックの元の位置をクリップすることで導出される。以下の式（各サブＣＵの位置クリッププロセス）では、CurPicWidthInSamplesY及びCurPicHeightInSamplesYは符号化復号化された画像の幅及び高さであり、CTUWidthInSamplesX及びCTUWidthInSamplesYはＣＴＵの幅及び高さであり、xCtb及びyCtbはコロケーテッドＣＴＵの左上のサンプルの水平位置及び垂直位置である。xColCtrCb及びyColCtrCbはサブＣＵの代表的なサンプルの水平位置及び垂直位置であり、MotionShiftX及びMotionShiftYは、動きシフトのｘ成分及びｙ成分である。関数Clip3（x, y, z）及びMin（x, y）は次のように定義される。

ＶＶＣでは、ＳｂＴＭＶＰ候補及びアフィンマージ候補の両方を含む、サブブロックに基づく結合式マージリストが、サブブロックに基づくマージモードの信号による通知に使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効化/無効化される。ＳｂＴＭＶＰモードが有効になっている場合、ＳｂＴＭＶＰ予測子は、サブブロックに基づくマージ候補のリストの最初のエントリとして追加され、その後にアフィンマージ候補が続く。サブブロックに基づくマージリストのサイズはＳＰＳで信号により通知され、ＶＶＣでは、サブブロックに基づくマージリストの最大許可サイズが５である。

ＳｂＴＭＶＰで使用されるサブＣＵサイズは８×８に固定されており、アフィンマージモードの場合のように、ＳｂＴＭＶＰモードは、幅および高さの両方が８以上であるＣＵにのみ適用可能である。さらに、現在のＶＶＣでは、ＴＭＶＰおよびＳｂＴＭＶＰで使用される時間的動きフィールドストレージの場合、動きフィールド圧縮は、ＨＥＶＣにおける１６×１６の粒度とは対照的に、８×８の粒度で実行される。

ある実施形態では、動きシフトは、常に隣接ブロックのＬｉｓｔ０ｍｖから導出される。Ｌｉｓｔ０ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ１ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される。

ＳｂＴＭＶＰの動きシフトを決定するための擬似コード

ある実施形態では、動きシフトが、常に隣接ブロックのＬｉｓｔ１ｍｖから導出される。 Ｌｉｓｔ１ｍｖが利用不可である場合は、隣接ブロックのＬｉｓｔ０ｍｖが使用されて、ＳｂＴＭＶＰの動きシフトを導出する。擬似コードが以下に説明される

ＳｂＴＭＶＰの動きシフトを決定するための擬似コード

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれがあるたびに、ゼロベクトルが動きシフトベクトルとして使用されてＳｂＴＭＶＰを導出する。このように、現在のＣＵのすべてのサブＣＵの対応するブロックが有効な領域内に位置することが保証される。したがって、各サブＣＵのための位置クリッププロセスは不要である。現在のＣＵにおいてサブＣＵの対応するブロックのいずれが有効な領域の外にあるかどうかを判定する方法はたくさんある。一例では、左上のＮ×ＮサブＣＵの対応するブロックおよび右下のＮ×ＮサブＣＵの対応するブロックは、この２つの対応するブロックが有効な領域内にあるかどうかを決定するようにチェックされる。いずれかの対応するブロックが有効な領域の外にある場合、ゼロベクトルが動きシフトベクトルとして使用される。それ以外の場合（対応するブロックの両方はとも有効な領域内にある）、導出された動きシフトがＳｂＴＭＶＰに使用される。

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、ＳｂＴＭＶＰは、現在のＣＵに対して利用不可と見なされる。

ある実施形態では、有効な領域の外に位置するサブＣＵの対応するブロックのいずれかがあるたびに、動きシフトは、すべてのサブＣＵの対応するブロックが有効な領域内に位置することを保証するように修正される。したがって、各サブＣＵのための位置クリッププロセスは不要である。

ある実施形態では、ゼロベクトルは、常にＳｂＴＭＶＰ導出のための動きシフトに使用される。

ある実施形態では、有効な領域の外に位置する対応するブロックを有するサブＣＵのＭＶとして、代表的なサブＣＵから導出されたデフォルトＭＶを使用することが提案される。

図７は、本開示のある実施形態に係る、現在の画像（例えば、現在の画像７０４）における符号化ブロック（例えば、現在のＣＵ７０２）のためのＴＭＶＰおよびＳｂＴＭＶＰを導出することに使用される有効な領域を決定するためのブロック図を示している。有効な領域は、ＴＭＶＰまたはＳｂＴＭＶＰのために現在のＣＵ（例えば、現在のＣＵ７０２）に対応するＣＵ（例えば、対応するＣＵ７０２'）が検索されているコロケーテッド画像（例えば、コロケーテッド画像７０４'）内の領域である。ある実施形態では、有効な領域は、ＴＭＶＰおよびＳｂＴＭＶＰを導出するためのＣＴＵ（例えば、ＣＴＵ２'）＋１つの列（例えば、１列のＴＭＶバッファ７０６）によって決定される。有効な領域制約は、メモリ使用の削減のための設計である。有効な領域をコロケーテッドＣＴＵ＋１つの列に制限することにより、有効な領域内の動き情報のみを内部メモリ（例えば、キャッシュ）に保存して、外部メモリからの時間的動きデータへのアクセスの平均コスト（時間またはエネルギー）を削減する必要がある。今、最大ＣＴＵサイズはＶＶＣで１２８×１２８であり（最大ＣＴＵサイズはＶＶＣプロファイルの後続の段階で決定される可能性がある）、ＣＴＵサイズは１２８×１２８未満（例えば、６４×６４又は３２×３２）に設定されることが可能である。１つの例では、ＣＴＵサイズが６４×６４に設定されている場合、有効な領域は、コロケーテッド６４×６４ブロック＋１つの列に制約される。最大ＣＴＵのための時間的ＭＶバッファーの設計はすでに存在するので、符号化復号化効率の観点から、最大ＣＴＵサイズよりも小さい有効な領域を使用するのは賢明ではない場合がある。ある実施形態では、使用中のＣＴＵサイズに関係なく、有効な領域は、常に許可な最大ＣＴＵサイズ＋１つの列に固定されている。

ある実施形態では、有効な領域は、コロケーテッドＣＴＵだけになるように変更される。

ある実施形態では、ＣＴＵサイズが最大ＣＴＵサイズに等しい場合、有効な領域は、コロケーテッドＣＴＵ＋１つの列である。ＣＴＵサイズが最大ＣＴＵサイズよりも小さい場合、有効な領域は、コロケーテッドＣＴＵ＋コロケーテッドＣＴＵの右側の１つの列及びコロケーテッドＣＴＵの下の１つの行になるように変更される。

図８Ａ～８Ｂは、本開示のある実施形態に係る、ビデオエンコーダがサブブロック時間的動きベクトル予測子を導出する技術を実現する例示的なプロセス８００を示すフローチャートである。プロセス８００は、復号化プロセスか符号化プロセスかであり得るが、便宜上、プロセス８００は、ビデオデコーダ（例えば、図３のビデオデコーダ３０）によって実行される復号化プロセスとして説明される。

第１のステップとして、デコーダは、現在の符号化ユニットのコロケーテッド画像を決定する（例えば、ビットストリームから現在のフレームのコロケーテッド画像が第１のリストまたは第２のリストからのものであるかを指示する第１の構文要素を受信する；次に、ビットストリームから選択されたリストのどのフレームがコロケーテッドフレームとして使用されるかを指示する第２の構文要素を受信する）（８０５）。例えば、図６Ａを参照すると、現在の画像６１０における現在のＣＵ６０１は、コロケーテッド画像６１２内のコロケーテッドＣＵ６０１'に対応する。

次に、デコーダは、現在の符号化ユニットの空間的隣接ブロックを位置決める（８１０）。例えば、図６Ｄを参照すると、現在の符号化ユニット（例えば、現在のＣＵ６３６）は、空間的隣６３８（ブロックＡ１）を有する。ある実施形態では、空間的隣接ブロックは、符号化ユニットまたはサブブロックである。

空間的隣接ブロックを位置決めした後、デコーダは、次に、現在の符号化ユニットの動きシフトベクトルを決定する（８１５）。動きシフトベクトルは、現在の画像（例えば、図６Ｄにおける現在の画像６１０）における現在の符号化ユニット（例えば、図６Ｄにおける現在のＣＵ６３６）とコロケーテッド画像（例えば、図６Ｄにおけるコロケーテッド画像６１２）における対応するコロケーテッドブロック（例えば、図６Ｄにおける空間的隣６３８'（ブロックＡ１'））との間の空間的位置のシフトを示す。

動きシフトベクトルを決定するために、デコーダは、空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルのそれぞれを順次検査する（８２０）。Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれがコロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８２５）：デコーダは、Ｌｉｓｔ０内の当該動きベクトルを動きシフトベクトルとして設定し（８３０）（例えば、動きシフトベクトル６３０）、空間的隣接ブロックのＬｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベクトルの検査を放棄する（８３５）。その結果、動きベクトルの検索が終了し、Ｌｉｓｔ０内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。言い換えると、デコーダは、空間的隣接ブロックのＬｉｓｔ１をチェックする前に、常に最初に空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルをチェックする。

一方、Ｌｉｓｔ０内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を参照画像として使用しないという決定に従って（８４０）、デコーダは、空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査する（８４５）。つまり、デコーダは、Ｌｉｓｔ０内の動きベクトルの検索が否定的な結果を返す場合にのみ、空間的隣接ブロックのＬｉｓｔ１の動きベクトルをチェックする。

空間的隣接ブロックのＬｉｓｔ１内の動きベクトルを検索している間、Ｌｉｓｔ１内のそれぞれの動きベクトルのいずれが、コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って（８５０）、デコーダは、Ｌｉｓｔ１における当該動きベクトルを動きシフトベクトルとして設定し（８５５）、Ｌｉｓｔ１における後続の動きベクトルの検査を放棄する（８６０）。つまり、Ｌｉｓｔ１内の最初にマッチング動きベクトルが動きシフトベクトルとして使用される。Ｌｉｓｔ１内のそれぞれの動きベクトルが、いずれもコロケーテッド画像を当該動きベクトルの参照画像として使用しないという決定に従って（８６５）、デコーダは、動きシフトベクトルをゼロ値に設定する（８７０）。結果として、対応する符合化ユニットおよび現在の符号化ユニットは、コロケーテッド画像および現在の画像に対して同じ相対な位置にある（例えば、現在の符号化ユニットと対応する符号化ユニットとの間に動きのシフトがない）。

最後に、デコーダは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックについて、動きシフトベクトルに基づいて、コロケーテッド画像内の対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成する（８７５）。例えば、図６Ｄを参照すると、スケーリング後、サブブロック時間的動きベクトル予測子６３２は、動きシフトベクトル６３０により、対応するサブブロック時間的動きベクトル６３１を位置決めすことで構成される（例えば、図６Ａに関して説明されたスケールプロセス及び関する説明）。ある実施形態では、サブブロックは、Ｌｉｓｔ０およびＬｉｓｔ１からの１つまたは２つの時間的動きベクトルを含む。

ある実施形態では、動きシフトベクトルに基づいてコロケーテッド画像内の対応するサブブロックから、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを再構築することは、現在の符号化ユニット内の複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測することを含み、動きシフトベクトルに基づいてコロケーテッド画像における所定の領域（例えば、有効な領域）内において、それぞれのサブブロックに対応するコロケーテッドサブブロックを探索する；コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在するという決定に従って、コロケーテッドサブブロックの１つ又は２つの動きベクトルを識別し、それぞれのサブブロックのためのサブブロックに基づく時間的動きベクトルを、現在の画像と現在の画像の参照画像との間の第１の画像順序カウント（ＰＯＣ）距離（例えば、図６ＡにおけるＰＯＣ距離ｔｂ）およびコロケーテッド画像とコロケーテッド画像の参照画像との間の第２のＰＯＣ距離（例えば、図６ＡにおけるＰＯＤ距離ｔｄ）に基づいてスケールされた１つまたは２つの動きベクトルとして設定する。ある実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、対応するサブブロックのサブブロックに基づく時間的運動ベクトルは、ゼロ値動きベクトルに設定される。別の実施形態では、コロケーテッド画像における所定の領域内においてコロケーテッドサブブロックが存在しないという決定に従って、コロケーテッド画像における所定の領域内の代替的サブブロックは対応するサブブロックとして設定される。例えば、代替的サブブロックは、コロケーテッドサブブロックに最も近い所定の領域内における境界サブブロックである。

ある実施形態では、コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく、所定の領域は、最大許可ＣＴＵサイズ＋１つの列に等しいサイズを有する。

ある実施形態では、デコーダは、空間的隣接ブロックのＬｉｓｔ０をチェックする前に、まず空間的隣接ブロックのＬｉｓｔ１における動きベクトルをチェックする。

１つまたは複数の例では、上述した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現される。ソフトウェアで実現される場合、それらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体に格納されまたはこれを介して送信され、ハードウェアによる処理ユニットによって実行される。コンピュータ読取可能な媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ読取可能な記憶媒体、または、例えば、通信プロトコルに従って、ある箇所から別の箇所へのコンピュータプログラムの転送を役立つ任意の媒体を含む通信媒体を含むことが可能である。このように、コンピュータ読取可能な媒体は、一般的に、（１）非一時的な有形のコンピュータ読取可能な記憶媒体、または（２）信号または搬送波などの通信媒体、に対応することが可能である。データ記憶媒体は、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされて、本願で説明された実施形態を実現するための命令、コード、および／またはデータ構造を検索することができる任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含んでもよい。

ここで実施形態を説明するために使用される用語は、特定の実施形態を説明することのみを目的としており、特許請求の範囲を限定することを意図することがではない。実施形態の説明および添付の特許請求の範囲で使用されるように、単数形「一」、「１つの」、および「この」は、文脈で明確に別段の指示がない限り、複数形も含むことを意図している。 ここで使用される「および／または」という用語は、１つまたは複数の関する、列挙された項目の任意及びすべての可能な組み合わせを意味しかつ含むことも理解されべきである。本明細書で使用された「含む」という用語は、記載された特徴、要素、および／または成分の存在を指示するが、１つまたは複数の他の機能、要素、成分、および/またはそれらの組の存在または追加を排除するものではないことがさらに理解されべきである。

ここで、第１、第２などの用語を使用して各種の要素を説明したことが、これらの要素はこれらの用語によって限定されないことも理解されべきである。これらの用語は、ある要素を別の要素と区別するためにのみ使用された。例えば、実施形態の範囲から逸脱することない限り、第１の電極は、第２の電極と呼ばれてよく、同様に、第２の電極は、第１の電極と呼ばれてもよい。第１の電極と第２の電極は両方とも電極であるが、同じ電極ではない。

本願の説明は、例示および説明のために提示されており、網羅的なまたは開示された形態の発明に限定されるものではない。各種の変更、変形、および置換した実現は、前述の説明および関連する図面に提示された教示を得った当業者にとっては明らかである。実施形態は、本発明の原理、実際の適用を最もよく説明し、当業者が各種の実施のために本発明を理解し、特定の用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できるようにするために選択されおよび説明されたものである。したがって、特許請求の範囲は、開示された実現の特定の例に限定されなく、変更および他の実現も、添付の特許請求の範囲に含まれることを理解されるべきである。

Claims (9)

1. 現在の画像における現在の符号化ユニットを復号化するための方法であって、
   前記現在の符号化ユニットのコロケーテッド画像を決定することと、
   前記コロケーテッド画像に対応する前記現在の符号化ユニットの空間的隣接ブロックを位置決めることと、
   前記空間的隣接ブロックのＬｉｓｔ０に含まれる動きベクトルのそれぞれを順次検査することと、
   前記Ｌｉｓｔ０内のそれぞれの動きベクトルのいずれが前記コロケーテッド画像を当該前記動きベクトルの参照画像として使用するという決定に従って：
   前記Ｌｉｓｔ０内の当該動きベクトルを動きシフトベクトルとして設定し、
   前記Ｌｉｓｔ０における後続の動きベクトル及びＬｉｓｔ１における動きベクトルの検査を放棄することと、
   前記Ｌｉｓｔ０内のそれぞれの動きベクトルがいずれも前記コロケーテッド画像を参照画像として使用しないという決定に従って：
   前記空間的隣接ブロックのＬｉｓｔ１に含まれる動きベクトルのそれぞれを順次検査し、
   前記Ｌｉｓｔ１内のそれぞれの前記動きベクトルのいずれが前記コロケーテッド画像を当該動きベクトルの参照画像として使用するという決定に従って：
   前記Ｌｉｓｔ１内の当該動きベクトルを前記動きシフトベクトルとして設定し、
   前記Ｌｉｓｔ１における後続の動きベクトルの検査を放棄し、
   前記Ｌｉｓｔ１内のそれぞれの動きベクトルがいずれも前記コロケーテッド画像を当該動きベクトルの参照画像として使用しないという決定に従って、
   前記動きシフトベクトルをゼロ値ベクトルに設定することと、
   を含み、
   前記現在の画像における前記現在の符号化ユニットと前記コロケーテッド画像における対応するコロケーテッドブロックとの間の空間的位置のシフトを示す前記現在の符号化ユニットの前記動きシフトベクトルを決定することと、
   前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することと、を含む復号化方法。
2. 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックについて、前記動きシフトベクトルに基づいて、前記コロケーテッド画像における対応するサブブロックから、サブブロックに基づく時間的動きベクトルを再構成することは、
   前記動きシフトベクトルに基づいて、前記コロケーテッド画像における所定の領域内において、それぞれのサブブロックに対応するコロケーテッドサブブロックを探索することと、
   前記コロケーテッドサブブロックが前記コロケーテッド画像における所定の領域内に存在するという決定に従って：
   前記コロケーテッドサブブロックの１つ又は２つの動きベクトルを識別し、
   前記それぞれのサブブロックのためのサブブロックに基づく時間的動きベクトルを、前記現在の画像と前記現在の画像の参照画像との間の第１の画像順序カウント（ＰＯＣ）距離および前記コロケーテッド画像と前記コロケーテッド画像の参照画像との間の第２のＰＯＣ距離に基づいてスケールされた１つまたは２つの動きベクトルとして設定することと、
   含み、
   前記現在の符号化ユニットにおける複数のサブブロックのうちの前記それぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測すること、
   を含む、請求項１に記載の方法。
3. 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測することは、
   前記コロケーテッドサブブロックが前記コロケーテッド画像における前記所定の領域内に存在しないという決定に従って：
   前記対応するサブブロックのサブブロックに基づく時間的運動ベクトルをゼロ値動きベクトルに設定すること、
   を含む、請求項２に記載の方法。
4. 前記現在の符号化ユニットにおける複数のサブブロックのうちのそれぞれのサブブロックのサブブロックに基づく時間的動きベクトルを予測することは、
   前記コロケーテッドサブブロックが前記コロケーテッド画像における前記所定の領域内に存在しないという決定に従って：
   前記コロケーテッド画像における前記所定の領域内の、前記コロケーテッドサブブロックに最も近い前記所定の領域内における境界サブブロックである代替的サブブロックを前記対応するサブブロックとして設定すること、
   を含む、請求項２に記載の方法。
5. 前記現在の符号化ユニットに隣り合うブロックは、符号化ユニット又は符号化ユニットのサブブロックである、請求項１に記載の方法。
6. 前記所定の領域は、前記コロケーテッド符号化ユニットを含むＣＴＵのサイズに関係なく、最大許可ＣＴＵサイズプラス１つの列のようなサイズを有する、請求項２に記載の方法。
7. 前記最大許可ＣＴＵサイズは、１２８×１２８である、請求項５に記載の方法。
8. １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサに接続されているメモリと、
   前記メモリに格納され、前記１つまたは複数のプロセッサによって実行されると、当該コンピューティング装置に請求項１～７のいずれかに記載の操作を実行させる複数のプログラムと、
   を含む、コンピューティング装置。
9. １つまたは複数のプロセッサを有するコンピューティング装置によって実行される複数のプログラムを格納する非一時的なコンピュータ可読記憶媒体であって、
   前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティング装置に請求項１～７のいずれかに記載の操作を実行させる、非一時的なコンピュータ読取可能な記憶媒体。

Images