JP2021517394A - ビデオ符号化において縮減された前のラインバッファを使用するインター予測の方法及び装置 - Google Patents

Abstract

ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための方法及び装置であって、当該方法は、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルはＰＱグリッドに関連付けられ、動きベクトルセットはＮＭグリッドに関連付けられ、当該動きベクトルセットに基づいて動きベクトルを決定し、ＮＭグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて、動きベクトルにアクセスすることを含む。現在のＣＵは、各４４位置から現在のブロックを検索することができる。検索範囲が現在のＣＴＵを超えると、前のＣＴＵの最後の行の動きベクトル（ＭＶ）データを使用する。

Description

本出願は、３５ Ｕ.Ｓ.Ｃ. § １１９に基づき、２０１８年６月１日にてアメリカ特許商標庁に提出されたアメリカ仮出願６２／６７９，５８０号の優先権を主張し、その全内容を参照により本明細書に組み込む。

本開示は、インターピクチャ予測符号化に関し、特に、マージモードに関する。追加の空間的又は時間的マージ候補を使用してマージ候補リストを生成し、マージ候補リストの生成を修正する。マージインデックスのシグナリング方案も提案されている。

高効率ビデオ符号化（ＨＥＶＣ）では、インターピクチャ予測のためのマージモードが導入されている。隣接ブロックからの候補動きパラメータのマージ候補リストを生成する。そして、インデックスは信号で示され、使用対象となる候補を標識する。マージモードは、以前に符号化されたピクチャから取得した候補をリストに含めることで、時間予測も可能である。図１を参照し、ＨＥＶＣでは、１つ以上の空間的マージ候補（１０１）、（１０２）、（１０３）、（１０４）、及び／又は（１０５）、２つの時間的コロケートブロックから導出される１つの時間的マージ候補、及び組み合わせた双方向予測候補とゼロ動きベクトル候補を含む追加のマージ候補に基づいて、現在のブロック（１００）のマージ候補リストを生成する。

ＨＥＶＣでは、スキップモードは、ブロックについて動きデータが信号で明確に示されるものではなく、推定されるものであることを指示するために使用され、また、予測残差がゼロであることを指示するために使用され、つまり、変換係数は送信されない。ＨＥＶＣでは、インターピクチャ予測スライスにおける各符号化ユニット（ＣＵ）の先頭で、ｓｌｉｐ_ｆｌａｇを信号で示し、当該ｓｌｉｐ_ｆｌａｇは、ＣＵが１つの予測ユニット（ＰＵ）（例えば、２Ｎ×２Ｎ）のみを含み、マージモードを使用して動きデータを導出し、及び／又はビットストリームに残差データが存在しないことを意味する。

ジョイントビデオ探査チーム（ＪＶＥＴ）によって検討されたテストモデルソフトウェアである共同探査モデル７（ＪＥＭ ７）において、新しいマージ候補が導入される。サブＣＵモードを追加のマージ候補とすることを可能にし、これらのモードを信号で示すために追加の構文要素は必要ではない。２つの追加のマージ候補は、代替の時間的動きベクトル予測（ＡＴＭＶＰ）モードと時空間動きベクトル予測（ＳＴＭＶＰ）モードを示すために各ＣＵのマージ候補リストに追加される。シーケンスパラメータセットは、ＡＴＭＶＰモードとＳＴＭＶＰモードとを可能にすることを指示すると、最大７つのマージ候補を使用する。追加のマージ候補の符号化ロジックは、ＨＥＶＣにおけるマージ候補の符号化ロジックと同じであり、これは、予測（Ｐ）スライス又は双方向予測（Ｂ）スライスにおける各ＣＵについて、これらの２つの追加のマージ候補に対してさらに２回のレート歪み（ＲＤ）チェックが必要である。ＪＥＭでは、插入されるマージ候補の順序はＡ、Ｂ、Ｃ、Ｄ、ＡＴＭＶＰ、ＳＴＭＶＰ、Ｅ（リストにおけるマージ候補が６よりも小さい場合）、時間的動きベクトル予測（ＴＭＶＰ）、組み合わせられた双方向予測候補及びゼロ動きベクトル候補である。

ＪＥＭでは、マージインデックスの全てのバイナリビットは、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）によってコンテキスト符号化される。ＨＥＶＣでは、最初のバイナリビットのみをコンテキスト符号化し、残りのバイナリビットをコンテキストバイパス符号化する。ＪＥＭでは、マージ候補の最大数は７である。

マージ候補リスト生成処理では、現在のＣＵが符号化ツリーユニット（ＣＴＵ）の垂直境界にある場合に、前のＣＴＵの動きデータを参照することができる。そのため、前のＣＴＵの最後の行の動きデータを記憶するラインバッファが存在する。動きデータの記憶には４×４グリッドを使用する。

図２は、マージ候補リスト生成の例を示す。例えば、このスキームは、８×８ブロックのステップサイズで、以前に符号化されたブロックからの候補動きベクトルにおいて検索することである。当該スキームは、現在のブロック（２００）の最も近い空間近傍、即ち、すぐ隣接する上の行（２０１）、左の列（２０２）、右上隅（２０３）をカテゴリ１として定義する。例えば、外部の領域（現在のブロックの境界から最も遠い３つの８×８ブロック）、及び以前に符号化されたフレームにおける連結ブロックの他の近傍（２０４、２０５）を、カテゴリ２として分類することである。リストから、異なる参照フレームに基づき予測された隣接ブロック、又はフレーム内の符号化された隣接ブロックを削除する。そして、残りの参照ブロックのそれぞれに重みを割り当てる。当該重みは、現在のブロックまでの距離に関する。

拡張マージモードでは、追加のマージ候補は次（ＮＥＸＴ）のマージ候補の直接拡張である。現在ブロックにすぐ隣接しない左、上、左下、右上、左上の候補をチェックする。図１は、チェックされる詳細な位置を示す。例として、マージ候補の最大数は１０であり得る。

ＡＴＭＶＰ及びマージモードでは、ＴＭＶＰを使用するには、コロケートの参照ピクチャにおける動きデータ（動きベクトル、参照インデックス及び符号化モードを含む）を記憶する必要がある。動き表現の粒度を考慮して、動きデータを記憶するために必要なメモリサイズは重要になり得る。ＨＥＶＣは動きデータストレージ縮減（ＭＤＳＲ）を採用して、参照ピクチャにおける動きデータをサブサンプリングすることで、動きデータバッファのサイズ、及び関連するメモリアクセス帯域幅を縮減する。ＨＥＶＣは、１６×１６ブロックを使用し、なお、４×４グリッドをサブサンプリングする場合に、左上の４×４ブロックの情報を記憶する。当該サブサンプリングによって、ＭＤＳＲは時間的予測の品質に影響を与える。また、コロケートに使用されるピクチャにおけるＭＶの位置とＭＤＳＲによって記憶されるＭＶの位置との間には密接な関連性がある。

本開示の一態様によれば、ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための方法は、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識するステップであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、且つ、動きベクトルセットがＮ×Ｍグリッドに関連付けられるステップと、動きベクトルセットに基づいて動きベクトルを決定するステップと、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスするステップと、を含む。

本開示の一態様によれば、ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための装置であって、プログラムコードを記憶するように配置される少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードの指示に従って動作するように配置される少なくとも１つのプロセッサとを含み、当該プログラムコードは、少なくとも１つのプロセッサに、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識させるように配置される認識コードであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、動きベクトルセットがＮ×Ｍグリッドに関連付けられる認識コードと、少なくとも１つのプロセッサに、動きベクトルセットに基づいて動きベクトルを決定させるように配置される決定コードと、少なくとも１つのプロセッサに、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスさせるように配置されるアクセスコードと、を含む。

本開示の一態様によれば、命令を記憶する非一時的なコンピュータ可読媒体であって、当該命令は１つ以上の命令を含み、１つ以上の命令は、装置の１つ以上のプロセッサによって実行される場合に、１つ以上のプロセッサに、以下の動作を実行させ、
前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルはＰ×Ｑグリッドに関連付けられ、動きベクトルセットはＮ×Ｍグリッドに関連付けられ、
動きベクトルセットに基づいて動きベクトルを決定し、
Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスする。

本開示の一態様によれば、現在のＣＵは、現在のブロックについて、各４×４位置から検索することができる。検索範囲が現在のＣＴＵを超えた場合、前のＣＴＵの最後の行のＭＶデータを使用する。現在のＣＵの場合、各４×４位置について、現在のＣＴＵの動きデータを記憶する。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは前のＣＴＵの最後の行からＭＶデータを取得することができる。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、且つ、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置に記憶される。前のＣＴＵについて、現在のＣＵは、ＭＶデータの最後の行へのアクセスのみを取得することができる。現在のＣＴＵ内のＣＵについて、４×４でＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。

開示された主題の他の特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になり、図面において、
一実施例による空間的マージ候補の図である。 一実施例によるマージ候補リスト生成の図である。 一実施例による通信システムの概略的なブロック図である。 一実施例によるストリーミング環境の図である。 一実施例によるビデオ復号器のブロック図である。 一実施例によるビデオ符号器のブロック図である。 一実施例によるビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための例示的な処理のフローチャートである。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例によるコンピュータシステムの図である。

本明細書におけるいくつかの実現形態は、前のラインバッファの削減を可能にし、これにより、メモリリソースと他の計算リソースを節約できる。

図３は、本開示の一実施形態による通信システム（３００）の概略的なブロック図を示す。システム（３００）はネットワーク（３５０）を介して互いに接続された少なくとも２つの端末（３１０、３２０）を含むことができる。データの一方向送信について、第１の端末（３１０）は、ローカル位置でビデオデータを符号化して、ネットワーク（３５０）を介して別の端末（３２０）に送信することができる。第２の端末（３２０）は、ネットワーク（３５０）から、他方の端末の符号化されたビデオデータを受信し、当該符号化されたデータを復号化し、復元されたビデオデータを表示することができる。一方向のデータ送信はメディアサービスアプリケーションなどでは一般的である。

図３は、例えば、ビデオ会議中に発生する可能性がある符号化されたビデオの双方向送信をサポートするために提供される第２対の端末（３３０、３４０）を示す。データの双方向送信について、各端末（３３０、３４０）は、ローカル位置でキャプチャしたビデオデータを符号化して、ネットワーク（３５０）を介して他方の端末に送信することができる。各端末（３３０、３４０）はさらに、他方の端末から送信された、符号化されたビデオデータを受信し、当該符号化されたデータを復号化し、復元されたビデオデータをローカルディスプレイ機器に表示することができる。

図３において、端末（３３０〜３４０）は、サーバ、パソコンコンピュータ、スマートフォンとして例示され得るが、本開示の原理はそれに限定されない。本開示の実施例は、ラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用のビデオ会議機器を含むがこれらに限定されない他の機器に適用することができる。ネットワーク（３５０）は、端末（３１０〜３４０）の間で符号化されたビデオデータを送信する任意の数のネットワークを表し、例えば有線及び／又は無線通信ネットワークを含む。通信ネットワーク（３５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。本出願における論述の目的からすると、以下で解釈されない限り、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本開示の動作にとって重要ではない場合がある。

開示された主題の適用例として、図４は、ストリーミング環境におけるビデオの符号器と復号器の配置を示す。開示された主題は、例えばビデオ会議、デジタルＴＶなどが含まれる、ビデオをサポートする他のアプリケーションに等価的に適用されることができ、ＣＤ、ＤＶＤ、メモリースティックなどが含まれるデジタルメディアに圧縮されたビデオなどを記憶する。

ストリーミングシステムは、キャプチャサブシステム（４１３）を含むことができ、当該キャプチャサブシステムは、例えばディジタル撮影装置などの、非圧縮のビデオサンプルストリーム（４０２）を作成できるビデオソース（４０１）を含むことができる。符号化されたビデオビットストリームと比較してデータ量が多いことを強調するように、太い線として描画されるサンプルストリーム（４０２）は、撮影装置（４０１）に結合される符号器（４０３）によって処理されることができる。符号器（４０３）は、以下で詳細に説明される開示される主題の態様を実現又は実施するために、ハードウェア、ソフトウェア又はそれらの組み合わせを含むことができる。サンプルストリームと比較してデータ量が少ないことを強調するように、細い線として描画される符号化されたビデオビットストリーム（４０４）は、将来の使用のために、ストリーミングサーバ（４０５）に記憶されることができる。１つ以上のストリーミングクライアント（４０６、４０８）は、ストリーミングサーバ（４０５）にアクセスして、符号化されたビデオビットストリーム（４０４）のレプリカ（４０７、４０９）を検索することができる。クライアント（４０６）は、ビデオ復号器（４１０）を含むことができ、当該ビデオ復号器（４１０）は、符号化されたビデオビットストリームの着信コピー（４０７）を復号化し、ディスプレイ（４１２）又は他の表示機器（図示せず）に表示できる発信ビデオサンプルストリーム（４１１）を作成する。一部のストリーミングシステムでは、ビデオビットストリーム（４０４、４０７、４０９）は、あるビデオコーディング/圧縮規格に従って符号化され得る。これらの規格の例には、ＩＴＵ-Ｔ Ｈ.４６５勧告書を含む。非公式に多用途ビデオ符号化（ＶＶＣ）と呼ばれるビデオ符号化規格は開発中である。開示された主題は、ＶＶＣのコンテキストで使用されてもよい。

図５は、本発明の一実施例によるビデオ復号器（４１０）の機能ブロック図である。

受信機（５１０）は、ビデオ復号器（４１０）によって復号化される１つ以上の符号化されたビデオシーケンスを受信することができ、同じ実施例又は他の実施例では、一度に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立している。符号化されたビデオシーケンスをチャネル（５１２）から受信することができ、チャネル（５１２）は、当該符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（５１０）は、符号化されたビデオデータ及び例えば、それぞれの使用エンティティ（図示せず）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームなどの他のデータを受信することができる。受信機（５１０）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークのジッタを防止するために、バッファメモリ（５１５）は、受信機（５１０）とエントロピー復号器／パーサー（５２０）（以下、「パーサー」と呼ばれる）との間に結合されることができる。受信機（５１０）は、十分な帯域幅及び制御可能性を有する記憶／転送装置、又は等時性リアルタイムネットワークからデータを受信する際に、バッファ（５１５）を必要としない可能性があり、又は、バッファ（５１５）が小さくなってもよい。例えばインターネットなどのベストエフォート型パケットネットワークで使用するために、バッファ（５１５）を必要とする可能性があり、バッファ（５１５）は比較的大きく、有利に自己適応サイズを有することができる。

ビデオ復号器（４１０）は、エントロピー符号化されたビデオシーケンスに基づきシンボル（５２１）を再構築するように、パーサー（５２０）を含むことができる。図５に示すように、これらのシンボルのカテゴリには、復号器（４１０）の動作を管理するための情報、及びディスプレイ（４１２）などの表示機器を制御するための潜在情報が含まれ、当該表示機器は、復号器の構成部分ではないが復号器に結合され得る。（１つ以上の）表示機器のための制御情報は、補助拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメント（図示せず）という形であってもよい。パーサー（５２０）は、受信された、符号化されたビデオシーケンスを解析／エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に従って実行することができ、可変長符号化、ハフマン符号化（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、文脈依存の有無にかかわらず算術符号化などを含む当業者に知られている原理に従うことができる。パーサー（５２０）は、グループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのサブグループパラメータセットを抽出することができる。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。エントロピー復号器／パーサーはさらに、符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値（ＱＰ）、動きベクトルなどの情報を抽出してもよい。

パーサー（５２０）は、バッファ（５１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（５２１）を作成することができる。パーサー（５２０）は符号化されたデータを受信し、特定のシンボル（５２１）を選択的に復号化してもよい。また、パーサー（５２０）は特定のシンボル（５２１）が動き補償予測ユニット（５５３）、スケーラ／逆変換ユニット（５５１）、イントラ予測ユニット（５５２）又はループフィルタ（５５６）に提供されるかどうかを決定してもよい。

シンボル（５２１）の再構築は、符号化されたビデオピクチャ又はその一部（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）のタイプ及び他の要因によって、複数の異なるユニットに関わる。関与するユニット及び関与形態について、パーサー（５２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御される。簡潔のために、パーサー（５２０）と以下の複数のユニットとの間の、このようなサブグループ制御情報の流れは図示されていない。

既に言及された機能ブロックに加えて、復号器（４１０）は、概念的には、以下で説明される複数の機能ユニットに細分化される。ビジネス上の制約の下で運行する実際の実現形態において、これらのユニットのうち複数のユニットは互いに密接に相互作用するとともに、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するために、概念的に以下の機能ユニットに細分化されることは適切である。

第１のユニットはスケーラ／逆変換ユニット（５５１）である。当該スケーラ／逆変換ユニット（５５１）はパーサー（５２０）から（１つ以上の）シンボル（６２１）としての量子化変換係数及び制御情報を受信し、使用する変換方式、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（５５１）は、アグリゲーター（５５５）に入力され得るサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに属する。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は現在（部分的に再構築された）ピクチャ（５５６）から抽出された、周囲が再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。いくつかの場合に、アグリゲーター（５５５）は、各サンプルごとに、イントラ予測ユニット（５５２）から生成された予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。

他の場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに属することができる。このような場合に、動き補償予測ユニット（５５３）は参照ピクチャメモリ（５５７）にアクセスして、予測のためのサンプルを抽出することができる。当該ブロックに属するシンボル（５２１）に基づき、抽出されたサンプルに対して動き補償を行った後、これらのサンプルは、アグリゲーター（５５５）によって、スケーラ／逆変換ユニットの出力に追加される（この場合、残差サンプル又は残差信号と呼ばれる）ことで、出力サンプル情報が生成される。動き補償ユニットが予測サンプルを抽出するための参照ピクチャメモリ内のアドレスは動きベクトルによって制御され、動きベクトルはシンボル（５２１）の形で、動き補償ユニットによって使用され、シンボル（５２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルによって動きベクトルを正確に実行するときに参照ピクチャバッファ（４５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

ループフィルタユニット（５５６）において、アグリゲーター（５５５）の出力サンプルに対して、様々なループフィルタリング技術を採用できる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができ、ループ内フィルタ技術は、符号化されたビデシーケンスに含まれる、パーサー（５２０）からのシンボル（５２１）として、ループフィルタユニット（５５６）に適用可能なパラメータによって制御され、しかしながら、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化の順序で）前の部分を復号化する期間に取得されたメタ情報、及び、以前再構築されループフィルタリングによって処理されたサンプル値に応答することもできる。

ループフィルタユニット（５５６）の出力は、サンプルストリームであってもよく、サンプルストリームは、将来のインターピクチャ予測で使用されるために、表示機器（４１２）に出力され、参照ピクチャバッファ（５５６）に記憶されることができる。

ある符号化されたピクチャは完全に再構築されたら、将来の予測のための参照ピクチャとして使用される。例えば、符号化されたピクチャは完全に再構築され、さらに、符号化されたピクチャは（例えばパーサー（５２０）によって）参照ピクチャとして認識されると、現在の参照ピクチャ（６５６）は参照ピクチャバッファ（５５７）の一部になってもよく、その後の符号化されたピクチャの再構築を開始する前に、新たな現在ピクチャメモリを再割り当てる。

ビデオ復号器（４１０）は、例えばＩＴＵ−Ｔ Ｈ．２６５勧告書に記録される規格における所定のビデオ圧縮技術に従って復号化動作を実行することができる。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文に従う意味で、符号化されたビデオシーケンスは、ビデオ圧縮技術ドキュメント又は規格、特にそのプロファイルドキュメントで明確に指定されるように、使用されているビデオ圧縮技術又は規格によって指定される構文に準拠することができる。準拠性について、さらに、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術又は規格のレベルによって限定される範囲にあるように要求される。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプリングレート（例えば、メガサンプル／秒で測定する）、及び／又は最大参照ピクチャのサイズなどを制限する。いくつかの場合、レベルによって設置される制限は、仮想参照復号器（ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいて信号で示されるＨＲＤバッファが管理するメタデータによってさらに限定される。

一実施例において、受信機（５１０）は追加の（冗長な）データと符号化されたビデオを受信できる。追加のデータは、（１つ以上の）符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器（４１０）によって使用されることで、データを正確に復号化し、及び／又は元のビデオデータをより正確に再構築する。追加のデータは、例えば時間、空間又はＳＮＲ拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。

図６は、本開示の一実施形態によるビデオ符号器（４０３）の機能ブロック図であり得る。

符号器（４０３）は、ビデオソース（４０１）（符号器の一部ではない）からビデオサンプルを受信することができ、当該ビデオソースは、符号器（４０３）によって符号化される（１つ以上の）ビデオ画像をキャプチャすることができる。

ビデオソース（４０１）は、符号器（４０３）によって符号化される、デジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供することができ、当該ディジタルビデオサンプルストリームは、任意の適切なビット深さ（例えば：８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（４０１）は、以前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース（４０３）は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順番に見たときに、動きが付与される複数の個別のピクチャとして提供されることができる。これらのピクチャ自体は、空間画素アレイとして編成され、使用されているサンプリング構成、色空間などによって、各画素には１つ以上のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって、容易に理解することができる。以下の説明はサンプルに着目する。

一実施例によれば、ビデオ符号器（４０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションで必要とする他の任意の時間制約の下で、符号化されたビデオシーケンス（６４３）に符号化及び圧縮することができる。適切的な符号化速度で実行することは、コントローラ（６５０）の機能の１つである。コントローラは、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。簡潔のために、結合は示されていない。コントローラによって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値など）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）配置、最大動きベクトル検索範囲などを含んでもよい。当業者は、コントローラ（６５０）の他の機能を容易に認識することができ、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器（４０３）に属し得る。

あるビデオ符号器は、当業者が容易に「符号化ループ」として認識するという方式で動作する。非常に簡単な説明として、符号化ループは、（符号化対象となる入力ピクチャと（１つ以上の）参照ピクチャに基づきシンボルストリームを作成することを担当する）符号器の符号化部分（６３０）（以下、「ソース符号器」と呼ばれる）と、符号器（４０３）に埋め込まれる（ローカル）復号器（６３３）とを含むことができる。当該復号器（６３３）はシンボルを再構築することで、（リモート）復号器も作成しようとするサンプルデータを作成する（なぜならば、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮は、開示された主題で考慮されるビデオ圧縮技術において可逆であるためである）。当該再構築されたサンプルストリームを参照ピクチャメモリ（６３４）に入力する。シンボルストリームの復号化により、復号器位置（ローカル又はリモート）と関係がないビットが正確である結果（ｂｉｔ−ｅｘａｃｔ）を発生させるので、参照ピクチャバッファのコンテンツはローカル符号器とリモート符号器との間でもビットが正確である。言い換えば、符号器の予測部分から「見る」参照ピクチャサンプルは、復号化中に予測を使用するときに復号器が「見る」サンプル値とまったく同じである。参照ピクチの同期性という基本原理（及び、例えばチャネル誤差のため同期性を維持できない場合に発生するドリフト）は当業者にとって公知である。

「ローカル」復号器（６３３）の動作は、例えば図５を結合して以上で詳しく説明した「リモート」復号器（４１０）の動作と同じであってもよい。ただし、さらに図６を簡単に参照し、シンボルは、使用可能で、エントロピー符号器（６４５）とパーサー（５２０）とがシンボルを符号化されたビデオシーケンスに無損失で符号化／復号化する場合、チャネル（５１２）、受信機（５１０）、バッファ（５１５）及びパーサー（５２０）を含む復号器（４１０）のエントロピー復号化部分は、ローカル復号器（６３３）で完全に実現されることができないおそれがある。

現時点で、復号器に存在する解析／エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で、対応する符号器に存在することが観察されることができる。符号器技術は、包括的に説明された復号器技術の逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域でのみ必要であり、以下で提供される。

ソース符号器（６３０）の動作の一部として、ソース符号器（６３０）は動き補償予測符号化を実行することができ、動き補償予測符号化はビデオシーケンスからの、「参照フレーム」として指定される１つ以上の以前に符号化されたフレームを参照して、入力フレームを予測的に符号化する。このようにして、符号化エンジン（６３２）は入力フレームの画素ブロックと、入力フレームの（１つ以上の）予測参照として選択される（１つ以上の）参照フレームの画素ブロックとの間の差を符号化する。

ローカルビデオ復号器（６３３）はソース符号器（６３０）によって作成されるシンボルに基づき、参照フレームとして指定され得るフレームの符号化されたビデオデータを復号化することができる。符号化エンジン（６３２）の動作は有利的には、非可逆処理であってもよい。符号化されたビデオデータがビデオ復号器（図６には図示せず）で復号化される場合、再構築されたビデオシーケンスは、一般的に、多少の誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオ復号器（６３３）は、参照フレームに対してビデオ復号器によって実行される復号化処理を複製し、再構築された参照フレームを参照ピクチャキャッシュ（６３６）に記憶することができる。このようにして、ビデオ符号器（４０３）は、再構築された参照フレームのレプリカをローカルに記憶し、当該レプリカは、リモートビデオ復号器によって取得された、再構築される参照フレームと共通のコンテンツを有する（送信誤差がない）。

予測器（６３５）は符号化エンジン（６３２）に対して予測検索を実行してもよい。つまり、符号化対象となる新たなフレームに対して、予測器（６３５）は参照ピクチャメモリ（６３４）において、新たなフレームの適切な予測参照として使用され得るサンプルデータ（候補参照画素ブロックとする）、又は例えば参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを検索することができる。予測器（６３５）はサンプルブロックに基づき、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。いくつかの場合、予測器（６３５）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶される複数の参照ピクチャから取得される予測参照を有してもよい。

コントローラ（６５０）は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むビデオ符号器（６３０）の符号化動作を管理することができる。

エントロピー符号器（６４５）において、以上に言及された全ての機能ユニットの出力に対してエントロピー符号化を行うことができる。当該エントロピー符号器は、例えばハフマン符号化、可変長符号化、算術符号化などのような当業者に知られている技術に従って、シンボルに対して可逆圧縮を行うことで、各機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。

送信機（６４０）は、通信チャネル（６６０）を介した送信の準備をするように、エントロピー符号器（６４５）によって作成される（１つ以上の）符号化されたビデオシーケンスをバッファリングすることができ、通信チャネル（６６０）は、符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。送信機（６４０）は、ビデオ符号器（６３０）からの符号化されたビデオデータと、例えば符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）のような、送信対象となる他のデータとを、マージすることができる。

コントローラ（６５０）は、ビデオ符号器（４０３）の動作を管理することができる。符号化中に、コントローラ（６５０）は、各符号化されたピクチャに、対応するピクチャに適用される符号化技術に影響を与える可能性がある特定の符号化されたピクチャタイプを割り当てる。例えば、一般的に、ピクチャを次のフレームタイプのいずれかとして割り当ててもよい。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のピクチャのいずれかを予測のソースとして使用せず、符号化及び復号化されるピクチャであってもよい。一部のビデオコーデックは、例えば独立復号器リフレッシュピクチャが含まれる異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形、及び対応する用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも１つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャ及び関連するメタデータを、単一のブロックの再構築に使用することができる。

ソースピクチャは一般的に、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８又は１６×１６個のサンプルのブロック）に細分化され、ブロックごとに符号化されることができる。これらのブロックは、他の（符号化された）ブロックを参照して、予測的に符号化されることができ、前記他のブロックは、ブロックの対応するピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックについて、非予測的に符号化するか、又はこれらのブロックを、同じピクチャの既に符号化されたブロックを参照して、予測的に符号化（空間予測又はイントラ予測）してもよい。Ｐピクチャの画素ブロックについて、以前に符号化された１つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化してもよい。Ｂピクチャのブロックについて、以前に符号化された１つ又は２つの参照ピクチャを参照して、空間的予測又は時間的予測を介して非予測的に符号化してもよい。

ビデオ符号器（４０３）は、例えばＩＴＵ−Ｔ Ｈ．２６５勧告書における所定のビデオ符号化技術又は規格に基づき符号化動作を実行することができる。ビデオ符号器（４０３）の動作において、ビデオ符号器（４０３）は、入力ビデオシーケンスにおける時間的と空間的冗長性を使用した予測符号化動作が含まれる様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定される構文に準拠していることができる。

一実施例において、送信機（６４０）は、追加のデータと符号化されたビデオを送信することができる。ソース符号器（６３０）は、符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加のデータは、時間／空間／ＳＮＲ拡張層、冗長ピクチャとスライスのような他の形式の冗長データ、補充拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含んでもよい。

本開示は、インターピクチャ予測符号化のための技術に関し、特に、マージモードに関する。現在のＣＵが前のＣＵのＭＶをマージ候補として使用する場合、別のＣＴＵのいくつかのＣＵが存在する可能性がある。提案された技術は、以前に符号化されたＣＵのＭＶ情報への高速アクセスに必要なラインバッファを減少する。本開示の技術は、マージ概念を使用する任意のビデオ符号化方法に拡張することができる。スキップモードはマージモードを使用して動き情報を導出するため、本開示の方法はスキップモードにも適用される。

図７は、一実施例によるビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための例示的な処理のフローチャートである。いくつかの実施形態おいて、図７の１つ又は複数の処理ブロックは符号器４０３により実行されてもよい。いくつかの実施方式おいて、図７の１つ又は複数の処理ブロックは、符号器４０３とは別の、又は符号器４０３を含む別のデバイス又はデバイスのグループ、例えば符号器４１０によって実行されもよい。

図７に示すように、処理は、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルがＰ×Ｑグリッドに関連付けられ、且つ、動きベクトルセットがＮ×Ｍグリッドに関連付けられること（ブロック７１０）を含むことができる。

図７にさらに示されるように、処理は、動きベクトルセットに基づいて動きベクトルを決定すること（ブロック７２０）を含むことができる。

図７にさらに示されるように、処理は、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスすること（ブロック７３０）を含むことができる。

図７は、処理の例示的なブロックを示したが、いくつかの実現形態において、図７に図示されたこれらのブロックと比べて、処理は、追加のブロック、より少ないブロック、異なるブロック又は異なって配置されたブロックを含むことができる。追加又は代替として、処理の２つ以上のブロックは並行して実行されてもよい。

図８は、縮減ラインバッファ技術を示す図であり、現在のＣＵが前のＣＵにおいてマージ候補を検索する場合に、Ｎ×Ｍ（例えば、１６×１６）位置でＭＶにアクセスする。

例として、現在のＣＵについて、各Ｎ×Ｍ位置で他の前のＣＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは各Ｎ×Ｍ位置の情報を取得してもよく、その中、ＮとＭは正の整数である。

他の例として、現在のＣＵについて、各Ｎ×１６位置で他の前のＣＵの動き情報にアクセスする。現在のＣＵが前のＣＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは、各Ｎ×１６位置の情報を取得してもよく、その中、Ｎは正の整数、例えば４、８、１２、１６などである。従って、現在のフレームについて、ＭＶデータをサブサンプリングする。全ての前のＣＵについて、Ｎ×１６ユニットによりＭＶにアクセスする。オフセットｘとオフセットｙは現在のＣＵに対する検索範囲である。

Ｎ×１６（Ｎの最小値が４である）ユニットにおけるＭＶデータに任意の数の方法でアクセスすることができる。ＭＶデータを記憶する最小のユニットは４×４であるので、Ｎ×１６ ＭＶバッファには４つの最小のユニット行が存在する可能性がある。図９に示すように、各行は１つの数字で指示される。１つの方法では、行０におけるＭＶデータは他の行のＭＶ情報を示すために使用されてもよい。従って、行０のＭＶデータのみにアクセスし、他の行の情報を無視することができる。ピクチャ全体に対して当該処理を実行することができる。従って、ピクチャの最初の行から、ある位置でＭＶデータにアクセスしてもよい。

他の実施例において、行１のＭＶデータは他の行のＭＶ情報の全てを示すために使用されてもよい。更なる他の実施例において、行２のＭＶデータは他の行のＭＶ情報の全てを示すために使用されてもよい。更なる他の実施例において、行３の情報は他の行のＭＶ情報の全てを示すために使用されてもよい。

以下、修正された行番号の疑似コードを生成するための例を示す。当該例において、行０の情報は、４つの行全てのＭＹ情報を示すために使用される。以下のコードでは、ｙは縦座標である。
ｉｆ (ｙ ｉｓ ｉｎ ａｂｏｖｅ ＣＴＵ)
{
ｙ = (ｙ/１６) *１６;
}

他の実施例において、ＮはＭに等しい。一実例において、ＮとＭの両方は１６である。本明細書の実施例は、１６×１６位置における動きデータを使用するために、様々な形態に適用できる。一実施例において、１６×１６グリッドにおける左上の４×４グリッドは、１６×１６ブロック全体を示すために使用される。

以下、修正された行番号の疑似コードを生成するための例を示す。当該例において、行０の情報はこれらの４つの行を示すために使用される。以下のコードでは、ｙは縦座標であり、ｘは横座標である。
ｉｆ (ｙ ｉｓ ｉｎ ａｂｏｖｅ ＣＴＵ)
{
ｙ = (ｙ/１６) *１６;
ｘ = (ｘ/１６) *１６;
}

他の実施例において、行０から行３までの平均ＭＶは全ての行情報を示すために使用されてもよい。他の実施例において、行０から行３までの平均ＭＶは全ての行情報を示すために使用されてもよい。上記の実施例において、ＮはＭ以下である。

他の実施例において、行に加えて、列に関連付けられて当該修正を実行してもよい。他の実施例において、参照ピクチャ方法におけるＭＶサブサンプリングを使用して現在ピクチャでアクセスされているＭＶ位置を修正してもよい。

図１０は、現在のＣＴＵにおいて、現在のＣＵが、各４×４位置から現在のブロック（１０００）を検索できる技術を示す図である。検索範囲が現在のＣＴＵを超えた場合、Ｎ×Ｍ位置でＭＶにアクセスする。

当該方法において、現在のＣＵについて、各Ｎ×Ｍ位置で他の前のＣＴＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータへのアクセスを取得する必要がある場合に、現在のＣＵは、各Ｎ×Ｍ（例えば１６×１６）位置（１００９、１００６、１００３）に位置する情報を取得してもよく、ＮとＭとは正の整数である。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、且つこれらのＣＵが現在のＣＴＵ内にある場合に、これらのＣＵのＭＶデータは各４×４グリッドに位置する。

一実施例において、現在のＣＵについて、各Ｎ×１６位置で他の前のＣＴＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータへのアクセスを取得する必要がある場合に、現在のＣＵは各Ｎ×１６に記憶されている情報を取得してもよく、その中、Ｎは正の整数である。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置（１００１、１００２、１００７、１００５、１００８）に位置する。前のＣＴＵにおけるＣＵについて、Ｎ×１６ユニットでＭＶデータを記憶する。現在のＣＴＵ内のＣＵについて、４×４ユニットでＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。上記の実施例において、ＮはＭ以下である。

図１１は、現在のＣＴＵにおいて、現在のＣＵが各４×４位置から現在ブロック（１０００）を検索できる技術を示す図である。検索範囲が現在のＣＴＵを超えた場合、前のＣＴＵの最後の行（１１０１）からのＭＶデータを使用する。

当該方法では、現在のＣＵについて、各４×４位置に対して現在のＣＴＵの動きデータを記憶する。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは、前のＣＴＵの最後の行からＭＶデータを取得してもよい。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置に記憶される。前のＣＴＵについて、現在のＣＵはＭＶデータの最後の行へのアクセスのみを取得できる。現在のＣＴＵ内のＣＵについて、４×４でＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。

一実施例によれば、他の４×４グリッド（Ｎ×Ｍ位置が示されない）における動き情報は修正又は破棄されないが、この動き情報を複製するためにラインバッファは必要とされない。ラインバッファはＮ×Ｍ位置での動き情報のみをコピーすることができる。

上記の技術はコンピュータ可読命令を使用してコンピュータソフトウェアとして実現され、１つ以上のコンピュータ可読媒体に物理的に記憶されてもよい。例えば、図１２は開示された主題のいくつかの実施例を実現するのに適したコンピュータシステム（１２００）を示す。

コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語によって符号化することができ、任意の適切なマシンコード又はコンピュータ言語に対して、アセンブル、コンパイル、リンクなどのメカニズムを実行することで、コンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行される命令を含むコードを作成することができる。

当該命令は、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。

図１２に示すコンピュータシステム１２００のコンポーネントは、本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置は、コンピュータシステム１２００の例示的な実施形態に示めされたるコンポーネントのいずれか、又はそれらの組み合わせに関連する依存性又は要件を有するものとして解釈されるべきではない。

コンピュータシステム１２００は、特定のヒューマンマシンインタフェース入力機器を含んでもよい。このようなヒューマンマシンインタフェース入力機器は、例えば触覚入力（例えば、キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ以上の人間のユーザーの入力に応答することができる。ヒューマンマシンインタフェース機器はさらに、例えば、オーディオ（例えば、音声、音楽、環境音）、画像（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、ステレオビデオが含まれる３次元ビデオ）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。

ヒューマンマシンインタフェース入力機器は、キーボード１２０１、マウス１２０２、タッチパッド１２０３、タッチパネル１２１０、データグローブ１２０４、ジョイスティック１２０５、マイク１２０６、スキャナ１２０７及び撮影装置１２０８のうちの１つ以上を含んでもよい（それぞれが１つのみ図示される）。

コンピュータシステム１２００はさらに特定のヒューマンマシンインタフェース出力機器を含んでもよい。このようなヒューマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味によって１つ以上の人間ユーザーの感覚を刺激することができる。このようなヒューマンマシンインタフェース出力機器は、触覚出力機器（例えば、タッチパネル１２１０、データグローブ１２０４又はジョイスティック１２０５による触覚フィードバックがあるが、入力機器として使用されない触覚フィードバック機器もある）、オーディオ出力機器（例えば、スピーカー１２０９、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン１２１２であって、陰極線管（ＣＲＴ）スクリーン、液晶（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオグラフィック出力のような手段で、２次元の視覚出力又は３次元以上の出力を出力できる場合がある）、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））、プリンター（図示せず）を含むことができる。

コンピュータシステム１２００はさらに人間がアクセス可能な記憶機器及びその関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤなどの媒体１２２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ１２２０などの光学媒体、サムドライブ１２２２、取り外し可能なハードドライブ又はソリッドステートドライブ１２２３、磁気テープとフロッピーディスク（図示せず）のような従来の磁気媒体、セキュリティドングル（図示せず）などの専用ＲＯＭ／ＡＳＩＣ／ＰＬＤによる機器などを含んでもよい。

また、当業者は、現在開示された主題に関連して使用される「コンピュータ可読可能な媒体」という用語には、送信媒体、搬送波又は他の一時的な信号が含まれていないことを理解するべきである。

コンピュータシステム１２００はさらに１つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば無線、有線、光ネットワークであってもよい。ネットワークはさらに、ロカール、ワイドエリア、メトロポリタン、車載、産業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例は、例えば、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビを含むテレビ有線又は無線ワイドエリアディジタルネットワーク、ＣＡＮＢｕｓを含む車載及び産業用ネットワークなどを含む。一部のネットワークは一般的に、ある汎用データポート又は周辺バス（１２４９）（例えば、コンピュータシステム１２００のＵＳＢポート）の外部ネットワークインタフェースに接続されるアダプタを必要とし、他のネットワークは一般的に、以下のようなシステムバス（例えば、ＰＣコンピュータシステムのイーサネットインタフェース、又はスマートフォンコンピュータシステムのセルラーネットワークインタフェース）に接続されることによって、コンピュータシステム１２００のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム１２００は他のエンティティと通信することができる。このような通信は、一方向、受信のみ（例えば、放送テレビ）、一方向送信のみ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ）、又は双方向（例えば、ローカルエリア又はワイドエリアディジタルネットワークを使用して他のコンピュータシステムに達する）であってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。

上記のヒューマンマシンインタフェース機器、人間がアクセス可能な記憶装置及びネットワークインタフェースは、コンピュータシステム１２００のコア１２４０に接続することができる。

コア１２４０は、１つ以上の中央処理ユニット（ＣＰＵ）１２４１、グラフィック処理ユニット（ＧＰＵ）１２４２、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）１２４３の形の専用のプログラム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ１２４４などを含んでもよい。これらの機器は、読み取り専用メモリ（ＲＯＭ）１２４５、ランダムアクセスメモリ１２４６、例えばユーザーがアクセスできない内部ハードディスクドライブ、ソリッドステートドライブ（ＳＳＤ）などの内部大容量記憶装置１２４７とともに、システムバス１２４８を介して接続することができる。一部のコンピュータシステムにおいて、システムバス１２４８に１つ以上の物理プラグの形でアクセスできることで、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にすることができる。周辺機器は、直接的又は周辺バス１２４９を介してコアのシステムバス１２４８に接続することができる。周辺バスのアーキテクチャは周辺コンポーネント相互接続（ＰＣＩ）、ＵＳＢなどを含む。

ＣＰＵ１２４１、ＧＰＵ１２４２、ＦＰＧＡ１２４３及びアクセラレータ１２４４は特定の命令を実行でき、これらの命令を組み合わせると、以上に言及されたコンピュータコードを構成することができる。当該コンピュータコードはＲＯＭ１２４５又はＲＡＭ１２４６に記憶されてもよい。一時的なデータはＲＡＭ１２４６に記憶されることもでき、永久データは例えば内部大容量記憶装置１２４７に記憶されることができる。キャッシュメモリを使用することによって、記憶装置のいずれかへの高速ストレージ及び検索が可能になり、当該キャッシュメモリは１つ以上のＣＰＵ１２４１、ＧＰＵ１２４２、大容量記憶装置１２４７、ＲＯＭ１２４５、ＲＡＭ１２４６などに密接に関連することができる。

コンピュータ可読媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードをその上に有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、コンピュータソフトウェアの当業者にとって周知であり、使用可能なタイプのものであってもよい。

限定ではなく例として、アーキテクチャ１２００を有するコンピュータシステム、特に、コア１２４０は、（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形コンピュータ読み取り可能な媒体に実装されるソフトウェアを実行することで、機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のような、ユーザがアクセス可能な大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置１２４７又はＲＯＭ１２４５などの非一時的なコア１２４０の特定の記憶装置であってもよい。本開示の各実施形態を実現するのソフトウェアはこのような機器に記憶され、コア１２４０によって実行されることができる。特定のニーズに応じて、コンピュータ読み取り可能な媒体には１つ以上の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア１２４０、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行させることができ、ＲＡＭ１２４６に記憶されるデータ構成を限定すること、及びソフトウェアによって限定された処理によってこのようなデータ構成を修正することが含まれる。さらに又は代替として、コンピュータシステムは、ロジックハードワイヤード、又は他の形式で回路（例えば、アクセラレータ１２４４）に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりに、又はソフトウェアとともに動作して、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行することができる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。適切な場合に、コンピュータ読み取り可能な媒体に対する言及には、実行のためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現化する回路、又はそれらの両方が含まれてもよい。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを含む。

この開示は、いくつかの例示的な実施例を説明してきたが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の原理を具現化したのでその精神及び範囲内にある多数のシステム及び方法を当業者が考案できることは認識される。

付録Ａ：頭字語：
高効率ビデオ符号化（ＨＥＶＣ）
符号化ユニット（ＣＵ）
予測ユニット（ＰＵ）
共同探査モデル（ＪＥＭ７）
共同ビデオ探査グループ（ＪＶＥＴ）
代替時間的動きベクトル予測（ＡＴＭＶＰ）
時空間的動きベクトル予測（ＳＴＭＶＰ）
予測（Ｐ）スライス
双方向予測（Ｂ）スライス
レート歪み（ＲＤ）
時間的動きベクトル予測（ＴＭＶＰ）
コンテキスト適応型二値算術符号化方式（ＣＡＢＡＣ）
多用途ビデオ符号化（ＶＶＣ）
補助拡張情報（ＳＥＩメッセージ）

本出願は、３５Ｕ.Ｓ.Ｃ. §１１９に基づき、２０１８年６月１日にてアメリカ特許商標庁に提出されたアメリカ仮出願６２／６７９，５８０号の優先権を主張し、その全内容を参照により本明細書に組み込む。

本開示は、インターピクチャ予測符号化に関し、特に、マージモードに関する。追加の空間的又は時間的マージ候補を使用してマージ候補リストを生成し、マージ候補リストの生成を修正する。マージインデックスのシグナリング方式も提案されている。

高効率ビデオ符号化（ＨＥＶＣ）では、インターピクチャ予測のためのマージモードが導入されている。隣接ブロックからの候補動きパラメータのマージ候補リストを生成する。そして、インデックスは信号で示され、使用対象となる候補を標識する。マージモードは、以前に符号化されたピクチャから取得した候補をリストに含めることで、時間予測も可能である。図１を参照し、ＨＥＶＣでは、１つ以上の空間的マージ候補（１０１）、（１０２）、（１０３）、（１０４）、及び／又は（１０５）、２つの時間的コロケート〔共位置〕ブロックから導出される１つの時間的マージ候補、及び／又は組み合わせた双方向予測候補とゼロ動きベクトル候補を含む追加のマージ候補に基づいて、現在のブロック（１００）のマージ候補リストを生成する。

ＨＥＶＣでは、スキップモードは、ブロックについて動きデータが信号で明確に示されるものではなく、推定されるものであることを指示するために使用され、また、予測残差がゼロであることを指示するために使用され、つまり、変換係数は送信されない。ＨＥＶＣでは、インターピクチャ予測スライスにおける各符号化ユニット（ＣＵ）の先頭で、ｓｋｉｐ_ｆｌａｇを信号で示し、当該ｓｋｉｐ_ｆｌａｇは、ＣＵが１つの予測ユニット（ＰＵ）（例えば、２Ｎ×２Ｎ）のみを含み、マージモードを使用して動きデータを導出し、及び／又はビットストリームに残差データが存在しないことを意味する。

共同ビデオ探査チーム（ＪＶＥＴ）によって検討されたテストモデルソフトウェアである共同探査モデル７（ＪＥＭ７）において、新しいマージ候補が導入される。サブＣＵモードを追加のマージ候補とすることを可能にし、これらのモードを信号で示すために追加の構文要素は必要ではない。２つの追加のマージ候補が、代替時間的動きベクトル予測（ＡＴＭＶＰ）モードと時空間動きベクトル予測（ＳＴＭＶＰ）モードを示すために各ＣＵのマージ候補リストに追加される。シーケンスパラメータセットが、ＡＴＭＶＰモードとＳＴＭＶＰモードとを可能にすることを指示する場合、最大７つのマージ候補を使用する。追加のマージ候補の符号化ロジックは、ＨＥＶＣにおけるマージ候補の符号化ロジックと同じであり、これは、予測（Ｐ）スライス又は双方向予測（Ｂ）スライスにおける各ＣＵについて、これらの２つの追加のマージ候補に対してさらに２回のレート歪み（ＲＤ）チェックが必要である。ＪＥＭでは、插入されるマージ候補の順序はＡ、Ｂ、Ｃ、Ｄ、ＡＴＭＶＰ、ＳＴＭＶＰ、Ｅ（リストにおけるマージ候補が６よりも小さい場合）、時間的動きベクトル予測（ＴＭＶＰ）、組み合わせられた双方向予測候補及びゼロ動きベクトル候補である。

ＪＥＭでは、マージインデックスの全てのバイナリビットは、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）によってコンテキスト符号化される。ＨＥＶＣでは、最初のバイナリビットのみをコンテキスト符号化し、残りのバイナリビットをコンテキストバイパス符号化する。ＪＥＭでは、マージ候補の最大数は７である。

マージ候補リスト生成処理では、現在のＣＵが符号化ツリーユニット（ＣＴＵ）の垂直境界にある場合に、前のＣＴＵの動きデータを参照することができる。そのため、前のＣＴＵの最後の行の動きデータを記憶するラインバッファが存在する。動きデータの記憶には４×４グリッドを使用する。

図２は、マージ候補リスト生成の例を示す。例えば、このスキームは、８×８ブロックのステップサイズで、以前に符号化されたブロックからの候補動きベクトルにおいて検索することである。当該スキームは、現在のブロック（２００）の最も近い空間近傍、即ち、すぐ隣接する上の行（２０１）、左の列（２０２）、右上隅（２０３）をカテゴリ１として定義する。他の近傍（２０４、２０５）、例えば、外側の領域（現在のブロックの境界から最大で３つの８×８ブロック離れている）、及び以前に符号化されたフレームにおける共位置のブロックは、カテゴリ２として分類する。リストから、異なる参照フレームに基づき予測された隣接ブロック、又はフレーム内の符号化された隣接ブロックを削除する。そして、残りの参照ブロックのそれぞれに重みを割り当てる。当該重みは、現在のブロックまでの距離に関する。

拡張マージモードでは、追加のマージ候補は次（ＮＥＸＴ）のマージ候補の直接拡張である。現在ブロックにすぐ隣接しない左、上、左下、右上、左上の候補をチェックする。図１は、チェックされる詳細な位置を示す。例として、マージ候補の最大数は１０であり得る。

ＡＴＭＶＰ及びマージモードでは、ＴＭＶＰを使用するには、コロケートの参照ピクチャにおける動きデータ（動きベクトル、参照インデックス及び符号化モードを含む）を記憶する必要がある。動き表現の粒度を考慮して、動きデータを記憶するために必要なメモリサイズは重要になり得る。ＨＥＶＣは動きデータストレージ縮減（ＭＤＳＲ）を採用して、参照ピクチャにおける動きデータをサブサンプリングすることで、動きデータバッファのサイズ、及び関連するメモリアクセス帯域幅を縮減する。ＨＥＶＣは、１６×１６ブロックを使用し、なお、４×４グリッドをサブサンプリングする場合に、左上の４×４ブロックの情報を記憶する。当該サブサンプリングによって、ＭＤＳＲは時間的予測の品質に影響を与える。また、コロケートに使用されるピクチャにおけるＭＶの位置とＭＤＳＲによって記憶されるＭＶの位置との間には密接な関連性がある。

本開示の一態様によれば、ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための方法は、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識するステップであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、且つ、動きベクトルセットがＮ×Ｍグリッドに関連付けられるステップと、動きベクトルセットに基づいて動きベクトルを決定するステップと、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスするステップと、を含む。

本開示の一態様によれば、ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための装置であって、プログラムコードを記憶するように構成される少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードの指示に従って動作するように構成される少なくとも１つのプロセッサとを含み、当該プログラムコードは、少なくとも１つのプロセッサに、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識させるように構成される認識コードであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、動きベクトルセットがＮ×Ｍグリッドに関連付けられる認識コードと、少なくとも１つのプロセッサに、動きベクトルセットに基づいて動きベクトルを決定させるように構成される決定コードと、少なくとも１つのプロセッサに、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスさせるように構成されるアクセスコードと、を含む。

本開示の一態様によれば、命令を記憶する非一時的なコンピュータ可読媒体であって、当該命令は１つ以上の命令を含み、１つ以上の命令は、装置の１つ以上のプロセッサによって実行される場合に、１つ以上のプロセッサに、以下の動作を実行させ、
前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルはＰ×Ｑグリッドに関連付けられ、動きベクトルセットはＮ×Ｍグリッドに関連付けられ、
動きベクトルセットに基づいて動きベクトルを決定し、
Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスする。

本開示の一態様によれば、現在のＣＵは、現在のブロックについて、各４×４位置から検索することができる。検索範囲が現在のＣＴＵを超えた場合、前のＣＴＵの最後の行のＭＶデータを使用する。現在のＣＵの場合、各４×４位置について、現在のＣＴＵの動きデータを記憶する。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは前のＣＴＵの最後の行からＭＶデータを取得することができる。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、且つ、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置に記憶される。前のＣＴＵについて、現在のＣＵは、ＭＶデータの最後の行へのアクセスのみを取得することができる。現在のＣＴＵ内のＣＵについて、４×４でＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。

開示された主題の他の特徴、性質及び様々な利点は、以下の詳細な説明及び図面からより明確になり、図面において、
一実施例による空間的マージ候補の図である。 一実施例によるマージ候補リスト生成の図である。 一実施例による通信システムの概略的なブロック図である。 一実施例によるストリーミング環境の図である。 一実施例によるビデオ復号器のブロック図である。 一実施例によるビデオ符号器のブロック図である。 一実施例によるビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための例示的な処理のフローチャートである。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例による縮減ラインバッファ技術を示す図である。 一実施例によるコンピュータシステムの図である。

本明細書におけるいくつかの実現形態は、前のラインバッファの削減を可能にし、これにより、メモリリソースと他の計算リソースを節約できる。

図３は、本開示の一実施形態による通信システム（３００）の概略的なブロック図を示す。システム（３００）はネットワーク（３５０）を介して互いに接続された少なくとも２つの端末（３１０、３２０）を含むことができる。データの一方向送信について、第１の端末（３１０）は、ローカル位置でビデオデータを符号化して、ネットワーク（３５０）を介して別の端末（３２０）に送信することができる。第２の端末（３２０）は、ネットワーク（３５０）から、他方の端末の符号化されたビデオデータを受信し、当該符号化されたデータを復号化し、復元されたビデオデータを表示することができる。一方向のデータ送信はメディアサービスアプリケーションなどでは一般的である。

図３は、例えば、ビデオ会議中に発生する可能性がある符号化されたビデオの双方向送信をサポートするために提供される第２対の端末（３３０、３４０）を示す。データの双方向送信について、各端末（３３０、３４０）は、ローカル位置でキャプチャしたビデオデータを符号化して、ネットワーク（３５０）を介して他方の端末に送信することができる。各端末（３３０、３４０）はさらに、他方の端末から送信された、符号化されたビデオデータを受信し、当該符号化されたデータを復号化し、復元されたビデオデータをローカルディスプレイ機器に表示することができる。

図３において、端末（３３０〜３４０）は、サーバ、パソコンコンピュータ、スマートフォンとして例示され得るが、本開示の原理はそれに限定されない。本開示の実施例は、ラップトップコンピュータ、タブレット、メディアプレイヤー及び／又は専用のビデオ会議機器を含むがこれらに限定されない他の機器に適用することができる。ネットワーク（３５０）は、端末（３１０〜３４０）の間で符号化されたビデオデータを送信する任意の数のネットワークを表し、例えば有線及び／又は無線通信ネットワークを含む。通信ネットワーク（３５０）は、回線交換及び／又はパケット交換チャネルにおいてデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はインターネットが含まれる。本出願における論述の目的からすると、以下で解釈されない限り、ネットワーク（３５０）のアーキテクチャ及びトポロジは、本開示の動作にとって重要ではない場合がある。

開示された主題の適用例として、図４は、ストリーミング環境におけるビデオの符号器と復号器の配置を示す。開示された主題は、例えばビデオ会議、デジタルＴＶなどが含まれる、ビデオをサポートする他のアプリケーションに等価的に適用されることができ、ＣＤ、ＤＶＤ、メモリースティックなどが含まれるデジタルメディアに圧縮されたビデオなどを記憶する。

ストリーミングシステムは、キャプチャサブシステム（４１３）を含むことができ、当該キャプチャサブシステムは、例えばデジタル撮影装置などの、非圧縮のビデオサンプルストリーム（４０２）を作成できるビデオソース（４０１）を含むことができる。符号化されたビデオビットストリームと比較してデータ量が多いことを強調するように、太い線として描画されるサンプルストリーム（４０２）は、撮影装置（４０１）に結合される符号器（４０３）によって処理されることができる。符号器（４０３）は、以下で詳細に説明される開示される主題の態様を実現又は実施するために、ハードウェア、ソフトウェア又はそれらの組み合わせを含むことができる。サンプルストリームと比較してデータ量が少ないことを強調するように、細い線として描画される符号化されたビデオビットストリーム（４０４）は、将来の使用のために、ストリーミングサーバ（４０５）に記憶されることができる。１つ以上のストリーミングクライアント（４０６、４０８）は、ストリーミングサーバ（４０５）にアクセスして、符号化されたビデオビットストリーム（４０４）のレプリカ（４０７、４０９）を検索することができる。クライアント（４０６）は、ビデオ復号器（４１０）を含むことができ、当該ビデオ復号器（４１０）は、符号化されたビデオビットストリームの着信コピー（４０７）を復号化し、ディスプレイ（４１２）又は他の表示機器（図示せず）に表示できる発信ビデオサンプルストリーム（４１１）を作成する。一部のストリーミングシステムでは、ビデオビットストリーム（４０４、４０７、４０９）は、あるビデオコーディング/圧縮規格に従って符号化され得る。これらの規格の例には、ＩＴＵ-Ｔ Ｈ.４６５勧告書を含む。非公式に多用途ビデオ符号化（ＶＶＣ）と呼ばれるビデオ符号化規格は開発中である。開示された主題は、ＶＶＣのコンテキストで使用されてもよい。

図５は、本発明の一実施例によるビデオ復号器（４１０）の機能ブロック図である。

受信機（５１０）は、ビデオ復号器（４１０）によって復号化される１つ以上の符号化されたビデオシーケンスを受信することができ、同じ実施例又は他の実施例では、一度に１つの符号化されたビデオシーケンスを受信し、各符号化されたビデオシーケンスの復号化は、他の符号化されたビデオシーケンスと独立している。符号化されたビデオシーケンスをチャネル（５１２）から受信することができ、チャネル（５１２）は、当該符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。受信機（５１０）は、符号化されたビデオデータ及び例えば、それぞれの使用エンティティ（図示せず）に転送され得る符号化されたオーディオデータ及び／又は補助データストリームなどの他のデータを受信することができる。受信機（５１０）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークのジッタを防止するために、バッファメモリ（５１５）は、受信機（５１０）とエントロピー復号器／パーサー（５２０）（以下、「パーサー」と呼ばれる）との間に結合されることができる。受信機（５１０）は、十分な帯域幅及び制御可能性を有する記憶／転送装置、又は等時性リアルタイムネットワークからデータを受信する際に、バッファ（５１５）を必要としない可能性があり、又は、バッファ（５１５）が小さくなってもよい。例えばインターネットなどのベストエフォート型パケットネットワークで使用するために、バッファ（５１５）を必要とする可能性があり、バッファ（５１５）は比較的大きく、有利に自己適応サイズを有することができる。

ビデオ復号器（４１０）は、エントロピー符号化されたビデオシーケンスに基づきシンボル（５２１）を再構築するように、パーサー（５２０）を含むことができる。図５に示すように、これらのシンボルのカテゴリには、復号器（４１０）の動作を管理するための情報、及びディスプレイ（４１２）などの表示機器を制御するための潜在情報が含まれ、当該表示機器は、復号器の構成部分ではないが復号器に結合され得る。（１つ以上の）表示機器のための制御情報は、補助拡張情報（ＳＥＩメッセージ）又はビデオユーザビリティ情報（ＶＵＩ）パラメータセットセグメント（図示せず）という形であってもよい。パーサー（５２０）は、受信された、符号化されたビデオシーケンスを解析／エントロピー復号化することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術又は規格に従って実行することができ、可変長符号化、ハフマン符号化（Ｈｕｆｆｍａｎ ｃｏｄｉｎｇ）、文脈依存の有無にかかわらず算術符号化などを含む当業者に知られている原理に従うことができる。パーサー（５２０）は、グループに対応する少なくとも１つのパラメータに基づき、符号化されたビデオシーケンスから、ビデオ復号器における画素のサブグループのうちの少なくとも１つのサブグループのサブグループパラメータセットを抽出することができる。サブグループは、ピクチャグループ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。エントロピー復号器／パーサーはさらに、符号化されたビデオシーケンスから、変換係数、量子化器パラメータ値（ＱＰ）、動きベクトルなどの情報を抽出してもよい。

パーサー（５２０）は、バッファ（５１５）から受信されたビデオシーケンスに対してエントロピー復号化／解析操作を実行することで、シンボル（５２１）を作成することができる。パーサー（５２０）は符号化されたデータを受信し、特定のシンボル（５２１）を選択的に復号化してもよい。また、パーサー（５２０）は特定のシンボル（５２１）が動き補償予測ユニット（５５３）、スケーラ／逆変換ユニット（５５１）、イントラ予測ユニット（５５２）又はループフィルタ（５５６）に提供されるかどうかを決定してもよい。

シンボル（５２１）の再構築は、符号化されたビデオピクチャ又はその一部（例えば、インターピクチャとイントラピクチャ、インターブロックとイントラブロック）のタイプ及び他の要因によって、複数の異なるユニットに関わる。関与するユニット及び関与形態について、パーサー（５２０）が符号化されたビデオシーケンスから解析したサブグループ制御情報によって制御される。簡潔のために、パーサー（５２０）と以下の複数のユニットとの間の、このようなサブグループ制御情報の流れは図示されていない。

既に言及された機能ブロックに加えて、復号器（４１０）は、概念的には、以下で説明される複数の機能ユニットに細分化される。ビジネス上の制約の下で運行する実際の実現形態において、これらのユニットのうち複数のユニットは互いに密接に相互作用するとともに、少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明するために、概念的に以下の機能ユニットに細分化されることは適切である。

第１のユニットはスケーラ／逆変換ユニット（５５１）である。当該スケーラ／逆変換ユニット（５５１）はパーサー（５２０）から（１つ以上の）シンボル（６２１）としての量子化変換係数及び制御情報を受信し、使用する変換方式、ブロックサイズ、量子化因子、量子化スケーリング行列などを含む。スケーラ／逆変換ユニット（５５１）は、アグリゲーター（５５５）に入力され得るサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラ符号化ブロック、即ち、以前に再構築されたピクチャからの予測情報を使用していないが、現在ピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに属する。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。いくつかの場合に、イントラピクチャ予測ユニット（５５２）は現在（部分的に再構築された）ピクチャ（５５６）から抽出された、周囲が再構築された情報を使用して、再構築中のブロックと同じサイズ及び形状のブロックを生成する。いくつかの場合に、アグリゲーター（５５５）は、各サンプルごとに、イントラ予測ユニット（５５２）から生成された予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に追加する。

他の場合に、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インター符号化された、潜在的に動き補償されたブロックに属することができる。このような場合に、動き補償予測ユニット（５５３）は参照ピクチャメモリ（５５７）にアクセスして、予測のためのサンプルを抽出することができる。当該ブロックに属するシンボル（５２１）に基づき、抽出されたサンプルに対して動き補償を行った後、これらのサンプルは、アグリゲーター（５５５）によって、スケーラ／逆変換ユニットの出力に追加される（この場合、残差サンプル又は残差信号と呼ばれる）ことで、出力サンプル情報が生成される。動き補償ユニットが予測サンプルを抽出するための参照ピクチャメモリ内のアドレスは動きベクトルによって制御され、動きベクトルはシンボル（５２１）の形で、動き補償ユニットによって使用され、シンボル（５２１）は、例えばＸ、Ｙ及び参照ピクチャ成分を有してもよい。動き補償はさらに、サブサンプルによって動きベクトルを正確に実行するときに参照ピクチャバッファ（４５７）から抽出されたサンプル値の補間、動きベクトル予測メカニズムなどを含んでもよい。

ループフィルタユニット（５５６）において、アグリゲーター（５５５）の出力サンプルに対して、様々なループフィルタリング技術を採用できる。ビデオ圧縮技術は、ループ内フィルタ技術を含むことができ、ループ内フィルタ技術は、符号化されたビデシーケンスに含まれる、パーサー（５２０）からのシンボル（５２１）として、ループフィルタユニット（５５６）に適用可能なパラメータによって制御され、しかしながら、ビデオ圧縮技術は、符号化されたピクチャ又は符号化されたビデオシーケンスの（復号化の順序で）前の部分を復号化する期間に取得されたメタ情報、及び、以前再構築されループフィルタリングによって処理されたサンプル値に応答することもできる。

ループフィルタユニット（５５６）の出力は、サンプルストリームであってもよく、サンプルストリームは、将来のインターピクチャ予測で使用されるために、表示機器（４１２）に出力され、参照ピクチャバッファ（５５６）に記憶されることができる。

ある符号化されたピクチャは完全に再構築されたら、将来の予測のための参照ピクチャとして使用される。例えば、符号化されたピクチャは完全に再構築され、さらに、符号化されたピクチャは（例えばパーサー（５２０）によって）参照ピクチャとして認識されると、現在の参照ピクチャ（６５６）は参照ピクチャバッファ（５５７）の一部になってもよく、その後の符号化されたピクチャの再構築を開始する前に、新たな現在ピクチャメモリを再割り当てる。

ビデオ復号器（４１０）は、例えばＩＴＵ−Ｔ Ｈ．２６５勧告書に記録される規格における所定のビデオ圧縮技術に従って復号化動作を実行することができる。符号化されたビデオシーケンスがビデオ圧縮技術又は規格の構文に従う意味で、符号化されたビデオシーケンスは、ビデオ圧縮技術ドキュメント又は規格、特にそのプロファイルドキュメントで明確に指定されるように、使用されているビデオ圧縮技術又は規格によって指定される構文に準拠することができる。準拠性について、さらに、符号化されたビデオシーケンスの複雑さがビデオ圧縮技術又は規格のレベルによって限定される範囲にあるように要求される。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプリングレート（例えば、メガサンプル／秒で測定する）、及び／又は最大参照ピクチャのサイズなどを制限する。いくつかの場合、レベルによって設置される制限は、仮想参照復号器（ＨＲＤ）の仕様、及び符号化されたビデオシーケンスにおいて信号で示されるＨＲＤバッファが管理するメタデータによってさらに限定される。

一実施例において、受信機（５１０）は追加の（冗長な）データと符号化されたビデオを受信できる。追加のデータは、（１つ以上の）符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオ復号器（４１０）によって使用されることで、データを正確に復号化し、及び／又は元のビデオデータをより正確に再構築する。追加のデータは、例えば時間、空間又はＳＮＲ拡張層、冗長スライス、冗長ピクチャ、前方誤り訂正符号などの形であってもよい。

図６は、本開示の一実施形態によるビデオ符号器（４０３）の機能ブロック図であり得る。

符号器（４０３）は、ビデオソース（４０１）（符号器の一部ではない）からビデオサンプルを受信することができ、当該ビデオソースは、符号器（４０３）によって符号化される（１つ以上の）ビデオ画像をキャプチャすることができる。

ビデオソース（４０１）は、符号器（４０３）によって符号化される、デジタルビデオサンプルストリームの形であるソースビデオシーケンスを提供することができ、当該デジタルビデオサンプルストリームは、任意の適切なビット深さ（例えば：８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣｂ、ＲＧＢ……）、及び任意の適切なサンプリング構成（例えば、Ｙ ＣｒＣｂ ４：２：０、Ｙ ＣｒＣｂ ４：４：４）を有してもよい。メディアサービスシステムにおいて、ビデオソース（４０１）は、以前に準備されたビデオを記憶するための記憶装置であってもよい。ビデオ会議システムにおいて、ビデオソース（４０３）は、ビデオシーケンスとして、ローカル画像情報をキャプチャするための撮影装置であってもよい。ビデオデータは、順番に見たときに、動きが付与される複数の個別のピクチャとして提供されることができる。これらのピクチャ自体は、空間画素アレイとして編成され、使用されているサンプリング構成、色空間などによって、各画素には１つ以上のサンプルが含まれてもよい。画素とサンプルとの間の関係は、当業者にとって、容易に理解することができる。以下の説明はサンプルに着目する。

一実施例によれば、ビデオ符号器（４０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで、又はアプリケーションで必要とする他の任意の時間制約の下で、符号化されたビデオシーケンス（６４３）に符号化及び圧縮することができる。適切的な符号化速度で実行することは、コントローラ（６５０）の機能の１つである。コントローラは、以下で説明する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。簡潔のために、結合は示されていない。コントローラによって設置されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のλ値など）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）配置、最大動きベクトル検索範囲などを含んでもよい。当業者は、コントローラ（６５０）の他の機能を容易に認識することができ、これらの機能は特定のシステム設計に対して最適化されたビデオ符号器（４０３）に属し得る。

あるビデオ符号器は、当業者が容易に「符号化ループ」として認識するという方式で動作する。非常に簡単な説明として、符号化ループは、（符号化対象となる入力ピクチャと（１つ以上の）参照ピクチャに基づきシンボルストリームを作成することを担当する）符号器の符号化部分（６３０）（以下、「ソース符号器」と呼ばれる）と、符号器（４０３）に埋め込まれる（ローカル）復号器（６３３）とを含むことができる。当該復号器（６３３）はシンボルを再構築することで、（リモート）復号器も作成しようとするサンプルデータを作成する（なぜならば、シンボルと符号化されたビデオビットストリームとの間の任意の圧縮は、開示された主題で考慮されるビデオ圧縮技術において可逆であるためである）。当該再構築されたサンプルストリームを参照ピクチャメモリ（６３４）に入力する。シンボルストリームの復号化により、復号器位置（ローカル又はリモート）と関係がないビットが正確である結果（ｂｉｔ−ｅｘａｃｔ）を発生させるので、参照ピクチャバッファのコンテンツはローカル符号器とリモート符号器との間でもビットが正確である。言い換えれば、符号器の予測部分から「見る」参照ピクチャサンプルは、復号化中に予測を使用するときに復号器が「見る」サンプル値とまったく同じである。参照ピクチの同期性という基本原理（及び、例えばチャネル誤差のため同期性を維持できない場合に発生するドリフト）は当業者にとって公知である。

「ローカル」復号器（６３３）の動作は、例えば図５との関連で以上で詳しく説明した「リモート」復号器（４１０）の動作と同じであってもよい。ただし、さらに図６を簡単に参照し、シンボルは、使用可能で、エントロピー符号器（６４５）とパーサー（５２０）とがシンボルを符号化されたビデオシーケンスに無損失で符号化／復号化する場合、チャネル（５１２）、受信機（５１０）、バッファ（５１５）及びパーサー（５２０）を含む復号器（４１０）のエントロピー復号化部分は、ローカル復号器（６３３）で完全に実現されることができないおそれがある。

現時点で、復号器に存在する解析／エントロピー復号化に加えて、任意の復号器技術も、必然的に基本的に同じ機能形式で、対応する符号器に存在することが観察されることができる。符号器技術は、包括的に説明された復号器技術の逆であるため、符号器技術の説明を簡略化できる。より詳しい説明は、特定の領域でのみ必要であり、以下で提供される。

ソース符号器（６３０）の動作の一部として、ソース符号器（６３０）は動き補償予測符号化を実行することができ、動き補償予測符号化はビデオシーケンスからの、「参照フレーム」として指定される１つ以上の以前に符号化されたフレームを参照して、入力フレームを予測的に符号化する。このようにして、符号化エンジン（６３２）は入力フレームの画素ブロックと、入力フレームの（１つ以上の）予測参照として選択される（１つ以上の）参照フレームの画素ブロックとの間の差を符号化する。

ローカルビデオ復号器（６３３）はソース符号器（６３０）によって作成されるシンボルに基づき、参照フレームとして指定され得るフレームの符号化されたビデオデータを復号化することができる。符号化エンジン（６３２）の動作は有利的には、非可逆処理であってもよい。符号化されたビデオデータがビデオ復号器（図６には図示せず）で復号化される場合、再構築されたビデオシーケンスは、一般的に、多少の誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオ復号器（６３３）は、参照フレームに対してビデオ復号器によって実行される復号化処理を複製し、再構築された参照フレームを参照ピクチャキャッシュ（６３６）に記憶することができる。このようにして、ビデオ符号器（４０３）は、再構築された参照フレームのレプリカをローカルに記憶し、当該レプリカは、リモートビデオ復号器によって取得された、再構築される参照フレームと共通のコンテンツを有する（送信誤差がない）。

予測器（６３５）は符号化エンジン（６３２）に対して予測検索を実行してもよい。つまり、符号化対象となる新たなフレームに対して、予測器（６３５）は参照ピクチャメモリ（６３４）において、新たなフレームの適切な予測参照として使用され得るサンプルデータ（候補参照画素ブロックとする）、又は例えば参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを検索することができる。予測器（６３５）はサンプルブロックに基づき、画素ブロックごとに動作することで、適切な予測参照を見つけることができる。いくつかの場合、予測器（６３５）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に記憶される複数の参照ピクチャから取得される予測参照を有してもよい。

コントローラ（６５０）は、例えばビデオデータを符号化するためのパラメータとサブグループパラメータの設置を含むビデオ符号器（６３０）の符号化動作を管理することができる。

エントロピー符号器（６４５）において、以上に言及された全ての機能ユニットの出力に対してエントロピー符号化を行うことができる。当該エントロピー符号器は、例えばハフマン符号化、可変長符号化、算術符号化などのような当業者に知られている技術に従って、シンボルに対して可逆圧縮を行うことで、各機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。

送信機（６４０）は、通信チャネル（６６０）を介した送信の準備をするように、エントロピー符号器（６４５）によって作成される（１つ以上の）符号化されたビデオシーケンスをバッファリングすることができ、通信チャネル（６６０）は、符号化されたビデオデータを記憶するための記憶装置へのハードウェア／ソフトウェアリンクであってもよい。送信機（６４０）は、ビデオ符号器（６３０）からの符号化されたビデオデータと、例えば符号化されたオーディオデータ及び／又は補助データストリーム（ソースは図示せず）のような、送信対象となる他のデータとを、マージすることができる。

コントローラ（６５０）は、ビデオ符号器（４０３）の動作を管理することができる。符号化中に、コントローラ（６５０）は、各符号化されたピクチャに、対応するピクチャに適用される符号化技術に影響を与える可能性がある特定の符号化されたピクチャタイプを割り当てる。例えば、一般的に、ピクチャを次のフレームタイプのいずれかとして割り当ててもよい。

イントラピクチャ（Ｉピクチャ）は、シーケンス内の他のピクチャのいずれかを予測のソースとして使用せず、符号化及び復号化されるピクチャであってもよい。一部のビデオコーデックは、例えば独立復号器リフレッシュピクチャが含まれる異なるタイプのイントラピクチャを許容する。当業者は、Ｉピクチャのそれらの変形、及び対応する用途及び特徴を知っている。

予測ピクチャ（Ｐピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも１つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。

双方向予測ピクチャ（Ｂピクチャ）は、イントラ予測又はインター予測を使用して符号化及び復号化するピクチャであってもよく、当該イントラ予測又はインター予測は、多くとも２つの動きベクトルと参照インデックスを使用して各ブロックのサンプル値を予測する。同様に、複数の予測ピクチャは、２つを超える参照ピクチャ及び関連するメタデータを、単一のブロックの再構築に使用することができる。

ソースピクチャは一般的に、空間的に複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８又は１６×１６個のサンプルのブロック）に細分化され、ブロックごとに符号化されることができる。これらのブロックは、他の（符号化された）ブロックを参照して、予測的に符号化されることができ、前記他のブロックは、ブロックの対応するピクチャに適用される符号化割当によって決定される。例えば、Ｉピクチャのブロックについて、非予測的に符号化するか、又はこれらのブロックを、同じピクチャの既に符号化されたブロックを参照して、予測的に符号化（空間予測又はイントラ予測）してもよい。Ｐピクチャの画素ブロックについて、以前に符号化された１つの参照ピクチャを参照して、空間的予測又は時間的予測を介して予測的に符号化してもよい。Ｂピクチャのブロックについて、以前に符号化された１つ又は２つの参照ピクチャを参照して、空間的予測又は時間的予測を介して非予測的に符号化してもよい。

ビデオ符号器（４０３）は、例えばＩＴＵ−Ｔ Ｈ．２６５勧告書における所定のビデオ符号化技術又は規格に基づき符号化動作を実行することができる。ビデオ符号器（４０３）の動作において、ビデオ符号器（４０３）は、入力ビデオシーケンスにおける時間的と空間的冗長性を使用した予測符号化動作が含まれる様々な圧縮動作を実行することができる。従って、符号化されたビデオデータは、使用されているビデオ符号化技術又は規格によって指定される構文に準拠していることができる。

一実施例において、送信機（６４０）は、追加のデータと符号化されたビデオを送信することができる。ソース符号器（６３０）は、符号化されたビデオシーケンスの一部として、このようなデータを含んでもよい。追加のデータは、時間／空間／ＳＮＲ拡張層、冗長ピクチャとスライスのような他の形式の冗長データ、補充拡張情報（ＳＥＩ）メッセージ、ビデオユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含んでもよい。

本開示は、インターピクチャ予測符号化のための技術に関し、特に、マージモードに関する。現在のＣＵが前のＣＵのＭＶをマージ候補として使用する場合、別のＣＴＵのいくつかのＣＵが存在する可能性がある。提案された技術は、以前に符号化されたＣＵのＭＶ情報への高速アクセスに必要なラインバッファを減少する。本開示の技術は、マージ概念を使用する任意のビデオ符号化方法に拡張することができる。スキップモードはマージモードを使用して動き情報を導出するため、本開示の方法はスキップモードにも適用される。

図７は、一実施例によるビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための例示的な処理のフローチャートである。いくつかの実施形態おいて、図７の１つ又は複数の処理ブロックは符号器４０３により実行されてもよい。いくつかの実施方式おいて、図７の１つ又は複数の処理ブロックは、符号器４０３とは別の、又は符号器４０３を含む別のデバイス又はデバイスのグループ、例えば符号器４１０によって実行されもよい。

図７に示すように、処理は、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルがＰ×Ｑグリッドに関連付けられ、且つ、動きベクトルセットがＮ×Ｍグリッドに関連付けられること（ブロック７１０）を含むことができる。

図７にさらに示されるように、処理は、動きベクトルセットに基づいて動きベクトルを決定すること（ブロック７２０）を含むことができる。

図７にさらに示されるように、処理は、Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、動きベクトルバッファにおいて動きベクトルにアクセスすること（ブロック７３０）を含むことができる。

図７は、処理の例示的なブロックを示したが、いくつかの実現形態において、図７に図示されたこれらのブロックと比べて、処理は、追加のブロック、より少ないブロック、異なるブロック又は異なって配置されたブロックを含むことができる。追加又は代替として、処理の２つ以上のブロックは並行して実行されてもよい。

図８は、縮減ラインバッファ技術を示す図であり、現在のＣＵが前のＣＵにおいてマージ候補を検索する場合に、Ｎ×Ｍ（例えば、１６×１６）位置でＭＶにアクセスする。

例として、現在のＣＵについて、各Ｎ×Ｍ位置で他の前のＣＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは各Ｎ×Ｍ位置の情報を取得してもよく、その中、ＮとＭは正の整数である。

他の例として、現在のＣＵについて、各Ｎ×１６位置で他の前のＣＵの動き情報にアクセスする。現在のＣＵが前のＣＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは、各Ｎ×１６位置の情報を取得してもよく、その中、Ｎは正の整数、例えば４、８、１２、１６などである。従って、現在のフレームについて、ＭＶデータをサブサンプリングする。全ての前のＣＵについて、Ｎ×１６ユニットによりＭＶにアクセスする。オフセットｘとオフセットｙは現在のＣＵに対する検索範囲である。

Ｎ×１６（Ｎの最小値が４である）ユニットにおけるＭＶデータに任意の数の方法でアクセスすることができる。ＭＶデータを記憶する最小のユニットは４×４であるので、Ｎ×１６ ＭＶバッファには４つの最小のユニット行が存在する可能性がある。図９に示すように、各行は１つの数字で指示される。１つの方法では、行０におけるＭＶデータは他の行のＭＶ情報を示すために使用されてもよい。従って、行０のＭＶデータのみにアクセスし、他の行の情報を無視することができる。ピクチャ全体に対して当該処理を実行することができる。従って、ピクチャの最初の行から、ある位置でＭＶデータにアクセスしてもよい。

他の実施例において、行１のＭＶデータは他の行のＭＶ情報の全てを示すために使用されてもよい。更なる他の実施例において、行２のＭＶデータは他の行のＭＶ情報の全てを示すために使用されてもよい。更なる他の実施例において、行３の情報は他の行のＭＶ情報の全てを示すために使用されてもよい。

以下、修正された行番号の疑似コードを生成するための例を示す。当該例において、行０の情報は、４つの行全てのＭＹ情報を示すために使用される。以下のコードでは、ｙは縦座標である。
ｉｆ (ｙ ｉｓ ｉｎ ａｂｏｖｅ ＣＴＵ)
{
ｙ＝(ｙ/１６)*１６;
}

他の実施例において、ＮはＭに等しい。一実例において、ＮとＭの両方は１６である。本明細書の実施例は、１６×１６位置における動きデータを使用するために、様々な形態に適用できる。一実施例において、１６×１６グリッドにおける左上の４×４グリッドは、１６×１６ブロック全体を示すために使用される。

以下、修正された行番号の疑似コードを生成するための例を示す。当該例において、行０の情報はこれらの４つの行を示すために使用される。以下のコードでは、ｙは縦座標であり、ｘは横座標である。
ｉｆ(ｙ ｉｓ ｉｎ ａｂｏｖｅ ＣＴＵ)
{
ｙ＝(ｙ/１６)*１６;
ｘ＝(ｘ/１６)*１６;
}

他の実施例において、行０から行３までの平均ＭＶは全ての行情報を示すために使用されてもよい。他の実施例において、行０から行３までの平均ＭＶは全ての行情報を示すために使用されてもよい。上記の実施例において、ＮはＭ以下である。

他の実施例において、行に加えて、列に関連付けられて当該修正を実行してもよい。他の実施例において、参照ピクチャ方法におけるＭＶサブサンプリングを使用して現在ピクチャでアクセスされているＭＶ位置を修正してもよい。

図１０は、現在のＣＴＵにおいて、現在のＣＵが、各４×４位置から現在のブロック（１０００）を検索できる技術を示す図である。検索範囲が現在のＣＴＵを超えた場合、Ｎ×Ｍ位置でＭＶにアクセスする。

当該方法において、現在のＣＵについて、各Ｎ×Ｍ位置で他の前のＣＴＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータへのアクセスを取得する必要がある場合に、現在のＣＵは、各Ｎ×Ｍ（例えば１６×１６）位置（１００９、１００６、１００３）に位置する情報を取得してもよく、ＮとＭとは正の整数である。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、且つこれらのＣＵが現在のＣＴＵ内にある場合に、これらのＣＵのＭＶデータは各４×４グリッドに位置する。

一実施例において、現在のＣＵについて、各Ｎ×１６位置で他の前のＣＴＵの動き情報にアクセスする。現在のＣＵが前のＣＴＵからのＭＶデータへのアクセスを取得する必要がある場合に、現在のＣＵは各Ｎ×１６に記憶されている情報を取得してもよく、その中、Ｎは正の整数である。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置（１００１、１００２、１００７、１００５、１００８）に位置する。前のＣＴＵにおけるＣＵについて、Ｎ×１６ユニットでＭＶデータを記憶する。現在のＣＴＵ内のＣＵについて、４×４ユニットでＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。上記の実施例において、ＮはＭ以下である。

図１１は、現在のＣＴＵにおいて、現在のＣＵが各４×４位置から現在ブロック（１０００）を検索できる技術を示す図である。検索範囲が現在のＣＴＵを超えた場合、前のＣＴＵの最後の行（１１０１）からのＭＶデータを使用する。

当該方法では、現在のＣＵについて、各４×４位置に対して現在のＣＴＵの動きデータを記憶する。現在のＣＵが前のＣＴＵからのＭＶデータにアクセスする必要がある場合に、現在のＣＵは、前のＣＴＵの最後の行からＭＶデータを取得してもよい。現在のＣＵが前のＣＵからのＭＶデータへのアクセスを取得する必要があり、これらのＣＵが現在のＣＴＵ内にある場合、これらのＣＵのＭＶデータは各４×４位置に記憶される。前のＣＴＵについて、現在のＣＵはＭＶデータの最後の行へのアクセスのみを取得できる。現在のＣＴＵ内のＣＵについて、４×４でＭＶデータを記憶する。オフセットｘ及びオフセットｙは現在のＣＵに対する検索範囲である。

一実施例によれば、他の４×４グリッド（Ｎ×Ｍ位置が示されない）における動き情報は修正又は破棄されないが、この動き情報を複製するためにラインバッファは必要とされない。ラインバッファはＮ×Ｍ位置での動き情報のみをコピーすることができる。

上記の技術はコンピュータ可読命令を使用してコンピュータソフトウェアとして実現され、１つ以上のコンピュータ可読媒体に物理的に記憶されてもよい。例えば、図１２は開示された主題のいくつかの実施例を実現するのに適したコンピュータシステム（１２００）を示す。

コンピュータソフトウェアは、任意の適切なマシンコード又はコンピュータ言語によって符号化することができ、任意の適切なマシンコード又はコンピュータ言語に対して、アセンブル、コンパイル、リンクなどのメカニズムを実行することで、コンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）などによって直接的に実行されるか、又は解釈、マイクロコードなどによって実行される命令を含むコードを作成することができる。

当該命令は、例えばパーソナルコンピュータ、タブレット、サーバ、スマートフォン、ゲーム機器、モノのインターネット機器などを含む、様々なタイプのコンピュータ又はそれらのコンポーネントで実行されることができる。

図１２に示すコンピュータシステム１２００のコンポーネントは、本質的に例示であり、本開示の実施形態を実現するためのコンピュータソフトウェアの使用範囲又は機能に制限を加えることを意図するものではない。コンポーネントの配置は、コンピュータシステム１２００の例示的な実施形態に示めされたるコンポーネントのいずれか、又はそれらの組み合わせに関連する依存性又は要件を有するものとして解釈されるべきではない。

コンピュータシステム１２００は、特定のヒューマンマシンインタフェース入力機器を含んでもよい。このようなヒューマンマシンインタフェース入力機器は、例えば触覚入力（例えば、キーストローク、スライド、データグローブ移動）、オーディオ入力（例えば、音声、拍手）、視覚入力（例えば、姿勢）、嗅覚入力（図示せず）による１つ以上の人間のユーザーの入力に応答することができる。ヒューマンマシンインタフェース機器はさらに、例えば、オーディオ（例えば、音声、音楽、環境音）、画像（例えば、スキャンした画像、静的画像撮影装置から取得された写真画像）、ビデオ（例えば２次元ビデオ、ステレオビデオが含まれる３次元ビデオ）などの、人間の意識的な入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されることもできる。

ヒューマンマシンインタフェース入力機器は、キーボード１２０１、マウス１２０２、タッチパッド１２０３、タッチパネル１２１０、データグローブ１２０４、ジョイスティック１２０５、マイク１２０６、スキャナ１２０７及び撮影装置１２０８のうちの１つ以上を含んでもよい（それぞれが１つのみ図示される）。

コンピュータシステム１２００はさらに特定のヒューマンマシンインタフェース出力機器を含んでもよい。このようなヒューマンマシンインタフェース出力機器は、例えば触覚出力、音、光及び匂い／味によって１つ以上の人間ユーザーの感覚を刺激することができる。このようなヒューマンマシンインタフェース出力機器は、触覚出力機器（例えば、タッチパネル１２１０、データグローブ１２０４又はジョイスティック１２０５による触覚フィードバックがあるが、入力機器として使用されない触覚フィードバック機器もある）、オーディオ出力機器（例えば、スピーカー１２０９、ヘッドフォン（図示せず））、視覚出力機器（例えば、スクリーン１２１２であって、陰極線管（ＣＲＴ）スクリーン、液晶（ＬＣＤ）スクリーン、プラズマスクリーン、有機発光ダイオード（ＯＬＥＤ）スクリーンを含み、それぞれはタッチスクリーン入力機能がある場合とない場合、触覚フィードバック機能がある場合とない場合があり、そのうちのいくつかは、ステレオグラフィック出力のような手段で、２次元の視覚出力又は３次元以上の出力を出力できる場合がある）、バーチャルリアリティ眼鏡（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず））、プリンター（図示せず）を含むことができる。

コンピュータシステム１２００はさらに人間がアクセス可能な記憶機器及びその関連する媒体を含んでもよく、例えば、ＣＤ／ＤＶＤなどの媒体１２２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ１２２０などの光学媒体、サムドライブ１２２２、取り外し可能なハードドライブ又はソリッドステートドライブ１２２３、磁気テープとフロッピーディスク（図示せず）のような従来の磁気媒体、セキュリティドングル（図示せず）などの専用ＲＯＭ／ＡＳＩＣ／ＰＬＤによる機器などを含んでもよい。

また、当業者は、現在開示された主題に関連して使用される「コンピュータ可読可能な媒体」という用語には、送信媒体、搬送波又は他の一時的な信号が含まれていないことを理解するべきである。

コンピュータシステム１２００はさらに１つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば無線、有線、光ネットワークであってもよい。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車載、産業用、リアルタイム、遅延耐性ネットワークなどであってもよい。ネットワークの例は、例えば、イーサネットなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、有線テレビ、衛星テレビ及び地上波テレビを含むテレビ有線又は無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車載及び産業用ネットワークなどを含む。一部のネットワークは一般的に、ある汎用データポート又は周辺バス（１２４９）（例えば、コンピュータシステム１２００のＵＳＢポート）の外部ネットワークインタフェースに接続されるアダプタを必要とし、他のネットワークは一般的に、以下のようなシステムバス（例えば、ＰＣコンピュータシステムのイーサネットインタフェース、又はスマートフォンコンピュータシステムのセルラーネットワークインタフェース）に接続されることによって、コンピュータシステム１２００のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム１２００は他のエンティティと通信することができる。このような通信は、一方向、受信のみ（例えば、放送テレビ）、一方向送信のみ（例えば、あるＣＡＮｂｕｓ機器へのＣＡＮｂｕｓ）、又は双方向（例えば、ローカルエリア又はワイドエリアデジタルネットワークを使用して他のコンピュータシステムに達する）であってもよい。上記のようなこれらのネットワークとネットワークインタフェースのそれぞれに、特定のプロトコル及びプロトコルスタックを使用することができる。

上記のヒューマンマシンインタフェース機器、人間がアクセス可能な記憶装置及びネットワークインタフェースは、コンピュータシステム１２００のコア１２４０に接続することができる。

コア１２４０は、１つ以上の中央処理ユニット（ＣＰＵ）１２４１、グラフィック処理ユニット（ＧＰＵ）１２４２、フィールドプログラム可能なゲートアレイ（ＦＰＧＡ）１２４３の形の専用のプログラム可能な処理ユニット、特定のタスクのためのハードウェアアクセラレータ１２４４などを含んでもよい。これらの機器は、読み取り専用メモリ（ＲＯＭ）１２４５、ランダムアクセスメモリ１２４６、例えばユーザーがアクセスできない内部ハードディスクドライブ、ソリッドステートドライブ（ＳＳＤ）などの内部大容量記憶装置１２４７とともに、システムバス１２４８を介して接続することができる。一部のコンピュータシステムにおいて、システムバス１２４８に１つ以上の物理プラグの形でアクセスできることで、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にすることができる。周辺機器は、直接的又は周辺バス１２４９を介してコアのシステムバス１２４８に接続することができる。周辺バスのアーキテクチャは周辺コンポーネント相互接続（ＰＣＩ）、ＵＳＢなどを含む。

ＣＰＵ１２４１、ＧＰＵ１２４２、ＦＰＧＡ１２４３及びアクセラレータ１２４４は特定の命令を実行でき、これらの命令を組み合わせると、以上に言及されたコンピュータコードを構成することができる。当該コンピュータコードはＲＯＭ１２４５又はＲＡＭ１２４６に記憶されてもよい。一時的なデータはＲＡＭ１２４６に記憶されることもでき、永久データは例えば内部大容量記憶装置１２４７に記憶されることができる。キャッシュメモリを使用することによって、記憶装置のいずれかへの高速ストレージ及び検索が可能になり、当該キャッシュメモリは１つ以上のＣＰＵ１２４１、ＧＰＵ１２４２、大容量記憶装置１２４７、ＲＯＭ１２４５、ＲＡＭ１２４６などに密接に関連することができる。

コンピュータ可読媒体は、コンピュータが実現する様々な動作を実行するためのコンピュータコードをその上に有することができる。媒体とコンピュータコードは、本開示の目的のために、特別に設計及び構築される媒体とコンピュータコードであってもよいし、又は、コンピュータソフトウェアの当業者にとって周知であり、使用可能なタイプのものであってもよい。

限定ではなく例として、アーキテクチャ１２００を有するコンピュータシステム、特に、コア１２４０は、（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ以上の有形コンピュータ読み取り可能な媒体に実装されるソフトウェアを実行することで、機能を提供することができる。このようなコンピュータ読み取り可能な媒体は、上記のような、ユーザがアクセス可能な大容量記憶装置に関する媒体、及び例えばコア内部大容量記憶装置１２４７又はＲＯＭ１２４５などの非一時的なコア１２４０の特定の記憶装置であってもよい。本開示の各実施形態を実現するのソフトウェアはこのような機器に記憶され、コア１２４０によって実行されることができる。特定のニーズに応じて、コンピュータ読み取り可能な媒体には１つ以上の記憶装置又はチップが含まれてもよい。ソフトウェアは、コア１２４０、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行させることができ、ＲＡＭ１２４６に記憶されるデータ構成を限定すること、及びソフトウェアによって限定された処理によってこのようなデータ構成を修正することが含まれる。さらに又は代替として、コンピュータシステムは、ロジックハードワイヤード、又は他の形式で回路（例えば、アクセラレータ１２４４）に実装されることによって、機能を提供することができ、当該回路は、ソフトウェアの代わりに、又はソフトウェアとともに動作して、本明細書では説明されている特定の処理又は特定の処理の特定の部分を実行することができる。適切な場合、ソフトウェアに対する言及にはロジックが含まれ、逆に、ロジックに対する言及にはソフトウェアが含まれてもよい。適切な場合に、コンピュータ読み取り可能な媒体に対する言及には、実行のためのソフトウェアが記憶される回路（例えば、集積回路（ＩＣ））、実行のためのロジックを具現化する回路、又はそれらの両方が含まれてもよい。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを含む。

この開示は、いくつかの例示的な実施例を説明してきたが、本開示の範囲内に含まれる変更、置換、及び様々な代替均等物が存在する。従って、本明細書では明示的に示されていないか、又は記載されていないが、本開示の原理を具現化したのでその精神及び範囲内にある多数のシステム及び方法を当業者が考案できることは認識される。

付録Ａ：頭字語：
高効率ビデオ符号化（ＨＥＶＣ）
符号化ユニット（ＣＵ）
予測ユニット（ＰＵ）
共同探査モデル（ＪＥＭ７）
共同ビデオ探査グループ（ＪＶＥＴ）
代替時間的動きベクトル予測（ＡＴＭＶＰ）
時空間的動きベクトル予測（ＳＴＭＶＰ）
予測（Ｐ）スライス
双方向予測（Ｂ）スライス
レート歪み（ＲＤ）
時間的動きベクトル予測（ＴＭＶＰ）
コンテキスト適応型バイナリ算術符号化方式（ＣＡＢＡＣ）
多用途ビデオ符号化（ＶＶＣ）
補助拡張情報（ＳＥＩメッセージ）

Claims (20)

1. ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための方法であって、
   前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識するステップであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、前記動きベクトルセットがＮ×Ｍグリッドに関連付けられるステップと、
   前記動きベクトルセットに基づいて動きベクトルを決定するステップと、
   前記Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、前記動きベクトルバッファにおいて前記動きベクトルにアクセスするステップと、を含む方法。
2. 現在のＣＴＵに関連付けられる別の動きベクトルを認識するステップであって、前記別の動きベクトルがＰ×Ｑグリッドに関連付けられるステップと、
   前記Ｐ×Ｑグリッドに関連付けられる位置を含む候補ブロックに基づいて、前記動きベクトルバッファにおいて前記別の動きベクトルにアクセスするステップと、をさらに含む請求項１に記載の方法。
3. 前記動きベクトルセットの第１の行に関連付けられる第１の動きベクトルを認識するステップであって、前記動きベクトルセットが前記前のＣＴＵに関連付けられるステップと、
   前記動きベクトルを前記第１の動きベクトルとして決定するステップと、をさらに含む請求項１に記載の方法。
4. 前記動きベクトルセットの各動きベクトルに基づいて平均動きベクトルを決定するステップと、
   前記動きベクトルを前記平均動きベクトルとして決定するステップと、をさらに含む請求項１に記載の方法。
5. 前記前のＣＴＵの最後の行の最後行動きベクトルを決定するステップと、
   前記動きベクトルを前記最後行動きベクトルとして決定するステップと、をさらに含む請求項１に記載の方法。
6. Ｎ×Ｍは１６×１６である請求項１に記載の方法。
7. Ｐ×Ｑは４×４である請求項１に記載の方法。
8. ＮはＭに等しくない請求項１に記載の方法。
9. 前記動きベクトルセットに対して、変更された行番号を生成するステップと、
   前記変更された行番号に基づいて、前記動きベクトルにアクセスするステップと、をさらに含む請求項１に記載の方法。
10. アクセスされた動きベクトルは、前記動きベクトルを使用して前記ビデオシーケンスを符号化又は復号化することを可能にする請求項１に記載の方法。
11. ビデオシーケンスを符号化又は復号化する動きベクトルバッファを制御するための装置であって、
    プログラムコードを記憶するように配置される少なくとも１つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードの指示に従って動作するように配置される少なくとも１つのプロセッサと、を含み、
    前記プログラムコードは、
    前記少なくとも１つのプロセッサに、前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識させるように配置される認識コードであって、各動きベクトルがＰ×Ｑグリッドに関連付けられ、前記動きベクトルセットがＮ×Ｍグリッドに関連付けられる認識コードと、
    前記少なくとも１つのプロセッサに、前記動きベクトルセットに基づいて動きベクトルを決定させるように配置される決定コードと、
    前記少なくとも１つのプロセッサに、前記Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、前記動きベクトルバッファにおいて前記動きベクトルにアクセスさせるように配置されるアクセスコードと、を含む装置。
12. 前記少なくとも１つのプロセッサに、現在のＣＴＵに関連付けられる別の動きベクトルを認識させるように配置される他の認識コードであって、前記別の動きベクトルがＰ×Ｑグリッドに関連付けられる他の認識コードをさらに含み、
    前記アクセスコードは、前記少なくとも１つのプロセッサに、前記Ｐ×Ｑグリッドに関連付けられる位置を含む候補ブロックに基づいて、前記動きベクトルバッファにおいて前記別の動きベクトルにアクセスさせるように配置される請求項１１に記載の装置。
13. 前記少なくとも１つのプロセッサに、前記動きベクトルセットの第１の行に関連付けられる第１の動きベクトルを認識させるように配置される他の認識コードであって、前記動きベクトルセットが前記前のＣＴＵに関連付けられる他の認識コードをさらに含み、
    前記決定コードは、前記少なくとも１つのプロセッサに、前記動きベクトルを前記第１の動きベクトルとして決定させるように配置される請求項１１に記載の装置。
14. 前記少なくとも１つのプロセッサに、前記動きベクトルセットの各動きベクトルに基づいて平均動きベクトルを決定させるように配置される他の決定コードをさらに含み、
    前記決定コードは、前記少なくとも１つのプロセッサに、前記動きベクトルを前記平均動きベクトルとして決定させるように配置される請求項１１に記載の装置。
15. 前記少なくとも１つのプロセッサに、前記前のＣＴＵの最後の行の最後行動きベクトルを決定させるように配置される他の決定コードをさらに含み、
    前記決定コードは、前記少なくとも１つのプロセッサに、前記動きベクトルを前記最後行動きベクトルとして決定させるように配置される請求項１１に記載の装置。
16. Ｎ×Ｍは１６×１６である請求項１１に記載の装置。
17. Ｐ×Ｑは４×４である請求項１１に記載の装置。
18. ＮはＭに等しくない請求項１１に記載の装置
19. アクセスされた動きベクトルは、前記動きベクトルを使用して前記ビデオシーケンスを符号化又は復号化することを可能にする請求項１１に記載の装置
20. 命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令は１つ以上の命令を含み、前記１つ以上の命令は、装置の１つ以上のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサに、次の操作を実行させ、
    前の符号化ツリーユニット（ＣＴＵ）に関連付けられる動きベクトルセットを認識し、各動きベクトルはＰ×Ｑグリッドに関連付けられ、前記動きベクトルセットはＮ×Ｍグリッドに関連付けられ、
    前記動きベクトルセットに基づいて動きベクトルを決定し、
    前記Ｎ×Ｍグリッドに関連付けられる位置を含む候補ブロックに基づいて、前記動きベクトルバッファにおいて前記動きベクトルにアクセスする非一時的なコンピュータ可読媒体。
    

Images