JP2013529875A - 圧縮ビットストリームへの交換補間フィルタ係数の組み込み - Google Patents

Abstract

１つの例において、符号器は、複数の異なる補間された予測データを生成するために、予め定義された複数の補間フィルタを、基準ビデオのフレームのようなビデオデータのユニットに適用しうる。符号器は、さらに、時々、ビデオ圧縮を改善するか、再構築された画像品質を改善することによって、新しい補間フィルタまたは補間フィルタのセットがコーディング品質を改善しうることを決定しうる。符号器は、さらに、予め定義された補間フィルタのうちの１つが使用されたか、補間フィルタの新しいセットが使用されたかを、ビデオ復号器にシグナリングしうる。符号器は、さらに、補間フィルタの新しいセットの使用を継続するか否か、そうでなければ、予め定義された補間フィルタのセットの使用に戻るか否か、ビデオ復号器にシグナリングしうる。ビデオ復号器は、ビデオ符号器から受信されたデータに基づいてビデオデータを復号することができる。

Description

本願は、２０１０年６月２５日に出願された米国仮出願６１／３５８，５９０号、および、２０１０年７月９日に出願された米国仮出願６１／３６３，１７５号の利益を主張し、全てのコンテンツは、それぞれが、参照により本明細書に組み込まれる。

本開示は、ビデオ圧縮に関し、さらに詳細には、ビデオシーケンスビットストリームの符号化および復号の際に補間フィルタリングを使用することに関する。

デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、無線ブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラまたは衛星ラジオ電話、スマートフォンなどを含む広範囲のデバイスに組み込まれうる。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、または、ＩＴＵ−Ｔ Ｈ.２６４／ＭＰＥＧ−４、パート１０、ＡＶＣ（Advanced Video Coding）のようなビデオ圧縮技術を実施して、より効率的にデジタルビデオ情報を送信および受信しうる。ビデオ圧縮技術は、ビデオシーケンスに固有の冗長を削減または除去するために空間予測および／または時間予測を実行しうる。ＭＰＥＧおよびＩＴＵ−Ｔの合作である、「ＪＣＴＶＣ（Joint Collaborative Team−Video Coding）」によって開発されたＨＥＶＣ標準のような新しいビデオ標準は、出現かつ進化し続ける。この新しい標準は、時々、Ｈ.２６５と呼ばれる。

ブロックベースのインターコーディングは、ビデオシーケンスの連続コード化ユニットのビデオブロック間の時間的冗長を削減または除去するために時間予測に依存する非常に有益なコーディング技術である。コード化ユニットは、ビデオフレーム、ビデオフレームのスライス、ピクチャのグループ、または、定義されたビデオブロックの別のユニットを備えうる。インターコーディングについて、ビデオ符号器は、２つ以上の隣接したコード化ユニットの対応ビデオブロックの動きを追跡するために動き推定および動き補償を実行する。動き推定は、１または複数の基準フレームまたは別のコード化ユニット内の対応予測ビデオブロックに対するビデオブロックの変位を示す動きベクトルを生成する。動き補償は、動きベクトルを使用して、基準フレームまたは別のコード化ユニットから予測ビデオブロックを生成する。動き補償の後、コード化されている最初のビデオブロックから予測ビデオブロックを差し引くことで、残余ビデオブロックが形成される。

ビデオ符号器は、さらに、変換、量子化、および、エントロピーコーディングプロセスを適用して、残余ブロックの通信に関連付けられたビットレートをさらに削減しうる。変換技術は、離散コサイン変換（ＤＣＴ）または概念的に類似したプロセスを備えうる。あるいは、ウェーブレット変換、整数変換、または、別のタイプの変換が使用されうる。ＤＣＴプロセスにおいて、例として、ピクセル値のセットが、周波数ドメインにおいてピクセル値のエネルギーを表しうる変換係数に変換される。量子化は、変換係数に対して適用され、一般的に、あらゆる所与の変換係数に関連付けられたビット数を制限するプロセスを含む。エントロピーコーディングは、量子化変換係数のシーケンスを集合的に圧縮する１または複数のプロセスを備える。エントロピーコーディングの例は、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）およびコンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）を含むが、それに制限されるわけではない。

コード化ビデオブロックは、予測ブロックの作成または識別に使用されうる予測情報と、コード化されているブロックと予測ブロックとの差を示すデータの残余ブロックとで表されうる。予測情報は、データの予測ブロックを識別するために使用される１または複数の動きベクトルを備えうる。動きベクトルを仮定すれば、復号器は、残余をコード化するために使用された予測ブロックを再構築することができる。よって、残余ブロックのセットおよび動きベクトルのセット（および、恐らくは、いくつかのさらなるシンタックス）を仮定した場合、復号器は、最初に符号化されたビデオフレームを再構築することができる。連続ビデオフレームまたは別のタイプのコード化ユニットは非常に類似することが多いため、動き推定および動き補償に基づくインターコーディングは、非常に良い圧縮を達成することができる。符号化ビデオシーケンスは、残余データのブロック、動きベクトル、および、恐らくは、他のタイプのシンタックスを備えうる。

補間技術は、インターコーディングにおいて達成されうる圧縮レベルを改善するために開発されている。このケースにおいて、ビデオブロックをコード化するために使用される、動き補償中に生成された予測データは、ビデオフレームのビデオブロックのピクセル、または、動き推定に使用される他のコード化ユニットから補間されうる。補間は、予測１／２ピクセル値（half-pel）および予測１／４ピクセル値（quarter-pel）を生成するために実行されることが多い。そのような補間は、予測フレームの実際のビデオブロック、あるいは、ビデオコーディングで使用された他のコード化ユニットよりもいっそう、コード化されているビデオブロックに類似した予測ブロックを生成することが多い。

一般的に、本開示は、ビデオコーディングの動き補償プロセスの間に符号器および復号器によって実行される補間技術を記述する。本開示の技術にしたがって、符号器は、複数の異なる補間された予測データを生成するために、予め定義された複数の補間フィルタを、基準ビデオのフレームのようなビデオデータのユニットに適用しうる。符号器は、さらに、時々、新しい補間フィルタまたは補間フィルタのセットが、ビデオ圧縮を改善するか、再構築された画像品質を改善するかのいずれかによって、コーディング品質を改善しうることを決定しる。本開示は、予め定義された補間フィルタのうちの１つが使用されたか、補間フィルタの新しいセットが使用されたかをビデオ復号器にシグナリングするための技術を記述する。本開示は、さらに、補間フィルタの新しいセットの使用を継続するか否か、そうでなければ、予め定義された補間フィルタのセットの使用に戻るか否かを、ビデオ復号器にシグナリングするための技術を記述する。

１つの例において、本開示は、ビデオデータを符号化する方法を記述する。方法は、基準ビデオの第１のサブユニットの第１のピクセル値を補間して、第１の予測データを生成することと、ここにおいて、第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく；補間フィルタの第１のセットが、基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されたことを示すために、基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメント生成することと；第１の予測データに基づいてビデオデータを符号化することと；符号化ビデオデータおよび第１のシンタックスエレメントを含む、符号化されたビットストリームを生成することとを備える。

別の例において、本開示は、ビデオデータを復号する方法を記述する。方法は、ビデオビットストリームにおいて、基準ビデオのユニットを受信することと、ここにおいて、基準ビデオのユニットは、複数のサブユニットを備える；基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別することと、ここにおいて、第１のシンタックスエレメントは、複数のサブユニットのうちの第１のサブユニットに関連付けられ、第１のシンタックスエレメントは、補間フィルタの第１のセットが、基準ビデオのユニットに関連付けられたシンタックスエレメントで定義されることを表す；補間フィルタの第１のセットを使用して第１の予測データを生成するために、基準ビデオのユニットの第１のサブユニットに対して第１のピクセル値を補間することと；第１の予測データに少なくとも部分的に基づいてビデオデータを復号することとを備える。

別の例において、本開示は、ビデオデータを符号化する装置を記述する。装置は、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間して、第１の予測データを生成し、ここにおいて、第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく；基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて補間フィルタの第１のセットが定義されることを示すために、基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成し；第１の予測データに基づいてビデオデータを符号化し；符号化ビデオデータおよび第１のシンタックスエレメントを含む符号化ビットストリームを生成するように構成されたビデオ符号器を備える。

別の例において、本開示は、ビデオデータを復号する装置を記述する。装置は、ビデオビットストリームにおいて、基準ビデオのユニットを受信し、ここにおいて、基準ビデオのユニットは、複数のサブユニットを備える；基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別し、ここにおいて、第１のシンタックスエレメントは、複数のサブユニットの第１のサブユニットに関連付けられ、第１のシンタックスエレメントは、補間フィルタの第１のセットが、基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを表す；補間フィルタの第１のセットを使用して第１の予測データを生成するために、基準ビデオのユニットの第１のサブユニットに対して第１のピクセル値を補間し；第１の予測データに基づいて復号されたビデオデータを生成するように構成されたビデオ復号器を備える。

別の例において、本開示は、プロセッサにおいて実行されると、プロセッサに対して、第１の予測データを生成するために基準ビデオの第１のサブユニットに対して第１のピクセル値を補間させ、ここにおいて、第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく；基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて補間フィルタの第１のセットが定義されることを示すために、基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成させ；第１の予測データに基づいてビデオデータを符号化させ；符号化ビデオデータおよび第１のシンタックスエレメントを含む符号化ビットストリーム生成させる命令を備えるコンピュータ読取可能な記憶媒体を記述する。

別の例において、本開示は、プロセッサにおいて実行されると、プロセッサに対して、ビデオビットストリームにおいて、基準ビデオのユニットを受信させ、ここにおいて、基準ビデオのユニットは、複数のサブユニットを備える；基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別させ、ここにおいて、第１のシンタックスエレメントは、複数のサブユニットの第１のサブユニットに関連付けられ、第１のシンタックスエレメントは、補間フィルタの第１のセットが、基準ビデオのユニットに関連付けられたシンタックスエレメントで定義されることを表す；補間フィルタの第１のセットを使用して第１の予測データを生成するために、基準ビデオのユニットの第１のサブユニットに対して第１のピクセル値を補間させ；第１の予測データに少なくとも部分的に基づいてビデオデータを復号させる命令を備えるコンピュータ読取可能な記憶媒体を記述する。

別の例において、本開示は、ビデオデータを符号化するためのデバイスを記述する。デバイスは、第１の予測データを生成するために基準ビデオの第１のサブユニットに対して第１のピクセル値を補間するための手段と、ここにおいて、第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく；基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて補間フィルタの第１のセットが定義されることを示すために、基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成するための手段と；第１の予測データに基づいてビデオデータを符号化するための手段と；符号化ビデオデータおよび第１のシンタックスエレメントを含む符号化ビットストリームを生成するための手段とを備える。

別の例において、本開示は、ビデオデータを復号するためのデバイスを記述する。デバイスは、ビデオビットストリームにおいて、基準ビデオのユニットを受信するための手段と、ここにおいて、基準ビデオのユニットは、複数のサブユニットを備える；基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別するための手段と、ここにおいて、第１のシンタックスエレメントは、複数のサブユニットの第１のサブユニットに関連付けられ、第１のシンタックスエレメントは、補間フィルタの第１のセットが、基準ビデオのユニットに関連付けられたシンタックスエレメントで定義されることを表す；補間フィルタの第１のセットを使用して第１の予測データを生成するために、基準ビデオのユニットの第１のサブユニットに対して第１のピクセル値を補間するための手段と；第１の予測データに少なくとも部分的に基づいてビデオデータを復号するための手段とを備える。

本開示の１または複数の態様の詳細は、添付の図および以下の記述に示される。本開示に記述された技術の他の特徴、目的、利点は、記述および図面から、並びに、請求項から明白になるであろう。

図１は、本開示と一致するビデオ符号化および復号システムを示す例示的なブロック図である。 図２は、本開示と一致するビデオ符号器の例を示すブロック図である。 図３は、本開示と一致するビデオ復号器の例を示すブロック図である。 図４Ａは、予測ビデオブロックのピクセルを備えうる補間ピクセルおよび整数ピクセルを示す概念図である。 図４Ｂは、予測ビデオブロックのピクセルを備えうる補間ピクセルおよび整数ピクセルを示す概念図である。 図４Ｃは、予測ビデオブロックのピクセルを備えうる補間ピクセルおよび整数ピクセルを示す概念図である。 図４Ｄは、予測ビデオブロックのピクセルを備えうる補間ピクセルおよび整数ピクセルを示す概念図である。 図５は、本開示と一致するデータのユニットの概念的な例である。 図６は、本開示と一致する技術を示すフロー図である。 図７は、本開示と一致する技術を示すフロー図である。 図８は、本開示と一致する技術を示すフロー図である。 図９は、本開示と一致する技術を示すフロー図である。

本開示は、ビデオコーディングの動き補償プロセスの間に符号器または復号器によって実行されうる補間技術を記述する。本開示の技術にしたがって、符号器は、複数の異なる補間された予測データを生成するために、予め定義された複数の補間フィルタを、基準ビデオのフレームのようなビデオのユニットに適用しうる。符号器は、さらに、時々、ビデオ圧縮を改善するか、再構築された画像品質を改善するかのいずれかによって、新しい補間フィルタまたは補間フィルタのセットがコーディング品質を改善しうることを決定しる。本開示は、予め定義された補間フィルタのうちの１つが使用されたか、補間フィルタの新しいセットが使用されたかをビデオ復号器にシグナリングするための技術を記述する。本開示は、さらに、補間フィルタの新しいセットの使用を継続するか否か、そうでなければ、予め定義された補間フィルタのセットの使用に戻るか否かを、ビデオ復号器にシグナリングするための技術を記述する。

図１は、本開示の技術を実施しうる１つの例示的なビデオ符号化および復号システム１１０を示すブロック図である。図１に示されるように、システム１１０は、通信チャネル１１５を介して、宛先デバイス１１６に符号化されたビデオを送信するソースデバイス１１２を含む。ソースデバイス１１２および宛先デバイス１１６は、任意の広範囲のデバイスを備えうる。いくつかのケースにおいて、ソースデバイス１１２および宛先デバイス１１６は、無線ハンドセットのような無線通信デバイス、いわゆるセルラまたは衛星ラジオ電話、あるいは、通信チャネル１１５を通してビデオ情報を通信することができるあらゆる無線デバイスを備える。この場合、通信チャネル１１５は、無線である。しかしながら、動き補償された補間に関係のある本開示の技術は、必ずしも、無線アプリケーションまたはセッティングに限定されるわけではない。

図１の例において、ソースデバイス１１２は、ビデオソース１２０、ビデオ符号器１２２、変調器／復調器（モデム）１２３、および、送信機１２４を含みうる。宛先デバイス１１６は、受信機１２６、モデム１２７、ビデオ復号器１２８、および、ディスプレイデバイス１３０を含みうる。本開示にしたがって、ソースデバイス１１２のビデオ符号器１２２は、本開示の補間技術のうちの１または複数を、ビデオ符号化プロセスの一部として適用するように構成されうる。同様に、宛先デバイス１１６のビデオ復号器１２８は、本開示の補間技術のうちの１または複数を、ビデオ復号プロセスの一部として適用するように構成されうる。

図１に示されるシステム１１０は、本開示の技術が実施されうる単なる例示的なシステムである。本開示の補間技術は、サブピクセル解像度への動き補償された補間をサポートする任意の符号化デバイスによって実行されうる。ソースデバイス１１２および宛先デバイス１１６は、そのようなコーディングデバイスの単なる例である。このケースにおいて、ソースデバイス１１２は、宛先デバイス１１６への送信のために、コード化ビデオデータを生成する。デバイス１１２および１１６は、デバイス１１２および１１６の各々が、例えば、結合符号器／復号器（ＣＯＤＥＣ）に、ビデオ符号化および復号コンポーネントを含むように、実質的に対称的な方式で動作しうる。このように、システム１１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、または、ビデオ電話のために、ビデオデバイス１１２および１１６の間での一方向または双方向のビデオ送信をサポートしうる。

ソースデバイス１１２のビデオソース１２０は、ビデオカメラ、以前キャプチャされたビデオを含むビデオアーカイブのようなビデオキャプチャデバイス、または、ビデオコンテンツプロバイダのビデオフィードを含みうる。さらなる代替として、ビデオソース１２０は、ソースビデオ、すなわち、ライブビデオ、アーカイブビデオ、および、コンピュータ生成ビデオの組み合わせとして、コンピュータグラフィックベースのデータを生成しうる。いくつかのケースにおいて、ビデオソース１２０がビデオカメラである場合、ソースデバイス１１２および宛先デバイス１１６は、いわゆる、カメラ電話またはビデオ電話を形成しうる。各ケースにおいて、キャプチャされたビデオ、事前にキャプチャされたビデオ、あるいは、コンピュータ生成されたビデオは、ビデオ符号器１２２によって符号化されうる。次に、符号化されたビデオ情報は、例えば、符号分割多元接続（ＣＤＭＡ）のような通信標準、あるいは、別の通信標準にしたがってモデム１２３によって変調され、送信機１２４を介して宛先デバイス１１６に送信されうる。モデム１２３は、様々なミキサ、フィルタ、増幅器、または、信号変調のために設計された他のコンポーネントを含みうる。無線アプリケーションについて、送信機１２４は、増幅器、フィルタ、および、１または複数のアンテナを含む、データを送信するように設計された回路を含みうる。

宛先デバイス１１６の受信機１２６は、チャネル１５を通して情報を受信し、モデム１２７は、情報を復調する。この場合も同様に、ビデオ符号化プロセスは、本明細書に記述される技術のうちの１または複数を実施して、動き補償の間の補間を改善しうる。ビデオ復号器１２８によって実行されるビデオ復号プロセスは、さらに、復号プロセスのその動き補償ステージの間、補間を実行しうる。ディスプレイデバイス１３０は、復号されたビデオデータをユーザに表示し、それは、ブラウン管、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイのような任意の様々なディスプレイデバイス、または、別のタイプのディスプレイデバイスを備えうる。

図１の例において、通信チャネル１１５は、ラジオ周波数（ＲＦ）スペクトルのような任意の無線または有線の通信媒体、または、１または複数の物理送信回線、あるいは、無線または有線媒体のあらゆる組み合わせを備えうる。通信チャネル１１５は、ローカルエリアネットワーク、広域ネットワーク、あるいは、インターネットなどのグローバルネットワークのようなパケットベースのネットワークの一部を形成しうる。通信チャネル１１５は、一般的に、ソースデバイス１１２から宛先デバイス１１６にビデオデータを送信するための、任意の適切な通信媒体、または、異なる通信媒体の集合体を表す。

ビデオ符号器１２２およびビデオ復号器１２８は、代替的にＭＰＥＧ４、パート１０、ＡＶＣ（Advanced Video Coding）と記述されるＩＴＵ−Ｔ Ｈ.２６４標準などのビデオ圧縮標準にしたがって動作しうる。しかしながら、本開示の技術は、あらゆる特定のコーディング標準に限定されない。図１には示されていないが、いくつかの態様において、ビデオ符号器１２２およびビデオ復号器１２８は、それぞれ、オーディオ符号器および復号器に統合され、共通データストリームまたは個別データストリームにおいてオーディオおよびビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、あるいは、他のハードウェアおよびソフトウェアを含みうる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ.２３３マルチプレクサプロトコル、あるいは、ユーザダイアグラムプロトコル（ＵＤＰ）のような他のプロトコルに準拠しうる。

ＩＴＵ−Ｔ Ｈ.２６４／ＭＰＥＧ−４（ＡＶＣ）標準は、例えば、ＪＶＴ（Joint Video Team）として知られている共同パートナーシップの製品として、ＩＳＯ／ＩＥＣ ＭＰＥＧ（Moving Picture Experts Group）と共にＩＴＵ−Ｔ ＶＣＥＧ（Video Coding Experts Group）によって公式化された。いくつかの態様において、本開示に記述される技術は、一般的に、Ｈ.２６４標準に準拠したデバイスに適用されうる。Ｈ.２６４標準は、現在、一般的に使用されているビデオコーディング標準であり、そういうものとして、本開示はＨ.２６４標準の態様を使用し、実際の実世界の例を用いて様々なコンセプトを説明する手伝いをする。しかしながら、本開示の技術は、決して、Ｈ.２６４標準に限定されるわけではない。要するに、ＪＶＴ（Joint Video Team）および他のグループは、Ｈ.２６４／ＭＰＥＧ−４ ＡＶＣへの拡張および新しい標準の両方に取り組み続けており、本開示の技術がそれらのＨ.２６４の拡張と、新生のＨＥＶＣ標準を含む次世代のコーディング標準との両方にも適用されうることは企図される。

ビデオ符号器１２２およびビデオ復号器１２８は、各々、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、書替え可能ゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組み合わせとして実施されうる。ビデオ符号器１２２およびビデオ復号器１２８の各々は、１または複数の符号器または復号器に含まれ、そのどちらもが、結合ＣＯＤＥＣの一部として、それぞれのモバイルデバイス、加入者デバイス、ブロードキャストデバイス、サーバ等に統合されうる。

ビデオシーケンスは、典型的に、一連のビデオフレームを含む。ビデオ符号器１２２は、ビデオデータを符号化するために個々のビデオフレーム内のビデオブロック上で動作する。ビデオブロックは、固定または可変のサイズを有し、特定のコーディング標準にしたがってサイズが異なりうる。各ビデオフレームは、一連のスライスを含む。各スライスは、サブブロックに配列されうる一連のマクロブロックを含みうる。例として、ＩＴＵ−Ｔ Ｈ.２６４標準は、輝度コンポーネントに対して１６×１６、８×８、または４×４、色度コンポーネントに対して８×８のような様々なブロックサイズでイントラ予測を、同様に、輝度コンポーネントに対して１６×１６、１６×８、８×１６、８×８、８×４、４×８または４×４、色度コンポーネントに対して対応するスケーリング済みのサイズのような様々なブロックサイズでインター予測をサポートする。ビデオブロックは、例えば、離散コサイン変換のような変換プロセスまたは概念的に類似した変換プロセスの後に、ピクセルデータのブロックまたは変換係数のブロックを備えうる。新生のビデオ標準は、３２×１６ブロック、３２×３２ブロック、６４×３２ブロック、および、６４×６４ブロックなど、より大きいブロックを含む、他のサイズのビデオブロックをサポートしうる。

より小さいビデオブロックは、より良い解像度を提供し、高いレベルの詳細を含むビデオフレームのロケーションに対して使用されうる。一般的に、マクロブロック（ＭＢ）および様々なサブブロックは、ビデオブロックであるとみなされうる。加えて、スライスは、ＭＢおよび／またはサブブロックのような一連のビデオブロックであるとみなされうる。各スライスは、ビデオフレームの独立して復号可能なユニットでありうる。ビデオ符号器１２２およびビデオ復号器１２８は、予測基準データを生成することと、コード化されるべきビデオブロックを予測基準データから差し引いて、残余データを生成することとを含むインターベースの予測コーディングを実行し、それは、次に、変換、量子化、エントロピーコード化されうる。インターベースの予測コーディングは、本開示にしたがい予測データの補間を含みうる。

インターベースの予測コーディング（本開示の補間技術を含む）に続いて、および、任意の変換（４×４または８×８の整数変換または離散コサイン変換ＤＣＴのような）に続いて、量子化が実行されうる。量子化は、一般的に、係数を表すために使用されるデータ量をできる限り削減するために係数が量子化されるプロセスを指す。量子化プロセスは、係数のうちのいくつかあるいは全部に関連付けられたビット深度（bit depth）を削減しうる。例えば、１６ビット値は、量子化の間に１５ビット値へと端数が切り捨てられうる。量子化に続いて、エントロピーコーディングが、例えば、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）、コンテンツ適応バイナリ算術コーディング（ＣＡＢＡＣ）、あるいは、別のエントロピーコーディング方法にしたがって実行されうる。

本開示の技術にしたがって、ビデオ符号器１２２は、一連のビデオフレームを含むビデオシーケンスをビデオ復号器１２８に送信しうる。ビデオフレームのシーケンスは、シーケンスヘッダを含み、シーケンス内の各フレームは、フレームヘッダを含むことができる。ビデオ符号器１２２は、複数の異なる補間予測データを生成するために、予め定義された複数の交換補間フィルタ（ＳＩＦ）を、シーケンス内のビデオの１または複数のフレームに適用しうる。予め定義された交換補間フィルタは、ビデオ符号器１２２およびビデオ復号器１２８の両方で定義され、本開示において、固定ＳＩＦセットと呼ばれるであろう。本開示の技術にしたがって、ビデオ符号器１２２は、さらに、時々、ビデオ圧縮を改善するか、再構築された画像の品質を改善するかのいずれかによって、固定ＳＩＦセットと比較して、新しい補間フィルタまたは補間フィルタのセットがコーディング品質を改善しうると決定しうる。新しい補間フィルタは、例えば、分析的に導き出された適応フィルタ係数を含みうるか、あるいは、高解像度ビデオデータからダウンサンプリングされた低解像度ビデオデータのような、特定のタイプのビデオデータにうまく働きかけることが知られた補間フィルタのセットでありうる。例えば、高解像度データをダウンサンプリングするために使用されるフィルタが知られている場合、最初の高解像度データと、より低い解像度データから生成された高解像度データとの間の二乗平均誤差が低くなる補間フィルタを決定することが可能でありうる。同様に、ビデオ符号器は、ビデオデータを符号化するための２つのパスを使用しうる。ここで、第１のパスの間、特定のシーンに最適な補間フィルタを決定するために、シーンの変化に対してビデオが分析されうる。

本開示は、ビデオ符号器１２２が、固定ＳＩＦのフィルタを使用したか、補間フィルタの新しいセットのフィルタを使用したかを、補間シンタックスを介してビデオ復号器１２８にシグナリングする技術を記述する。本開示で使用される場合、補間シンタックスとは、一般的に、どの補間フィルタまたは補間フィルタのセットを動き補償に使用するか決定するためにビデオ復号器１２８によって使用されるコード化ビットストリームに含まれる、１または複数のシンタックスエレメントの形態の任意の情報を指す。補間シンタックスは、必ずしも、ビットストリームの特定の部分内のデータの別々の断片（piece）に限定されるわけではなく、代わりに、集合的に、コード化ビットストリームの複数の部分に位置づけされたデータの複数の断片を指しうる。例えば、シーケンスヘッダ内のフラッグおよびフレームヘッダ（あるいは、ビットストリームの他のロケーション）内のさらなるフラッグは、集合的に、本開示において、補間シンタックスと呼ばれうる。補間フィルタの特定のセットを識別するデータを含むことに加えて、補間シンタックスは、補間フィルタのセットからの特定の補間フィルタを識別するシンタックスエレメントを含みうる。例えば、固定ＳＩＦセットが、サブピクセルロケーションごとに４つの補間フィルタを含む場合、補間シンタックス内のシンタックスエレメントは、４つの補間フィルタのうちのどれが特定のサブピクセルロケーションに対して使用されたかを識別しうる。

本開示の技術が補間シンタックスをどのように使用するかを示す例として、ビデオ符号器１２２は、シーケンスのフレームが固定ＳＩＦセットを使用してコード化されたか、補間フィルタの新しいセットを使用してコード化されたかをビデオ復号器１２８にシグナリングするために、フラッグのようなシンタックスエレメントを、シーケンスヘッダに挿入しうる。ビデオ符号器１２２が補間フィルタの新しいセットを使用したことをフラッグがシグナリングした場合、シーケンスヘッダ内の後続のデータは、フィルタの新しいセットをビデオ復号器１２８に送信することができる。ビデオ符号器１２２が固定ＳＩＦセットを使用したことをフラッグが示した場合、フィルタ係数を記述する後続のデータがシーケンスヘッダに含まれる必要はない可能性がある。各フレームは、さらに、ビデオ符号器１２２が前のフレームの際と同じ補間フィルタのセットを使用してフレームをコード化したか否か、ここで、補間フィルタのセットは、シーケンスヘッダで識別され、それは、固定ＳＩＦセットか新しいセットかのいずれかでありうる、そうでなければ、ビデオ符号器１２２がフレーム固有の補間フィルタのセットを使用してフレームをコード化したか否かを、ビデオ復号器１２８にシグナリングするフラッグをフレームヘッダに含む。ビデオ符号器１２２が、フレーム固有補間フィルタを使用してフレームをコード化した場合、フレーム固有補間フィルタの係数は、フレームヘッダに含まれうる。

本開示は、ビデオシーケンスおよびビデオフレームに関する所与の例を示すが、そのシーケンスおよびフレーム以外の様々なタイプのコーディングユニットも使用されうる。例えば、本開示に記述される技術は、さらに、シーケンスおよびフレームとは対照的に、シーケンスおよびフレームのグループ、あるいは、シーケンスおよびスライスを使用して実施されうる。記述される技術は、一般的に、第１のコーディングユニットレベルで補間フィルタの新しいセットをシグナリングすることと、次に、より低いコーディングユニットレベル（例えば、フレームのグループ、フレーム、またはスライス）で、補間フィルタに関するさらなる情報をシグナリングすることとを含む。

図２は、本開示と一致する動き補償された補間を実行しうるビデオ符号器２５０の例を示すブロック図である。ビデオ符号器２５０は、デバイス１１２のビデオ符号器１２２、または、異なるデバイスのビデオ符号器に対応しうる。イントラコーディングは示されていないが、ビデオ符号器２５０は、ビデオフレーム内のブロックのイントラコーディングおよびインターコーディングを実行しうる。イントラコーディングは、空間予測に依存して、所与のビデオフレーム内のビデオにおける空間的冗長を削減または除去しうる。インターコーディングは、時間予測に依存して、ビデオシーケンスの隣接フレーム内のビデオにおける時間的冗長を削減または除去しうる。イントラモード（Ｉモード）は、空間ベースの圧縮モードを指し、予測（Ｐモード）あるいは双方向（Ｂモード）のようなインターモードは、時間ベースの圧縮モードを指しうる。本開示の技術は、典型的に、インターコーディングの間に適用され、そのため、空間予測ユニットのようなイントラコーディングユニットは、例示を簡潔かつ簡単にするために、図２に示されない。

図２に示されるように、ビデオ符号器２５０は、符号化されるべきビデオフレーム内の現在のビデオブロックを受信する。図２の例において、ビデオ符号器２５０は、動き推定ユニット２３２、動き補償ユニット２３５、メモリ２３４、加算器２４８、変換ユニット２３８、量子化ユニット２４０、および、エントロピーコーディングユニット２４６を含む。ビデオブロック再構築について、ビデオ符号器２５０は、さらに、逆量子化ユニット２４２、逆変換ユニット２４４、および、加算器２５１も含む。ブロック境界をフィルタリングするためにブロック解除フィルタ（deblocking filter）（示されない）がさらに含まれ、再構築されたビデオから塊状のアーティファクトを除去しうる。望まれる場合、ブロック解除フィルタは、典型的に、加算器２５１の出力をフィルタリングしうる。加えて、ビデオ品質を改善するために、さらなるフィルタ（ループ後フィルタまたはループ内フィルタなど）も使用されうる。

符号化プロセスの間、ビデオ符号器２５０は、コード化されるべきビデオブロックを受信し、動き推定ユニット２３２および動き補償ユニット２３５は、インター予測コーディングを実行する。動き推定ユニット２３２および動き補償ユニット２３５は、高度に統合されうるが、概念的な目的のために、個別に例示される。動き推定は、典型的に、ビデオブロックに対する動きを推定する、動きベクトルを生成するプロセスであるとみなされる。例えば、動きベクトルは、現在のフレーム（または他のコード化ユニット）内のコード化されている現在のブロックに対する予測フレーム（または他のコード化ユニット）内の予測ブロックの変位を示しうる。動き補償は、典型的に、動き推定によって決定された動きベクトルに基づいて予測ブロックを取り出すまたは生成するプロセスであるとみなされる。この場合も、動き推定ユニット２３２および動き補償ユニット２３５は、機能的に統合されうる。本開示に記述された補間技術は、動き補償ユニット２３５によって実行されるものとして記述される。しかしながら、補間は、最良の動きベクトルの選択を容易にするために、動き推定の間に実行されうる。

本開示にしたがって、動き推定ユニット２３２は、ビデオブロックを、予測コード化ユニット（例えば、前のフレーム）のビデオブロックと比較することによって、コード化されるべきビデオブロックに対して適切な動きベクトルを選択する。現時点では、動き補償ユニット２３５は、サブピクセル解像度で予測データを生成するために、補間を実行しうる。いくつかのケースでは、動き推定の間、補間は、固定補間フィルタに基づきうる。他のケースでは、動き補償の間に適用される異なる補間フィルタが、動きベクトル選択という目的のために、動き推定プロセスの間にも使用されうる。

動き推定ユニット２３２が、コード化されるべきビデオブロックに対して動きベクトルを選択すると、動き補償ユニット２３５は、その動きベクトルに関連付けられた予測ビデオブロックを生成する。しかしながら、本開示にしたがって、動き補償ユニット２３５は、サブピクセル解像度を有する任意の予測ビデオブロックのいくつかのバージョンを考慮しうる。このケースにおいて、動き補償ユニット２３５は、コード化されるべきビデオブロックに対して複数の異なる補間予測データを生成するために、複数の予め定義された補間フィルタ（固定ＳＩＦセット）を適用しうる。動き補償ユニット２３５は、さらに、固定ＳＩＦセット以外のフィルタを適用しうる。例として、特定のダウンサンプリングフィルタを使用して、高解像度シーケンスから特定の低解像度シーケンスが生成された場合、特定のシーケンスに対して新しい補間フィルタのセットを使用することが望まれうる。そのようなケースにおいて、動き補償ユニット２３５が、低解像度シーケンスを符号化すると、その分数ピクセル位置に対応する新しい補間フィルタのセットが、ダウンサンプリングフィルタについての知識に基づいて導き出されうる。

次に、動き補償ユニット２３５は、最大レベルの圧縮を達成する補間予測データ（例えば、補間フィルタのうちの１つに関連付けられた補間ビデオブロック）を選択する。補間データを生成するために使用された補間フィルタは、補間シンタックスとしてコード化され、コーディングビットストリームに組み込むために、エントロピーコード化ユニット２４６に通信されうる。より詳細に以下に論述される本開示の技術は、動き補償ユニット２３５が、ビデオデータを、固定ＳＩＦセットのフィルタを使用してコード化したか、補間フィルタの新しいセットのフィルタを使用してコード化したかを、補間シンタックスを使用してシグナリングすることを含む。動き補償ユニット２３５が最良の補間フィルタを選択し、適用すると、動き補償ユニット２３５は、その補間フィルタを使用して予測データを生成し、ビデオ符号器は、加算器２４８を適用して、コード化されているビデオブロックからその予測データを差し引いて、残余データを生成する。

述べられたように、動き補償ユニット２３５が予測データ（例えば、補間予測ビデオブロック）を生成すると、ビデオ符号器２５０は、コード化されている最初のビデオブロックから予測データを差し引くことによって、残余ビデオブロックを形成する。加算器２４８は、この減算演算を実行する１つのコンポーネントまたは複数のコンポーネントを表す。変換ユニット２３８は、離散コサイン変換（ＤＣＴ）のような変換、または、概念的に類似した変換を残余ブロックに適用し、残余変換ブロック係数を備えるビデオブロックを生成する。変換ユニット２３８は、例えば、ＤＣＴに概念的に類似した、Ｈ.２６４またはＨＥＶＣ標準によって定義された変換のような他の変換を実行しうる。ウェーブレット変換、整数変換、サブ帯域変換、あるいは、他のタイプの変換も使用されうる。いずれのケースにおいても、変換ユニット２３８は、残余ブロックに変換を適用し、残余変換係数のブロックを生成する。この変換は、残余情報をピクセルドメインから周波数ドメインへと変換しうる。

量子化ユニット２４０は、ビットレートをさらに削減するために残余変換係数を量子化する。量子化プロセスは、係数のうちのいくつかあるいは全部に関連付けられたビット深度を削減しうる。例えば、１６ビット値は、量子化の間に１５ビット値へと端数が切り捨てられうる。量子化に続いて、エントロピーコーディングユニット２４６は、量子化された変換係数をエントロピーコード化する。例えば、エントロピーコーディングユニット２４６は、コンテンツ適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、あるいは、別のエントロピーコーディング方法を実行しうる。エントロピーコーディングユニット２４６によるエントロピーコーディングに続いて、符号化ビデオは、別のデバイスに送信されるか、あるいは、後の送信または検索のためにアーカイブされうる。コード化ビットストリームは、エントロピーコード化された残余ブロック、そのようなブロックに対する動きベクトル、および、動き補償ユニット２３５によって適用された補間フィルタを識別する補間シンタックスを含む他のシンタックスを含みうる。

逆量子化ユニット２４２および逆変換ユニット２４４は、それぞれ、逆量子化および逆変換を適用して、例えば、基準ブロックを後で使用するために、ピクセルドメインで残余ブロックを再構築しうる。加算器２５１は、再構築された残余ブロックを、動き補償ユニット２３５によって生成された動き補償済み予測ブロックに加え、メモリ２３４に記憶するための再構築ビデオブロックを生成する。再構築ビデオブロックは、基準ブロックとして、動き推定ユニット２３２および動き補償ユニット２３５によって使用され、後続のビデオフレーム内のブロックをインター符号化しうる。

図３は、本明細書に記述された方法で符号化されたビデオシーケンスを復号するビデオ復号器３６０の例を示すブロック図である。ビデオ復号器３６０は、復号するために本開示の補間技術を実行する動き補償ユニット３５５を含む。特に、復号する側では、動き補償ユニット３５５は、補間シンタックスから、ビデオシーケンスのフレームが、固定ＳＩＦセットのフィルタを使用してコード化されたか、補間フィルタの新しいセットのフィルタを使用してコード化されたかを識別する、エントロピー復号ユニット３５２からのシンタックスエレメントを受信しうる。新しいフィルタのセットが使用された場合、シーケンスヘッダは、さらに、補間フィルタの新しいセットを定義するさらなるデータを含みうる。動き補償ユニット３５５は、補間シンタックスによって識別された補間フィルタのセットに基づいて、基準ビデオデータのピクセル値を補間することを含む予測データを生成しうる。特に、動き補償ユニット３５５は、エントロピー復号ユニット３５２から受信された動きベクトルおよびシンタックスエレメントによって定義された補間（図３において補間シンタックスとラベル付されている）に基づいて、予測データを生成しうる。この補間予測データに基づいて、ビデオデータ（例えば、再構築された残余ビデオブロック）は、復号されうる。

エントロピー復号ユニット３５２は、量子化係数およびシンタックス（例えば、動き補間ユニット３５５に送られた補間シンタックスおよび動きベクトル）を生成するために、受信ビットストリームをエントロピー復号する。逆量子化ユニット３５６は、量子化されたブロック係数を逆量子化する、すなわち、脱量子化（de quantize）する。逆量子化プロセスは、Ｈ.２６４復号によって定義されているような従来のプロセスでありうる。逆変換ユニット３５８は、例えば、逆ＤＣＴのような逆変換、または概念的に類似した逆変換プロセスを変換係数に適用し、ピクセルドメインにおいて残余ブロックを生成する。動き補償ユニット３５５は、例えば、シンタックスエレメント（すなわち、補間シンタックス）によって識別された補間フィルタの係数のセットに基づいた補間を含む、本明細書に記述された方法で動き補償されたブロックを生成する。

加算器３６４は、残余ブロックを、動き補償ユニット３５５によって生成された対応予測ブロックと合計することによって残余ブロックを復号し、復号ブロックを形成する。望まれる場合、さらに、復号ブロックをフィルタリングするためのブロック解除フィルタが適用され、塊状のアーティファクトを除去する。次に、復号ビデオブロックは、後続の動き補償のために基準ブロックを提供し、さらに、ドライブディスプレイデバイス（図１のデバイス１３０のような）への復号ビデオを生成する記憶エレメントであるメモリ３６２に記憶される。

この場合も、本開示の技術は、予測ビデオブロックのピクセル値がサブピクセル解像度に補間される動き補償済み補間に関与している。符号器は、本開示の技術を使用して、ビデオフレームのシーケンスが、固定ＳＩＦセットのフィルタを使用して符号化されたか、補間フィルタの新しいセットのフィルタを使用して符号化されたかを識別する。異なるフィルタは、固定ＳＩＦセットの一部であろうと、新しいセットの一部であろうと、異なるセットのフィルタ係数、異なる数のフィルタ係数、または、異なるフィルタタイプによって特徴付けられうる。復号器は、符号器から送られたシンタックスエレメントを解釈し、符号器によって使用された補間フィルタの係数の同一の望まれるセットを識別する。

図４Ａ〜４Ｄは、予測ビデオブロックのピクセルを備えうる補間ピクセルおよび整数ピクセルを示す概念図である。図４の概念的な例示において、異なるボックスはピクセルを表す。大文字（太い線のボックス内の）は、整数ピクセルのロケーションを表し、小文字（点線のボックス内の）は、補間ピクセルのロケーションを表す。文字入りのラベルは、本明細書において、ピクセルロケーション、すなわちピクセル位置を記述するために使用されうるか、あるいは、様々なロケーションに関連付けられたピクセル値を指しうる。ピクセルロケーション「ａａ」、「ｂｂ」、「ｃｃ」、「ｄｄ」、「ｅｅ」、「ｆｆ」、「ｇｇ」、「ｈｈ」、「ｉｉ」、「ｊｊ」は、ピクセルロケーション「Ｃ３」に関連付けられた様々な分数ロケーションの分数補間において使用される１／２ピクセルロケーションである。

全てのピクセルロケーションは、例えば、ＩＴＵ Ｈ.２６４／ＡＶＣ標準に準拠する補間にしたがって、関連する１５個の異なる分数ロケーションを有しうるか、あるいは、新生のＨＥＶＣ標準にしたがって、関連する６３個の分数ロケーションを有しうる。図４Ａ〜４Ｄの例において、ピクセル「Ｃ３」に関連付けられた、これら１５個の異なる分数ロケーションは、サブピクセルロケーションａ〜ｏとして示される。例示を簡潔かつ簡単にするために、他の分数ロケーションの大部分は示されない（上述されたもの以外であって、それは、ピクセル「Ｃ３」に関連付けられた１５個の異なる分数ロケーションのうちの１または複数を生成するために使用される）。説明を簡略化するために、図４Ａ〜４Ｄの例は、１５個の異なる分数ロケーションしか示さないが、本開示の技術は、６３個の異なる分数のロケーションまたは他の分数ピクセル精度に容易に拡張されうる。

ＩＴＵ Ｈ.２６４／ＡＶＣ標準において、１／２ピクセル位置で輝度信号を取得するために、係数［１、−５、２０、２０、−５、１］を有する６タップのウィーナフィルタが典型的に使用される。次に、１／４ピクセルロケーションで輝度信号を取得するために、双一次フィルタが使用される。双一次フィルタは、さらに、Ｈ.２６４／ＡＶＣにおいて最大で１／８ピクセル精度を有しうる色度コンポーネントに対して分数ピクセル補間で使用されうる。

ピクセルロケーション「ｂ」および「ｈ」の１／２ピクセル補間が、図４Ｂにおいて、それぞれ、水平方向および垂直方向に論証される。このケースにおいて、ピクセルロケーション「ｂ」は、整数ピクセル「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」、「Ｃ５」、「Ｃ６」に基づいて補間されうる。同様に、ピクセルロケーション「ｈ」は、整数ピクセル「Ａ３」、「Ｂ３」、「Ｃ３」、「Ｄ３」、「Ｅ３」、「Ｆ３」に基づいて補間されうる。本明細書に記述されたように、ピクセルロケーション「ｂ」および「ｈ」の異なる補間値を生成するために、異なる補間フィルタ（例えば、フィルタタップの異なるセット）が適用されうる。図４Ｂにおいて、補間ピクセルロケーション「ｂ」および「ｈ」は、シェーディング（shading）で示され、整数ピクセルロケーション「Ｃ１」、「Ｃ２」、「Ｃ３」、「Ｃ４」、「Ｃ５」、「Ｃ６」、「Ａ３」、「Ｂ３」、「Ｃ３」、「Ｄ３」、「Ｅ３」、「Ｆ３」はクロスハッシュ（cross-hash）で示される。

図４Ｃは、２つのレベルの補間を要求しうる１つの特別なケースを示す。特に、ピクセルロケーション「ｊ」は、ピクセルロケーション「ｊ」自体が、他の１／２ピクセル値に基づいて補間される限りにおいて、他の１／２ピクセルロケーションに類似していない。例えば、ピクセルロケーション「ｊ」は、水平方向の１／２ピクセル補間値「ｃｃ」、「ｄｄ」、「ｈ」、「ｅｅ」、「ｆｆ」、「ｇｇ」に基づいて補間されうる。代替的に、ピクセルロケーション「ｊ」は、垂直方向の１／２ピクセル補間値「ａａ」、「ｂｂ」、「ｂ」、「ｈｈ」、「ｉｉ」、「ｊｊ」に基づいて補間されうる。図４Ｃにおいて、補間ピクセルロケーション「ｊ」は、シェーディングで示され、垂直方向の１／２ピクセル補間値「ａａ」、「ｂｂ」、「ｂ」、「ｈｈ」、「ｉｉ」、「ｊｊ」は、右から左へのクロスハッシュで示され、１／２ピクセル補間値「ｃｃ」、「ｄｄ」、「ｈ」、「ｅｅ」、「ｆｆ」、「ｇｇ」は、左から右へのクロスハッシュで示される。

図４Ｄは、１/４ピクセルロケーション「ａ」、「ｃ」、「ｄ」、「ｅ」、「ｆ」、「ｇ」、「ｉ」、「ｋ」、「ｌ」、「ｍ」、「ｎ」、「ｏ」を、シェーディングで示し、そのような１／４ピクセル補間（例えば、「Ｃ３」、「ｂ」、「Ｃ４」、「ｈ」、「ｊ」、「ｅｅ」、「Ｄ３」、「ｈｈ」、「Ｄ４」）に対して使用される整数および１／２ピクセルロケーションをクロスハッシュで示す。いくつかのコーディング標準において、１／４ピクセルロケーションおよび１／８ピクセルロケーションの両方を含む全ての分数位置は、マルチステップの補間フィルタリングとは対照的に、直接的なフィルタリングを使用して補間されうる。本開示の技術にしたがって、分数ピクセル位置の各々は、特定のフィルタが選択されうる補間フィルタの関連セット（すなわち、固定ＳＩＦセット）を有しうるか、あるいは、さらなる補間フィルタの関連セットを有しうる。

動き推定の後、所与のビデオブロックに対する最良の動きベクトルは、例えば、できる限り、コーディングレートおよび品質を平衡化するためのレート歪みモデルを使用して、識別されうる。次に、予測ビデオブロックは、最良の動きベクトルを使用して、動き補償の間に形成される。上に概要が記されたように、残余ビデオブロックは、予測ビデオブロックを最初のビデオブロックから差し引くことで形成される。次に、残余ブロックに対して変換が適用され、ビットレートをさらに削減するために、変換係数が量子化およびエントロピーコード化される。

この場合も、図４Ａ〜４Ｄは、大文字を有する実線のボックスで整数ピクセルサンプル（フルピクセルとも呼ばれる）を示す。あらゆる所与の整数ピクセルサンプルについて、全部で１５個のサブピクセル位置が存在し、それは、整数ピクセルサンプル「Ｃ３」について示され、図４Ａ〜４Ｄにおいて、「ａ」〜「ｏ」とラベル付される。Ｈ.２６４／ＡＶＣにおいて、まず、１次元の６タップのウィーナフィルタを用いて、１／２ピクセル位置「ｂ」、「ｈ」、「ｊ」が計算されうる。記述されたように、１／２ピクセル位置「ｊ」は、６タップのフィルタリングを使用して２つのレベルの補間を要求しうる。このケースにおいて、ピクセル位置「ｊ」について、場合によっては、１次元の補間の後に、補間ピクセル値の中間の切り上げ機能を用いて、補間フィルタは、まず水平方向で、次に垂直方向で適用され、それによって、データが１６ビットの記憶エレメントに記録されることを確実にする。次に、残りの１／４ピクセル位置は、双一次フィルタと、既に計算された１／２ピクセルサンプルとを使用するフィルタリングを介して補間される。

図５は、ビデオフレームのシーケンスあるいはピクチャのグループのような基準ビデオ５１０のコード化ユニットを表す。コード化ユニットは、シーケンスヘッダのようなユニットヘッダ５１１と、複数のフレームのような複数のサブユニット５２０、５３０、５４０とを含む。各サブユニット５２０、５３０、５４０は、フレームヘッダのようなサブユニットヘッダ５２１、５３１、５４１と、ペイロードデータ５２２、５３２、５４２とを含む。ペイロードデータは、一般的に、符号化された残余ビデオデータのようなあらゆるタイプのデータを含むことができる。上に紹介されたように、本開示の技術は、コード化ビットストリームで、ビデオ復号器１２８または３６０のようなビデオ復号器に補間シンタックスを送る、ビデオ符号器１２２または２５０のようなビデオ符号器を含む。補間シンタックスは、基準ビデオ５１０のユニットのユニットヘッダ５１１およびサブユニットヘッダ５２１、５３１、５４１全体に分散した複数のシンタックスエレメントを含むことができる。

補間シンタックスは、動き補償の間に、ビデオ符号器によって使用される１つの補間フィルタまたは補間フィルタのセットを、ビデオ復号器が決定することを可能にする複数のシンタックスエレメントを含む。１つの例において、ビデオ符号器は、サブユニット５２０、５３０、５４０が、固定ＳＩＦセットを使用してコード化されたか、新しい補間フィルタを使用してコード化されたかを示すフラッグをユニットヘッダ５１１に含む。フラッグは、例えば、単一のビットでありうる。ここで、０は、固定ＳＩＦセットを使用したビデオ符号器を表し、１は、新しい補間が使用されたことを表す。フラッグが０に設定され、固定ＳＩＦセットが使用された場合、ビデオ符号器は、新しいフィルタについてのさらなる情報をビデオ復号器に送信しない可能性がある。しかしながら、フラッグが１に設定され、新しい補間フィルタがビデオ符号器によって使用された場合、ビデオ符号器は、ユニットヘッダ５１１においてさらなる情報をビデオ復号器に送信し、それは、ビデオ復号器が、ビデオ符号器によって使用される新しい補間フィルタのセットを再構築することを可能にする。上に記述されたように、セット内の様々な補間フィルタに対して全てのフィルタ係数よりも少ない数のフィルタ係数を受信して、補間フィルタのフルセットをビデオ復号器が再構築することを可能にする様々な技術が存在する。

新しい補間フィルタが使用されたことを示す１にフラッグが設定された場合、それは、新しい１つの補間フィルタまたは補間フィルタのセットがサブピクセルロケーションに対しても使用されたことを必ずしも示すわけではない。いくつかの実施において、ビデオ符号器は、固定ＳＩＦセットに加えて新しい補間フィルタを使用することができ、それは、本質的に、固定ＳＩＦセットを拡張する。例えば、固定ＳＩＦセットが、サブピクセルロケーションごとに４つの補間フィルタを含み、新しい補間フィルタが使用されたことを示す１にフラッグが設定された場合、ビデオ符号器は、サブピクセルロケーションごとに２つの新しい補間フィルタをビデオ復号器に送信しうる。動き補償を実行する際、ビデオ符号器および復号器は、必ずしも、各サブピクセルロケーションに対して２つの新しい補間フィルタに限定されるわけではなく、代わりとして、サブピクセル位置に対して６つの補間フィルタから選択しうる。ここで、６つの補間フィルタのセットは、固定ＳＩＦセットの４つのフィルタと、２つの新しい補間フィルタとを含む。

単一の新しい補間フィルタが分数ピクセル位置の各々に対して使用される例において、分数ピクセル位置ごとに、ビデオ符号器は、ユニットヘッダ５１１においてフィルタ係数をビデオ復号器に送信することができる。いくつかの実施において、新しい補間フィルタで使用されるフィルタ係数の数は変数（variable）であり、このケースにおいて、ビデオ符号器は、係数自体に加え、フィルタ係数の数を示すシンタックスエレメントをユニットヘッダ５１１でビデオ復号器に送信する。分数ピクセル位置ごとの各補間フィルタに対する係数の数が同じである実施において、フィルタ係数の数を示す単一のシンタックスエレメントだけが、ユニットヘッダ５１１において、ビデオ符号器からビデオ復号器に送信される必要がある。各サブピクセルロケーションが異なる数のフィルタ係数を潜在的に使用する実施において、ビデオ符号器は、フィルタ係数の数を示すシンタックスエレメントをユニットヘッダに含みうる。１／２ピクセル位置および１／４ピクセル位置などのサブピクセルロケーションの異なるグループが、各々、異なる数の可能なフィルタ係数を有する実施において、フィルタ係数の数を示すシンタックスエレメントは、グループごとであり、ユニットヘッダ５１１に含まれうる。

ビデオ符号器およびビデオ復号器は、フィルタ係数内の様々な対称性を利用して、送信される必要のある、フィルタ係数の数を制限し、それによって、ビット数を制限するように構成されうる。残りの係数は、通信される係数に基づいて復号器で生成されることができる。特に、復号器は、対称性が適用されたかを知るようにプログラムされることができ、対称性は、通信された係数に基づいて任意の残りの係数をどのように生成するかを定義することができる。例えば、分数位置の各々に対する新しい補間フィルタが６つの係数を含むことを、ビデオ符号器がビデオ復号器にシグナリングした場合、ビデオ符号器は、１／２ピクセル位置「ｂ」、「ｈ」、「ｊ」に対して３つの係数だけをビデオ復号器に送信し、それら３つの係数から、ビデオ復号器は、補間フィルタの６つの係数を再構築することができる。例えば、サブピクセルロケーション「ｂ」について、ビデオ符号器が、係数Ｘ１、Ｘ２、Ｘ３を送信した場合、ビデオ復号器は、対称性を使用して、［Ｘ１×Ｃ１＋Ｘ２×Ｃ２＋Ｘ３×Ｃ３＋Ｘ３×Ｃ４＋Ｘ２×Ｃ５＋Ｘ１×Ｃ６］に対応するであろう、補間フィルタの６つの係数を再構築することができる。いくつかのサブピクセルロケーションについて、ビデオ復号器は、第１のサブピクセルロケーションで補間フィルタに対して係数を再利用し、異なるサブピクセルロケーションで補間フィルタを再構築することができる。例えば、サブピクセル位置「ａ」に対するフィルタ係数がＸ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ６である場合、ビデオ復号器は、それら６つの係数から、２つの補間フィルタを再構築することができる。サブピクセル「ａ」に対する補間フィルタは、［Ｘ１×Ｃ１＋Ｘ２×Ｃ２＋Ｘ３×Ｃ３＋Ｘ４×Ｃ４＋Ｘ５×Ｃ５＋Ｘ６×Ｃ６］であり、サブピクセル「ｃ」に対する補間フィルタは、［Ｘ６×Ｃ１＋Ｘ５×Ｃ２＋Ｘ４×Ｃ３＋Ｘ３×Ｃ４＋Ｘ２×Ｃ５＋Ｘ１×Ｃ６］でありうる。

単一の新しいフィルタとは対照的に、新しいフィルタのセットが分数ピクセル位置ごとに使用される例において、分数ピクセル位置ごとに、ビデオ符号器は、新しい補間フィルタのセットに対する係数をビデオ復号器に送信しうる。いくつかの実施において、新しい可能なフィルタの数、および、各フィルタ内の係数の数の一方または両方は変化することができ、このケースにおいて、ビデオ符号器は、分数位置ごとに新しい補間フィルタの数を示すシンタックスエレメント、および／または、新しい補間フィルタごとにフィルタ係数の数を示すシンタックスエレメントをビデオ復号器に送信する。可能な新しい補間フィルタの数が全ての分数ピクセル位置に対して同じである場合、可能な新しい補間フィルタの数を示す単一のシンタックスエレメントは、ビデオ符号器からビデオ復号器に送信されることができる。しかしながら、各分数位置が、異なる可能な数の新しい補間フィルタを有することができる場合、分数ピクセル位置ごとに、新しい可能な補間フィルタの数を示すシンタックスエレメントは、ビデオ符号器からビデオ復号器に送られうる。

いくつかの実施において、新しい補間フィルタのセットは、いくつかの分数ピクセル位置に対して第１の数の新しい補間フィルタを、他の分数位置に対して異なる数の新しい補間フィルタを含みうる。例えば、補間フィルタの新しいセットは、１／２ピクセルロケーションｂ、ｈ、ｊの各々に対して２つの新しい補間フィルタを、１／４ピクセルロケーションａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｉ、ｋ、ｍ、ｏの各々に対して４つの新しい補間を含みうる。そのような例において、ビデオ符号器は、１／２ピクセルロケーションに対する新しい可能な補間フィルタの数を示す第１のシンタックスエレメント、１／４ピクセルロケーションに対する可能な新しい補間フィルタの数を示す第２のシンタックスエレメントという、可能な新しい補間フィルタの数を示す２つのシンタックスエレメントをビデオ復号器に送信しうる。

上で論述されたように、いくつかの実施において、新しい補間フィルタで使用されるフィルタ係数の数も変数であり、このケースにおいて、ビデオ符号器は、各サブピクセルロケーションで、フィルタに対するフィルタ係数の数を示すシンタックスエレメントをビデオ復号器に送信しうる。各分数ピクセル位置に対する各フィルタが同じ数のフィルタ係数を使用する実施において、ビデオ符号器は、フィルタ係数の数を示す単一のシンタックスエレメントをビデオ復号器に送信するだけである。各サブピクセルロケーションが異なる数のフィルタ係数を潜在的に使用する実施において、フィルタ係数の数を示すシンタックスエレメントは、サブピクセル位置ごとにビデオ符号器からビデオ復号器に送られる。１／２ピクセル位置および１／４ピクセル位置などのサブピクセルロケーションの異なるグループが、各々、異なる数の可能なフィルタ係数を有する実施において、フィルタ係数の数を示すシンタックスエレメントは、グループごとにビデオ符号器からビデオ復号器に送られうる。より詳細に上に論述されたように、ビデオ符号器からビデオ復号器へのフィルタ係数の送信に必要とされるビット数は、フィルタ係数を再構築する際に、ビデオ復号器において対称性を使用することによって削減されうる。

固定ＳＩＦセット内の固定フィルタの数が変数「ＮｕｍＦｉｘｅｄＦｉｌｔｅｒｓ」で表されると仮定すると、シーケンスヘッダ内の１ビットのフラッグは、さらなるフィルタがビットストリームに含まれているか否かを示すために使用されうる。フラッグが１の場合、余分なフィルタの数もシグナリングされ、次に、バイト単位でフィルタ係数の精度および各フィルタの係数が続く。１／４、１／２、３／４ピクセル位置に対するフィルタが送られている場合、前に論述された様々な対称性により、それは、全ての分数ピクセル（１／４）位置で使用されるべきフィルタを指定する（タップの数／２×３）個の係数を送るのに十分である。よって、フラッグが１の場合、余分なフィルタの数（ＮｕｍＥｘｔｒａＦｉｌｔｅｒｓ）がシグナリングされる。１つの例において、さらなるフィルタの最大数は、４に制限されうる。そのようなケースにおいて、余分なフィルタの数は、２ビットの（ＮｕｍＥｘｔｒａＦｉｌｔｅｒｓ−１）を使用してシグナリングされることができる。当業者は、異なる最大を使用することができることを認識するであろう。各フィルタについて、フィルタ精度は、多数のバイトとしてシグナリングされうる。よって、フィルタ係数が、［−１２８，１２７］の範囲内である場合、１バイトだけが必要である。１つの例において、フィルタ精度に対して最大２バイトが可能でありうる。よって、それは、単一のビットを使用してシグナリングされうる。ここで、０は１バイトに対応し、１は２バイトに対応する。これの次に、（（タップの数／２）−１）を送ることが続く。使用される補間フィルタは、一般的に、常に均等の長さであることに注意されたい。次に、（タップの数／２×３の）係数が、前に特定された精度を使用して送られる。これは、さらなるフィルタごとに繰り返される。この例は、１つのさらなるフィルタが、全ての分数ピクセル（１／４）位置に対する１つのさらなるフィルタを指すと仮定する。

つまり、全体で、さらなる補間フィルタを受信した後、合計でＮ個のフィルタが存在し、ここで、Ｎ＝ＮｕｍＦｉｘｅｄＦｉｌｔｅｒｓ＋ＮｕｍＥｘｔｒａＦｉｌｔｅｒｓである。余分なフィルタが含まれない場合、ＮｕｍＥｘｔｒａＦｉｌｔｅｒｓ＝０である。

前の論述は、ビデオシーケンスヘッダのような第１のコーディングユニットのヘッダに含まれるシンタックスエレメントに焦点を当てている。さらなるシンタックスエレメントは、ビデオシーケンスのフレームに対するフレームヘッダ内など、そのコーディングユニットのサブユニットに対するヘッダに含まれうる。いくつかのケースにおいて、各フレームヘッダは、フレームが、前のフレームで使われていたものと同じ補間フィルタのセットを使用してコード化されたか否か、ここで、補間フィルタのセットはシーケンスヘッダにおいて識別され、それは、固定ＳＩＦセットか、あるいは、シーケンスヘッダに含まれる新しい補間フィルタのいずれかでありうる、そうでなければ、補間フィルタの別の新しいセットがフレームヘッダに含まれるか否かを示すシンタックスエレメントを含みうる。

１つの例において、単一ビットのシンタックスエレメントは、シーケンスの特定のフレームが、シーケンス内の前のフレーム（符号化オーダで）と補間フィルタの同じセットを使用しコード化されたか否かをビデオ復号器にシグナリングするために使用されうる。例えば、補間フィルタの同じセットが使用された場合、単一のビットは、０に設定され、補間フィルタの異なるセットが使用された場合、ビットは、１に設定されうる。ビットが、補間フィルタの異なるセットが使用されたことを示す１に設定された場合、第２のビットは、補間フィルタの異なるセットが、シーケンスヘッダにおいて識別された補間フィルタであるか否か、そうでなければ、補間フィルタの異なるセットが、フレームヘッダに含まれるか否かを示すために使用されうる。このように、フレームごとに、フレームヘッダ内のシンタックスエレメントは、次のように解釈されうる：０：前のフレーム（符号化オーダーで）の場合と同じ補間フィルタのセットが使用される。１０：シーケンスヘッダからの補間フィルタのセットが使用される。このセットは、上に記述されたように、シーケンスヘッダで識別された固定ＳＩＦセット、または、補間フィルタの新しいセットである。１１：補間フィルタの新しいセットがフレームヘッダに含まれる。

フレームヘッダのシンタックスエレメントが１１に等しい場合、各サブピクセルロケーションに対するさらなるフィルタまたはフィルタセットが、さらなる補間フィルタをシーケンスヘッダに含むために、上に記述された同一の技術を使用してフレームヘッダに含まれうる。

図６は、本開示と一致するビデオ符号化の１または複数の態様と一致するフロー図である。図５は、図２に示されるビデオ符号器２５０の観点から論述されるであろう。特に、動き補償ユニット２３５は、予測データを生成し（６０１）、それは、固定ＳＩＦセットか、新しい補間フィルタのセットのいずれかの一部である補間フィルタに基づいて補間することを含む。次に、動き補償ユニット２３５は、補間フィルタの各々に関連付けられた予測データに基づいて、例えば、ビデオブロックなどのビデオデータを符号化する（６０２）。例えば、動き補償ユニット２３５は、加算器２４８を呼び出して、補間フィルタの各々に関連付けられた残余ブロックを生成し、それによって、最良の残余ブロックを見つけるために、異なる残余ブロックが互いに比較されうる。動き補償ユニット２３５は、最大レベルの圧縮を達成するビデオデータを選択する（６０３）。特に、選択されたビデオデータは、加算器２４８の「ｒｅｓｉｄ. ｂｌｏｃｋ」出力として示され、それは、最終出力である。加算器２４８のこの最終出力は、変換ユニット２３８によって変換され、量子化ユニット２４０によって量子化され、エントロピーコーディングユニット２４６によってエントロピーコード化される。

動き補償ユニット２３５は、さらに、最大レベルの圧縮を達成する選択残余ビデオデータに関連付けられた特定の補間フィルタを識別する（６０４）。動き補償ユニット２３５は、補間シンタックスエレメントをエントロピーコーディングユニット２４６に転送する。補間シンタックスは、使用された特定の補間フィルタが、固定ＳＩＦセットからのものであったか、補間フィルタの新しいセットからのものであったかを識別する。使用された特定の補間フィルタが固定ＳＩＦセットからのものであった場合、動き補償ユニット２３５は、固定ＳＩＦセットのどのフィルタが、特定の補間フィルタに対応するか、並びに、使用された特定の補間フィルタが、新しい補間フィルタのセットからのものであったかを識別し、次に、動き補償ユニット２３５はデータを送信し、それによって、補間フィルタの新しいセットは、復号器において再構築されうる。図２の例において、エントロピーコーディングユニット２４６は、出力ビットストリームの一部を形成するために、補間シンタックスを符号化する（６０５）。しかしながら、別の例において、上に記述された０、１０、１１シンタックスエレメントのようなシンタックスエレメントは、エントロピーコーディングプロセスを経験することなく出力ビットストリームの一部を形成するために符号化されうる。出力ビットストリーム内の補間シンタックスエレメントを符号化することによって、ビデオ符号器２５０で使用される補間フィルタ（例えば、使用されるフィルタ係数、あるいは、他のフィルタ設計またはパラメータ）は、宛先デバイスに通信され、これにより、宛先デバイスは、ビデオ再構築の間に適切な補間フィルタリングを実行することができる。

図７は、本開示と一致するビデオ復号の１または複数の態様と一致するフロー図である。図７は、図３に示されるビデオ復号器３６０の観点から論述されるであろう。特に、ビデオ復号器３６０は、符号化ビデオデータを受信し（７１１）、符号化ビデオデータが固定ＳＩＦセットのフィルタを使用して符号化されたか、新しい補間フィルタを使用して符号化されたかを識別する補間シンタックスを受信する（７１２）。符号化ビットストリームは、符号化された残余ビデオデータと、符号器で使用された補間フィルタを識別する補間シンタックスエレメントとの両方を含みうる。例において、エントロピー復号ユニット３５２は、受信されたビットストリームをエントロピー復号して、逆量子化ユニット３５６および逆変換ユニット３５８に送られる、変換および量子化された残余ブロックを解析し、動き補償ユニット３５５に送られる補間シンタックスエレメントおよび動きベクトルを解析する。しかしながら、他の例において、補間シンタックスは、エントロピー復号される必要はない可能性がある。

動き補償ユニット３５５は、予測データを生成し（７１３）、それは、補間シンタックスエレメントによって識別された補間フィルタに基づく補間を含む。ビデオ復号器３６０は、予測データに基づいてビデオデータを復号する（７１４）。特に、動き補償ユニット３５５によって生成される予測データは、ピクセルドメインにおいてビデオデータを再構築するために、加算器３６４を介して残余データと結合されうる。次に、復号されたビデオは、後で予測に使用するためにメモリ３６２に記憶され、さらに、例えば、ディスプレイまたは他の出力デバイスを介して、ユーザに表示するために出力されうる。

図８は、本開示と一致するビデオ符号化の１または複数の態様を示すフロー図である。図８は、図２に示されるビデオ符号器２５０の観点から論述されるであろう。動き補償ユニット２３５は、補間フィルタの第１のセットに基づいて第１の予測データを生成するために、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間する（８０１）。動き補償ユニット２３５は、例えば、複数の補間フィルタに関連付けられた残余ブロックを生成するために、加算器２４８を呼び出すことによって第１のピクセル値を補間し、最良の残余ブロックを見つけるために、異なる残余ブロックは互いに比較されることができる。動き補償ユニット２３５は、最大レベルの圧縮を達成するビデオデータを選択することができる。特に、選択されたビデオデータは、加算器２４８の「resid. block」出力として示され、それは、最終出力である。動き補償ユニット２３５は、さらに、補間フィルタの第１のセットが、基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを示すために、基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成する（８０２）。動き補償ユニット２３５は、第１の予測データに基づいてビデオデータを符号化し（８０３）、第１のシンタックスエレメントを符号化し（８０４）、補間フィルタの第１のセットに対する係数を符号化する（８０５）。

第１の予測データの符号化は、例えば、変換ユニット２３８によって変換され、量子化ユニット２４０によって量子化され、エントロピーコーディングユニット２４６によってエントロピーコード化されている加算器２４８の最終出力を含みうる。第１のシンタックスエレメントの符号化は、例えば、第１のシンタックスエレメントをエントロピーコーディングユニット２４６に転送する動き補償ユニット２３５と、出力ビットストリームの一部を形成するために第１のシンタックスエレメントを符号化するエントロピーコーディングユニット２４６とを含みうる。補間フィルタの第１のセットに対する係数の符号化は、例えば、フィルタ係数自体のうちのいくつかまたは全てに加えて、可能なフィルタの数および各フィルタの長さのようなフィルタ係数を記述する情報をエントロピーコーディングユニット２４６に転送する動き補償ユニット２３５と、出力ビットストリームの一部を形成するためにフィルタ係数およびフィルタ係数を記述する情報を符号化するエントロピーコーディングユニット２４６とを含みうる。この方法において、ビデオ符号器２５０で使用される補間フィルタ（例えば、使用されるフィルタ係数、あるいは、他のフィルタ設計またはパラメータ）は、宛先デバイスに通信され、これにより、宛先デバイスは、ビデオ再構築の間に適切な補間フィルタリングを実行することができる。

いくつかの例において、基準ビデオの第１のサブユニットは、基準ビデオの第１のフレームであり、基準ビデオのユニットは、基準ビデオの第１のフレームを含むフレームのシーケンスでありうる。そのような例において、第１のシンタックスエレメントは、フレームヘッダ（例えば、図５のサブユニットヘッダ５２１、５３１、５４１参照）に含まれることができ、係数の第１のセットは、シーケンスヘッダ（例えば、図５のユニットヘッダ５１１参照）に含まれることができる。

第１のピクセル値および第１のシンタックスエレメントについて上に記述されたものと同じ方式において、動き補償ユニット２３５は、さらに、補間フィルタの第２のセットに基づいて第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間し、補間フィルタの第２のセットが予め定義されることを示すために、基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成し、第２の予測データに基づいてビデオデータを符号化し、第２のシンタックスエレメントを符号化することができる。第２のサブユニットは、例えば、基準ビデオのフレームであり、第２のシンタックスエレメントは、基準ビデオのフレームのフレームヘッダに含まれうる。

第１のピクセル値および第１のシンタックスエレメントについて上に記述されたものと同じ方式において、動き補償ユニット２３５は、補間フィルタの第３のセットに基づいて第３の予測データを生成するために、基準ビデオの第３のサブユニットに対して第３のピクセル値を補間し、補間フィルタの第３のセットが基準ビデオの第３のサブユニットのヘッダ内で定義されるべきであることを識別するために基準ビデオの第３のサブユニットに関連付けられた第３のシンタックスエレメントを生成し、第３の予測データに基づいてビデオデータを符号化し、第３のシンタックスエレメントを符号化しうる。第３のサブユニットは、例えば、基準ビデオのフレームであり、第３のシンタックスエレメントは、基準ビデオのフレームのフレームヘッダに含まれうる。基準ビデオのフレームに対するフレームヘッダは、さらに、補間フィルタの第３のセットを含みうる。

第１のピクセル値および第１のシンタックスエレメントについて上に記述されたものと同じ方法において、動き補償ユニット２３５は、補間フィルタの第４のセットに基づいて第４の予測データを生成するために、基準ビデオの第４のサブユニットに対して第４のピクセル値を補間し、補間フィルタの第４のセットが、基準ビデオの前のサブユニットに基づいて定義されるべきであることを識別するために、基準ビデオの第４のサブユニットに関連付けられた第４のシンタックスエレメントを生成し、第４の予測データに基づいてビデオデータを符号化し、第４のシンタックスエレメントを符号化しうる。第４のサブユニットは、例えば、基準ビデオのフレームであり、前のサブユニットは、基準ビデオの前のフレームでありうる。第４のシンタックスエレメントは、基準ビデオのフレームのフレームヘッダに含まれうる。補間フィルタの第４のセットは、基準ビデオの前のフレームによって使用される補間フィルタの同じセットであり、基準ビデオの前のフレームのフレームヘッダ、スライスヘッダに含まれうる、または予め定義されたフィルタの一部に含まれうる。

図９は、本開示と一致するビデオ復号の１または複数の態様を示すフロー図である。図９は、図３に示されるビデオ復号器３６０の観点から論述されるであろう。特に、ビデオ復号器３６０は、ビデオビットストリームにおいて、複数のサブユニットを含む基準ビデオのユニットを受信する（９０１）。エントロピー復号ユニット３５２は、受信されたビットストリームをエントロピー復号して、逆変換量子化ユニット３５６および逆変換ユニット３５８に送られる、変換および量子化された残余ブロックを解析し、動き補償ユニット３５５に送られる補間シンタックスエレメントおよび動きベクトルを解析しうる。補間シンタックス内で、動き補償ユニット３５５は、複数のサブユニットのうちの第１のサブユニットに関連付けられた第１のシンタックスエレメントを識別することができる（９０２）。第１のシンタックスエレメントは、補間フィルタの第１のセットが、基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを動き補償ユニット３５５に示すことができる。基準ビデオのユニットに関連付けられたシンタックスエレメント内のデータから、動き補償ユニット３５５は、補間フィルタの第１のセットに対して、フィルタ係数を決定し、フィルタ係数の第１のセットを再構築することができる（９０３）。動き補償ユニット３５５は、補間フィルタの第１のセットを使用して、第１の予測データを生成するために、基準ビデオのユニットの第１のサブユニットに対して第１のピクセル値を補間し（９０４）、第１の予測データから、動き補償ユニット３５５は、復号ビデオを生成する（９０５）。特に、動き補償ユニット３５５によって生成される第１の予測データは、加算器３６４を介して残余データと結合され、ピクセルドメインにおいてビデオデータを再構築する。復号されたビデオは、次に、後で予測に使用するためにメモリ３６２に記憶され、さらに、例えば、ディスプレイまたは他の出力デバイスを介して、ユーザに表示するために出力されうる。いくつかの例において、基準ビデオの第１のサブユニットは、基準ビデオの第１のフレームであり、基準ビデオのユニットは、基準ビデオの第１のフレームを備えるフレームのシーケンスである。

第１のピクセル値および第１のシンタックスエレメントについて上述されたものと同じ方式において、動き補償ユニット３５５は、基準ビデオのユニットにおいて、複数のサブユニットのうちの第２のサブユニットに関連付けられ、補間フィルタの第２のセットが予め定義されることを表す第２のシンタックスエレメントを識別し、補間フィルタの第１のセットを使用して第２の予測データを生成するために、基準ビデオのユニットの第２のサブユニットに対して第２のピクセル値を補間し、第２の予測データに基づいて復号ビデオデータを生成しうる。

第１のピクセル値および第１のシンタックスエレメントについて上述されたものと同じ方式において、動き補償ユニット３５５は、基準ビデオのユニットにおいて、複数のサブユニットのうちの第３のサブユニットに関連付けられ、補間フィルタの第３のセットが、基準ビデオの第３のサブユニットのヘッダで定義されるべきであることを表す第３のシンタックスエレメントを識別し、補間フィルタの第３のセットを使用して第３の予測データを生成するために、基準ビデオのユニットの第３のサブユニットに対して第３のピクセル値を補間し、第３の予測データに基づいて復号ビデオデータを生成しうる。動き補償ユニット３５５は、さらに、基準ビデオの第３のサブユニットのヘッダに基づいて補間フィルタの第３のセットを再構築することができる。

第１のピクセル値および第１のシンタックスエレメントについて上述されたものと同じ方式において、動き補償ユニット３５５は、基準ビデオのユニットにおいて、複数のサブユニットのうちの第４のサブユニットに関連付けられ、補間フィルタの第４のセットが、基準ビデオの前のフレームに基づいて定義されるべきであることを表す第４のシンタックスエレメントを識別し、補間フィルタの第４のセットを使用して第４の予測データを生成するために、基準ビデオのユニットの第４のサブユニットに対して第４のピクセル値を補間し、第４の予測データに基づいて復号ビデオデータを生成する。

本開示の技術は、無線ハンドセット、および、集積回路（ＩＣ）またはＩＣのセット（すなわち、チップセット）を含む広範囲のデバイスまたは装置に組み込まれうる。任意のコンポーネント、モジュールまたはユニットは、機能的な態様を強調するために提供され記述されるが、必ずしも、異なるハードウェアユニットなどによる実現を要求するわけではない。

結果として、本明細書に記述された技術は、ハードウェア、ソフトウェア、ファームウェアまたはそれらのあらゆる組み合わせに実施されうる。モジュールまたはコンポーネントとして記述された任意の特徴は、統合された論理デバイスで同時に、あるいは、離散的でありながらも相互作用する論理デバイスとして独立して実施されうる。ソフトウェアで実施された場合、本技術は、プロセッサにおいて実行されると、上に記述された方法のうちの１または複数を実行する命令を備えるコンピュータ読取可能な媒体によって少なくとも部分的に実現されうる。コンピュータ読取可能な媒体は、有形のコンピュータ読取可能な記憶媒体を備え、パッケージングマテリアルを含みうるコンピュータプログラムプロダクトの一部を形成しうる。コンピュータ読取可能な記憶媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データ記憶媒体などを備えうる。本技術は、付加的にまたは代替的に、コンピュータによってアクセス、読取、および／または実行されることができるコードを命令またはデータ構造の形態で搬送または通信するコンピュータ読取可能な通信媒体によって少なくとも部分的に実現されうる。

コードは、１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または、他の同様の統合またはディスクリート論理回路のような１または複数のプロセッサによって実行されうる。結果として、「プロセッサ」という用語は、本明細書で使用される場合、前述の構造のいずれか、あるいは、本明細書に記述された技術の実施に適したあらゆる他の構造を指しうる。加えて、いくつかの態様において、本明細書に記述された機能性は、符号化および復号するように構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供されうるか、あるいは、結合ビデオ符号器／復号器（ＣＯＤＥＣ）に組み込まれうる。さらに、本技術は、１または複数の回路または論理エレメントにおいて十分に実施されうる。

本開示の様々な態様が記述されている。これらの態様および他の態様は、以下の請求項の範囲内である。

Claims (56)

1. ビデオデータを符号化するための方法であって、
   第１の予測データを生成するために、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間することと、ここにおいて、前記第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく、
   前記補間フィルタの第１のセットが、前記基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを示すために、前記基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成することと、
   前記第１の予測データに基づいて前記ビデオデータを符号化することと、
   前記符号化ビデオデータおよび前記第１のシンタックスエレメントを含む符号化されたビットストリームを生成することと
   を備える方法。
2. 前記基準ビデオの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項１に記載の方法。
3. 前記符号化ビットストリームは、前記補間フィルタの第１のセットを再構築するためのデータをさらに含む、請求項１に記載の方法。
4. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間することと、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
   前記補間フィルタの第２のセットが予め定義されることを示すために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成することと、
   前記第２の予測データに基づいて前記ビデオデータを符号化することと、
   前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成することと
   をさらに備える、請求項１に記載の方法。
5. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間することと、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
   前記補間フィルタの第２のセットが前記基準ビデオの第２のサブユニットのヘッダで定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成することと、
   前記第２の予測データに基づいて前記ビデオデータを符号化することと、
   前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成することと
   をさらに備える、請求項１に記載の方法。
6. 前記補間フィルタの第２のセットを再構築するためにデータを符号化することをさらに備える、請求項５に記載の方法。
7. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間することと、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
   前記補間フィルタの第２のセットが基準ビデオの前のサブユニットに基づいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成することと、
   前記第２の予測データに基づいて前記ビデオデータを符号化することと、
   前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成することと
   をさらに備える、請求項１に記載の方法。
8. ビデオデータを復号するための方法であって、
   ビデオビットストリームにおいて、基準ビデオのユニットを受信することと、ここにおいて、前記基準ビデオのユニットは、複数のサブユニットを備える、
   前記基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別することと、ここにおいて、前記第１のシンタックスエレメントは、前記複数のサブユニットの第１のサブユニットに関連付けられ、前記第１のシンタックスエレメントは、前記基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて、補間フィルタの第１のセットが定義されることを表す、
   前記補間フィルタの第１のセットを使用して第１の予測データを生成するために、前記基準ビデオのユニットの前記第１のサブユニットに対して第１のピクセル値を補間することと、
   前記第１の予測データに少なくとも部分的に基づいて前記ビデオデータを復号することと
   を備える方法。
9. 前記基準ビデオのユニットの第１のサブユニットは、基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項８に記載の方法。
10. 前記基準ビデオのユニットに関連付けられた前記シンタックスエレメントに基づいて前記補間フィルタの第１のセットを再構築することをさらに備える、請求項８に記載の方法。
11. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別することと、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが、予め定義されることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間することと、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号することと
    をさらに備える、請求項８に記載の方法。
12. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別することと、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが、前記基準ビデオのユニットの前記第２のサブユニットのヘッダにおいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間することと、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号することと
    をさらに備える、請求項８に記載の方法。
13. 前記基準ビデオの第２のサブユニットの前記ヘッダに基づいて前記補間フィルタの第２のセットを再構築することをさらに備える、請求項１２に記載の方法。
14. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別することと、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが基準ビデオの前のフレームに基づいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間することと、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号することと
    をさらに備える、請求項８に記載の方法。
15. ビデオデータを符号化する装置であって、
    第１の予測データを生成するために、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間し、ここにおいて、前記第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく、
    前記基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて、前記補間フィルタの第１のセットが定義されることを示すために、前記基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成し、
    前記第１の予測データに基づいて前記ビデオデータを符号化し、
    前記符号化ビデオデータおよび前記第１のシンタックスエレメントを含む符号化ビットストリームを生成する
    ように構成されたビデオ符号器を備える装置。
16. 前記基準ビデオの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項１５記載の装置。
17. 前記符号化ビットストリームは、前記補間フィルタの第１のセットを再構築するためのデータをさらに含む、請求項１５に記載の装置。
18. 前記ビデオ符号器は、さらに、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間し、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが予め定義されることを示すために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成し、
    前記第２の予測データに基づいて前記ビデオデータを符号化し、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成する
    ように構成される、請求項１５に記載の装置。
19. 前記ビデオ符号器は、さらに、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間し、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが前記基準ビデオの第２のサブユニットのヘッダにおいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成し、
    前記第２の予測データに基づいて前記ビデオデータを符号化し、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成する
    ように構成される、請求項１５に記載の装置。
20. 前記ビデオ符号器は、さらに、前記補間フィルタの第２のセットを再構築するためにデータを符号化するように構成される、請求項１９に記載の装置。
21. 前記ビデオ符号器は、さらに、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間し、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが基準ビデオの前のサブユニットに基づいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成し、
    前記第２の予測データに基づいて前記ビデオデータを符号化し、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成する
    ように構成される、請求項１５に記載の装置。
22. ビデオデータを復号する装置であって、
    ビデオビットストリームにおいて、基準ビデオのユニットを受信し、ここにおいて、前記基準ビデオのユニットは、複数のサブユニットを備える、
    前記基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別し、ここにおいて、前記第１のシンタックスエレメントは、前記複数のサブユニットの第１のサブユニットに関連付けられ、前記第１のシンタックスエレメントは、補間フィルタの第１のセットが、前記基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを表す、
    前記補間フィルタの第１のセットを使用して第１の予測データを生成するために、前記基準ビデオのユニットの前記第１のサブユニットに対して第１のピクセル値を補間し、
    前記第１の予測データに基づいて復号ビデオデータを生成する
    ように構成されたビデオ復号器を備える装置。
23. 前記基準ビデオの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項２２記載の装置。
24. 前記ビデオ復号器は、さらに、
    前記基準ビデオのユニットに関連付けられた前記シンタックスエレメントに基づいて前記補間フィルタの第１のセットを再構築する
    ように構成された、請求項２２に記載の装置。
25. 前記ビデオ復号器は、さらに、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別し、ここにおいて、第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが予め定義されることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間し、
    前記第２の予測データに基づいて復号ビデオデータを生成する
    ように構成される、請求項２２に記載の装置。
26. 前記ビデオ復号器は、さらに、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別し、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが、前記基準ビデオの第２のサブユニットのヘッダにおいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間し、前記第２の予測データに基づいて復号ビデオデータを生成する、
    ように構成される、請求項２２に記載の装置。
27. 前記ビデオ復号器は、さらに、前記基準ビデオの第２のサブユニットの前記ヘッダに基づいて前記補間フィルタの第２のセットを再構築するように構成される、請求項２６に記載の装置。
28. 前記ビデオ復号器は、さらに、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別し、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが、基準ビデオの前のフレームに基づいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対する第２のピクセル値を補間し、
    前記第２の予測データに基づいて復号ビデオデータを生成する
    ように構成される、請求項２２に記載の装置。
29. コンピュータ読取可能な記憶媒体であって、プロセッサにおいて実行されると、前記プロセッサに対して、
    第１の予測データを生成するために、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間させ、ここにおいて、前記第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく、
    前記基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて、前記補間フィルタの第１のセットが定義されることを示すために、前記基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成させ、
    前記第１の予測データに基づいて前記ビデオデータを符号化させ、
    前記符号化ビデオデータおよび前記第１のシンタックスエレメントを含む符号化ビットストリームを生成させる
    命令を備えるコンピュータ読取可能な記憶媒体。
30. 前記基準ビデオの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項２９記載のコンピュータ読取可能な記憶媒体。
31. 前記符号化ビットストリームは、前記補間フィルタの第１のセットを再構築するためのデータをさらに含む、請求項２９に記載のコンピュータ読取可能な記憶媒体。
32. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間させ、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが予め定義されることを示すために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成させ、
    前記第２の予測データに基づいて前記ビデオデータを符号化させ、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成させる
    命令をさらに備える、請求項２９に記載のコンピュータ読取可能な記憶媒体。
33. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間させ、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが、前記基準ビデオの第２のサブユニットのヘッダにおいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成させ、
    前記第２の予測データに基づいて前記ビデオデータを符号化させ、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成させる
    命令をさらに備える、請求項２９に記載のコンピュータ読取可能な記憶媒体。
34. 前記プロセッサにおいて実行されると、前記プロセッサに対して、前記補間フィルタの第２のセットを再構築するためのデータを符号化させる命令をさらに備える、請求項３３に記載のコンピュータ読取可能な記憶媒体。
35. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間させ、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが基準ビデオの前のサブユニットに基づいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成させ、
    前記第２の予測データに基づいて前記ビデオデータを符号化させ、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成させる
    命令をさらに備える、請求項２９に記載のコンピュータ読取可能な記憶媒体。
36. コンピュータ読取可能な記憶媒体であって、プロセッサにおいて実行されると、前記プロセッサに対して、
    ビデオビットストリームにおいて、基準ビデオのユニットを受信させ、ここにおいて、前記基準ビデオのユニットは、複数のサブユニットを備える、
    前記基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別させ、ここにおいて、前記第１のシンタックスエレメントは、前記複数のサブユニットの第１のサブユニットに関連付けられ、前記第１のシンタックスエレメントは、補間フィルタの第１のセットが、前記基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを表す、
    前記補間フィルタの第１のセットを使用して第１の予測データを生成するために、前記基準ビデオのユニットの前記第１のサブユニットに対して第１のピクセル値を補間させ、
    前記第１の予測データに少なくとも部分的に基づいて前記ビデオデータを復号させる
    命令を備えるコンピュータ読取可能な記憶媒体。
37. 前記基準ビデオのユニットの第１のサブユニットは、基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項３６に記載の方法。
38. 前記プロセッサにおいて実行されると、前記プロセッサに対して、前記基準ビデオのユニットに関連付けられた前記シンタックスエレメントに基づいて前記補間フィルタの第１のセットを再構築させる命令をさらに備える、請求項３６に記載のコンピュータ読取可能な記憶媒体。
39. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別させ、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが予め定義されることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間させ、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号させる
    命令をさらに備える、請求項３６に記載のコンピュータ読取可能な記憶媒体。
40. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別させ、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが、前記基準ビデオのユニットの前記第２のサブユニットのヘッダにおいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間させ、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号させる
    命令をさらに備える、請求項３６に記載のコンピュータ読取可能な記憶媒体。
41. 前記プロセッサにおいて実行されると、前記プロセッサに対して、前記基準ビデオの第２のサブユニットの前記ヘッダに基づいて前記補間フィルタの第２のセットを再構築させる命令をさらに備える、請求項４０に記載のコンピュータ読取可能な記憶媒体。
42. 前記プロセッサにおいて実行されると、前記プロセッサに対して、
    前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別させ、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが基準ビデオの前のフレームに基づいて定義されるものであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間させ、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号させる
    命令をさらに備える、請求項３６に記載のコンピュータ読取可能な記憶媒体。
43. ビデオデータを符号化するためのデバイスであって、
    第１の予測データを生成するために、基準ビデオの第１のサブユニットに対して第１のピクセル値を補間するための手段と、ここにおいて、前記第１のピクセル値を補間することは、補間フィルタの第１のセットに基づく、
    前記補間フィルタの第１のセットが、前記基準ビデオの第１のサブユニットを備える基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて定義されることを示すために、前記基準ビデオの第１のサブユニットに関連付けられた第１のシンタックスエレメントを生成するための手段と、
    前記第１の予測データに基づいて前記ビデオデータを符号化するための手段と、
    前記符号化ビデオデータおよび前記第１のシンタックスエレメントを含む符号化ビットストリームを生成するための手段と
    を備えるデバイス。
44. 前記基準ビデオの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項４３記載のデバイス。
45. 前記符号化ビットストリームは、前記補間フィルタの第１のセットを再構築するためのデータをさらに含む、請求項４３に記載のデバイス。
46. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間するための手段と、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが予め定義されることを示すために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成するための手段と、
    前記第２の予測データに基づいて前記ビデオデータを符号化するための手段と、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成するための手段と
    をさらに備える、請求項４３に記載のデバイス。
47. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間するための手段と、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが前記基準ビデオの第２のサブユニットのヘッダにおいて定義されるべきであることを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成するための手段と、
    前記第２の予測データに基づいて前記ビデオデータを符号化するための手段と、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成するための手段と
    をさらに備える、請求項４３に記載のデバイス。
48. 前記補間フィルタの第２のセットを再構築するためにデータを符号化することをさらに備える、請求項４７に記載のデバイス。
49. 第２の予測データを生成するために、基準ビデオの第２のサブユニットに対して第２のピクセル値を補間するための手段と、ここにおいて、前記第２のピクセル値を補間することは、補間フィルタの第２のセットに基づく、
    前記補間フィルタの第２のセットが基準ビデオの前のサブユニットに基づいて定義されるべきでことを識別するために、前記基準ビデオの第２のサブユニットに関連付けられた第２のシンタックスエレメントを生成するための手段と、
    前記第２の予測データに基づいて前記ビデオデータを符号化するための手段と、
    前記符号化ビデオデータおよび前記第２のシンタックスエレメントを含む符号化ビットストリームを生成するための手段と
    をさらに備える、請求項４３に記載のデバイス。
50. ビデオデータを復号するためのデバイスであって、
    ビデオビットストリームにおいて、基準ビデオのユニットを受信するための手段と、ここにおいて、前記基準ビデオのユニットは、複数のサブユニットを備える、
    前記基準ビデオのユニットにおいて、第１のシンタックスエレメントを識別するための手段と、ここにおいて、前記第１のシンタックスエレメントは、前記複数のサブユニットの第１のサブユニットに関連付けられ、前記第１のシンタックスエレメントは、前記基準ビデオのユニットに関連付けられたシンタックスエレメントにおいて、補間フィルタの第１のセットが定義されることを表す、
    前記補間フィルタの第１のセットを使用して第１の予測データを生成するために、前記基準ビデオのユニットの前記第１のサブユニットに対して第１のピクセル値を補間するための手段と、
    前記第１の予測データに少なくとも部分的に基づいて前記ビデオデータを復号するための手段と
    を備えるデバイス。
51. 前記基準ビデオのユニットの第１のサブユニットは、前記基準ビデオの第１のフレームであり、前記基準ビデオのユニットは、前記基準ビデオの第１のフレームを備えるフレームのシーケンスである、請求項５０に記載のデバイス。
52. 前記基準ビデオのユニットに関連付けられた前記シンタックスエレメントに基づいて、前記補間フィルタの第１のセットを再構築するための手段をさらに備える、請求項５０に記載のデバイス。
53. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別するための手段と、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが予め定義されることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対する第２のピクセル値を補間するための手段と、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号するための手段と
    をさらに備える、請求項５０に記載のデバイス。
54. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別するための手段と、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが前記基準ビデオのユニットの前記第２のサブユニットのヘッダにおいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間するための手段と、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号するための手段と
    をさらに備える、請求項５０に記載のデバイス。
55. 前記基準ビデオの第２のサブユニットのヘッダに基づいて前記補間フィルタの第２のセットを再構築するための手段をさらに備える、請求項５４に記載のデバイス。
56. 前記基準ビデオのユニットにおいて、第２のシンタックスエレメントを識別するための手段と、ここにおいて、前記第２のシンタックスエレメントは、前記複数のサブユニットの第２のサブユニットに関連付けられ、前記第２のシンタックスエレメントは、補間フィルタの第２のセットが基準ビデオの前のフレームに基づいて定義されるべきであることを表す、
    前記補間フィルタの第２のセットを使用して第２の予測データを生成するために、前記基準ビデオのユニットの前記第２のサブユニットに対して第２のピクセル値を補間するための手段と、
    前記第２の予測データに少なくとも部分的に基づいて前記ビデオデータを復号するための手段と
    をさらに備える、請求項５０に記載のデバイス。

Images