JP2021502031A - ビデオ符号化のためのインター予測機器及び方法の補間フィルタ - Google Patents

Abstract

本発明は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための機器（１４４）及び方法に関する。前記機器（１４４）は、処理ユニットであって、前記ビデオ信号の前記現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定し、前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定し、前記現在フレーム内のフィルタによりサポートされるピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタによりサポートされるピクセルのセットを生成し、前記現在フレーム内の前記フィルタによりサポートされるピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数及び／又はサブ整数ピクセルを含み、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタによりサポートされるピクセルのそれぞれのサンプル値を決定し、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタによりサポートされるピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を決定する、よう構成される処理ユニットを含む。さらに、本発明は、このようなインター予測機器（１４４）を含む符号化機器（１００）及び復号機器に関する。

Description

概して、本発明は、ビデオ符号化の分野に関する。より具体的には、本発明は、ビデオ符号化のためのインター予測機器及び方法のための補間フィルタ、並びにこのようなインター予測機器を含む符号化機器及び復号機器に関する。

デジタルビデオ通信及び記憶アプリケーションは、様々なデジタル装置、例えばデジタルカメラ、セルラ無線電話機、ラップトップ、ブロードキャストシステム、ビデオ会議システム、等により実装される。これらのアプリケーションの最も重要で困難なタスクのうちの１つは、ビデオ圧縮である。ビデオ会議のタスクは、複雑であり、２つの矛盾したパラメータ：圧縮効率と計算複雑性により制約される。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ又はＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣのようなビデオ符号化標準は、これらのパラメータの間の良好なトレードオフを提供する。この理由から、ビデオ符号化標準のサポートは大部分の任意のビデオ圧縮アプリケーションにとって必須要件である。

従来技術のビデオ符号化標準は、ソースフレーム又はピクチャのフレームまたはピクチャブロックへのパーティションに基づく。これらのブロックの処理は、それらのサイズ、空間的位置、及びエンコーダにより指定される符号化モードに依存する。符号化モードは、予測の種類：イントラ及びインター予測モードに従い２つのグループに分類できる。イントラ予測モードは、同じフレーム（ピクチャ又は画像とも呼ばれる）のピクセルを用いて、参照サンプルを生成し、再構成されているブロックのピクセルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在フレームのブロックのピクセルを予測するために前又は次のフレームの参照サンプルを使用する。予測段階の後に、元の信号とその予測との間の差である予測誤差に対して、変換符号化が実行される。次に、変換係数及びサイド情報が、エントロピー符号器（例えば、ＡＶＣ／Ｈ．２６４及びＨＥＶＣ／Ｈ．２６５のＣＡＢＡＣ）を用いて符号化される。最近に採用されたＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ標準（ＩＳＯ／ＩＥＣ２３００８−２：２０１３、「Information technology−High efficiency coding and media delivery in heterogeneous environments‐Part ２: High efficiency video coding」）は、符号化効率と計算複雑性との間の妥当なトレードオフを提供する従来技術のビデオ符号化ツールのセットを宣言している。ＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ標準に関する概略は、参照によりここに内容全体が組み込まれる、Gary J. Sullivan、「Overview of the High Efficiency Video Coding (HEVC) Standard」、IEEE Transactions on Circuits and Systems for Video Technology, Vol. ２２, No. １２, December ２０１２、により与えられている。

ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣビデオ符号化標準と同様に、ＨＥＶＣ／Ｈ．２６５ビデオ符号化標準は、所謂符号化ユニット（coding unit：CU）の形式のフレームブロックへのソースフレームの分割を提供する。ＣＵの各々は、もっと小さいＣＵ又は予測ユニット（coding unit：CU）のいずれかへと更に分割され得る。ＰＵは、ＰＵのピクセルに適用される処理の種類に従いイントラ又はインター予測され得る。インター予測の場合、ＰＵは、ＰＵについて指定された動きベクトルを用いて動き補償により処理されるピクセルの領域を表す。イントラ予測では、近隣ブロックの隣接ピクセルが、現在ブロックを予測するための参照サンプルとして使用される。ＰＵは、該ＰＵに含まれる全部の変換ユニット（transform unit：TU）のイントラ予測モードのセットから選択される予測モードを指定する。ＴＵは、異なるサイズ（例えば、４×４、８×８、１６×１６、及び３２×３２ピクセル）を有することができ、異なる方法で処理され得る。ＴＵについて、変換符号化が実行される。つまり、予測誤差は、離散コサイン変換又は離散サイン変換で変換され（ＨＥＶＣ／Ｈ．２６５標準では、イントラ符号化ブロックに適用される）、量子化される。したがって、再構成ピクセルは、デブロッキングフィルタ（Deblocking Filter：DBF）、サンプル適応オフセット（Sample Adaptive Offset：SAO）、及び適応ループフィルタ（Adaptive Loop Filter：ALF）のようなインループフィルタが抑制しようとする量子化ノイズを含む（例えば、ユニット間のブロックノイズとして顕著になり得、シャープエッジに沿ってアーチファクトを生じる、等）。

サブ整数補間技術は、インター予測で達成可能な圧縮のレベルについて予測精度を向上するために、開発されている。この場合には、ビデオブロックを符号化するために使用される動き補償の間に生成された予測データは、サブ整数ピクセルに対応してよい。サブ整数ピクセルの値は、参照ビデオフレーム又は動きベクトルの参照する他の符号化されたユニットのビデオブロックの完全なピクセルの値から補間されてよい。ビデオエンコーダは、補間技術を用いて、例えば補間フィルタをサポートピクセルのセット、例えばフル整数ピクセルの値、及び／又は他のサブ整数ピクセル位置の前に符号化された値、に適用することにより、サブ整数ピクセル位置の値を計算してよい。

今日の標準Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣは、１／４ペル置換分解能に基づく。共同探索チーム（Joint Video Exploration Team：JVET）グループは、アフィン変換のような非平行移動動き補償モデルを含むＨＥＶＣの後のビデオ圧縮技術を調査している。分数ペル（又はサブ整数）置換を推定し及び補償するために、参照画像のフル整数ピクセルは、分数ペル、つまりサブ整数位置において補間されなければならない。分数ペル位置において補間される画像を得るために、補間フィルタが使用される。非平行移動動きも出るの補間の実行は、可変分数ペル置換である。

補間される画像の品質は、補間フィルタの特性に強く依存する。ショートタップフィルタ（例えば、バイリニア）は、高周波数を抑制し、補間されるピクチャをぼけさせることがある。他方で、ロングタップフィルタ（例えば、シンクベース（sinc−based））は、より多くのメモリ帯域幅を必要とし、高周波数を保存するが、シャープエッジの近傍で幾つかのリンギングアーチファクトを生成することがある。別の検討は、非平行移動モデルの動き補償について、補間及び予測の精度を低下させることにより、複雑性が低減されることである。

提案されるＪＥＭアフィン動きモデルでは、サポートされる２種類の動き：ズーム及び回転がある。分数ペル位置の大部分は、予測ユニット内で一定ではない。ピクセルは、補間を高速化するためにサブブロックにより置換される。１つのサブブロック内で、置換ベクトルは一定であり平行移動である。複雑性は次第に低減されたが、精度も同様に低下した。予測の品質を向上するために、動き補償の精度は、補間フィルタの量の増大と共に、サブブロックの動きベクトル置換の精度を増大することにより、向上された。非平行移動動きも出るの補間フィルタの現在の精度は、未だ向上の必要がある。

したがって、ビデオ符号化効率を向上するビデオ符号化のためのインター予測機器及び方法の改良された補間フィルタが必要である。

したがって、本発明の目的は、向上したビデオ符号化効率を提供するビデオ符号化のためのインター予測機器及び方法の改良された補間フィルタを提供することである。

前述の及び他の目的は、独立請求項の主題により達成される。更なる実装形式は、従属請求項、説明、及び図面から明らかである。

第１の態様によると、本発明は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための機器に関する。前記機器は、処理ユニットであって、前記ビデオ信号の前記現在フレーム及び参照フレーム及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定し、前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定し、前記現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成し、前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含み、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定し、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を決定する、よう構成される処理ユニットを含む。

したがって、改良されたインター予測機器が提供され、ビデオ符号化の効率の向上を可能にする。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣半整数ピクセルを含む。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣フル整数ピクセルを含む。

第１の態様の更なる可能な実装形式では、空間高域通過フィルタは５タップフィルタ又は３タップフィルタである。一実装形式では、５タップフィルタ又は３タップフィルタは、対称フィルタ、つまり、第１及び第５フィルタ係数（又は３タップフィルタの場合、第１及び第３フィルタ係数）が同じであり、且つ第２及び第４フィルタ係数が同じであるフィルタである。一実装形式では、第１及び第５フィルタ係数は負であり、一方で、５タップフィルタの他のフィルタ係数は正である。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／３２により正規化できる以下のフィルタ係数（−６、９、２６、９、−６）を有する。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／８により正規化できる以下のフィルタ係数（−１、０、１０、０、−１）を有する。理解されるように、中間の半整数サポートピクセルを有しない更なる可能な実装形式では、このフィルタは、係数（−１、１０、−１）を有する３タップフィルタになる。

第１の態様の更なる可能な実装形式では、機器の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルの及び／又は参照フレーム内の対応するフィルタサポートピクセルのそれぞれのサンプル値を、参照フレーム内のそれぞれの近隣フル整数ピクセルのバイリニア補間に基づき決定するよう構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルに基づき、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルの平均ベクトルを決定することにより、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フル整数ピクセルの近隣フル整数ピクセルの前記１つ以上の動きベクトルを、前記ビデオ信号の前記現在フレーム及び前記参照フレーム、及び／又は動き補償モデルに基づき、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フル整数ピクセルの動きベクトルが非平行移動動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に空間高域通過フィルタを適用することにより、決定し、前記現在フル整数ピクセルの前記動きベクトルが伝統的動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣのような従来方式に基づき決定するよう構成される。

第１の態様の更なる可能な実装形式では、非平行移動動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

第２の態様によると、本発明は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための対応する方法に関する。前記方法は、前記ビデオ信号の前記現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定するステップと、前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定するステップと、前記現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成するステップであって、前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含む、ステップと、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定するステップと、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を決定するステップと、を含む。

したがって、改良されたインター予測方法が提供され、ビデオ符号化の効率の向上を可能にする。

本発明の第２の態様によるインター予測方法は、本発明の第１の態様によるインター予測機器により実行できる。本発明の第２の態様によるインター予測方法の更なる特徴は、本発明の第１の態様及び上述の及び後述のその異なる実装形式によるインター予測機器の機能から直接生じる。

第３の態様によると、本発明は、ビデオ信号の現在フレームを符号化する符号化機器に関し、前記符号化機器は、第１の態様によるインター予測機器を含む。

第４の態様によると、本発明は、圧縮ビデオ信号の現在再構成フレームを復号する復号機器に関し、前記復号機器は、第１の態様によるインター予測機器を含む。

第５の態様によると、本発明は、コンピュータ又はプロセッサ上で実行されると第２の態様による方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトに関する。

本発明の実施形態は、特に以下の利点を提供する。本発明の実施形態は、複雑性を低いレベルに保ちながら、ピクセル単位の精度で補間を実行することを可能にする。本発明の実施形態は、任意の種類の非平行移動の動きをサポートする。本発明の実施形態は、サブブロックエッジに渡りブロックアーチファクトを除去することを可能にする。本発明の実施形態は、メモリ帯域幅を削減する。本発明の実施形態は、フィルタ係数のセットを格納するためのメモリ要件を軽減する。本発明の実施形態は、ＨＷバイリニア変換において良好に最適された再使用を可能にする。本発明の実施形態は、変換に沿ってフィルタリングの方向を揃える。本発明の実施形態は、補間されたエッジの品質を向上しながら、長い動き補間フィルタにより生じるリンギングアーチファクトを低減することを可能にする。本発明の実施形態は、再構成ピクチャの中のエッジの主観的品質を向上することを可能にする。さらに、本発明の実施形態は、任意の追加シグナリングを必要とせず、したがって、既存の補間方法を非平行移動動きによりシームレスに置き換えることができる。補間を２つのステップに分けることは、分数オフセット補償を高域通過フィルタリングから分離することを可能にする。

本発明の更なる実施形態は、以下の図面に関して説明される。
一実施形態によるインター予測機器を含む一実施形態による符号化機器を示す概略図を示す。 一実施形態によるインター予測機器を含む一実施形態による復号機器を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の一態様を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の異なる態様を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の異なる態様を示す概略図を示す。 一実施形態によるインター予測方法のステップを示すフロー図を示す。 表１を示す。

種々の図において、同一の参照符号は同一のまたは機能的に等価な特徴に対して使用される。

以下の説明では、本開示の部分を形成し、図示により本発明の特定の態様が配置され得る特定の態様が示される、添付の図面を参照する。他の態様が利用されてよく、本発明の範囲から逸脱することなく構造的又は論理的変更が行われてよいことが理解される。以下の詳細な説明は、したがって、限定的意味と考えられるべきではなく、本発明の範囲は添付の特許請求の範囲により定められる。

例えば、記載の方法に関連する開示は、方法を実行するよう構成される対応する装置又はシステムについても真であり、逆も同様である。例えば、特定の方法のステップが記載される場合、ユニットが明示的に記載され又は図中に示されない場合でも、対応する装置は記載された方法のステップを実行するためのユニットを含んでよい。更に、ここで説明される種々の例示的な態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。

図１は、一実施形態によるインター予測機器１４４を含む一実施形態による符号化機器１００を示す。符号化機器１００は、複数のフレーム（ここではピクチャ又は画像とも呼ばれる）を含むビデオ信号のフレームのブロックを符号化するよう構成される。ここで、各フレームは複数のブロックに分割可能であり、各ブロックは複数のピクセルを含む。一実施形態では、ブロックは、マクロブロック、符号化木ユニット、符号化ユニット、予測ユニット、及び／又は予測ブロックであり得る。

図１に示す例示的な実施形態では、符号化機器１００は、ハイブリッドビデオ符号化エンコーダの形式で実装される。通常、ビデオ信号の第１フレームは、イントラ予測のみを使用して符号化されるイントラフレームである。このために、図２に示す符号化機器１００の実施形態は、イントラ予測のためのイントラ予測ユニット１５４を更に含む。イントラフレームは、他のフレームからの情報を有しないで復号できる。イントラ予測ユニット１５４は、イントラ推定ユニット１５２により提供される情報に基づき、ブロックのイントラ予測を実行できる。

第１イントラフレームに続く後続フレームのブロックは、モード選択ユニット１６０により選択されるように、インター又はイントラ予測を用いて符号化され得る。通常、以下の更に詳述するように、インター予測ユニット１４４は、動き推定に基づき、ブロックの動き補償を実行するよう構成され得る。一実施形態では、動き推定は、符号化機器のインター推定ユニット１４２により実行され得る。しかしながら、他の実施形態では、インター推定ユニット１４２の機能は、インター予測ユニット１４４の部分としても実装できる。

さらに、図１に示すハイブリッドエンコーダの実施形態では、残差計算ユニット１０４は、元のブロックとその予測との間の差、つまり、イントラ／インターピクチャ予測の予測誤差を定める残差ブロックを決定する。この残差ブロックは、変換ユニット１０６により（例えばＤＣＴを用いて）変換され、変換係数は量子化ユニット１０８により量子化される。量子化ユニット１０８の出力、及び例えばインター予測ユニット１４４により提供される符号化又はサイド情報は、エントロピー符号化ユニット１７０により更に符号化される。

図１に示す符号化機器１００のようなハイブリッドビデオエンコーダは、通常、デコーダの処理を複製して、両者が同じ予測を生成するようにする。したがって、図１に示す実施形態では、逆量子化ユニット１１０及び逆変換ユニットは、変換ユニット１０６及び量子化ユニット１０８の逆の動作を実行し、残差ブロックの復号された近似を複製する。予測残差ブロックデータは、次に、再構成ユニット１１４により、予測の結果、つまり予測ブロックに追加される。次に、再構成ユニット１１４の出力は、イントラ予測のために使用されるようラインバッファ１１６に提供でき、画像アーチファクトを除去するためにインループフィルタにより更に処理される。最終ピクチャは、復号ピクチャバッファ１３０に格納され、後続フレームのインター予測のための参照フレームとして使用できる。

図２は、一実施形態によるインター予測機器２４４を含む一実施形態による復号機器２００を示す。復号機器２００は、符号化ビデオ信号のフレームのブロックを復号数ｒよう構成される。図２に示す実施形態では、復号機器２００は、ハイブリッドデコーダとして実装される。エントロピー復号ユニット２０４は、通常は予測誤差を含み得る符号化ピクチャデータ（つまり残差ブロック）、及び特にインター予測機器２４４及びイントラ予測ユニット２５４並びに復号機器２００の他のコンポーネントのために必要である他のサイド情報のエントロピー復号を実行する。図２に示す実施形態では、図３に示す復号機器２００のインター予測機器２４４又はイントラ予測ユニット２５４は、モード選択ユニット２６０により選択され、図１に示す符号化機器１００のインター予測機器１４４及びイントラ予測ユニット１５４と同様に機能する。その結果、符号化機器１００及び複合機器２００により同一の予測が生成できる。復号機器２００の再構成ユニット２１４は、フィルタリングされた予測ブロック、及び逆量子化ユニット２１０及び逆変換ユニット２１２により提供される残差ブロックに基づき、ブロックを再構成するよう構成される。符号化機器１００の場合のように、再構成ブロックは、イントラ予測のために使用されるラインバッファ２１６に提供でき、フィルタリングされたブロック／フレームは、将来のインター予測のためにインループフィルタ２２０により復号ピクチャバッファ２３０へ提供できる。

既に上述したように、機器１４４、２４４は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測を実行するよう構成される。機器１４４、２４４は、ソフトウェア及び／又はハードウェアで実装可能な処理ユニットを含む。

機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルを決定するよう構成される。一実施形態では、機器１４４、２４４の処理ユニットは、現在フレーム内の現在フル整数ピクセルに対応する参照フレーム内のピクセルの位置を決定することにより、ビデオ信号の現在フレーム及び参照フレームに基づき、現在フル整数ピクセルの動きベクトルを決定するよう構成される。一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルを、採用された動き補償モデルに基づき決定するよう構成される。例えば、伝統的な又はアフィン動き補償モデルの場合には、現在フル整数ピクセルの動きベクトルは、現在フル整数ピクセルの属するのと同じブロックのピクセルの１つ以上の動きベクトルを用いて決定できる。ここで使用されるように、「動き補償モデル」は、動き変換モデル、動きモデル記述、等とも呼ばれる。

機器１４４、２４４の処理ユニットは、現在フル整数ピクセルについて、参照フレーム内の対応するサブ整数ピクセルを、現在フル整数ピクセルの動きベクトルに基づき決定するよう更に構成される。

機器１４４、２４４ｈの処理ユニットは、現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、参照フレーム内の対応するフィルタサポートピクセルのセットを生成するよう更に構成される。現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含む。

一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣半整数ピクセルを含む。例えば、一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの上、左、下、及び右の近隣半整数ピクセルを含む。

一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣フル整数ピクセルを含む。例えば、一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの上、左、下、及び右の近隣フル整数ピクセルを含む。一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの上、左、下、及び右の近隣半整数及びフル整数ピクセルを含み得る。

機器１４４、２４４の処理ユニットは、それぞれのサンプル値、特に参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルの輝度値を決定するよう更に構成される。

一実施形態では、機器１４４、２４４の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルの及び／又は参照フレーム内の対応するフィルタサポートピクセルのそれぞれのサンプル値を、参照フレーム内のそれぞれの近隣フル整数ピクセルのバイリニア補間に基づき決定するよう構成される。図３は、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値を決定するためにバイリニア補間を用いる一例を示す。図３では、参照フレーム内の参照ブロックは、現在フレームの例示的な現在ピクセルを含む現在ブロックに対して、拡大され、回転されている。さらに、図３は、フィルタサポートピクセルのために使用される増大した解像度を示した。

図３の拡大図から分かるように、一実施形態では、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌは、以下のように処理ユニットにより決定できる。現在フル整数ピクセルの対応するサブ整数ピクセルは、参照フレームのサンプルグリッドの対応するセル内の分数位置（ｆｄＸ，ｆｄＹ）を有する。Ｌ０、Ｌ１、Ｌ２、Ｌ３は、参照フレーム内の近隣フル整数ピクセル（つまり、現在フル整数ピクセルの対応するサブ整数ピクセルの位置する参照フレーム内のサンプルグリッドの対応するセルの角に位置するフル整数ピクセル）の既知のサンプル値である。分数位置（ｆｄＸ，ｆｄＹ）に基づき、ｓ０、ｓ１、ｓ２、ｓ３に対応する長方形のそれぞれの領域は、以下のように計算できる：
ｓ０＝ｆｄＸ＊ｆｄＹ
ｓ１＝（１−ｆｄＸ）＊ｆｄＹ
ｓ２＝ｆｄＸ＊（１−ｆｄＹ）
ｓ３＝（１−ｆｄＸ）＊（１−ｆｄＹ）
バイリニア補間は、以下の水平係数（１−ｆｄＸ，ｆｄＸ）及び以下の垂直係数（１−ｆｄＹ，ｆｄＹ）を有する２タップフィルタを用いて表現できる。これらの重み付け因子に基づき、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌは、以下の式に基づき決定できる。
Ｌ＝Ｌ０＊ｓ３＋Ｌ１＊ｓ２＋Ｌ２＊ｓ１＋Ｌ３＊ｓ０
既に上述したように、同じバイリニア補間が、参照フレーム内の対応するフィルタサポートピクセルのサンプル値を決定するために使用できる。

機器１４４、２４４の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に、空間高域通過フィルタを適用することにより、現在フレーム内の現在ピクセルのインター予測サンプル値を決定するよう更に構成される。

一実施形態では、空間高域通過フィルタは５タップフィルタである。一実施形態では、５タップフィルタは、対称フィルタ、つまり、第１及び第５フィルタ係数が同じであり且つ第２及び第４フィルタ係数が同じであるフィルタである。一実施形態では、第１及び第５フィルタ係数は負であり、一方で、５タップフィルタの他のフィルタ係数は正である。一実施形態では、空間高域通過フィルタは、垂直及び水平方向に別個に適用できる。

一実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの５個の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは、因子１／３２により正規化できる所与の数値精度の範囲内の以下のフィルタ係数（−６、９、２６、９、−６）を有する。

更なる実施形態では、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの５個の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／８により正規化できる所与の数値精度の範囲内のフィルタ係数（−１、０、１０、０、−１）を有する。理解されるように、中間の半整数サポートピクセルを有しない実施形態では、このフィルタは、３個のフル整数サポートピクセルを有し及び係数（−１、１０、−１）を有する３タップフィルタになる。

一実施形態では、機器１４４、２４４の処理ユニットは、フィルタサポートピクセルに基づき２次元の分離可能な重畳処理に基づき現在フレーム内の現在ピクセルのインター予測サンプル値を決定するよう構成される。例えば、５タップフィルタの場合、機器１４４、２４４の処理ユニットは、現在ピクセルの５個の水平方向の及び垂直方向の近隣半整数及びフル整数ピクセルにより定められる各々の水平及び垂直ラインに５タップフィルタを適用するよう構成される。

図４は、図３に示される例について、垂直及び水平方向に５タップフィルタを用いて、機器１４４、２４４の処理ユニットにより実行される処理ユニットの異なる段階を示す。図３に示す例におけるように、参照ブロックは、現在ブロックに対して拡大及び回転され（アフィン変換に対応する）、現在フレーム内の垂直及び水平方向にある５タップフィルタは、。参照フレーム内で回転される。

インター予測機器１４４、２４４の以下の更なる実施形態では、符号化機器１００及び復号機器２００が説明される。この文脈では、インター予測機器１４４、２４４の実施形態は、符号化機器１００において実施されるようなインター予測機器１３３の実施形態、及び復号機器２００において実施されるインター予測機器２４４の実施形態に関連する。

一実施形態では、機器１４４、２４４の処理ユニットは、現在フレーム内のフィルタサポートピクセルのサブ整数ピクセルの各々のそれぞれの動きベクトルを、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルに基づき、決定するよう更に構成される。この目的のために、一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルの平均ベクトルを決定するよう更に構成される。例えば、現在フレーム内の現在フル整数ピクセルの上にある半整数ピクセルの動きベクトルを決定するために、機器１４４、２４４の処理ユニットは、平均、つまり、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの上にある近隣フル整数ピクセルの動きベクトルの平均を計算できる。

現在ピクセルの動きベクトルの決定と同様に、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルを、ビデオ信号の現在フレーム及び参照フレーム、及び／又は動き補償モデルに基づき、決定するよう更に構成され得る。

一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルが非平行移動動き補償モデルに基づき決定される場合に、現在フレーム内の現在ピクセルのインター予測サンプル値を、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間高域通過フィルタを適用することにより、決定し、現在フル整数ピクセルの動きベクトルが伝統的動き補償モデルに基づき決定される場合に、現在フレーム内の現在ピクセルのインター予測サンプル値を、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣのような従来方式に基づき決定するよう構成される。一実施形態では、非平行移動動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

別の実施形態で、伝統的動き補償モデルでは、機器１４４、２４４の処理ユニットは、提案したフィルタ（つまり、バイリニアフィルタ及び皇族の高域通過フィルタ）を重畳することにより、分離可能な４タップフィルタのセットを構成するよう構成される。例えば以下の通りである。
［ｆ，１−ｆ］＊［ｃ０，ｃ１，ｃ２］＝［（１−ｆ）＊（ｃ０），ｆ＊（ｃ０）＋（１−ｆ）＊ｃ１，ｆ＊（ｃ１）＋（１−ｆ）＊ｃ２，ｆ＊（ｃ２）］
ここで、ｆは水平又は垂直方向の動きベクトルの分数オフセットであり、［ｃ０，ｃ１，ｃ２］は高域通過フィルタの係数である。この場合の分数位置は、有限のテーブルサイズを打つために特定の精度で不連続であってよい。係数の最終的な値は、基準因子により乗算され、丸め込まれてよい。その結果、各オフセットの係数の和は基準因子と等しくなる。幾つかの特定のシナリオでは、ゼロの分数オフセットを有するフィルタは１（７０１）に等しくてよい（ゼロのオフセットではフィルタリングがない）。例えば、６４に等しい基準因子及び分数オフセット精度１／３２を有すると、フィルタ係数のセット（７００）は、表１に示されるものであってよい。この技術は、例えばクロマ成分をフィルタリングするために使用されてよい。当該技術は、最悪の場合の複雑性及び／又はメモリ帯域幅を低く保つために、小さなブロックのフィルタリングのために使用されてもよい。

任意の実施形態では、実装の任意のステップにおける中間丸め込み又はクリッピングは、計算操作の入力範囲として固定数のビットを保つために適用され得る。例えば、（水平フィルタリングのような）フィルタリングの任意の分離可能なステップの後に、中間値は、（垂直フィルタリングのような）次のステップのフィルタ係数による後続の乗算で使用するために、正規化され、１６ビットの精度に丸め込まれ得る。

図５は、上述の本発明の実施形態の幾つかの態様をまとめる。

図６は、一実施形態による対応するインター予測方法６００のステップを示すフロー図を示す。方法６００は、以下のステップ：
ビデオ信号の現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、現在フル整数ピクセルの動きベクトルを決定するステップ６０１と、
現在フル整数ピクセルについて、現在フル整数ピクセルの動きベクトルに基づき、参照フレーム内の対応するサブ整数ピクセルを決定するステップ６０３と、
現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、参照フレーム内の対応するフィルタサポートピクセルのセットを生成するステップであって、現在フレーム内のフィルタサポートピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数及び／又はサブ整数ピクセルを含む、ステップ６０５と、
参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルのそれぞれのサンプル値を決定するステップ６０７と、
参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に、空間高域通過フィルタを適用することにより、現在フレーム内の現在ピクセルのインター予測サンプル値を決定するステップ６０９と、を含む。

開示の特定の特徴又は態様は幾つかの実装又は実施形態のうちの１つのみに関して開示されていることがあるが、このような特徴又は態様は、任意の所与の又は特定の適用について望ましく有利であり得るとき、他の実装又は実施形態の１つ以上の他の特徴又は態様と結合されてよい。さらに、用語「含む」、「有する」、「伴う」又はそれらの他の変形は詳細な説明又は請求項において使用される限り、このような用語は用語「含む」と同様の方法で包括的であることを意図している。また、用語「例示的な」、「例えば」、及び「例えば」は、最良の又は最適のではなく、単に例としてを意味する。用語「結合され」及び「接続され」は、派生語と共に、使用されることがある。理解されるべきことに、これらの用語は、２つの要素が直接に物理的又は電気的に接触しているか又はそれらが直接に互いに接触していないかに関わらず、該２つの要素が協働し又は互いに相互作用することを示すために使用されていることがある。

特定の態様がここに示され説明されたが、種々の代替の及び／又は均等な実装が、本開示の範囲から逸脱することなく、示され及び説明された特定の態様の代わりに用いられてよい。本願は、ここで議論した特定の態様の任意の適応又は変形をカバーすることを意図している。

以下の請求項の中の要素は対応するラベルにより特定の順序で記載されるが、請求項の引用がこれらの要素の一部又は全部の実装のための特定の順序を特に示さない限り、これらの要素は、該特定の順序で実施されることに限定されることを必ずしも意図しない。

多くの代替、変更、及び変形が、上述の教示に照らして、当業者に明らかになる。もちろん、当業者は、本発明のここに説明したものより多数の適用が存在することを直ちに認識する。本発明は１つ以上の特定の実施形態を参照して説明されたが、当業者は、本発明の範囲から逸脱することなく、それらに多くの変化が行われ得ることを理解する。したがって、添付の請求項の範囲及びそれらの均等物の範囲内で、本発明はここに具体的に説明された以外の方法で実施されてよいことが理解されるべきである。

概して、本発明は、ビデオ符号化の分野に関する。より具体的には、本発明は、ビデオ符号化のためのインター予測機器及び方法のための補間フィルタ、並びにこのようなインター予測機器を含む符号化機器及び復号機器に関する。

デジタルビデオ通信及び記憶アプリケーションは、様々なデジタル装置、例えばデジタルカメラ、セルラ無線電話機、ラップトップ、ブロードキャストシステム、ビデオ会議システム、等により実装される。これらのアプリケーションの最も重要で困難なタスクのうちの１つは、ビデオ圧縮である。ビデオ会議のタスクは、複雑であり、２つの矛盾したパラメータ：圧縮効率と計算複雑性により制約される。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ又はＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣのようなビデオ符号化標準は、これらのパラメータの間の良好なトレードオフを提供する。この理由から、ビデオ符号化標準のサポートは大部分の任意のビデオ圧縮アプリケーションにとって必須要件である。

従来技術のビデオ符号化標準は、ソースフレーム又はピクチャのフレームまたはピクチャブロックへのパーティションに基づく。これらのブロックの処理は、それらのサイズ、空間的位置、及びエンコーダにより指定される符号化モードに依存する。符号化モードは、予測の種類：イントラ及びインター予測モードに従い２つのグループに分類できる。イントラ予測モードは、同じフレーム（ピクチャ又は画像とも呼ばれる）のピクセルを用いて、参照サンプルを生成し、再構成されているブロックのピクセルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在フレームのブロックのピクセルを予測するために前又は次のフレームの参照サンプルを使用する。予測段階の後に、元の信号とその予測との間の差である予測誤差に対して、変換符号化が実行される。次に、変換係数及びサイド情報が、エントロピー符号器（例えば、ＡＶＣ／Ｈ．２６４及びＨＥＶＣ／Ｈ．２６５のＣＡＢＡＣ）を用いて符号化される。最近に採用されたＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ標準（ＩＳＯ／ＩＥＣ２３００８−２：２０１３、「Information technology−High efficiency coding and media delivery in heterogeneous environments‐Part ２: High efficiency video coding」）は、符号化効率と計算複雑性との間の妥当なトレードオフを提供する従来技術のビデオ符号化ツールのセットを宣言している。ＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ標準に関する概略は、参照によりここに内容全体が組み込まれる、Gary J. Sullivan、「Overview of the High Efficiency Video Coding (HEVC) Standard」、IEEE Transactions on Circuits and Systems for Video Technology, Vol. ２２, No. １２, December ２０１２、により与えられている。

ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣビデオ符号化標準と同様に、ＨＥＶＣ／Ｈ．２６５ビデオ符号化標準は、所謂符号化ユニット（coding unit：CU）の形式のフレームブロックへのソースフレームの分割を提供する。ＣＵの各々は、もっと小さいＣＵ又は予測ユニット（coding unit：CU）のいずれかへと更に分割され得る。ＰＵは、ＰＵのピクセルに適用される処理の種類に従いイントラ又はインター予測され得る。インター予測の場合、ＰＵは、ＰＵについて指定された動きベクトルを用いて動き補償により処理されるピクセルの領域を表す。イントラ予測では、近隣ブロックの隣接ピクセルが、現在ブロックを予測するための参照サンプルとして使用される。ＰＵは、該ＰＵに含まれる全部の変換ユニット（transform unit：TU）のイントラ予測モードのセットから選択される予測モードを指定する。ＴＵは、異なるサイズ（例えば、４×４、８×８、１６×１６、及び３２×３２ピクセル）を有することができ、異なる方法で処理され得る。ＴＵについて、変換符号化が実行される。つまり、予測誤差は、離散コサイン変換又は離散サイン変換で変換され（ＨＥＶＣ／Ｈ．２６５標準では、イントラ符号化ブロックに適用される）、量子化される。したがって、再構成ピクセルは、デブロッキングフィルタ（Deblocking Filter：DBF）、サンプル適応オフセット（Sample Adaptive Offset：SAO）、及び適応ループフィルタ（Adaptive Loop Filter：ALF）のようなインループフィルタが抑制しようとする量子化ノイズを含む（例えば、ユニット間のブロックノイズとして顕著になり得、シャープエッジに沿ってアーチファクトを生じる、等）。

サブ整数補間技術は、インター予測で達成可能な圧縮のレベルについて予測精度を向上するために、開発されている。この場合には、ビデオブロックを符号化するために使用される動き補償の間に生成された予測データは、サブ整数ピクセルに対応してよい。サブ整数ピクセルの値は、参照ビデオフレーム又は動きベクトルの参照する他の符号化されたユニットのビデオブロックの完全なピクセルの値から補間されてよい。ビデオエンコーダは、補間技術を用いて、例えば補間フィルタをサポートピクセルのセット、例えばフル整数ピクセルの値、及び／又は他のサブ整数ピクセル位置の前に符号化された値、に適用することにより、サブ整数ピクセル位置の値を計算してよい。

今日の標準Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣは、１／４ペル置換分解能に基づく。共同探索チーム（Joint Video Exploration Team：JVET）グループは、アフィン変換のような非平行移動動き補償モデルを含むＨＥＶＣの後のビデオ圧縮技術を調査している。分数ペル（又はサブ整数）置換を推定し及び補償するために、参照画像のフル整数ピクセルは、分数ペル、つまりサブ整数位置において補間されなければならない。分数ペル位置において補間される画像を得るために、補間フィルタが使用される。非平行移動動きも出るの補間の実行は、可変分数ペル置換である。

補間される画像の品質は、補間フィルタの特性に強く依存する。ショートタップフィルタ（例えば、バイリニア）は、高周波数を抑制し、補間されるピクチャをぼけさせることがある。他方で、ロングタップフィルタ（例えば、シンクベース（sinc−based））は、より多くのメモリ帯域幅を必要とし、高周波数を保存するが、シャープエッジの近傍で幾つかのリンギングアーチファクトを生成することがある。別の検討は、非平行移動モデルの動き補償について、補間及び予測の精度を低下させることにより、複雑性が低減されることである。

提案されるＪＥＭアフィン動きモデルでは、サポートされる２種類の動き：ズーム及び回転がある。分数ペル位置の大部分は、予測ユニット内で一定ではない。ピクセルは、補間を高速化するためにサブブロックにより置換される。１つのサブブロック内で、置換ベクトルは一定であり平行移動である。複雑性は次第に低減されたが、精度も同様に低下した。予測の品質を向上するために、動き補償の精度は、補間フィルタの量の増大と共に、サブブロックの動きベクトル置換の精度を増大することにより、向上された。非平行移動動きも出るの補間フィルタの現在の精度は、未だ向上の必要がある。

したがって、ビデオ符号化効率を向上するビデオ符号化のためのインター予測機器及び方法の改良された補間フィルタが必要である。

したがって、本発明の目的は、向上したビデオ符号化効率を提供するビデオ符号化のためのインター予測機器及び方法の改良された補間フィルタを提供することである。

前述の及び他の目的は、独立請求項の主題により達成される。更なる実装形式は、従属請求項、説明、及び図面から明らかである。

第１の態様によると、本発明は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための機器に関する。前記機器は、処理ユニットであって、前記ビデオ信号の前記現在フレーム及び参照フレーム及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定し、前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定し、前記現在フレーム内のフィルタをサポートするピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタをサポートするピクセルのセットを生成し、前記現在フレーム内の前記フィルタをサポートするピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含み、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタをサポートするピクセルのそれぞれのサンプル値を決定し、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタをサポートするピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を決定する、よう構成される処理ユニットを含む。

したがって、改良されたインター予測機器が提供され、ビデオ符号化の効率の向上を可能にする。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣半整数ピクセルを含む。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣フル整数ピクセルを含む。

第１の態様の更なる可能な実装形式では、空間高域通過フィルタは５タップフィルタ又は３タップフィルタである。一実装形式では、５タップフィルタ又は３タップフィルタは、対称フィルタ、つまり、第１及び第５フィルタ係数（又は３タップフィルタの場合、第１及び第３フィルタ係数）が同じであり、且つ第２及び第４フィルタ係数が同じであるフィルタである。一実装形式では、第１及び第５フィルタ係数は負であり、一方で、５タップフィルタの他のフィルタ係数は正である。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／３２により正規化できる以下のフィルタ係数（−６、９、２６、９、−６）を有する。

第１の態様の更なる可能な実装形式では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／８により正規化できる以下のフィルタ係数（−１、０、１０、０、−１）を有する。理解されるように、中間の半整数サポートピクセルを有しない更なる可能な実装形式では、このフィルタは、係数（−１、１０、−１）を有する３タップフィルタになる。

第１の態様の更なる可能な実装形式では、機器の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルの及び／又は参照フレーム内の対応するフィルタをサポートするピクセルのそれぞれのサンプル値を、参照フレーム内のそれぞれの近隣フル整数ピクセルのバイリニア補間に基づき決定するよう構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタをサポートするピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルに基づき、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタをサポートするピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルの平均ベクトルを決定することにより、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フル整数ピクセルの近隣フル整数ピクセルの前記１つ以上の動きベクトルを、前記ビデオ信号の前記現在フレーム及び前記参照フレーム、及び／又は動き補償モデルに基づき、決定するよう更に構成される。

第１の態様の更なる可能な実装形式では、前記機器の前記処理ユニットは、前記現在フル整数ピクセルの動きベクトルが非平行移動動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタをサポートするピクセルの前記サンプル値に空間高域通過フィルタを適用することにより、決定し、前記現在フル整数ピクセルの前記動きベクトルが伝統的動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣのような従来方式に基づき決定するよう構成される。

第１の態様の更なる可能な実装形式では、非平行移動動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

第２の態様によると、本発明は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための対応する方法に関する。前記方法は、前記ビデオ信号の前記現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定するステップと、前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定するステップと、前記現在フレーム内のフィルタをサポートするピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタをサポートするピクセルのセットを生成するステップであって、前記現在フレーム内の前記フィルタをサポートするピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含む、ステップと、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタをサポートするピクセルのそれぞれのサンプル値を決定するステップと、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタをサポートするピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記インター予測サンプル値を決定するステップと、を含む。

したがって、改良されたインター予測方法が提供され、ビデオ符号化の効率の向上を可能にする。

本発明の第２の態様によるインター予測方法は、本発明の第１の態様によるインター予測機器により実行できる。本発明の第２の態様によるインター予測方法の更なる特徴は、本発明の第１の態様及び上述の及び後述のその異なる実装形式によるインター予測機器の機能から直接生じる。

第３の態様によると、本発明は、ビデオ信号の現在フレームを符号化する符号化機器に関し、前記符号化機器は、第１の態様によるインター予測機器を含む。

第４の態様によると、本発明は、圧縮ビデオ信号の現在再構成フレームを復号する復号機器に関し、前記復号機器は、第１の態様によるインター予測機器を含む。

第５の態様によると、本発明は、コンピュータ又はプロセッサ上で実行されると第２の態様による方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトに関する。

本発明の実施形態は、特に以下の利点を提供する。本発明の実施形態は、複雑性を低いレベルに保ちながら、ピクセル単位の精度で補間を実行することを可能にする。本発明の実施形態は、任意の種類の非平行移動の動きをサポートする。本発明の実施形態は、サブブロックエッジに渡りブロックアーチファクトを除去することを可能にする。本発明の実施形態は、メモリ帯域幅を削減する。本発明の実施形態は、フィルタ係数のセットを格納するためのメモリ要件を軽減する。本発明の実施形態は、ＨＷバイリニア変換において良好に最適された再使用を可能にする。本発明の実施形態は、変換に沿ってフィルタリングの方向を揃える。本発明の実施形態は、補間されたエッジの品質を向上しながら、長い動き補間フィルタにより生じるリンギングアーチファクトを低減することを可能にする。本発明の実施形態は、再構成ピクチャの中のエッジの主観的品質を向上することを可能にする。さらに、本発明の実施形態は、任意の追加シグナリングを必要とせず、したがって、既存の補間方法を非平行移動動きによりシームレスに置き換えることができる。補間を２つのステップに分けることは、分数オフセット補償を高域通過フィルタリングから分離することを可能にする。

本発明の更なる実施形態は、以下の図面に関して説明される。
一実施形態によるインター予測機器を含む一実施形態による符号化機器を示す概略図を示す。 一実施形態によるインター予測機器を含む一実施形態による復号機器を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の一態様を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の異なる態様を示す概略図を示す。 一実施形態によるインター予測機器において実施される補間処理の異なる態様を示す概略図を示す。 一実施形態によるインター予測方法のステップを示すフロー図を示す。 表１を示す。

種々の図において、同一の参照符号は同一のまたは機能的に等価な特徴に対して使用される。

以下の説明では、本開示の部分を形成し、図示により本発明の特定の態様が配置され得る特定の態様が示される、添付の図面を参照する。他の態様が利用されてよく、本発明の範囲から逸脱することなく構造的又は論理的変更が行われてよいことが理解される。以下の詳細な説明は、したがって、限定的意味と考えられるべきではなく、本発明の範囲は添付の特許請求の範囲により定められる。

例えば、記載の方法に関連する開示は、方法を実行するよう構成される対応する装置又はシステムについても真であり、逆も同様である。例えば、特定の方法のステップが記載される場合、ユニットが明示的に記載され又は図中に示されない場合でも、対応する装置は記載された方法のステップを実行するためのユニットを含んでよい。更に、ここで説明される種々の例示的な態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。

図１は、一実施形態によるインター予測機器１４４を含む一実施形態による符号化機器１００を示す。符号化機器１００は、複数のフレーム（ここではピクチャ又は画像とも呼ばれる）を含むビデオ信号のフレームのブロックを符号化するよう構成される。ここで、各フレームは複数のブロックに分割可能であり、各ブロックは複数のピクセルを含む。一実施形態では、ブロックは、マクロブロック、符号化木ユニット、符号化ユニット、予測ユニット、及び／又は予測ブロックであり得る。

図１に示す例示的な実施形態では、符号化機器１００は、ハイブリッドビデオ符号化エンコーダの形式で実装される。通常、ビデオ信号の第１フレームは、イントラ予測のみを使用して符号化されるイントラフレームである。このために、図１に示す符号化機器１００の実施形態は、イントラ予測のためのイントラ予測ユニット１５４を更に含む。イントラフレームは、他のフレームからの情報を有しないで復号できる。イントラ予測ユニット１５４は、イントラ推定ユニット１５２により提供される情報に基づき、ブロックのイントラ予測を実行できる。

第１イントラフレームに続く後続フレームのブロックは、モード選択ユニット１６０により選択されるように、インター又はイントラ予測を用いて符号化され得る。通常、以下の更に詳述するように、インター予測ユニット１４４は、動き推定に基づき、ブロックの動き補償を実行するよう構成され得る。一実施形態では、動き推定は、符号化機器のインター推定ユニット１４２により実行され得る。しかしながら、他の実施形態では、インター推定ユニット１４２の機能は、インター予測ユニット１４４の部分としても実装できる。

さらに、図１に示すハイブリッドエンコーダの実施形態では、残差計算ユニット１０４は、元のブロックとその予測との間の差、つまり、イントラ／インターピクチャ予測の予測誤差を定める残差ブロックを決定する。この残差ブロックは、変換ユニット１０６により（例えばＤＣＴを用いて）変換され、変換係数は量子化ユニット１０８により量子化される。量子化ユニット１０８の出力、及び例えばインター予測ユニット１４４により提供される符号化又はサイド情報は、エントロピー符号化ユニット１７０により更に符号化される。

図１に示す符号化機器１００のようなハイブリッドビデオエンコーダは、通常、デコーダの処理を複製して、両者が同じ予測を生成するようにする。したがって、図１に示す実施形態では、逆量子化ユニット１１０及び逆変換ユニットは、変換ユニット１０６及び量子化ユニット１０８の逆の動作を実行し、残差ブロックの復号された近似を複製する。予測残差ブロックデータは、次に、再構成ユニット１１４により、予測の結果、つまり予測ブロックに追加される。次に、再構成ユニット１１４の出力は、イントラ予測のために使用されるようラインバッファ１１６に提供でき、画像アーチファクトを除去するためにインループフィルタにより更に処理される。最終ピクチャは、復号ピクチャバッファ１３０に格納され、後続フレームのインター予測のための参照フレームとして使用できる。

図２は、一実施形態によるインター予測機器２４４を含む一実施形態による復号機器２００を示す。復号機器２００は、符号化ビデオ信号のフレームのブロックを復号数ｒよう構成される。図２に示す実施形態では、復号機器２００は、ハイブリッドデコーダとして実装される。エントロピー復号ユニット２０４は、通常は予測誤差を含み得る符号化ピクチャデータ（つまり残差ブロック）、及び特にインター予測機器２４４及びイントラ予測ユニット２５４並びに復号機器２００の他のコンポーネントのために必要である他のサイド情報のエントロピー復号を実行する。図２に示す実施形態では、図２に示す復号機器２００のインター予測機器２４４又はイントラ予測ユニット２５４は、モード選択ユニット２６０により選択され、図１に示す符号化機器１００のインター予測機器１４４及びイントラ予測ユニット１５４と同様に機能する。その結果、符号化機器１００及び複合機器２００により同一の予測が生成できる。復号機器２００の再構成ユニット２１４は、フィルタリングされた予測ブロック、及び逆量子化ユニット２１０及び逆変換ユニット２１２により提供される残差ブロックに基づき、ブロックを再構成するよう構成される。符号化機器１００の場合のように、再構成ブロックは、イントラ予測のために使用されるラインバッファ２１６に提供でき、フィルタリングされたブロック／フレームは、将来のインター予測のためにインループフィルタ２２０により復号ピクチャバッファ２３０へ提供できる。

既に上述したように、機器１４４、２４４は、ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測を実行するよう構成される。機器１４４、２４４は、ソフトウェア及び／又はハードウェアで実装可能な処理ユニットを含む。

機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルを決定するよう構成される。一実施形態では、機器１４４、２４４の処理ユニットは、現在フレーム内の現在フル整数ピクセルに対応する参照フレーム内のピクセルの位置を決定することにより、ビデオ信号の現在フレーム及び参照フレームに基づき、現在フル整数ピクセルの動きベクトルを決定するよう構成される。一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルを、採用された動き補償モデルに基づき決定するよう構成される。例えば、伝統的な又はアフィン動き補償モデルの場合には、現在フル整数ピクセルの動きベクトルは、現在フル整数ピクセルの属するのと同じブロックのピクセルの１つ以上の動きベクトルを用いて決定できる。ここで使用されるように、「動き補償モデル」は、動き変換モデル、動きモデル記述、等とも呼ばれる。

機器１４４、２４４の処理ユニットは、現在フル整数ピクセルについて、参照フレーム内の対応するサブ整数ピクセルを、現在フル整数ピクセルの動きベクトルに基づき決定するよう更に構成される。

機器１４４、２４４ｈの処理ユニットは、現在フレーム内のフィルタをサポートするピクセルの所定のセットに基づき、参照フレーム内の対応するフィルタをサポートするピクセルのセットを生成するよう更に構成される。現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含む。

一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣半整数ピクセルを含む。例えば、一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの上、左、下、及び右の近隣半整数ピクセルを含む。

一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの１つ以上の垂直方向の及び／又は水平方向の近隣フル整数ピクセルを含む。例えば、一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの上、左、下、及び右の近隣フル整数ピクセルを含む。一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フレーム内の現在フル整数ピクセルの上、左、下、及び右の近隣半整数及びフル整数ピクセルを含み得る。

機器１４４、２４４の処理ユニットは、それぞれのサンプル値、特に参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタをサポートするピクセルの輝度値を決定するよう更に構成される。

一実施形態では、機器１４４、２４４の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルの及び／又は参照フレーム内の対応するフィルタをサポートするピクセルのそれぞれのサンプル値を、参照フレーム内のそれぞれの近隣フル整数ピクセルのバイリニア補間に基づき決定するよう構成される。図３は、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値を決定するためにバイリニア補間を用いる一例を示す。図３では、参照フレーム内の参照ブロックは、現在フレームの例示的な現在ピクセルを含む現在ブロックに対して、拡大され、回転されている。さらに、図３は、フィルタをサポートするピクセルのために使用される増大した解像度を示した。

図３の拡大図から分かるように、一実施形態では、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌは、以下のように処理ユニットにより決定できる。現在フル整数ピクセルの対応するサブ整数ピクセルは、参照フレームのサンプルグリッドの対応するセル内の分数位置（ｆｄＸ，ｆｄＹ）を有する。Ｌ０、Ｌ１、Ｌ２、Ｌ３は、参照フレーム内の近隣フル整数ピクセル（つまり、現在フル整数ピクセルの対応するサブ整数ピクセルの位置する参照フレーム内のサンプルグリッドの対応するセルの角に位置するフル整数ピクセル）の既知のサンプル値である。分数位置（ｆｄＸ，ｆｄＹ）に基づき、ｓ０、ｓ１、ｓ２、ｓ３に対応する長方形のそれぞれの領域は、以下のように計算できる：
ｓ０＝ｆｄＸ＊ｆｄＹ
ｓ１＝（１−ｆｄＸ）＊ｆｄＹ
ｓ２＝ｆｄＸ＊（１−ｆｄＹ）
ｓ３＝（１−ｆｄＸ）＊（１−ｆｄＹ）
バイリニア補間は、以下の水平係数（１−ｆｄＸ，ｆｄＸ）及び以下の垂直係数（１−ｆｄＹ，ｆｄＹ）を有する２タップフィルタを用いて表現できる。これらの重み付け因子に基づき、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌは、以下の式に基づき決定できる。
Ｌ＝Ｌ０＊ｓ３＋Ｌ１＊ｓ２＋Ｌ２＊ｓ１＋Ｌ３＊ｓ０
既に上述したように、同じバイリニア補間が、参照フレーム内の対応するフィルタをサポートするピクセルのサンプル値を決定するために使用できる。

機器１４４、２４４の処理ユニットは、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタをサポートするピクセルのサンプル値に、空間高域通過フィルタを適用することにより、現在フレーム内の現在ピクセルのインター予測サンプル値を決定するよう更に構成される。

一実施形態では、空間高域通過フィルタは５タップフィルタである。一実施形態では、５タップフィルタは、対称フィルタ、つまり、第１及び第５フィルタ係数が同じであり且つ第２及び第４フィルタ係数が同じであるフィルタである。一実施形態では、第１及び第５フィルタ係数は負であり、一方で、５タップフィルタの他のフィルタ係数は正である。一実施形態では、空間高域通過フィルタは、垂直及び水平方向に別個に適用できる。

一実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの５個の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは、因子１／３２により正規化できる所与の数値精度の範囲内の以下のフィルタ係数（−６、９、２６、９、−６）を有する。

更なる実施形態では、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの５個の近隣フル整数ピクセル及び半整数ピクセルを含み、５タップフィルタは因子１／８により正規化できる所与の数値精度の範囲内のフィルタ係数（−１、０、１０、０、−１）を有する。理解されるように、中間の半整数サポートピクセルを有しない実施形態では、このフィルタは、３個のフル整数サポートピクセルを有し及び係数（−１、１０、−１）を有する３タップフィルタになる。

一実施形態では、機器１４４、２４４の処理ユニットは、フィルタをサポートするピクセルに基づき２次元の分離可能な重畳処理に基づき現在フレーム内の現在ピクセルのインター予測サンプル値を決定するよう構成される。例えば、５タップフィルタの場合、機器１４４、２４４の処理ユニットは、現在ピクセルの５個の水平方向の及び垂直方向の近隣半整数及びフル整数ピクセルにより定められる各々の水平及び垂直ラインに５タップフィルタを適用するよう構成される。

図４は、図３に示される例について、垂直及び水平方向に５タップフィルタを用いて、機器１４４、２４４の処理ユニットにより実行される処理ユニットの異なる段階を示す。図３に示す例におけるように、参照ブロックは、現在ブロックに対して拡大及び回転され（アフィン変換に対応する）、現在フレーム内の垂直及び水平方向にある５タップフィルタは、。参照フレーム内で回転される。

インター予測機器１４４、２４４の以下の更なる実施形態では、符号化機器１００及び復号機器２００が説明される。この文脈では、インター予測機器１４４、２４４の実施形態は、符号化機器１００において実施されるようなインター予測機器１３３の実施形態、及び復号機器２００において実施されるインター予測機器２４４の実施形態に関連する。

一実施形態では、機器１４４、２４４の処理ユニットは、現在フレーム内のフィルタをサポートするピクセルのサブ整数ピクセルの各々のそれぞれの動きベクトルを、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルに基づき、決定するよう更に構成される。この目的のために、一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルの平均ベクトルを決定するよう更に構成される。例えば、現在フレーム内の現在フル整数ピクセルの上にある半整数ピクセルの動きベクトルを決定するために、機器１４４、２４４の処理ユニットは、平均、つまり、現在フル整数ピクセルの動きベクトル及び現在フル整数ピクセルの上にある近隣フル整数ピクセルの動きベクトルの平均を計算できる。

現在ピクセルの動きベクトルの決定と同様に、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルを、ビデオ信号の現在フレーム及び参照フレーム、及び／又は動き補償モデルに基づき、決定するよう更に構成され得る。

一実施形態では、機器１４４、２４４の処理ユニットは、現在フル整数ピクセルの動きベクトルが非平行移動動き補償モデルに基づき決定される場合に、現在フレーム内の現在ピクセルのインター予測サンプル値を、参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタをサポートするピクセルのサンプル値に空間高域通過フィルタを適用することにより、決定し、現在フル整数ピクセルの動きベクトルが伝統的動き補償モデルに基づき決定される場合に、現在フレーム内の現在ピクセルのインター予測サンプル値を、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣのような従来方式に基づき決定するよう構成される。一実施形態では、非平行移動動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

別の実施形態で、伝統的動き補償モデルでは、機器１４４、２４４の処理ユニットは、提案したフィルタ（つまり、バイリニアフィルタ及び皇族の高域通過フィルタ）を重畳することにより、分離可能な４タップフィルタのセットを構成するよう構成される。例えば以下の通りである。
［ｆ，１−ｆ］＊［ｃ０，ｃ１，ｃ２］＝［（１−ｆ）＊（ｃ０），ｆ＊（ｃ０）＋（１−ｆ）＊ｃ１，ｆ＊（ｃ１）＋（１−ｆ）＊ｃ２，ｆ＊（ｃ２）］
ここで、ｆは水平又は垂直方向の動きベクトルの分数オフセットであり、［ｃ０，ｃ１，ｃ２］は高域通過フィルタの係数である。この場合の分数位置は、有限のテーブルサイズを打つために特定の精度で不連続であってよい。係数の最終的な値は、基準因子により乗算され、丸め込まれてよい。その結果、各オフセットの係数の和は基準因子と等しくなる。幾つかの特定のシナリオでは、ゼロの分数オフセットを有するフィルタは１（７０１）に等しくてよい（ゼロのオフセットではフィルタリングがない）。例えば、６４に等しい基準因子及び分数オフセット精度１／３２を有すると、フィルタ係数のセット（７００）は、表１に示されるものであってよい。この技術は、例えばクロマ成分をフィルタリングするために使用されてよい。当該技術は、最悪の場合の複雑性及び／又はメモリ帯域幅を低く保つために、小さなブロックのフィルタリングのために使用されてもよい。

任意の実施形態では、実装の任意のステップにおける中間丸め込み又はクリッピングは、計算操作の入力範囲として固定数のビットを保つために適用され得る。例えば、（水平フィルタリングのような）フィルタリングの任意の分離可能なステップの後に、中間値は、（垂直フィルタリングのような）次のステップのフィルタ係数による後続の乗算で使用するために、正規化され、１６ビットの精度に丸め込まれ得る。

図５は、上述の本発明の実施形態の幾つかの態様をまとめる。

図６は、一実施形態による対応するインター予測方法６００のステップを示すフロー図を示す。方法６００は、以下のステップ：
ビデオ信号の現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、現在フル整数ピクセルの動きベクトルを決定するステップ６０１と、
現在フル整数ピクセルについて、現在フル整数ピクセルの動きベクトルに基づき、参照フレーム内の対応するサブ整数ピクセルを決定するステップ６０３と、
現在フレーム内のフィルタをサポートするピクセルの所定のセットに基づき、参照フレーム内の対応するフィルタをサポートするピクセルのセットを生成するステップであって、現在フレーム内のフィルタをサポートするピクセルの所定のセットは、現在フル整数ピクセルの１つ以上の近隣フル整数及び／又はサブ整数ピクセルを含む、ステップ６０５と、
参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタをサポートするピクセルのそれぞれのサンプル値を決定するステップ６０７と、
参照フレーム内の現在フル整数ピクセルの対応するサブ整数ピクセルのサンプル値及び参照フレーム内の対応するフィルタをサポートするピクセルのサンプル値に、空間高域通過フィルタを適用することにより、現在フレーム内の現在ピクセルのインター予測サンプル値を決定するステップ６０９と、を含む。

開示の特定の特徴又は態様は幾つかの実装又は実施形態のうちの１つのみに関して開示されていることがあるが、このような特徴又は態様は、任意の所与の又は特定の適用について望ましく有利であり得るとき、他の実装又は実施形態の１つ以上の他の特徴又は態様と結合されてよい。さらに、用語「含む」、「有する」、「伴う」又はそれらの他の変形は詳細な説明又は請求項において使用される限り、このような用語は用語「含む」と同様の方法で包括的であることを意図している。また、用語「例示的な」、「例えば」、及び「例えば」は、最良の又は最適のではなく、単に例としてを意味する。用語「結合され」及び「接続され」は、派生語と共に、使用されることがある。理解されるべきことに、これらの用語は、２つの要素が直接に物理的又は電気的に接触しているか又はそれらが直接に互いに接触していないかに関わらず、該２つの要素が協働し又は互いに相互作用することを示すために使用されていることがある。

特定の態様がここに示され説明されたが、種々の代替の及び／又は均等な実装が、本開示の範囲から逸脱することなく、示され及び説明された特定の態様の代わりに用いられてよい。本願は、ここで議論した特定の態様の任意の適応又は変形をカバーすることを意図している。

以下の請求項の中の要素は対応するラベルにより特定の順序で記載されるが、請求項の引用がこれらの要素の一部又は全部の実装のための特定の順序を特に示さない限り、これらの要素は、該特定の順序で実施されることに限定されることを必ずしも意図しない。

多くの代替、変更、及び変形が、上述の教示に照らして、当業者に明らかになる。もちろん、当業者は、本発明のここに説明したものより多数の適用が存在することを直ちに認識する。本発明は１つ以上の特定の実施形態を参照して説明されたが、当業者は、本発明の範囲から逸脱することなく、それらに多くの変化が行われ得ることを理解する。したがって、添付の請求項の範囲及びそれらの均等物の範囲内で、本発明はここに具体的に説明された以外の方法で実施されてよいことが理解されるべきである。

Claims (18)

1. ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための機器であって、前記機器は、処理ユニットであって、
   前記ビデオ信号の前記現在フレーム及び参照フレーム及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定し、
   前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定し、
   前記現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成し、前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含み、
   前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定し、
   前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記のインター予測されたサンプル値を決定する、
   よう構成される処理ユニットを含む、機器。
2. 前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フレーム内の１つ以上の垂直方向の及び／又は水平方向の近隣半整数ピクセルを含む、請求項１に記載の機器。
3. 前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フレーム内の１つ以上の垂直方向の及び／又は水平方向の近隣フル整数ピクセルを含む、請求項１又は２に記載の機器。
4. 前記空間高域通過フィルタは５タップ又は３タップフィルタである、請求項１乃至３のいずれか一項に記載の機器。
5. 前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び半整数ピクセルを含み、前記５タップフィルタは以下のフィルタ係数（−６、９、２６、９、−６）を有する、請求項４に記載の機器。
6. 前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、１つ以上の近隣フル整数ピクセル及び／又は前記現在フル整数ピクセルの半整数ピクセルを含み、前記５タップフィルタはフィルタ係数（−１、０、１０、０、−１）を有する又は前記３タップフィルタはフィルタ係数（−１、１０、−１）を有する、請求項４に記載の機器。
7. 前記機器の前記処理ユニットは、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの及び／又は前記参照フレーム内の前記対応するフィルタサポートピクセルの前記それぞれのサンプル値を、前記参照フレーム内の前記それぞれの近隣フル整数ピクセルのバイリニア補間に基づき決定するよう構成される、請求項１乃至６のいずれか一項に記載の機器。
8. 前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルに基づき、決定するよう更に構成される、請求項１乃至７のいずれか一項に記載の機器。
9. 前記機器の前記処理ユニットは、前記現在フレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルの各々のそれぞれの動きベクトルを、前記現在フル整数ピクセルの前記動きベクトル及び前記現在フル整数ピクセルの近隣フル整数ピクセルの１つ以上の動きベクトルの平均ベクトルを決定することにより、決定するよう更に構成される、請求項８に記載の機器。
10. 前記機器の前記処理ユニットは、前記現在フル整数ピクセルの近隣フル整数ピクセルの前記１つ以上の動きベクトルを、前記ビデオ信号の前記現在フレーム及び前記参照フレーム、及び／又は動き補償モデルに基づき、決定するよう更に構成される、請求項８又は９に記載の機器。
11. 前記機器の前記処理ユニットは、前記現在フル整数ピクセルの動きベクトルが非平行移動動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測されたサンプル値を、前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に空間高域通過フィルタを適用することにより、決定し、前記現在フル整数ピクセルの前記動きベクトルが伝統的動き補償モデルに基づき決定される場合に、前記現在フレーム内の前記現在ピクセルの前記インター予測されたサンプル値を、従来方式に基づき決定するよう構成される、請求項１乃至１０のいずれか一項に記載の機器。
12. 前記非平行移動動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである、請求項１１に記載の機器。
13. 前記処理ユニットは、バイリニアフィルタと後続の高域通過フィルタとの重畳として構成された分離可能４タップフィルタの前記セットを構成するよう構成される、請求項１乃至１２のいずれか一項に記載の機器。
14. 前記処理ユニットは、前記のフィルタリング処理において中間丸め込み演算を適用するよう構成される、請求項１乃至１３のいずれか一項に記載の機器。
15. ビデオ信号の現在フレームの現在ブロックの複数のピクセルの現在フル整数ピクセルのサンプル値のインター予測のための方法であって、前記方法は、
    前記ビデオ信号の前記現在フレーム及び参照フレームに基づき及び／又は動き補償モデルに基づき、前記現在フル整数ピクセルの動きベクトルを決定するステップと、
    前記現在フル整数ピクセルについて、前記現在フル整数ピクセルの前記動きベクトルに基づき、前記参照フレーム内の対応するサブ整数ピクセルを決定するステップと、
    前記現在フレーム内のフィルタサポートピクセルの所定のセットに基づき、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成するステップであって、前記現在フレーム内の前記フィルタサポートピクセルの所定のセットは、前記現在フル整数ピクセルの１つ以上の近隣フル整数ピクセル及び／又はサブ整数ピクセルを含む、ステップと、
    前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定するステップと、
    前記参照フレーム内の前記現在フル整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に、空間高域通過フィルタを適用することにより、前記現在フレーム内の前記現在ピクセルの前記のインター予測されたサンプル値を決定するステップと、
    を含む方法。
16. ビデオ信号の現在フレームを符号化する符号化機器であって、前記符号化機器は、請求項１乃至１４のいずれか一項に記載のインター予測機器を含む符号化機器。
17. 圧縮ビデオ信号の現在再構成フレームを復号する復号機器であって、前記復号機器は、請求項１乃至１４のいずれか一項に記載のインター予測機器を含む復号機器。
18. コンピュータ又はプロセッサで実行されると、請求項１５に記載の方法を実行するプログラムコードを含むコンピュータプログラムプロダクト。

Images