JP2021517402A - ビデオコーディングのためのインター予測装置及び方法 - Google Patents

Abstract

ビデオコーディングのためのインター予測装置及び方法を提供する。ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在のピクセルのサンプル値のインター予測のための方法が提案される。方法は、現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定する段階と、複数のブロック単位動きベクトルに基づいて現在のピクセルのピクセル単位動きベクトルを決定する段階と、現在のピクセルのピクセル単位動きベクトルに基づいて参照フレームにおける１つ又は複数の参照ピクセルを決定する段階と、参照フレームにおける１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて現在のピクセルのインター予測サンプル値を決定する段階とを備える。このように、コーディング効率が改善される。

Description

本発明は、ビデオコーディング分野に関する。より具体的には、本発明は、ビデオコーディングのためのインター予測装置及び方法、ならびに、かかるインター予測装置を備えるエンコード装置及びデコード装置に関する。

デジタルビデオ通信及びストレージアプリケーションが、広範囲のデジタルデバイス、例えば、デジタルカメラ、携帯無線電話、ラップトップ、ブロードキャストシステム、ビデオ電話会議システム等によって実装されている。これらのアプリケーションの最も重要かつ困難なタスクの１つがビデオ圧縮である。ビデオ圧縮のタスクは複雑であり、圧縮効率及び演算の複雑性という２つの相反するパラメータによって制約される。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ又はＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣのようなビデオコーディング規格は、これらのパラメータ間に良好なトレードオフを提供する。このような理由で、ビデオコーディング規格をサポートすることは、ほぼあらゆるビデオ圧縮アプリケーションにとって必須の要件である。

最先端のビデオコーディング規格は、元のフレーム又はピクチャをフレーム又はピクチャのブロックに分割することに基づいている。これらのブロックの処理は、これらのサイズ、空間位置及びエンコーダによって規定されるコーディングモードに依存する。コーディングモードは、予測のタイプに従って、イントラ及びインター予測モードという２つのグループに分類されることが可能である。イントラ予測モードは、同じフレーム（ピクチャ又は画像とも称される）のピクセルを用いて参照サンプルを生成し、ブロックのピクセルの再構築のために予測値を算出する。イントラ予測は、空間予測とも称される。インター予測モードは時間的予測のために設計され、前の又は次のフレームの参照サンプルを用いて、現在のフレームのブロックのピクセルを予測する。予測段階の後で、元の信号とその予測との間の相違である予測エラーに対して変換コーディングが実行される。次に、変換係数及びサイド情報が、エントロピコーダ（例えば、ＣＡＢＡＣ ｆｏｒ ＡＶＣ／Ｈ．２６４ ａｎｄ ＨＥＶＣ／Ｈ．２６５）を用いてエンコードされる。最近採用されたＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ規格（ＩＳＯ／ＩＥＣ ２３００８−２：２０１３，"Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ ２：Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｎｏｖｅｍｂｅｒ ２０１３）は、コーディング効率及び演算の複雑性の間に合理的なトレードオフを提供する最先端のビデオコーディングツールのセットを規定する。ＩＴＵ−Ｔ Ｈ．２６５／ＨＥＶＣ規格の概要"Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ"が、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， Ｖｏｌ． ２２， Ｎｏ． １２， Ｄｅｃｅｍｂｅｒ ２０１２において、Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎによって提供されており、その内容全体が参照によって本明細書組み込まれている。

ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣビデオコーディング規格と同様に、ＨＥＶＣ／Ｈ．２６５ビデオコーディング規格は、元のフレームをいわゆるコーディングユニット（ＣＵ）形式のフレームブロックに分割することを規定する。ＣＵの各々は、より小さいＣＵ又は予測ユニット（ＰＵ）のいずれかにさらに分割されてよい。ＰＵは、ＰＵのピクセルに適用される処理のタイプに従って、イントラ又はインター予測されてよい。インター予測の場合、ＰＵは、ＰＵに対して規定された動きベクトルを用いる動き補償によって処理されるピクセルの面積を表す。イントラ予測では、近隣ブロックの隣接ピクセルが、現在のブロックを予測するための参照サンプルとして用いられる。ＰＵは、このＰＵに含まれる全ての変換ユニット（ＴＵ）に対して、イントラ予測モードのセットから選択される予測モードを規定する。ＴＵは、異なるサイズ（例えば、４×４、８×８、１６×１６及び３２×３２ピクセル）を有してよく、異なる方式で処理されてよい。ＴＵでは、変換コーディングが実行される。すなわち、予測エラーが、離散コサイン変換又は離散サイン変換（ＨＥＶＣ／Ｈ．２６５規格では、これはイントラコーディングされるブロックに適用される）で変換され、量子化される。従って、再構築されたピクセルは、量子化ノイズ（これは例えば、ユニット間のブロック性、シャープなエッジと共にリンギングアーチファクト等として顕在化し得る）を含み、デブロッキングフィルタ（ＤＢＦ）、サンプルアダプティブオフセット（ＳＡＯ）及びアダプティブループフィルタ（ＡＬＦ）のようなインループフィルタがその抑制を試みる。

ビデオ信号のビットレートを低下させるために、ＩＳＯ及びＩＴＵコーディング規格は、予測エラーの変換コーディングと組み合わせた動き補償予測によるハイブリッドビデオコーディングを適用する。各ブロックでは、前に送信された参照画像における対応位置を参照する動き（又は変位）ベクトルが、推定及び送信される。現在の規格であるＨ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣは、１／４ペル変位の精度に基づいている。今、Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ（ＪＶＥＴ）グループが、ＨＥＶＣビデオ圧縮技術の後継技術を模索している。一部の不均一な動き補償が、Ａｄｖａｎｃｅｄ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ（ＡＴＭＶＰ）のようなＪｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌにおいて調査された。この技術は、ビデオデータのブロックのサブブロックについての動き情報導出に関する。これらの技術は、近隣サブブロックの動き情報から、サブブロックの各々について動き情報を導出することを含む。近隣サブブロックは、空間的に及び／又は時間的に近隣の及び／又はコロケートされたサブブロックを含んでよい。

サブブロックレベルの動き場は、サブブロック境界を不連続にする可能性がある。この種の不連続性を排除するために、参照画像は、ピクセルレベルの（又はより高精度な）動きベクトル場を用いなければならない。分数ペル位置に対する補間画像を取得するために、補間フィルタが用いられる。ＰＵ内における不均一な動きベクトル分配の補間では、可変的な分数ペル変位が問題である。

サブブロックレベルの動き補償は、実装ではより単純なものとして用いられるが、予測が粗くなる。サブブロックレベルの動きベクトル場（ＭＶＦ）は、各参照フレームに対して保持され、ピクセルレベルでこれを保持することが可能であるが、このようなレベルの動き場のサイズは極めて高く、メモリの観点から２つより多くの追加フレームを要し、メモリ帯域幅も増加する。

さらに、現在用いられている補間フィルタは、可能な各分数オフセットに対して独自のフィルタを有する。ピクセルレベルのＭＶＦを用いることは、演算の複雑性を増加させ、実装を複雑にする。

予測品質を改善するために、動き補償の精度は、補間フィルタの量を増加させることにより、サブブロックに対する動きベクトル変位の精度を向上させることによって改善された。現在、不均一な動きモデルに対する補間フィルタリングの精度は、依然として改善が求められている。

このように、ビデオコーディング効率を改善したビデオコーディング用インター予測装置及び方法が必要とされている。

本発明の目的は、ビデオコーディング効率を改善したビデオコーディング用インター予測装置及び方法を提供することである。

前述の及び他の目的が、独立請求項の主題によって実現される。さらなる実装形式は、独立請求項、本明細書及び図から明らかである。

本発明の第１の態様は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在のピクセルのサンプル値のインター予測のための装置に関する。 インター予測装置は、現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定することと、複数のブロック単位動きベクトルに基づいて現在のピクセルのピクセル単位動きベクトルを決定することと、現在のピクセルのピクセル単位動きベクトルに基づいて参照フレームにおける１つ又は複数の参照ピクセルを決定することと、参照フレームにおける１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて現在のピクセルのインター予測サンプル値を決定することとを実行するように構成される処理ユニットを備える。

このように、改善されたインター予測装置が提供され、ビデオコーディングの効率改善を可能にする。

より具体的には、改善されたインター予測装置は、複雑性を低レベルで保持しつつ、ピクセル単位の精度で補間を実行することを可能にする。参照フレームから粗い精度で導出される動きベクトルマップは、（双線形のような）単純なスケールアップによって改善（拡大）可能である。ピクセルレベルの精度でより平滑な動きベクトル場（ＭＶＦ）を有することで、可変的な分数オフセットに影響されにくい技術を適用することによって、予測が実行される。以下、より詳細に説明されるように、本発明の実施形態は、あらゆる種類の不均一な動きをサポートし、ブロック又はサブブロックに沿った不連続性を回避し、（エンコード／再構築された近隣ＰＵからの動きベクトルを用いることによって）ＰＵに沿った不連続性を回避し、複雑性を低レベルで保持し、補間の精度を改善し、ブロック又はサブブロックエッジにわたるブロッキングアーチファクトを除去し、メモリ帯域幅を減少させ、ＨＷ双線形変換において良好に最適化された再利用を行い、補間されたエッジの品質を改善しつつ（サブＰＵ動き補償を有するＰＵ精度に対する）変換によって生じるリンギングアーチファクトを減少させ、再構築されたピクチャにおけるエッジの主観的品質を向上させることを可能にする。

第１の態様の実装形式の例において、複数のブロックは、現在のブロックを含む。このようにインター予測は、特に効率的にされることが可能となる。

実装形式のさらなる例において、複数のブロックは、現在のブロックの近隣ブロックを含む。このようにインター予測は、特に効率的にされることが可能となる。近隣ブロックは、特に、現在のブロックの以下の近隣ブロック、例えば、左上、上、右上、右、右下、下、左下又は左の近隣ブロックの１つであってよい。

第１の態様のさらなる可能な実装形式において、処理ユニットは、複数のブロック単位動きベクトルの成分を補間することによって、現在のピクセルに対するピクセル単位動きベクトルを決定するように構成される。

第１の態様のさらなる可能な実装形式において、処理ユニットは、補間によって現在のピクセルに対するピクセル単位動きベクトルを決定するように構成される。例えば、双線形補間、キュービック補間、又はスプライン補間を用いることによる。

第１の態様のさらなる可能な実装形式において、現在のブロックは、コーディングツリーユニット（ＣＴＵ）の予測ユニット（ＰＵ）又はＣＴＵのＰＵのサブブロックである。

第１の態様のさらなる可能な実装形式において、現在のピクセルは完全整数ピクセルであり、処理ユニットは、現在の完全整数ピクセルに対して、現在の完全整数ピクセルのピクセル単位動きベクトルに基づいて参照フレームにおける対応サブ整数ピクセルを決定するように構成される。

第１の態様のさらなる可能な実装形式において、処理ユニットは、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットに基づいて、参照フレームにおける対応フィルタサポートピクセルのセットを生成することであって、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在の完全整数ピクセルの１つ又は複数の近隣サブ整数及び／又は完全整数ピクセルを含む、生成することと、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセル及び対応フィルタサポートピクセルのそれぞれのサンプル値を決定することと、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセルのサンプル値及び参照フレームにおける対応フィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレームにおける現在のピクセルのインター予測サンプル値を決定することとを実行するように構成される。

第１の態様のさらなる可能な実装形式において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在のフレームにおける現在のピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣半整数ピクセルを含む。

第１の態様のさらなる可能な実装形式において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在のフレームにおける現在の完全整数ピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣完全整数ピクセルを含む。

第１の態様のさらなる可能な実装形式において、空間ハイパスフィルタは、５タップフィルタである。より具体的には、空間ハイパスフィルタは、半ピクセル領域における５タップフィルタである。このように、これはピクセル領域における３タップフィルタに対応する。実装形式において、５タップフィルタは、対称フィルタ、すなわち、第１及び第５のフィルタ係数が同一であり、第２及び第４のフィルタ係数が同一であるフィルタである。実装形式において、第１及び第５のフィルタ係数は負であり、５タップフィルタの他のフィルタ係数は正である。

第１の態様の他の可能な実装形式において、空間ハイパスフィルタは、３タップフィルタである。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、参照フレームにおけるそれぞれの近隣完全整数ピクセルの双線形補間に基づいて、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセル及び参照フレームにおける対応フィルタサポートピクセルのそれぞれのサンプル値を決定するように構成される。

本発明の第２の態様は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在のピクセルのサンプル値のインター予測のための方法に関する。方法は、現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定する段階と、複数のブロック単位動きベクトルに基づいて現在のピクセルのピクセル単位動きベクトルを決定する段階と、現在のピクセルのピクセル単位動きベクトルに基づいて参照フレームにおける１つ又は複数の参照ピクセルを決定する段階と、参照フレームにおける１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて現在のピクセルのインター予測サンプル値を決定する段階とを備える。

本発明の第２の態様に係るインター予測方法は、本発明の第１の態様に係るインター予測装置によって実行可能である。本発明の第２の態様に係るインター予測方法のさらなる特徴は、本発明の第１の態様に係るインター予測装置及びその上述及び後述の異なる実装形式の機能から直接もたらされる。

本発明の第３の態様は、ビデオ信号の現在のフレームをエンコードするためのエンコード装置に関し、エンコード装置は、本発明の第１の態様に係るインター予測装置を備える。

本発明の第４の態様は、圧縮されたビデオ信号の現在の再構築フレームをデコードするためのデコード装置に関し、デコード装置は、本発明の第１の態様に係るインター予測装置を備える。

本発明の第５の態様は、コンピュータ又はプロセッサ上で実行される場合に、第２の態様に係る方法を実行するためのプログラムコードを備えるコンピュータプログラム製品に関する。

本発明のさらなる実施形態は、以下の図に関連して説明される。

実施形態に係るインター予測装置を備える実施形態に係るエンコード装置を示す概略図を示す。 実施形態に係るインター予測装置を備える実施形態に係るデコード装置を示す概略図を示す。 実施形態に係るインター予測装置において実装される動きベクトル補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装される動きベクトル補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装される動きベクトル補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装される動きベクトル補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装されるサンプル値補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装されるサンプル値補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測装置において実装されるサンプル値補間スキームの異なる態様を示す概略図を示す。 実施形態に係るインター予測方法の段階を示すフロー図を示す。

様々な図において、同一の参照符号が、同一又は機能的に均等な機能について用いられる。

以下の説明において、添付図面になされる参照は開示の一部を形成し、添付図面において、本発明が配置され得る具体的態様が、例示として示される。他の態様が利用され得ること、構造的又は論理的な変更が本発明の範囲から逸脱することなくなされ得ることが理解されよう。したがって、本発明の範囲は添付の特許請求の範囲によって定義されるものであり、以下の詳細な説明は限定的な意味でとられるべきものではない。

例えば、説明される方法に関連する開示は、その方法を実行するように構成される対応するデバイス又はシステムにもあてはまってよく、その逆も同様であることが理解されよう。例えば、具体的な方法の段階が説明される場合に、対応するデバイスは、説明される方法の段階を実行するユニット、このようなユニットが明示的に説明又は図示されていない場合であっても含んでよい。さらに、本明細書において説明される様々な例示的態様の特徴は、別段具体的に言及されない限り、互いに組み合わせられてよいことが理解されよう。

図１は、実施形態に係るインター予測装置１４４を備える実施形態に係るエンコード装置１００を示す概略図を示す。エンコード装置１００は、複数のフレームを含むビデオ信号のフレーム（本明細書においてピクチャ又は画像とも称される）のブロックをエンコードするように構成され、各フレームは複数のブロックに分割可能であり、各ブロックは複数のピクセルを含む。実施形態において、ブロックは、マクロブロック、コーディングツリーユニット、コーディングユニット、予測ユニット及び／又は予測ブロックであってよい。

図１に示される例示的な実施形態において、エンコード装置１００は、ハイブリッドビデオコーディングエンコーダの形式で実装される。通常、ビデオ信号の第１のフレームは、イントラ予測のみを用いてエンコードされるイントラフレームである。このために、図２に示されるエンコード装置１００の実施形態は、イントラ予測のためのイントラ予測ユニット１５４をさらに備える。イントラフレームは、他のフレームからの情報なく、デコードされてよい。イントラ予測ユニット１５４は、イントラ推定ユニット１５２によって提供される情報に基づいて、ブロックのイントラ予測を実行してよい。

第１のイントラフレームに続く後続のフレームのブロックは、モード選択ユニット１６０によって選択されるように、インター又はイントラ予測を用いてコーディングされてよい。概して、インター予測ユニット１４４は、以下、より詳細にさらに説明されるように、動き推定に基づいて、ブロックの動き補償を実行するように構成されてよい。実施形態において、動き推定は、エンコード装置のインター推定ユニット１４２によって実行されてよい。しかしながら、他の実施形態では、インター推定ユニット１４２の機能は、インター予測ユニット１４４の一部として同様に実装されてよい。

さらに、図１に示されるハイブリッドエンコーダの実施形態において、残差算出ユニット１０４は、元のブロックとその予測との間の相違、すなわち、イントラ／インターピクチャ予測の予測エラーを規定する残差ブロックを決定する。この残差ブロックは、変換ユニット１０６によって（例えば、ＤＣＴを用いて）変換され、変換係数は、量子化ユニット１０８によって量子化される。量子化ユニット１０８の出力は、例えば、インター予測ユニット１４４によって提供されるコーディング又はサイド情報と共に、エントロピエンコードユニット１７０によってさらにエンコードされる。

図１に示されるエンコード装置１００のようなハイブリッドビデオエンコーダは、通常、両方が同じ予測を生成するように、デコーダ処理を複製する。このように、図１に示される実施形態において、逆量子化ユニット１１０及び逆変換ユニットは、変換ユニット１０６及び量子化ユニット１０８の逆オペレーションを実行し、デコードされた残差ブロックの近似を複製する。デコードされた残差ブロックのデータは、次に、再構築ユニット１１４によって、予測結果、すなわち、予測ブロックに追加される。次に、再構築ユニット１１４の出力は、ラインバッファ１１６に提供されてイントラ予測に用いられてよく、インループフィルタ１２０によって、画像のアーチファクトを除去するためにさらに処理される。最終的なピクチャはデコードピクチャバッファ１３０に格納され、後続のフレームのインター予測のための参照フレームとして用いられてよい。

図２は、実施形態に係るインター予測装置２４４を備える実施形態に係るデコード装置２００を示す。デコード装置２００は、エンコードされたビデオ信号のフレームのブロックをデコードするように構成される。図２に示される実施形態において、デコード装置２００は、ハイブリッドデコーダとして実装される。エントロピデコードユニット２０４は、概して、予測エラー（すなわち、残差ブロック）を含む可能性のあるエンコードされたピクチャデータ、動きデータ、及び、具体的にはインター予測装置２４４及びイントラ予測ユニット２５４ならびにデコード装置２００の他のコンポーネントに必要とされる他のサイド情報のエントロピデコードを実行する。図２に示される実施形態において、図３に示されるデコード装置２００のインター予測装置２４４又はイントラ予測ユニット２５４は、モード選択ユニット２６０によって選択され、図１に示されるエンコード装置１００のインター予測装置１４４及びイントラ予測ユニット１５４と同じ方式で機能することにより、同一の予測がエンコード装置１００及びデコード装置２００によって生成されてよい。デコード装置２００の再構築ユニット２１４は、フィルタリングされた予測ブロック及び逆量子化ユニット２１０及び逆変換ユニット２１２によって提供された残差ブロックに基づいて、ブロックを再構築するように構成される。エンコード装置１００の場合のように、再構築されたブロックは、イントラ予測に用いられるためにラインバッファ２１６に提供されてよく、フィルタリングされたブロック／フレームは、将来のインター予測のためにインループフィルタ２２０によってデコードピクチャバッファ２３０に提供されてよい。

既に上述されたように、装置１４４、２４４は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在のピクセルのサンプル値のインター予測を実行するように構成される。装置１４４、２４４は、処理ユニットを備え、これは、ソフトウェア及び／又はハードウェアで実装されてよい。

図３において示され、かつ、以下、より詳細にさらに説明されるように、インター予測装置１４４、２４４の処理ユニットは、現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定することと、複数のブロック単位動きベクトルに基づいて現在のピクセルのピクセル単位動きベクトルを決定することと、現在のピクセルのピクセル単位動きベクトルに基づいて参照フレームにおける１つ又は複数の参照ピクセルを決定することと、参照フレームにおける１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて現在のピクセルのインター予測サンプル値を決定することとを実行するように構成される。

例えば、インター予測装置１４４、２４４は、ビデオ信号の現在のフレーム及び参照フレームに基づいて、現在のブロックに対する少なくとも１つのブロック単位動きベクトルを、少なくとも１つのさらなるブロック、好ましくは現在のブロックの近隣ブロックに対する少なくとも１つのさらなるブロック単位動きベクトルを決定し、現在のブロックに対する少なくとも１つのブロック単位動きベクトルに基づいて、現在のピクセルに対するピクセル単位動きベクトルを、少なくとも１つのさらなるブロック、好ましくは現在のブロックの近隣ブロックに対する少なくとも１つのさらなるブロック単位動きベクトルを決定し、現在のフレームにおける現在のピクセルに対応する参照フレームにおけるピクセルのピクセル単位動きベクトル及びサンプル値に基づいて、現在のフレームにおける現在のピクセルのインター予測サンプル値を決定するように構成されてよい。

実施形態において、インター予測装置１４４、２４４の処理ユニットは、双線形補間又は他の形式の補間を用いて、現在のピクセルに対するピクセル単位動きベクトルを決定するように構成される。実施形態において、現在のブロックの少なくとも１つの近隣ブロックは、現在のブロックの左上、上、右上、右、右下、下、左下又は左に少なくとも１つの近隣ブロックを含む。実施形態において、現在のブロックは、より大きいブロックのサブブロック及び／又はコーディングツリーユニット（ＣＴＵ）の予測ユニット（ＰＵ）であってよい。

例えば、実施形態において、インター予測装置１４４、２４４の処理ユニットは、現在のブロックのブロック単位動きベクトル及び現在のブロックの左、左上及び上の近隣ブロックのブロック単位動きベクトルに基づいて、現在のブロックの左上の象限に位置する現在のピクセルに対するピクセル単位動きベクトルを決定してよい。双線形補間を用いてピクセル単位動きベクトルを決定するために、インター予測装置１４４、２４４の処理ユニットは、現在のブロックの左上の象限に位置する現在のピクセルと、現在のブロック及び現在のブロックの左、左上及び上の近隣ブロックのそれぞれの中心ピクセルとの間のそれぞれの垂直及び／又は水平距離を決定し、適宜、例えば、公知のＭＶ又は外挿されたもので隣接するサブブロックの中心と決定されるＭＶを有するピクセルからの（両方の軸における）距離に従って、それぞれのブロック単位動きベクトルを重みづけしてよい。

図４ａ、４ｂ及び４ｃは、実施形態に係るインター予測装置１４４、２４４の上述された態様のいくつか及びさらなる態様を示す概略図を示す。図４ａは、ビデオストリームの複数の例示的ブロックの複数の例示的ブロック単位動きベクトルを示す。図４ｂは、インター予測装置１４４、２４４によって導出及び外挿され、エンコード装置１００及び／又はデコード装置のバッファ１１６、２１６に格納されるブロック単位動きベクトル場を示す。図４ａ及び４ｂの詳細図を示す図４ｃは、例として双線形補間を用いてインター予測装置１４４、２４４によって導出される例示的ピクセル単位動きベクトル場を示す。より具体的には、図４ｃは、内部に示される複数のブロックの右下の４×４ブロックの各々の４×４ピクセルの各々に対して導出されたピクセル単位動きベクトルを示す。

インター予測装置１４４、２４４の処理ユニットの実施形態において、現在のブロックに対するブロック単位動きベクトル成分及び現在のブロックの少なくとも１つの近隣ブロックに対するさらなるブロック単位動きベクトル成分を補間することによって、現在のピクセルに対するピクセル単位動きベクトルを決定するように構成される。

実施形態において、インター予測装置１４４、２４４の処理ユニットは、参照フレームにおける対応サブ整数ピクセルに基づいて、現在のフレームにおける現在の完全整数ピクセルのインター予測サンプル値を決定するために、ピクセル単位動きベクトルを用いるように構成される。

装置１４４、２４４の処理ユニットは、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットに基づいて、参照フレームにおける対応フィルタサポートピクセルのセットを生成するようにさらに構成される。現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在の完全整数ピクセルの１つ又は複数の近隣サブ整数及び／又は完全整数ピクセルを含む。

実施形態において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在のフレームにおける現在の完全整数ピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣半整数ピクセルを含む。例えば、実施形態において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在の完全整数ピクセルの上、左、下及び右の近隣半整数ピクセルを含む。

実施形態において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在のフレームにおける現在の完全整数ピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣完全整数ピクセルをさらに含む。例えば、実施形態において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在の完全整数ピクセルの上、左、下及び右の近隣完全整数ピクセルをさらに含む。このように実施形態において、現在のフレームにおけるフィルタサポートピクセルの予め定められたセットは、現在のフレームにおける現在の完全整数ピクセルの上、左、下及び右の近隣半整数及び／又は完全整数ピクセルを含んでよい。

装置１４４、２４４の処理ユニットは、それぞれのサンプル値、具体的には、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセル及び対応フィルタサポートピクセルの輝度値を決定するようにさらに構成される。

実施形態において、装置１４４、２４４の処理ユニットは、参照フレームにおけるそれぞれの近隣完全整数ピクセルの双線形補間に基づいて、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセル及び参照フレームにおける対応フィルタサポートピクセルのそれぞれのサンプル値を決定するように構成される。図５は、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセルのサンプル値を決定するために双線形補間を用いる例を示す。図５において、参照フレームにおける参照ブロックは、現在のフレームの例示的な現在のピクセルを含む現在のブロックに対して拡大及び回転させられる。さらに、図５は、フィルタサポートピクセルのために用いられる向上した精度を示す。

図５における拡大図からわかるように、実施形態において、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセルのサンプル値Ｌは、以下の通り、処理ユニットによって決定されてよい。現在の完全整数ピクセルの対応サブ整数ピクセルは、参照フレームのサンプルグリッドの対応セルにおいて、分数位置（ｆｄＸ，ｆｄＹ）を有する。Ｌ０、Ｌ１、Ｌ２、Ｌ３は、参照フレームにおける近隣完全整数ピクセル（すなわち、現在の完全整数ピクセルの対応サブ整数ピクセルが位置する参照フレームのサンプルグリッドの対応セルの角に位置する完全整数ピクセル）の既知のサンプル値である。分数位置（ｆｄＸ，ｆｄＹ）に基づいて、ｓ０、ｓ１、ｓ２、ｓ３に対応する長方形のそれぞれの面積は、以下の通り算出されてよい：ｓ０＝ｆｄＸ＊ｆｄＹ，ｓ１＝（１−ｆｄＸ）＊ｆｄＹ，ｓ２＝ｆｄＸ＊（１−ｆｄＹ），ｓ３＝（１−ｆｄＸ）＊（１−ｆｄＹ）。双線形補間は、以下の水平係数（１−ｆｄＸ，ｆｄＸ）及び以下の垂直係数（１−ｆｄＹ，ｆｄＹ）を有する２タップフィルタを用いて表されてよい。これらの重み付け因子に基づいて、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセルのサンプル値Ｌは、以下の数式に基づいて決定されてよい。

Ｌ＝Ｌ０＊ｓ３＋Ｌ１＊ｓ２＋Ｌ２＊ｓ１＋Ｌ３＊ｓ０
既に上述されたように、同じ双線形補間が、参照フレームにおける対応フィルタサポートピクセルに対するサンプル値及び／又はピクセル単位動きベクトル成分を決定するために用いられてよい。

装置１４４、２４４の処理ユニットは、参照フレームにおける現在の完全整数ピクセルの対応サブ整数ピクセルのサンプル値及び参照フレームにおける対応フィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレームにおける現在のピクセルのインター予測サンプル値を決定するようにさらに構成される。

実施形態において、空間ハイパスフィルタは５タップフィルタである。実施形態において、５タップフィルタは、対称フィルタ、すなわち、第１及び第５のフィルタ係数が同一であり、第２及び第４のフィルタ係数が同一であるフィルタである。実施形態において、第１及び第５のフィルタ係数は負であり、５タップフィルタの他のフィルタ係数は正である。実施形態において、空間ハイパスフィルタが、垂直及び水平方向において別個に適用されてよい。

図６は、図５に示される例で、垂直及び水平方向において５タップフィルタを用いる装置１４４、２４４の処理ユニットによって実行される処理ユニットの異なる段階を示す。図５に示される例のように、参照ブロックは、現在のブロックに対して（アフィン変換に対応して）拡大及び回転させられ、現在のフレームにおいて垂直及び水平である５タップフィルタは、参照フレームにおいて回転させられる。

以下のインター予測装置１４４、２４４のさらなる実施形態において、エンコード装置１００及びデコード装置２００が説明される。この文脈では、インター予測装置１４４、２４４の実施形態は、エンコード装置１００において実装されるインター予測装置１４４の実施形態、及びデコード装置２００において実装されるインター予測装置２４４の実施形態に関することが理解されよう。

実施形態において、インター予測装置１４４、２４４の処理ユニットは、現在のブロックの近隣ブロックの１つ又は複数に対するブロック単位動きベクトルを外挿によって導出するようにさらに構成される。例えば、少なくとも１つのＭＶが少なくとも１つの近隣ブロックに対して既知である場合、このＭＶは、ＭＶデータが存在しない他の近隣ブロックに対するＭＶとして用いられてよい。あるいは、（例えば、全ての近隣ブロックがＭＶデータを含まない場合に）ＭＶデータを有さない近隣ブロックのＭＶは、ヌルベクトルに設定されてよい。

実施形態において、エンコード装置１００は、上述のように、追加のマージモード又は公知のマージインデックスの１つを用いて、現在のフレームにおける現在のピクセルのインター予測サンプル値がピクセル単位動きベクトルに基づいて決定されたことをデコード装置２００にシグナリングするように構成される。

図７は、上述された本発明の実施形態のいくつかの態様の概要を示す。

図８は、インター予測方法８００の実施形態の例の段階を示すフロー図を示す。この例において、方法８００は、以下の段階：、ビデオ信号の現在のフレーム及び参照フレームに基づいて、現在のブロックに対する少なくとも１つのブロック単位動きベクトルを、少なくとも１つのさらなるブロック、好ましくは現在のブロックの近隣ブロックに対する少なくとも１つのさらなるブロック単位動きベクトルを決定する段階８０１と、現在のブロックに対する少なくとも１つのブロック単位動きベクトルに基づいて、現在のピクセルに対するピクセル単位動きベクトルを、少なくとも１つのさらなるブロック、好ましくは現在のブロックの近隣ブロックに対する少なくとも１つのさらなるブロック単位動きベクトルを決定する段階８０３と、現在のフレームにおける現在のピクセルに対応する参照フレームにおけるピクセルのピクセル単位動きベクトル及びサンプル値に基づいて、現在のフレームにおける現在のピクセルのインター予測サンプル値を決定する段階８０５とを備える。

開示の具体的な機能又は態様が、いくつかの実装又は実施形態の１つのみに関連して開示されたであろう一方で、このような機能又は態様は、あらゆる所与の又は具体的な用途にとって望ましくかつ有利となり得るように、他の実装又は実施形態の１つ又は複数の他の機能又は態様と組み合わせられてよい。さらに、用語「含む」、「有する」、「伴う」、又はこれらの他の変形が詳細な説明又は特許請求の範囲のいずれかにおいて用いられる程度において、このような用語は、用語「備える」と同様の態様で、包括的であることが意図される。また、用語「例示的な」、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」及び「例えば（ｅ．ｇ．）」は、最良又は最適であることを意味するのではなく、単に例であることを意味する。用語「連結」及び「接続」は、これらの派生語と共に用いられていてよい。これらの用語は、２つの要素が、直接物理的又は電気的な接触にあるか、又はこれらが互いに接触していないかに関わらず、これらが直接互いに協働又は相互作用することを示すために用いられたであろうことを理解されたい。

具体的態様が本明細書において図示及び説明されたが、当業者であれば、様々な変更及び／又は均等な実装が、本開示の範囲から逸脱することなく、図示及び説明された具体的態様に置換され得ることが理解されよう。本願は、本明細書において説明された具体的態様のあらゆる応用形態又はバリエーションを包含することを意図するものである。

以下の特許請求の範囲の要素は、対応する符号と共に、特定の順序で記載されているが、特許請求の範囲の記載が、これらの要素のいくつか又は全てを実装するための特定の順序を別段暗示しない限り、これらの要素が当該特定の順序で実装されるように限定することを必ずしも意図するものではない。

多数の代替形態、修正、及びバリエーションが、上述の教示に鑑みれば、当業者にとって明らかであろう。勿論、当業者であれば、本発明の多数の応用形態が本明細書において説明されたものを超えて存在することを容易に認識する。本発明は、１つ又は複数の具体的な実施形態を参照して説明されたが、当業者であれば、本発明の範囲から逸脱することなく、多くの変更を加えることができることを認識する。したがって、添付の特許請求の範囲及びこれらの均等の範囲内において、本明細書において具体的に説明されたものと異なる態様で、本発明が実施され得ることが理解されよう。

Claims (17)

1. ビデオ信号の現在のフレームの現在のブロックの現在のピクセルのサンプル値のインター予測のための装置であって、
   前記現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定することと、
   前記複数のブロック単位動きベクトルに基づいて前記現在のピクセルのピクセル単位動きベクトルを決定することと、
   前記現在のピクセルの前記ピクセル単位動きベクトルに基づいて前記参照フレームにおける１つ又は複数の参照ピクセルを決定することと、
   前記参照フレームにおける前記１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて前記現在のピクセルのインター予測サンプル値を決定することと
   を実行するように構成される処理ユニットを備える
   装置。
2. 前記複数のブロックは前記現在のブロックを含む、請求項１に記載の装置。
3. 前記複数のブロックは、前記現在のブロックの近隣ブロックを含む、請求項１又は２に記載の装置。
4. 前記処理ユニットは、前記複数のブロック単位動きベクトルの前記成分を補間することによって、前記現在のピクセルに対する前記ピクセル単位動きベクトルを決定するように構成される、請求項１から３のいずれか一項に記載の装置。
5. 前記処理ユニットは、補間によって前記現在のピクセルに対する前記ピクセル単位動きベクトルを決定するように構成される、請求項１から４のいずれか一項に記載の装置。
6. 前記現在のブロックは、
   コーディングツリーユニットの予測ユニット、又は
   コーディングツリーユニットの予測ユニットのサブブロック
   の１つである、請求項１から５のいずれか一項に記載の装置。
7. 前記現在のピクセルは完全整数ピクセルであり、前記処理ユニットは、前記現在のピクセルに対して、前記現在のピクセルの前記ピクセル単位動きベクトルに基づいて前記参照フレームにおける対応サブ整数ピクセルを決定するように構成される、請求項１から６のいずれか一項に記載の装置。
8. 前記処理ユニットは、
   前記現在のフレームにおけるフィルタサポートピクセルの予め定められたセットに基づいて、前記参照フレームにおける対応フィルタサポートピクセルのセットを生成することであって、前記現在のフレームにおける前記フィルタサポートピクセルの予め定められたセットは、前記現在の完全整数ピクセルの１つ又は複数の近隣サブ整数及び／又は完全整数ピクセルを含む、生成することと、
   前記参照フレームにおける前記現在の完全整数ピクセルの前記対応サブ整数ピクセル及び前記対応フィルタサポートピクセルのそれぞれのサンプル値を決定することと、
   前記参照フレームにおける前記現在の完全整数ピクセルの前記対応サブ整数ピクセルの前記サンプル値及び前記参照フレームにおける前記対応フィルタサポートピクセルの前記サンプル値に空間ハイパスフィルタを適用することによって、前記現在のフレームにおける前記現在のピクセルの前記インター予測サンプル値を決定することと
   を実行するように構成される、請求項７に記載の装置。
9. 前記現在のフレームにおける前記フィルタサポートピクセルの予め定められたセットは、前記現在のフレームにおける前記現在のピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣半整数ピクセルを含む、請求項８に記載の装置。
10. 前記現在のフレームにおける前記フィルタサポートピクセルの予め定められたセットは、前記現在のフレームにおける前記現在の完全整数ピクセルの１つ又は複数の垂直方向及び／又は水平方向近隣完全整数ピクセルを含む、請求項８又は９に記載の装置。
11. 前記空間ハイパスフィルタは５タップフィルタである、請求項８又は９に記載の装置。
12. 前記空間ハイパスフィルタは３タップフィルタである、請求項８又は１０に記載の装置。
13. 前記装置の前記処理ユニットは、前記参照フレームにおけるそれぞれの近隣完全整数ピクセルの双線形補間に基づいて、前記参照フレームにおける前記現在の完全整数ピクセルの前記対応サブ整数ピクセル及び前記参照フレームにおける前記対応フィルタサポートピクセルのそれぞれのサンプル値を決定するように構成される、請求項８から１２のいずれか一項に記載の装置。
14. ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在のピクセルのサンプル値のインター予測のための方法であって、
    前記現在のフレームの複数のブロックと１対１で関連する複数のブロック単位動きベクトルを決定する段階と、
    前記複数のブロック単位動きベクトルに基づいて前記現在のピクセルのピクセル単位動きベクトルを決定する段階と、
    前記現在のピクセルの前記ピクセル単位動きベクトルに基づいて前記参照フレームにおける１つ又は複数の参照ピクセルを決定する段階と、
    前記参照フレームにおける前記１つ又は複数の参照ピクセルの１つ又は複数のサンプル値に基づいて前記現在のピクセルのインター予測サンプル値を決定する段階と
    を備える
    方法。
15. ビデオ信号の現在のフレームをエンコードするためのエンコード装置であって、請求項１から１３のいずれか一項に記載のインター予測装置を備えるエンコード装置。
16. 圧縮されたビデオ信号の現在の再構築フレームをデコードするためのデコード装置であって、請求項１から１３のいずれか一項に記載のインター予測装置を備えるデコード装置。
17. コンピュータ又はプロセッサ上で実行される場合に請求項１４に記載の方法を実行するためのプログラムコードを備えるコンピュータプログラム製品。

Images