JP2018530244A - 選択可能な補間フィルタを用いるビデオ動き補償のための装置および方法 - Google Patents

Abstract

本発明は、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器であって、ビデオストリームの少なくとも１つの参照フレームを記憶するように構成されたフレームバッファ（２０７）と、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニット（２１０）であって、分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する、予測ユニット（２１０）とを備えるビデオ符号器に関する。予測ユニット（２１０）は、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ（３０２）、タップフィルタ（３０３）、および当該タップフィルタ（３０３）の後に続く鮮明化フィルタ（３１１）のうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

Description

本発明は、一般に、ビデオ処理の分野、およびビデオ動き補償のための装置に関し、詳細には、ビデオにおけるフレームを予測する動き補償をサポートするためのビデオ符号器およびビデオ復号器に関する。本発明は、動き補償を使用してビデオストリームを符号化するための方法および復号するための方法にさらに関する。最後に、本発明は、そのような方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

ビデオ処理の分野において、特に、ハイブリッドビデオ符号化およびハイブリッドビデオ圧縮の分野において、インタ予測およびイントラ予測、ならびに変換符号化を使用することが知られている。そのようなハイブリッドビデオ符号化技術は、Ｈ．２６１、Ｈ．２６３，ＭＰＥＧ−１、２、４、Ｈ．２６４／ＡＶＣもしくはＨ．２６５／ＨＥＶＣのような、知られているビデオ圧縮標準において使用される。

図１は、最新技術によるビデオ符号器を示す。ビデオ符号器１００は、ビデオストリームのフレームまたはピクチャの入力ブロックを受信するための入力と、コード化されたビデオビットストリームを生成するための出力とを備える。ビデオ符号器１００は、ビデオストリームに予測、変換、量子化、およびエントロピ符号化を適用するように適応させられる。変換、量子化、およびエントロピ符号化は、出力としてコード化されたビデオビットストリームを生成するように、それぞれ、変換ユニット１０１、量子化ユニット１０２、およびエントロピコード化ユニット１０３によって行われる。

ビデオストリームは、複数のフレームに対応し、各フレームは、予測ユニット１０８によってイントラ符号化またはインタ符号化され得るあるサイズのブロックに分割される。例えば、ビデオストリームの第１のフレームのブロックが、予測ユニット１０８を介してイントラ符号化される。イントラフレームは、同一のフレーム内の情報だけを使用して符号化され、したがって、それは、独立に復号されることができ、かつビットストリームにおけるランダムアクセスのためのエントリポイントを提供することができる。ビデオストリームのその他のフレームのブロックは、予測ユニット１０８を介してインタ符号化される、すなわち、復元された参照フレームと呼ばれる符号化されたフレームからの情報が時間冗長性を低減するのに使用され、したがって、インタ符号化されたブロックは、復元された参照フレームにおける同一サイズのブロックから予測される。予測ユニット１０８は、フレームのブロックがイントラ符号化されるか、またはインタ符号化されるかを選択するように適応させられる。

インタ予測を実行するために、符号化された参照フレームが、逆量子化ユニット１０４、逆変換ユニット１０５によって処理され、次に、予測ブロックに追加され、ループフィルタリングユニット１０６によって、復元された参照フレームを獲得するように処理されて、次に、その復元された参照フレームが、時間的インタフレーム予測のために使用されるようにフレームバッファ１０７に記憶される。

予測ユニット１０８は、入力として、インタ符号化されるべき、またはイントラ符号化されるべき現在のフレームもしくはピクチャと、フレームバッファ１０７からの１つもしくは複数の参照フレームもしくは参照ピクチャとを備える。動き推定および動き補償が、予測ユニット１０８によって適用される。動き推定は、ある費用関数に基づいて動きベクトルおよび参照フレームを獲得するのに使用される。次に、動き補償が、現在のフレームの現在のブロックを、参照フレームの参照ブロックの現在のフレームへの変換に関して記述する。予測ユニット１０８が、現在のブロックに関する予測ブロックを出力し、予測ブロックは、符号化されるべき現在のブロックとそれの予測ブロックの間の差を最小化する、すなわち、残差ブロックを最小化する。残差ブロックの最小化は、例えば、レート−歪み最適化手順に基づく。

現在のブロックとそれの予測の間の差、すなわち、残差ブロックは、次に、変換ユニット１０１によって変換される。変換係数は、量子化ユニット１０２およびエントロピコード化ユニット１０３によって量子化され、エントロピ符号化される。そのように生成されたコード化されたビデオビットストリームは、イントラ符号化されたブロックと、インタ符号化されたブロックとを備える。

そのようなハイブリッドビデオ符号化は、予測誤差の変換符号化と組み合わされた動き補償された予測を備える。各ブロックに関して、推定された動きベクトルも、コード化されたビデオビットストリームにおいてシグナリングデータとして伝送される。今日の標準、Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣは、動きベクトルに関して１／４ピクセル変位解像度に基づく。分数ピクセル変位を推定し、補償するために、参照ブロックが分数ピクセル位置上で補間されなければならない。補間フィルタが、分数ピクセル位置上でそのような補間されたフレームを獲得するのに使用される。

補間されたブロックの品質は、使用される補間フィルタの特性に強く依存する。ショートタップフィルタ、例えば、バイリニアフィルタが、高い周波数を抑制して、補間されたフレームがぼかされるようにすることがある。ロングタップフィルタのような他のフィルタは、高い周波数を保存するが、鮮明なエッジの近隣においていくらかのリンギングアーチファクトを生成することがある。別の問題は、動き補償が、以前にコード化され、かつ復元されたフレームを参照フレームとして利用することであり、すなわち、参照フレームは、ギブス効果として参照される、変換係数の量子化によってもたらされるアーチファクトを包含することがある。これらのアーチファクトのため、エッジ、ならびにエッジの周囲の区域が歪ませられることもある。

復元された参照ブロックおよび復元された参照フレームは、ビデオ符号器自体によって生成される望ましくない偽のエッジを包含することもある。そのようなアーチファクトは、各ブロックの別個の独立した処理によってもたらされ得る。これに関して、ループフィルタリングユニット１０６が、これらのブロッキングアーチファクトを緩和することを目的とするデブロッキングフィルタリングを適用するが、ループフィルタリングユニット１０６は、これらのアーチファクトを部分的に取り除くことしかできない。他のエッジアーチファクトは、平滑な勾配領域の粗い量子化によってもたらされる勾配バンディングと関係していることがあり得る。したがって、参照ブロックおよび参照フレームは、望ましくないエッジを包含し得る。

動き予測の品質は、いくつかの要因に依存する。復元された参照ブロックの品質である、参照ブロックにおけるアーチファクトおよび望ましくないノイズの存在が、動き予測の品質に強く影響する。さらに、補間フィルタが、補間されたエッジの品質、それらのぼけ、および補間されたブロックにおけるリンギングの存在を規定する。また、予測ブロックの内容も、アーチファクトのほとんどはエッジ近くに出現するので、動き予測の品質に影響を及ぼす。

動き補償された予測を向上させるいくつかの技法が、従来技術から知られている。例えば、ビデオ符号化標準Ｈ．２６５／ＨＥＶＣが、以前のＨ．２６４／ＡＶＣ標準と比べて、より良好な補間品質を提供するより高度な固定線形補間フィルタを用いて提案されている。また、適応ループフィルタリング（ＡＬＦ）が、ループフィルタリングユニット１０６において行われることができる。そのようなフィルタリングは、通常、ウィナーベースである、線形適応フィルタを導入して、復元されたブロックと元のブロックの間の差を最小化する。しかし、そのようなループ内フィルタリング技法は、ループ内フィルタが動き補間より前に参照ブロックに適用されるため、動き補間フィルタによってもたらされるアーチファクトを取り除くことができない。

適応補間フィルタ（ＡＩＦ）は、補間されたブロックと元のブロックの間の差を最小化することによって各分数動き位置に関してウィナーベースの最適な補間フィルタを見出そうと試みる、知られている技法である。見出されたフィルタ係数が、次に、復号器に渡される必要がある。そのような適応フィルタは、線形であり、かつ係数の行列またはベクトルの形態になっている。さらに、各分数動きベクトル位置は、それ自らの最適なフィルタを有する。適応フィルタの形態、および分数位置に関していくつかのフィルタを転送する必要性は、適応補間フィルタリング技法に関して相当なシグナリングオーバーヘッドを暗示する。

前述の欠点および問題を認識して、本発明は、最新技術を向上させることを目的とする。特に、本発明の目的は、後続のフレームのビデオストリームの向上した符号化および復号のためのビデオ符号器、符号化方法、ビデオ復号器、および復号方法を提供することである。

本発明は、予測符号化の品質を向上させることを特に意図する。特に、本発明は、動き補償によってもたらされる、詳細には、分数ピクセル位置上の参照ブロックの補間によってもたらされるアーチファクトを取り除くこと、ならびに参照フレームの量子化アーチファクトを低減することによって予測の品質を向上させることを意図する。本発明のさらなる目的は、コード化されたビデオビットストリームにおけるシグナリングオーバーヘッドを低いレベルに保つことである。

本発明の前述の目的は、添付の独立クレームにおいて提供されるソリューションによって実現される。本発明の有利な実装形態が、それぞれの従属クレームにおいてさらに規定される。

本発明の第１の態様が、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器を提供する。ビデオ符号器は、ビデオストリームの少なくとも１つの参照フレームを記憶するように構成されたフレームバッファを備える。ビデオ符号器は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニットを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニットは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

その結果、予測ユニットの動き補間スキームは、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタである言及される３つの補間フィルタタイプを備える。予測ユニットは、次に、ビデオ内容に依存してフィルタタイプを選択してよい。これら３つのフィルタタイプは、異なるタイプの内容のためのコード化処理中に選択されてよい。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタと鮮明化フィルタのうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

その結果、参照ブロックは、ビデオの特定の内容に適応させられることができる補間フィルタによって補間され得る。適応は、ビデオ内容の局所的特徴を考慮に入れることができ、要求されるシグナリングオーバーヘッドは、適応および伝送のために１つだけの係数を有する補間フィルタのパラメータ表現が使用されるために制限されることができる。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタは、非線形フィルタである。

その結果、そのような非線形鮮明化フィルタのその使用は、動き予測強化のために好ましい。アンシャープマスキング技法のような線形鮮明化またはぼけ除去フィルタに基づく従来のエッジ強化技法は、主観的な品質を高め得るが、動き補間フィルタリングによってもたらされるリンギングアーチファクトを抑制することができない。また、そのような線形鮮明化は、リンギングを増加させて、客観的なパフォーマンス特性を低下させることさえある。他方、提案される非線形鮮明化フィルタは、リンギング除去に関してより良好な結果を提供することができ、このため、有利である。また、鮮明化フィルタに関する、例えば、適応鮮明化フィルタに関する非線形設計の使用は、適応パラメータの数を有利に低減することもでき、このため、シグナリングオーバーヘッドを有利に低減することもできる。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタは、単一の適応パラメータによって制御されるように構成される。

その結果、要求されるシグナリングオーバーヘッドは、鮮明化フィルタのために単一の適応パラメータしか使用されないことのためにさらに制限されることができる。特に、予測符号化のために使用されるブロックのサイズは、シグナリングオーバーヘッドを同時に増加させることなしに低減されることができる。

第１の態様によるビデオ符号器の実装形態において、適応鮮明化フィルタは、ソースブロックのエッジマップを生成するように適応させられたエッジマップ計算ユニットを備え、前記ソースブロックは、参照ブロックまたは予測ブロックである。鮮明化フィルタは、ソースブロックのエッジマップをぼかすように適応させられたぼけフィルタを備える。鮮明化フィルタは、ぼかされたエッジマップを高域フィルタリングすることによって、ソースブロックの各位置に関する導関数ベクトルを生成するように適応させられた高域フィルタを備える。鮮明化フィルタは、鮮明化強度係数を用いて導関数ベクトルをスケール変更することによって変位ベクトルを生成するように適応させられたスケール変更ユニットを備える。鮮明化フィルタは、変位ベクトルに基づいて予測ブロックをワープさせるように適応させられたワーピングユニットを備える。

その結果、鮮明化フィルタのこの構造は、リンギングアーチファクトの除去に関してより良好な結果を有利に提供することができる非線形鮮明化フィルタを規定する。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタの適応パラメータは、鮮明化強度係数を含む。

その結果、適応パラメータとして鮮明化強度係数を使用することは、シグナリングオーバーヘッドをさらに低減する、１つだけの適応パラメータしか要求されないことを暗示する。

第１の態様によるビデオ符号器の実装形態において、予測ユニットは、残差ブロックを最小化する鮮明化強度係数を選択するように構成され、前記残差ブロックは、現在のブロックと適応鮮明化フィルタによって出力される予測ブロックの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、それの設計の性質のためにリンギングを生成することができない低域フィルタである。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、単一の適応パラメータを備える。

その結果、要求されるシグナリングオーバーヘッドは、ぼけ補間フィルタのために単一の適応パラメータしか使用されないためにさらに制限されることができる。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタの適応パラメータは、ぼけ係数を含む。

その結果、適応パラメータとしてぼけ係数を使用することは、シグナリングオーバーヘッドをさらに低減する、１つだけの適応パラメータしか要求されないことを暗示する。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、ガウスフィルタまたはバイリニアフィルタであり、かつぼけ補間フィルタがガウスフィルタである場合、ぼけ係数は、ガウス分布の標準偏差である。

その結果、例えば、復元された参照フレームにおいてブロッキングおよび勾配バンディングによってもたらされる望ましくないエッジを、ぼけ補間を適用することによって抑制することが可能である。また、望ましくない高周波数ノイズが、復元された参照フレームにおいて抑制されることができる。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、標準偏差に基づいてガウスフィルタ係数を計算するように構成された計算ユニットと、計算されたガウスフィルタ係数を使用することによって、ぼけ補間フィルタの出力として予測ブロックを生成するように構成されたフィルタリングユニットとを備える。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、異なる標準偏差に基づいてガウスフィルタ係数の事前計算されたセットを記憶するように構成されたユニットと、ガウスフィルタの事前計算されたセットのうちの１つのフィルタを使用することによって、ぼけ補間フィルタの出力として予測ブロックを生成するように構成されたフィルタリングユニットとを備える。

その結果、この事前計算は、最適化手順中に計算リソースが節約されることができるという効果を有する。

第１の態様によるビデオ符号器の実装形態において、予測ユニットは、残差ブロックを最小化するぼけ係数を選択するように構成され、前記残差ブロックは、現在のブロックとぼけ補間フィルタによって出力される予測ブロックの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく。

その結果、動き補償は、最適化手順中にぼけ係数を選択することによってさらに向上させられることができる。

第１の態様によるビデオ符号器の実装形態において、タップフィルタは、シャープなステップ応答を有する固定ロングタップフィルタである。

第１の態様によるビデオ符号器の実装形態において、整数ピクセル位置、および分数ピクセル位置のそれぞれが、少なくとも３つの補間フィルタのうちの前記１つに関連付けられ、および／または、存在する場合、鮮明化フィルタおよび／またはぼけ補間フィルタの適応パラメータの所与の値に関連付けられる。

その結果、ピクセル位置は、３つの補間フィルタのうちの１つ、および、場合により、それぞれの適応パラメータに関連付けられるので、シグナリングオーバーヘッドは、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置が使用されるために低減されることができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、コード化されたビデオビットストリームを生成すること、および補間フィルタタイプ、および適応パラメータの前記所与の値、ならびに関連付けられた整数ピクセル位置または分数ピクセル位置を、コード化されたビデオビットストリームにおけるシグナリング情報として指定することを行うように構成されたコード化ユニットを備える。

その結果、復号器に伝送されなければならないシグナリング情報の量が低減されることができ、シグナリングオーバーヘッドが低減されることが可能である。

第１の態様によるビデオ符号器の実装形態において、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および存在する場合、適応パラメータの選択を暗示する。

その結果、さらなるシグナリングオーバーヘッドを導入することなしに局所的特徴に対する適応を実行することが可能である。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、整数ピクセル位置および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、適応パラメータの値を規定する少なくとも１つの補間フィルタパターンを備える。

その結果、補間フィルタパラメータは、さらなるシグナリングオーバーヘッドを導入することなしに、各補間フィルタタイプを容易に規定することができ、かつ、該当する場合、適応パラメータ値を容易に規定することができる。

その結果、復号器は、ピクセル位置に依存して補間フィルタパターンにおいて規定される補間フィルタを選択することができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、複数の補間フィルタパターンを備え、予測ユニットは、複数の補間フィルタパターンのうちの１つを選択するように構成される。

その結果、例えば、複数の補間フィルタパターンが、ビデオストリームを符号化している間、補間フィルタパターンのうちの１つを選択するだけでよいように、前もって計算され、準備されることができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、コード化されたビデオビットストリームを生成すること、および前記補間フィルタパターンを、コード化されたビデオビットストリームにおけるシグナリング情報として追加することを行うように構成されたコード化ユニットを備える。

第１の態様によるビデオ符号器の実装形態において、複数の補間フィルタパターンが提供される場合、コード化ユニットは、選択されるべき補間フィルタパターンについての選択情報を、コード化されたビデオビットストリームにおけるシグナリング情報として追加するように構成される。

その結果、この選択情報またはインデックス情報は、復号器によって選択されるべき補間フィルタパターンを示すことができる。復号器が複数の補間フィルタパターンを既に知っている場合、したがって、この選択情報は、シグナリングオーバーヘッドをさらに低減する。

第１の態様によるビデオ符号器の実装形態において、コード化ユニットは、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択されるべき補間フィルタパターンについてのシグナリング情報を追加するように構成される。

その結果、シグナリングが最適化されることができるように補間フィルタ情報を所望される粒度に設定することが可能である。

本発明の第２の態様が、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするための方法を提供する。方法は、ビデオストリームの少なくとも１つの参照フレームを記憶することを備える。方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

本発明の第２の態様による方法のさらなる特徴または実装形態は、本発明の第１の態様、またはそれの異なる実装形態によりビデオ符号器の機能を実行することができる。

本発明の第３の態様が、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するためのビデオ復号器を提供する。ビデオ復号器は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するように構成されたフレームバッファを備える。ビデオ復号器は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニットを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニットは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

その結果、第１の態様によるビデオ符号器に関して獲得される利点は、第３の態様によるビデオ復号器に関しても与えられる。

第３の態様によるビデオ復号器の実装形態において、ぼけ補間フィルタと鮮明化フィルタのうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

その結果、参照ブロックは、ビデオの特定の内容に適応させられることができる補間フィルタによって補間され得る。適応は、ビデオ内容の局所的特徴を考慮に入れることができ、要求されるシグナリングオーバーヘッドは、適応および伝送のために１つだけの係数を有する補間フィルタのパラメータ表現が使用されるために制限されることができる。

第３の態様によるビデオ復号器の実装形態において、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および／または存在する場合、適応パラメータの値を暗示する。

その結果、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置を使用することは、さらなるシグナリングオーバーヘッドを生成しない。

第３の態様によるビデオ復号器の実装形態において、予測ユニットは、補間フィルタパターンにより３つの補間フィルタのうちの１つを選択するように構成される。前記補間フィルタパターンは、動きベクトルの整数位置、およびそれに関連付けられた分数位置に関して、関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、適応パラメータの値を規定する。

その結果、補間フィルタパラメータは、補間フィルタタイプをそれぞれ容易に規定することができ、かつ、該当する場合、適応パラメータ値を容易に規定することができ、したがって、シグナリングオーバーヘッドがさらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、ビデオ復号器は、補間フィルタパターンをシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。

第３の態様によるビデオ復号器の実装形態において、ビデオ復号器は、複数の補間フィルタパターン、ならびに選択されるべき補間フィルタパターンについての選択情報をシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。予測ユニットは、獲得された選択情報により、獲得された補間フィルタパターンのうちの１つを選択すること、および選択された補間フィルタパターンにより３つの補間フィルタのうちの１つを選ぶことを行うように構成される。

その結果、この選択情報またはインデックス情報は、復号器によって選択されるべき補間フィルタパターンを示すことができる。復号器が複数の補間フィルタパターンを知ると、コード化されたビデオビットストリームを介してこの選択情報を伝送するだけでよく、したがって、シグナリングオーバーヘッドがさらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、予測ユニットは、ビデオ復号器がコード化されたビデオビットストリームを受信する前に複数の補間フィルタパターンを事前記憶するように構成される。ビデオ復号器は、選択されるべき事前記憶された補間フィルタパターンについての選択情報をシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。予測ユニットは、獲得された選択情報により事前記憶された補間フィルタパターンのうちの１つを選択すること、および選択された補間フィルタパターンにより３つの補間フィルタのうちの１つを選ぶことを行うように構成される。

その結果、復号器は、複数の補間フィルタパターンを既に知っており、コード化されたビデオビットストリームを介して、この選択情報を伝送するだけでよい。すると、シグナリングオーバーヘッドは、さらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、復号ユニットは、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択されるべき補間フィルタパターンについてのシグナリング情報を獲得するように構成される。

その結果、シグナリングが最適化されることができるように補間フィルタ情報を所望される粒度に設定することが可能である。

本発明の第１の態様による、特に、少なくとも３つの補間フィルタ、およびそれらの構造に関するビデオ符号器のさらなる特徴または実装形態は、本発明の第３の態様によるビデオ復号器にも該当する。

本発明の第４の態様が、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するための方法を提供する。方法は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶することを備える。方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

本発明の第４の態様による方法のさらなる特徴または実装形態は、本発明の第３の態様によるビデオ復号器、およびそれの異なる実装形態の機能を実行することができる。

本発明の第５の態様が、コンピュータプログラムがコンピューティングデバイス上で走るとき、そのような符号化および／または復号方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。

本発明は、局所的な画像特徴により適応的に調整され得るぼけ補間、従来の補間、および鮮明化補間を含む向上させられた動き補間フィルタリングスキームを適用することに存する動き補償を提案する。動き補間スキームは、コード化処理中に選択され得る異なる３つのフィルタタイプ、すなわち、ぼけフィルタ、固定フィルタ、および鮮明化フィルタを備える。ぼけフィルタおよび鮮明化フィルタは、符号化ピクチャの局所的特徴によりうまく適合するように適応的であってよい。補間フィルタタイプおよび適応パラメータを復号器にシグナリングするために、分数動きベクトル位置を使用することが提案される。

提案される補間フィルタリングスキームを用いると、３つのフィルタタイプを適用することによって符号化ピクチャの局所的特徴に対する適応を実行することが可能である。シグナリングオーバーヘッドを低減し、かつ符号化ピクチャのより小さい領域に対する適応を可能にする、適応のための１つだけの係数を有する適応フィルタのパラメータ表現のために低減されたシグナリングオーバーヘッドが実現されることができる。シグナリングオーバーヘッドは、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置が使用されるためにさらに低減されることができる。適応は、低減されたシグナリングオーバーヘッドのために符号化ピクチャの小さい領域の局所的特徴に対して実行されることができる。動き補間フィルタによってもたらされるエッジのリンギングアーチファクトおよびぼけは、補間されたエッジの品質を保ちながら低減されることができる。また、参照ピクチャにおける変換係数の量子化によってもたらされるエッジのリンギングアーチファクトおよびぼけを低減することも可能である。また、動きぼけによってもたらされるエッジのぼけが低減されることもできる。提案されるスキームは、例えば、復元された参照ピクチャにおいてブロッキングおよび勾配バンディングによってもたらされる望ましくないエッジを、ぼけ補間を適用することによって抑制すること、および復元された参照ピクチャにおける望ましくない高周波数ノイズを、ぼけ補間を適用することによって抑制することができる。また、提案されるスキームは、復元されたピクチャにおけるエッジの主観的な品質を高め、かつぼけた勾配領域および平滑な勾配領域の主観的な品質を高めることもする。提案される補間フィルタリングは、ループ参照フィルタリングまたはループ内参照フィルタリングが行うジョブを実行し、同時に、従来の動き補間フィルタによってもたらされるアーチファクトを画像内容に適応的に低減する。

本出願において説明されるすべてのデバイス、要素、ユニット、および手段は、ソフトウェア要素もしくはハードウェア要素、またはこれらの任意の種類の組合せにおいて実装されることができることに留意されたい。本出願において説明される様々なエンティティによって実行されるすべてのステップ、ならびに様々なエンティティによって実行されるように説明される機能は、それぞれのエンティティが、それぞれのステップおよび機能を実行するように適応させられる、または構成されることを意味するように意図される。特定の実施形態の以下の説明において、永遠のエンティティによって完全に形成されるべき特定の機能またはステップが、その特定のステップまたは機能を実行するそのエンティティの特定の詳細な要素の説明において反映されない場合でさえ、これらの方法および機能は、それぞれのソフトウェア要素もしくはハードウェア要素、またはこれらの任意の種類の組合せにおいて実装されることができることが当業者には明白であろう。

本発明の前述の態様および実装形態は、添付の図面に関連して特定の実施形態の以下の説明において説明される。
最新技術によるビデオ符号器を示す図である。 本発明の実施形態によるビデオ符号器を示す図である。 本発明の実施形態によるビデオ符号器の補間フィルタを示す図である。 本発明の実施形態によるビデオ復号器を示す図である。 本発明の実施形態によるビデオ符号化方法を示す図である。 本発明の実施形態によるビデオ復号方法を示す図である。 本発明によるぼけ補間フィルタの実施形態を示す図である。 本発明による鮮明化フィルタの実施形態を示す図である。 本発明の実施形態によるぼけ補間フィルタに関する補間フィルタパターンを示す図である。 本発明の実施形態による鮮明化フィルタに関する補間フィルタパターンを示す図である。 本発明の実施形態による混合補間フィルタパターンを示す図である。 異なる補間フィルタパターンを有する本発明の実施形態を示す図である。

図２は、本発明の実施形態によるビデオ符号器を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器２００を示す。さらに、図３は、本発明の実施形態によるビデオ符号器の補間フィルタを示す。

ビデオ符号器２００は、特に、フレームバッファ２０７と、予測ユニットとを備える。

フレームバッファ２０７は、ビデオストリームの少なくとも１つの参照フレームまたは参照ピクチャを記憶するように構成される。予測ユニット２１０は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成される。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。

さらに、予測ユニット２１０は、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ３０２、
− タップフィルタ３０３、および
− 当該タップフィルタ３０３の後に続く鮮明化フィルタ３１１
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

図３に示される鮮明化フィルタ３１１は、参照符号２０８によって図２において参照される。図３のぼけ補間フィルタ３０２およびタップフィルタ３０３は、補間フィルタブロック２０９によって図２に表される。

参照フレームは、ビデオストリームの現在のフレームとは異なり得る。特に、本発明の脈絡において、現在のフレームは、現在、コード化されているビデオストリームのフレームである一方で、参照フレームは、既にコード化されており、かつ次に復元されるビデオストリームのフレームである。以下において、「フレーム」という特徴に対するいずれの参照も、「ピクチャ」という特徴に対する参照によって置き換えられてよい。

現在のフレームは、インタ符号化技法を使用してコード化されてよく、すなわち、現在のフレームは、現在のフレームとは別個である少なくとも１つの参照フレームから予測される。参照フレームは、以前のフレーム、すなわち、後続のフレームのビデオストリーム内の現在のフレームに先立って位置付けられたフレームであることができる。あるいは、前方予測が使用される場合、参照フレームは、将来のフレーム、すなわち、現在のフレームの後に位置付けられたフレームであることができる。複数の参照フレームの場合、少なくとも１つが、そのような以前のフレームであることができ、かつそれらのうちの少なくとも１つが、そのような将来のフレームであることができる。参照フレームは、イントラ符号化されることができ、すなわち、まったくさらなるフレームなしに、まったく他のフレームに依存することもなく符号化されることができ、したがって、それは、独立に復号されることができ、かつそれは、ランダムビデオアクセスのためのエントリポイントの役割をすることができる。

特に、予測ユニット２１０は、動きベクトルを生成すること、および参照フレームの参照ブロックと現在のフレームの現在のブロックの間の動きを推定することによって動き推定を実行するように適応させられる。動き推定は、ある費用関数が、例えば、レート−歪み最適化であることに基づいてコード化中に実行されて、参照フレームにおける最良の参照ブロックをポイントする動きベクトルを見出す。動き推定の他に、予測ユニット２１０は、動きベクトルおよび参照ブロックをベースに現在のブロックに関する予測ブロックを生成することによって動き補償を実行するようにさらに適応させられる。

特に、動き予測は、動き推定および動き補償を備える。動きベクトルは、動き推定ユニットを使用することによって生成される。参照ブロックおよび現在のブロックは、好ましくは、参照フレームおよび現在のフレームのそれぞれの区域または部分区域である。そのようなブロックは、長方形のような規則的な形状を有してよく、または不規則な形状を有してよい。あるいは、ブロックは、フレームと同一のサイズを有することができる。現在のブロックと参照ブロックの両方が同一のサイズを有する。ブロックのサイズは、サイド情報またはシグナリングデータとして復号器に伝送されるブロックモード情報を介して規定されることが可能である。ブロックは、フレームの一部分を包含する事前規定されたサイズ、例えば、６４×６４ピクセルのビデオシーケンスの基本符号化構造である符号化ユニットに対応することができる。

予測ブロックは、参照ブロックに鑑みて現在のブロックに関して生成される。特に、複数の予測ブロックが、複数の参照ブロックに鑑みて現在のフレームの複数の現在のブロックに関して生成されることができる。これらの参照ブロックは、単一の参照フレームの一部であることができ、または異なる参照フレームから選択されることができる。いくつかの予測ブロックが、現在のフレームに関して生成されることができ、かつ現在のフレームに関して生成された予測ブロックが組み合わされて、現在のフレームの予測フレームを獲得することができる。

図２のビデオ符号器２００は、特に、ハイブリッドビデオ符号化をサポートするための図１のビデオ符号器１００と同様であるさらなるユニットを備える。例えば、ビデオ符号器２００は、当技術分野において既に知られているとおり、周波数領域への変換を介して変換係数を生成するため、係数を量子化するため、および量子化された係数を、例えば、シグナリングデータと一緒にエントロピ符号化するための変換ユニット２０１、量子化ユニット２０２、およびエントロピエンコーダもしくはエントロピコード化ユニット２０３である同様のユニットを備える。変換ユニット２０１の入力は、図２においてビデオブロックとして参照される、現在のフレームの現在のブロックと、予測ユニット２１０によって出力される予測ブロックの間の差として規定される残差ブロックである。エントロピコード化ユニット２０３は、コード化されたビデオビットストリームを出力として生成するように適応させられる。

ビデオ符号器２００は、逆量子化ユニット２０４、逆変換ユニット２０５、およびループフィルタリングユニット２０６であるさらなる同様のユニットを備える。量子化ユニット２０２によって生成される量子化された変換係数は、それぞれ、逆量子化ユニット２０４および逆変換ユニット２０５によって逆量子化され、逆変換されて、変換ユニット２０１に供給される残差ブロックに対応する復元された残差ブロックを獲得する。次に、復元された残差ブロックが、残差ブロックを生成するために以前に使用された予測ブロックに追加されて、現在のブロックに対応する復元された現在のブロックを獲得するようになり、この復元された現在のブロックは、図２における復元されたビデオブロックとして参照される。復元された現在のブロックは、ループフィルタリングユニット２０６によって、ブロックごとの処理および量子化によって導入されるアーチファクトを平滑化するように処理され得る。次に、少なくとも１つの現在のブロック、または、有利には、複数の現在のブロックを備える現在のフレームが、復元された現在のブロックから復元されることができる。この復元された現在のフレームは、ビデオストリームの別のフレームのインタ予測のための参照フレームの役割をするようにフレームバッファ２０７に記憶されることができる。

本発明によって提案される動き補間スキームは、予測ユニット２１０に配置され、動き推定および動き補償のために使用されて、分数ピクセル位置および整数ピクセル位置におけるフレームブロックが得られる。図３に示されるとおり、補間スキームは、以下の３つの補間フィルタタイプ、すなわち、
− 例えば、ガウスフィルタまたはバイリニアフィルタのような、有利には、リンギングを生成しないぼけ補間フィルタ３０２、
− 一般に、リンギングを生成することがあるシャープなステップ応答を有する従来のロングタップフィルタ、例えば、Ｈ．２６５／ＨＥＶＣからの離散コサイン変換ベースの補間フィルタ（ＤＣＴ−ＩＦ）のようなタップフィルタ３０３、
− シャープなステップ応答を有する従来のロングタップフィルタと、リンギングを低減し、かつエッジの鮮明さを高める非線形鮮明化フィルタの組合せのような、タップフィルタ３０３の後に鮮明化フィルタ３１１が続く組合せ
に基づく。

予測ユニット２１０、３００は、少なくとも３つの補間フィルタのうちの１つを介して分数ピクセル解像度によりフレームバッファ２０７、３０７に記憶された参照ブロックを補間するように構成される。

動き推定中、これら３つの補間タイプのうちの１つが、例えば、最小予測誤差を行う決定ユニット３０５によって、または費用（レート／歪み）基準の最小によって選ばれることができる。

図４は、本発明の実施形態によるビデオ復号器、特に、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するためのビデオ復号器４００を示す。

ビデオ復号器４００は、特に、フレームバッファ４０７と、予測ユニット４１０とを備える。フレームバッファ４０７は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するように構成される。予測ユニット４１０は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成され、分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニット４１０は、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ３０２、
− タップフィルタ３０３、および
− 当該タップフィルタ３０３の後に続く鮮明化フィルタ３１１
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

復号器４００は、ビデオ符号器３００によって生成されたコード化されたビデオビットストリームを復号するように適応させられ、復号器４００と符号器３００の両方は、同一の予測を生成する。図３に示される鮮明化フィルタ３１１は、参照符号４１１によって図４において参照される。図３のぼけ補間フィルタ３０２およびタップフィルタ３０３は、補間フィルタブロック４０９によって図２に表される。

特に、ビデオ復号器４００は、例えば、逆量子化ユニット４０４、逆変換ユニット４０５、およびループフィルタリングユニット４０６のようなビデオ符号器２００にも存在するさらなるユニットを備えてよく、これらは、それぞれ、ビデオ符号器２００の逆量子化ユニット２０４、逆変換ユニット２０５、およびループフィルタリングユニット２０６に対応する。エントロピ復号ユニット４０３が、受信されたコード化されたビデオビットストリームを復号すること、および量子化された残差変換係数、および、存在する場合、シグナリング情報を対応するように獲得することを行うように適応させられる。量子化された残差変換係数は、逆量子化ユニット４０４および逆変換ユニット４０５に供給されて、残差ブロックを生成する。残差ブロックは、予測ブロックに追加され、追加は、ループフィルタリングユニット４０６に供給されて、復号されたビデオを獲得する。復号されたビデオのフレームは、フレームバッファ４０７に記憶されることができ、かつインタ予測のための参照フレームの役割をすることができる。

ビデオ符号器２００とビデオ復号器４００は、ぼけ補間フィルタ３０２、タップフィルタ３０３、およびタップフィルタ３０３と鮮明化フィルタ３１１の組合せである同様の補間フィルタを備える。有利には、ぼけ補間フィルタ３０２と鮮明化フィルタ３１１のうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

符号器側と復号器側で同一の予測を確実にするため、整数ピクセル位置、および分数ピクセル位置のそれぞれが、少なくとも３つの補間フィルタ３０２、３０３、３０３＋３１１のうちの１つに関連付けられ、および／または、存在する場合、鮮明化フィルタ３１１および／またはぼけ補間フィルタ３０２の適応パラメータの所与の値に関連付けられる。

符号器２００および復号器４００に関して、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および存在する場合、適応パラメータの選択を暗示する。

ビデオ符号器２００側で、３つの補間フィルタのなかの補間フィルタの選択は、動き推定中に獲得される動きベクトルによって規定される整数ピクセル位置または分数ピクセル位置に依存する。符号器２００のコード化ユニット２０３は、コード化されたビデオビットストリームを生成すること、および補間フィルタタイプ、および、存在する場合、適応パラメータの所与の値、ならびに関連付けられた整数ピクセル位置または分数ピクセル位置を、コード化されたビデオビットストリームにおけるシグナリング情報として指定することを行うように構成される。さらに、コード化ユニット２０３は、動きベクトルを、コード化されたビデオビットストリームにおけるシグナリング情報として指定する。

ビデオ復号器４００は、コード化されたビデオビットストリームからシグナリング情報を獲得するように構成される。復号器４００は、補間フィルタタイプ、および関連付けられたピクセル位置を受信し、特に、各ピクセル位置に関して、関連付けられた補間フィルタタイプを受信する。存在する場合、復号器４００は、各ピクセル位置に関する適応パラメータの所与の値も受信する。さらに、ビデオ復号器４００は、動き推定中に符号器２００によって決定された動きベクトルを、コード化されたビデオビットストリームにおけるシグナリング情報として獲得するように構成される。このため、獲得された動きベクトルを使用して、復号器４００は、ピクセル位置、および関連付けられた補間フィルタタイプ、ならびに、存在する場合、関連付けられた適応パラメータ値を推測することができる。したがって、シグナリングオーバーヘッドを低減しながら、符号器側と復号器側で同一の予測が行われることができる。

図５は、本発明の実施形態によるビデオ符号化方法を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするための方法を示す。

方法は、ビデオストリームの少なくとも１つの参照フレームを記憶するステップ５０１を備える。

方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ５０２をさらに備える。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。さらに、予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ、
− タップフィルタ、および
− 当該タップフィルタの後に続く鮮明化フィルタ
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間することを備える。

図６は、本発明の実施形態によるビデオ復号方法を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するための方法を示す。

方法は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するステップ６０１を備える。

方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ６０２をさらに備える。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ、
− タップフィルタ、および
− 当該タップフィルタの後に続く鮮明化フィルタ
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

ビデオ符号器２００またはビデオ復号器４００に関して説明されるさらなる態様および特徴は、符号化方法および復号方法にも該当する。

図７は、本発明によるぼけ補間フィルタの実施形態を示し、特に、ビデオ符号器２００のぼけ補間フィルタ３０２の実施形態を示す。

図７の実施形態において、ぼけ補間フィルタ３０２は、パラメータ形態におけるガウスフィルタとして実装される。ぼけの量は、ガウスフィルタの１つの適応パラメータσだけによって制御されることができる。この単一の適応パラメータは、フィルタが容易に最適化されることができ、かつ適応ぼけパラメータを転送するためのシグナリングオーバーヘッドが低減されることができるという利点を有する。

ぼけ補間フィルタ３０２は、動きベクトルを入力として受信する。動きベクトルは、動き推定中に符号器２００によって決定される。動きベクトルに基づいて、ユニット７０１は、動きベクトルのピクセル位置の分数部分を得るように構成される。

さらなるユニット７０２が、所与のパラメータσを用いてガウスフィルタ係数を計算すること、および分数シフトを獲得することを行うように構成される。ユニット７０３が、参照ブロック、およびユニット７０２によって計算された補間フィルタ係数を入力として使用して、動き予測ブロックを獲得するように構成される。次に、ぼけ補間フィルタ３０２が、予測誤差および費用基準を介して予測効率を計算するように構成される。

予測誤差は、残差ブロックに対応し、元のブロックと予測ブロックの間の差として計算される。

予測効率を最適化するのに、ユニット７０２は、パラメータσの別の値に関して係数を計算し、したがって、対応する予測ブロックがユニット７０３によって獲得されることができ、かつ対応する予測効率がぼけ補間フィルタ３０２によって計算されることができるように構成される。パラメータσの異なる値に関するこれらのステップの反復の後、ぼけ補間フィルタ３０２が、最良の予測効率を提供するパラメータσを選ぶ。

あるいは、パラメータσの異なる値を用いてガウスぼけフィルタを事前計算すること、および異なる分数位置に関してそれらを記憶することが可能である。このことは、最適化手順中にいくらかの計算リソースを節約することを許す。

ビデオ復号器４００は、図７に示される符号器２００のぼけ補間フィルタ３０２と同様のぼけ補間フィルタを備える。ビデオ復号器４００のぼけ補間フィルタは、ユニット７０１、７０２、および７０３を同様に備え、動きベクトルを入力として同様に受信する。この動きベクトルは、コード化されたビデオビットストリームからシグナリング情報としてビデオ復号器４００によって獲得される。復号器４００は、補間フィルタパターンにより動きベクトルの分数部分からフィルタ係数を生成するために使用されるべきパラメータσの値を導き出す。

ビデオ符号器２００のぼけ補間フィルタとビデオ復号器４００のぼけ補間フィルタの間の差は、好ましくは、予測効率の計算、およびパラメータσの異なる値に関する予測効率の反復計算による予測効率の最適化に存する。

図８は、本発明による適応鮮明化フィルタの実施形態を示し、特に、ビデオ符号器２００の適応鮮明化フィルタ３１１の実施形態を示す。

鮮明化フィルタ３１１は、好ましくは、非線形フィルタである。線形フィルタの代わりに非線形鮮明化フィルタを使用することが、動き補間フィルタ、および参照ブロックまたは参照フレームの量子化によってもたらされるアーチファクトを取り除くために好ましい。非線形フィルタの選択は、鮮明化フィルタ３１１の適応パラメータの数を低減することが可能である。特に、非線形フィルタは、１つだけの適応パラメータを利用することができ、したがって、コード化されたビデオビットストリームのシグナリングオーバーヘッドが低減される。本発明は、鮮明化フィルタ３１１を制御する複数の適応パラメータの使用も範囲に含むが、１つだけの適応パラメータを利用する鮮明化フィルタが、特に有利な実施形態である。

特に、鮮明化フィルタ３１１は、エッジマップ計算ユニット８０１、８０２と、ぼけフィルタ８０４と、高域フィルタ８０５と、スケール変更ユニット８０６と、ワーピングユニット８０７とを備える。

エッジマップ計算ユニット８０１、８０２は、ソースブロックのエッジマップを生成するように適応させられ、ソースブロックは、参照ブロックまたは予測ブロックである。ぼけフィルタ８０４は、ソースブロックのエッジマップをぼかすように適応させられる。高域フィルタ８０５は、ぼかされたエッジマップを高域フィルタリングすることによって、ソースブロックの各位置に関して導関数ベクトル（ｄ２ｘ，ｄ２ｙ）を生成するように適応させられる。スケール変更ユニット８０６は、鮮明化強度係数ｋを用いて導関数ベクトル（ｄ２ｘ，ｄ２ｙ）をスケール変更することによって変位ベクトル（ｗｘ，ｗｙ）を生成するように適応させられる。ワーピングユニット８０７は、変位ベクトル（ｗｘ，ｗｙ）に基づいて予測ブロックをワープさせるように適応させられる。

その結果、鮮明化フィルタ８００を制御する適応パラメータは、鮮明化強度係数ｋである。図８に示される鮮明化フィルタ８００は、１つだけの適応パラメータを有する本発明の実施形態である。

エッジマップ計算ユニット８０１、８０２は、ソースブロックの各位置に関する勾配ベクトル（ｄｘ，ｄｙ）を生成するように適応させられた勾配ベクトルユニット８０１と、各位置の勾配ベクトル（ｄｘ，ｄｙ）の長さを計算するように適応させられた勾配ベクトル長ユニット８０２とを備えて、ソースブロックのエッジマップを生成するようにすることができる。その結果、この構造は、ぼけフィルタ、高域フィルタ、およびスケール変更ユニットによってさらに処理されて、ワーピング変位ベクトルを生成するようにすることができるエッジマップの生成を可能にする。

勾配ベクトルは、以下の式、すなわち、

により対応するプレヴィット（Ｐｒｅｗｉｔｔ）フィルタを適用することによってｄｘとｄｙに関して別々に、すなわち、図８において動き予測ブロックと呼ばれるソースブロックの水平方向と垂直方向の両方に関して別々に第１の導関数をとることによって獲得されることができる。

エッジマップは、以下の式、すなわち、

により勾配ベクトル長を計算することによって勾配ベクトル長ユニット８０２によって獲得されることができる。

有利には、鮮明化フィルタ３１１は、ソースブロックのエッジマップをクリップするように適応させられたクリッピングユニット８０３を備え、クリッピングユニット８０３は、エッジマップ計算ユニット８０１、８０２とぼけフィルタ８０４の間に配置される。その結果、しきい値を用いてエッジマップをクリップすることは、それが、ワーピングベクトルの極端に高い値および極端に低い値の処理を防止するという点で有利である。

クリップされたエッジマップをぼかすステップは、以下、すなわち、

として規定されることができるガウスフィルタの形態でぼけフィルタ８０４によって獲得されることができる。

高域フィルタは、例えば、以下、すなわち、

によりｄ２ｘとｄ２ｙに関して別々に第２の導関数を獲得するのに使用される。

変位ベクトル（ｗｘ，ｗｙ）は、以下の式、すなわち、
ｗｘ＝ｋ＊ｄ²ｘ
ｗｙ＝ｋ＊ｄ²ｙ
により、係数ｋを用いて第２の導関数ベクトル（ｄ２ｘ，ｄ２ｙ）をスケール変更することによって獲得され、係数ｋは、鮮明化強度と見なされることができる。

ワーピングユニット８０７は、例えば、バイリニア補間フィルタである補間フィルタを含み、分数ピクセル位置におけるサンプル値を獲得する。ワーピングユニット８０７は、スケール変更ユニット８０６によって生成された変位ベクトルを使用する。その結果、ビデオ符号器の全体的な品質が向上させられる一方で、同時に、所望される分数ピクセル位置上で参照フレーム／ブロックの補間を提供する。

減算ユニット８０８が、ワーピングユニット８０７によって生成された鮮明化された予測ブロックと現在のブロックの間の差を構築するように適応させられ、現在のブロックは、コード化されるべきブロックに対応する。減算ユニット８０８は、事実上、残差ブロックを生成する。鮮明化フィルタ３１１は、例えば、残差ブロックを最小化することによって、または、例えば、レート−歪みに基づく費用基準によって最適な鮮明化強度ｋを見出すように適応させられる。

ビデオ復号器４００は、図８に示されるビデオ符号器２００の適応鮮明化フィルタ３１１と同様の適応鮮明化フィルタを備える。ビデオ符号器２００の適応鮮明化フィルタとビデオ復号器３００の適応鮮明化フィルタの間の差は、好ましくは、減算ユニット８０８、および残差ブロックのこの最小化に存する。

ビデオ復号器４００において、適応パラメータ、例えば、係数ｋは、減算ユニット８０８、および残差ブロックの最小化を介して設定されることはない。代わりに、適応パラメータは、補間フィルタパターンにより、好ましくは、動きベクトルの分数部分に依存してビデオ復号器４００において設定される。

鮮明化フィルタ４００は、ソースブロックから計算された変位ベクトルに基づくワーピングを備え、ソースブロックは、動き予測ブロックとして図８において参照される。

図８に示されない実施形態によれば、ソースブロックは、変位ベクトル（ｗｘ，ｗｙ）が参照ブロックから導き出されるように、フレームバッファ２０７に記憶された参照フレームの参照ブロックである。その結果、参照ブロックは、鮮明化変位ベクトルまたはワーピング変位ベクトルとも呼ばれる、変位ベクトルを獲得するためのソースブロックとしても使用される。次に、ワーピングが、獲得された変位ベクトルを使用して予測ブロックに適用される。この実施形態は、エンコーダ側で計算リソースを節約するという点で有利である。

図８の代替の実施形態によれば、ソースブロックは、予測ユニット２１０によって生成された予測ブロックであり、変位ベクトル（ｗｘ，ｗｙ）が予測ブロックから導き出されるようになる。

その結果、ソースブロックとして予測ブロックを選ぶことは、予測ブロックのワーピングを行うための適切な変位ベクトルの計算を可能にする。すると、また、鮮明化フィルタは、予測ブロックに関して１つの入力しか要求せず、参照ブロックに関する第２の入力は必要とされない。

図８の実施形態に関して、鮮明化フィルタは、１つだけの係数、例えば、鮮明化強度ｋだけによって制御されることができる。このことは、適応処理をより容易にし、かつ従来の線形ウィナーベースの適応フィルタと比べて、伝送のためにより少ないシグナリングビットしか要求しない。また、知られている線形フィルタの代わりに非線形鮮明化フィルタを使用することは、動き補間フィルタ、および参照ピクチャの量子化によってもたらされるアーチファクトを取り除くためにより好ましくもある。

図９は、本発明の実施形態によるぼけ補間フィルタの補間フィルタパターンを示す。図９に示される補間フィルタパターンは、整数ピクセル位置の各位置、および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタがぼけ補間フィルタ３０２であると規定する。さらに、図９のパターンは、各ピクセル位置に関して、適応パラメータの値、例えば、ぼけ係数σの値を規定する。

動きベクトルの分数空間は、いくつかのピクセル位置を備える。Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣのような最新のビデオコーデックにおいて、動きベクトルは、通常、次元Ｘと次元Ｙの両方において１／４ピクセル解像度を有する。図９は、そのような１／４ピクセル解像度による本発明の実施形態を示す。この解像度は、４×４＝１６の可能な位置の合計を暗示する。これらの可能な位置は、正方形「ａ」として識別された１つの整数位置、ならびに１５の分数位置ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐを含む。分数位置は、円ｃ、ｉ、ｋとして識別された３と１／２ピクセル位置、ならびに対応する三角形として識別された１２と１／４ピクセル位置を備える。パターンは、各位置に関して、ぼけ係数σに関する値σ１、．．．、σ１６を規定する。

図９の補間フィルタパターンは、コード化されたビデオビットストリームにシグナリング情報として符号器２００によって追加されることができ、かつコード化されたビデオビットストリームから復号器４００によって対応するように獲得されることができる。図９の補間フィルタパターンによる補間を実行することは、シャープなステップ応答を有する従来の固定フィルタを使用する代わりに、ぼけ補間フィルタが補間のために適用されることを意味する。分数位置に関連付けられたぼけ係数σｉは、適応ぼけ補間フィルタに関する適応係数として使用される。

係数σｉは、一定であり、かつオフライン訓練によって事前規定される、または、例えば、以前の符号化実験に基づいて選ばれることができる。パターンの異なる分数位置において同一のぼけ係数σｉを有することが許される。また、係数σｉは、シーケンスレベルで、ＧＯＰレベルで、フレームレベルで、または領域レベルで可変であり、かつ適応的であってもよい。その場合、さらなるシグナリングが要求される。

図１０は、本発明の実施形態による鮮明化フィルタに関する補間フィルタパターンを示す。

図１０の補間フィルタパターンは、図９のパターンと同様であり、かつ整数ピクセル位置の各位置、および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタが鮮明化フィルタ３１１であることを規定する。さらに、ぼけ補間フィルタのぼけ係数σを規定する代わりに、図１０の補間フィルタパターンは、各ピクセル位置に関して、適応パラメータの値、例えば、鮮明化強度係数ｋの値を規定する。

図９と同様に、係数ｋｉは、一定であり、かつオフライン訓練によって事前規定される、または、例えば、以前の符号化実験に基づいて選ばれることができる。異なる分数位置において同一の鮮明化係数ｋｉを有することが許される。また、係数ｋｉは、シーケンスレベルで、ＧＯＰレベルで、フレームレベルで、または領域レベルで可変であり、かつ適応的であってもよい。その場合、さらなるシグナリングが要求される。

図１１は、本発明のさらなる実施形態による補間フィルタパターンを示す。

図１１に示されるパターンは、事実上、３つすべての補間フィルタタイプを包含する混合補間フィルタパターンである。いくつかの分数ピクセル位置ｂ、ｅ、ｆ、ｇ、ｈ、ｊ、ｎが、関連付けられたぼけパラメータσを有し、このことは、これらの位置に関して、ぼけ補間フィルタ３０２が対応するフィルタパラメータσ１、．．．、σ７を用いて適用されるべきことを意味する。

他のいくつかのピクセル位置ｌ、ｏ、ｐは、関連付けられた鮮明化強度パラメータｋを有し、このことは、タップフィルタ３０３を用いた、すなわち、従来の固定フィルタタップを用いた補間の後、適応鮮明化フィルタ３１１が、対応するパラメータ値ｋ１、ｋ２、ｋ３を用いて適用されるべきことを意味する。

他のいくつかのピクセル位置ａ、ｃ、ｄ、ｉ、ｋ、ｍは、関連付けられたパラメータをまったく有さない、すなわち、補間フィルタパターンは、これらの位置にパラメータ値をまったく関連付けない。このことは、復号器４００によって、これらの位置に関して、タップフィルタ３０３、すなわち、従来の線形補間フィルタが使用されるように解釈される。

１つの補間フィルタパターンにおいてすべての補間タイプを混合することによって、今や、エンコーダが、画像内容に適応的に各特定の場合に関する最も適切な補間を選ぶことが可能である。

図９、図１０、および図１１の実施形態において、このように、動きベクトルの分数位置は、補間フィルタタイプにおいて、ならびにぼけ補間フィルタ３０２および鮮明化フィルタ３１１に関して、規定された補間フィルタタイプの適応パラメータを規定することができる。補間フィルタパターンは、符号器と復号器の両方によって知られなければならない。それは、事前規定されてよく、または適応的であり、かつサイド情報として、すなわち、コード化されたビデオビットストリームのシグナリング情報として渡されてよい。

図１２は、異なる補間フィルタパターンを有する本発明の実施形態を示す。

フレームのいくつかの領域に関して、ぼけ補間フィルタ３０２または鮮明化フィルタ３１１を使用することは、必要ないことがある。そのような場合、すべての分数ポイントに関してタップフィルタ３０３を使用することがより良好である。フレームの他の領域において、ぼけ補間フィルタ３０２または鮮明化フィルタ３１１を適用することが最適であり得る。

これらの変形を範囲に含めるのに、フレームのいくつかの局所的領域に関して異なるいくつかの補間フィルタパターンを規定し、例えば、レート歪み最適化のような費用基準に基づいて最良の補間フィルタパターンを選び、所与の領域における動き補間のためにいずれの補間フィルタパターンが使用されるべきかを復号器４００にシグナリングすることが提案される。

対応するように、図１２は、例えば、異なる２つの補間フィルタパターンが使用されながら、いくつかの領域を備えるフレームを示す。「補間パターン０」として識別された第１のパターンは、各ピクセル位置に関してタップフィルタ３０３、すなわち、従来の固定補間フィルタが使用されるべきことを規定する一方で、「補間パターン１」として識別された第２のパターンは、図１１に示されるとおりの混合補間フィルタパターンである。

図１２の実施形態において、符号器２００は、２つの領域に関して第１のパターンを選び、フレームの残り４つの領域に関して第２のパターンを選ぶ。コード化処理中、特定の各領域に関して、すなわち、例えば各最大符号化ユニット（ＬＣＵ）に関して最良の補間フィルタパターンが選ばれることができ、かつ１ビットで復号器にシグナリングされることができ、ビットは、第１の補間フィルタパターンまたは第２の補間フィルタパターンを決定する。

本発明は、例としての様々な実施形態、ならびに実装形態に関連して説明されてきた。しかし、図面、本開示、および独立クレームの検討から、他の変形が、主張される発明を実施する当業者によって理解され、実現されることができる。特許請求の範囲、ならびに説明において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素も、他のステップも除外せず、「ａ」または「ａｎ」という不定冠詞は、複数を除外しない。単一の要素、または他のユニットが、特許請求の範囲に記載されるいくつかのエンティティまたはアイテムの機能を遂行してよい。ある手段が互いに異なる従属クレームに記載されるという単なる事実は、これらの手段の組合せが有利な実装形態において使用されることができないことを示すわけではない。

本発明は、一般に、ビデオ処理の分野、およびビデオ動き補償のための装置に関し、詳細には、ビデオにおけるフレームを予測する動き補償をサポートするためのビデオ符号器およびビデオ復号器に関する。本発明は、動き補償を使用してビデオストリームを符号化するための方法および復号するための方法にさらに関する。最後に、本発明は、そのような方法を実行するためのプログラムコードを有するコンピュータプログラムに関する。

ビデオ処理の分野において、特に、ハイブリッドビデオ符号化およびハイブリッドビデオ圧縮の分野において、インタ予測およびイントラ予測、ならびに変換符号化を使用することが知られている。そのようなハイブリッドビデオ符号化技術は、Ｈ．２６１、Ｈ．２６３，ＭＰＥＧ−１、２、４、Ｈ．２６４／ＡＶＣもしくはＨ．２６５／ＨＥＶＣのような、知られているビデオ圧縮標準において使用される。

図１は、最新技術によるビデオ符号器を示す。ビデオ符号器１００は、ビデオストリームのフレームまたはピクチャの入力ブロックを受信するための入力と、コード化されたビデオビットストリームを生成するための出力とを備える。ビデオ符号器１００は、ビデオストリームに予測、変換、量子化、およびエントロピ符号化を適用するように適応させられる。変換、量子化、およびエントロピ符号化は、出力としてコード化されたビデオビットストリームを生成するように、それぞれ、変換ユニット１０１、量子化ユニット１０２、およびエントロピコード化ユニット１０３によって行われる。

ビデオストリームは、複数のフレームに対応し、各フレームは、予測ユニット１０８によってイントラ符号化またはインタ符号化され得るあるサイズのブロックに分割される。例えば、ビデオストリームの第１のフレームのブロックが、予測ユニット１０８を介してイントラ符号化される。イントラフレームは、同一のフレーム内の情報だけを使用して符号化され、したがって、それは、独立に復号されることができ、かつビットストリームにおけるランダムアクセスのためのエントリポイントを提供することができる。ビデオストリームのその他のフレームのブロックは、予測ユニット１０８を介してインタ符号化される、すなわち、復元された参照フレームと呼ばれる符号化されたフレームからの情報が時間冗長性を低減するのに使用され、したがって、インタ符号化されたブロックは、復元された参照フレームにおける同一サイズのブロックから予測される。予測ユニット１０８は、フレームのブロックがイントラ符号化されるか、またはインタ符号化されるかを選択するように適応させられる。

インタ予測を実行するために、符号化された参照フレームが、逆量子化ユニット１０４、逆変換ユニット１０５によって処理され、次に、予測ブロックに追加され、ループフィルタリングユニット１０６によって、復元された参照フレームを獲得するように処理されて、次に、その復元された参照フレームが、時間的インタフレーム予測のために使用されるようにフレームバッファ１０７に記憶される。

予測ユニット１０８は、入力として、インタ符号化されるべき、またはイントラ符号化されるべき現在のフレームもしくはピクチャと、フレームバッファ１０７からの１つもしくは複数の参照フレームもしくは参照ピクチャとを備える。動き推定および動き補償が、予測ユニット１０８によって適用される。動き推定は、ある費用関数に基づいて動きベクトルおよび参照フレームを獲得するのに使用される。次に、動き補償が、現在のフレームの現在のブロックを、参照フレームの参照ブロックの現在のフレームへの変換に関して記述する。予測ユニット１０８が、現在のブロックに関する予測ブロックを出力し、予測ブロックは、符号化されるべき現在のブロックとそれの予測ブロックの間の差を最小化する、すなわち、残差ブロックを最小化する。残差ブロックの最小化は、例えば、レート−歪み最適化手順に基づく。

現在のブロックとそれの予測の間の差、すなわち、残差ブロックは、次に、変換ユニット１０１によって変換される。変換係数は、量子化ユニット１０２およびエントロピコード化ユニット１０３によって量子化され、エントロピ符号化される。そのように生成されたコード化されたビデオビットストリームは、イントラ符号化されたブロックと、インタ符号化されたブロックとを備える。

そのようなハイブリッドビデオ符号化は、予測誤差の変換符号化と組み合わされた動き補償された予測を備える。各ブロックに関して、推定された動きベクトルも、コード化されたビデオビットストリームにおいてシグナリングデータとして伝送される。今日の標準、Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣは、動きベクトルに関して１／４ピクセル変位解像度に基づく。分数ピクセル変位を推定し、補償するために、参照ブロックが分数ピクセル位置上で補間されなければならない。補間フィルタが、分数ピクセル位置上でそのような補間されたフレームを獲得するのに使用される。

補間されたブロックの品質は、使用される補間フィルタの特性に強く依存する。ショートタップフィルタ、例えば、バイリニアフィルタが、高い周波数を抑制して、補間されたフレームがぼかされるようにすることがある。ロングタップフィルタのような他のフィルタは、高い周波数を保存するが、鮮明なエッジの近隣においていくらかのリンギングアーチファクトを生成することがある。別の問題は、動き補償が、以前にコード化され、かつ復元されたフレームを参照フレームとして利用することであり、すなわち、参照フレームは、ギブス効果として参照される、変換係数の量子化によってもたらされるアーチファクトを包含することがある。これらのアーチファクトのため、エッジ、ならびにエッジの周囲の区域が歪ませられることもある。

復元された参照ブロックおよび復元された参照フレームは、ビデオ符号器自体によって生成される望ましくない偽のエッジを包含することもある。そのようなアーチファクトは、各ブロックの別個の独立した処理によってもたらされ得る。これに関して、ループフィルタリングユニット１０６が、これらのブロッキングアーチファクトを緩和することを目的とするデブロッキングフィルタリングを適用するが、ループフィルタリングユニット１０６は、これらのアーチファクトを部分的に取り除くことしかできない。他のエッジアーチファクトは、平滑な勾配領域の粗い量子化によってもたらされる勾配バンディングと関係していることがあり得る。したがって、参照ブロックおよび参照フレームは、望ましくないエッジを包含し得る。

動き予測の品質は、いくつかの要因に依存する。復元された参照ブロックの品質である、参照ブロックにおけるアーチファクトおよび望ましくないノイズの存在が、動き予測の品質に強く影響する。さらに、補間フィルタが、補間されたエッジの品質、それらのぼけ、および補間されたブロックにおけるリンギングの存在を規定する。また、予測ブロックの内容も、アーチファクトのほとんどはエッジ近くに出現するので、動き予測の品質に影響を及ぼす。

動き補償された予測を向上させるいくつかの技法が、従来技術から知られている。例えば、ビデオ符号化標準Ｈ．２６５／ＨＥＶＣが、以前のＨ．２６４／ＡＶＣ標準と比べて、より良好な補間品質を提供するより高度な固定線形補間フィルタを用いて提案されている。また、適応ループフィルタリング（ＡＬＦ）が、ループフィルタリングユニット１０６において行われることができる。そのようなフィルタリングは、通常、ウィナーベースである、線形適応フィルタを導入して、復元されたブロックと元のブロックの間の差を最小化する。しかし、そのようなループ内フィルタリング技法は、ループ内フィルタが動き補間より前に参照ブロックに適用されるため、動き補間フィルタによってもたらされるアーチファクトを取り除くことができない。

適応補間フィルタ（ＡＩＦ）は、補間されたブロックと元のブロックの間の差を最小化することによって各分数動き位置に関してウィナーベースの最適な補間フィルタを見出そうと試みる、知られている技法である。見出されたフィルタ係数が、次に、復号器に渡される必要がある。そのような適応フィルタは、線形であり、かつ係数の行列またはベクトルの形態になっている。さらに、各分数動きベクトル位置は、それ自らの最適なフィルタを有する。適応フィルタの形態、および分数位置に関していくつかのフィルタを転送する必要性は、適応補間フィルタリング技法に関して相当なシグナリングオーバーヘッドを暗示する。

前述の欠点および問題を認識して、本発明は、最新技術を向上させることを目的とする。特に、本発明の目的は、後続のフレームのビデオストリームの向上した符号化および復号のためのビデオ符号器、符号化方法、ビデオ復号器、および復号方法を提供することである。

本発明は、予測符号化の品質を向上させることを特に意図する。特に、本発明は、動き補償によってもたらされる、詳細には、分数ピクセル位置上の参照ブロックの補間によってもたらされるアーチファクトを取り除くこと、ならびに参照フレームの量子化アーチファクトを低減することによって予測の品質を向上させることを意図する。本発明のさらなる目的は、コード化されたビデオビットストリームにおけるシグナリングオーバーヘッドを低いレベルに保つことである。

本発明の前述の目的は、添付の独立クレームにおいて提供されるソリューションによって実現される。本発明の有利な実装形態が、それぞれの従属クレームにおいてさらに規定される。

本発明の第１の態様が、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器を提供する。ビデオ符号器は、ビデオストリームの少なくとも１つの参照フレームを記憶するように構成されたフレームバッファを備える。ビデオ符号器は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニットを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニットは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

その結果、予測ユニットの動き補間スキームは、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタである言及される３つの補間フィルタタイプを備える。予測ユニットは、次に、ビデオ内容に依存してフィルタタイプを選択してよい。これら３つのフィルタタイプは、異なるタイプの内容のためのコード化処理中に選択されてよい。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタと鮮明化フィルタのうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

その結果、参照ブロックは、ビデオの特定の内容に適応させられることができる補間フィルタによって補間され得る。適応は、ビデオ内容の局所的特徴を考慮に入れることができ、要求されるシグナリングオーバーヘッドは、適応および伝送のために１つだけの係数を有する補間フィルタのパラメータ表現が使用されるために制限されることができる。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタは、非線形フィルタである。

その結果、そのような非線形鮮明化フィルタのその使用は、動き予測強化のために好ましい。アンシャープマスキング技法のような線形鮮明化またはぼけ除去フィルタに基づく従来のエッジ強化技法は、主観的な品質を高め得るが、動き補間フィルタリングによってもたらされるリンギングアーチファクトを抑制することができない。また、そのような線形鮮明化は、リンギングを増加させて、客観的なパフォーマンス特性を低下させることさえある。他方、提案される非線形鮮明化フィルタは、リンギング除去に関してより良好な結果を提供することができ、このため、有利である。また、鮮明化フィルタに関する、例えば、適応鮮明化フィルタに関する非線形設計の使用は、適応パラメータの数を有利に低減することもでき、このため、シグナリングオーバーヘッドを有利に低減することもできる。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタは、単一の適応パラメータによって制御されるように構成される。

その結果、要求されるシグナリングオーバーヘッドは、鮮明化フィルタのために単一の適応パラメータしか使用されないことのためにさらに制限されることができる。特に、予測符号化のために使用されるブロックのサイズは、シグナリングオーバーヘッドを同時に増加させることなしに低減されることができる。

第１の態様によるビデオ符号器の実装形態において、適応鮮明化フィルタは、ソースブロックのエッジマップを生成するように適応させられたエッジマップ計算ユニットを備え、前記ソースブロックは、参照ブロックまたは予測ブロックである。鮮明化フィルタは、ソースブロックのエッジマップをぼかすように適応させられたぼけフィルタを備える。鮮明化フィルタは、ぼかされたエッジマップを高域フィルタリングすることによって、ソースブロックの各位置に関する導関数ベクトルを生成するように適応させられた高域フィルタを備える。鮮明化フィルタは、鮮明化強度係数を用いて導関数ベクトルをスケール変更することによって変位ベクトルを生成するように適応させられたスケール変更ユニットを備える。鮮明化フィルタは、変位ベクトルに基づいて予測ブロックをワープさせるように適応させられたワーピングユニットを備える。

その結果、鮮明化フィルタのこの構造は、リンギングアーチファクトの除去に関してより良好な結果を有利に提供することができる非線形鮮明化フィルタを規定する。

第１の態様によるビデオ符号器の実装形態において、鮮明化フィルタの適応パラメータは、鮮明化強度係数を含む。

その結果、適応パラメータとして鮮明化強度係数を使用することは、シグナリングオーバーヘッドをさらに低減する、１つだけの適応パラメータしか要求されないことを暗示する。

第１の態様によるビデオ符号器の実装形態において、予測ユニットは、残差ブロックを最小化する鮮明化強度係数を選択するように構成され、前記残差ブロックは、現在のブロックと適応鮮明化フィルタによって出力される予測ブロックの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、それの設計の性質のためにリンギングを生成することができない低域フィルタである。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、単一の適応パラメータを備える。

その結果、要求されるシグナリングオーバーヘッドは、ぼけ補間フィルタのために単一の適応パラメータしか使用されないためにさらに制限されることができる。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタの適応パラメータは、ぼけ係数を含む。

その結果、適応パラメータとしてぼけ係数を使用することは、シグナリングオーバーヘッドをさらに低減する、１つだけの適応パラメータしか要求されないことを暗示する。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、ガウスフィルタまたはバイリニアフィルタであり、かつぼけ補間フィルタがガウスフィルタである場合、ぼけ係数は、ガウス分布の標準偏差である。

その結果、例えば、復元された参照フレームにおいてブロッキングおよび勾配バンディングによってもたらされる望ましくないエッジを、ぼけ補間を適用することによって抑制することが可能である。また、望ましくない高周波数ノイズが、復元された参照フレームにおいて抑制されることができる。

第１の態様によるビデオ符号器の実装形態において、ぼけ補間フィルタは、標準偏差に基づいてガウスフィルタ係数を計算するように構成された計算ユニットと、計算されたガウスフィルタ係数を使用することによって、ぼけ補間フィルタの出力として予測ブロックを生成するように構成されたフィルタリングユニットとを備える。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、異なる標準偏差に基づいてガウスフィルタ係数の事前計算されたセットを記憶するように構成されたユニットと、ガウスフィルタの事前計算されたセットのうちの１つのフィルタを使用することによって、ぼけ補間フィルタの出力として予測ブロックを生成するように構成されたフィルタリングユニットとを備える。

その結果、この事前計算は、最適化手順中に計算リソースが節約されることができるという効果を有する。

第１の態様によるビデオ符号器の実装形態において、予測ユニットは、残差ブロックを最小化するぼけ係数を選択するように構成され、前記残差ブロックは、現在のブロックとぼけ補間フィルタによって出力される予測ブロックの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく。

その結果、動き補償は、最適化手順中にぼけ係数を選択することによってさらに向上させられることができる。

第１の態様によるビデオ符号器の実装形態において、タップフィルタは、シャープなステップ応答を有する固定ロングタップフィルタである。

第１の態様によるビデオ符号器の実装形態において、整数ピクセル位置、および分数ピクセル位置のそれぞれが、少なくとも３つの補間フィルタのうちの前記１つに関連付けられ、および／または、存在する場合、鮮明化フィルタおよび／またはぼけ補間フィルタの適応パラメータの所与の値に関連付けられる。

その結果、ピクセル位置は、３つの補間フィルタのうちの１つ、および、場合により、それぞれの適応パラメータに関連付けられるので、シグナリングオーバーヘッドは、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置が使用されるために低減されることができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、コード化されたビデオビットストリームを生成すること、および補間フィルタタイプ、および適応パラメータの前記所与の値、ならびに関連付けられた整数ピクセル位置または分数ピクセル位置を、コード化されたビデオビットストリームにおけるシグナリング情報として指定することを行うように構成されたコード化ユニットを備える。

その結果、復号器に伝送されなければならないシグナリング情報の量が低減されることができ、シグナリングオーバーヘッドが低減されることが可能である。

第１の態様によるビデオ符号器の実装形態において、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および存在する場合、適応パラメータの選択を暗示する。

その結果、さらなるシグナリングオーバーヘッドを導入することなしに局所的特徴に対する適応を実行することが可能である。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、整数ピクセル位置および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、適応パラメータの値を規定する少なくとも１つの補間フィルタパターンを備える。

その結果、補間フィルタパラメータは、さらなるシグナリングオーバーヘッドを導入することなしに、各補間フィルタタイプを容易に規定することができ、かつ、該当する場合、適応パラメータ値を容易に規定することができる。

その結果、復号器は、ピクセル位置に依存して補間フィルタパターンにおいて規定される補間フィルタを選択することができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、複数の補間フィルタパターンを備え、予測ユニットは、複数の補間フィルタパターンのうちの１つを選択するように構成される。

その結果、例えば、複数の補間フィルタパターンが、ビデオストリームを符号化している間、補間フィルタパターンのうちの１つを選択するだけでよいように、前もって計算され、準備されることができる。

第１の態様によるビデオ符号器の実装形態において、ビデオ符号器は、コード化されたビデオビットストリームを生成すること、および前記補間フィルタパターンを、コード化されたビデオビットストリームにおけるシグナリング情報として追加することを行うように構成されたコード化ユニットを備える。

第１の態様によるビデオ符号器の実装形態において、複数の補間フィルタパターンが提供される場合、コード化ユニットは、選択されるべき補間フィルタパターンについての選択情報を、コード化されたビデオビットストリームにおけるシグナリング情報として追加するように構成される。

その結果、この選択情報またはインデックス情報は、復号器によって選択されるべき補間フィルタパターンを示すことができる。復号器が複数の補間フィルタパターンを既に知っている場合、したがって、この選択情報は、シグナリングオーバーヘッドをさらに低減する。

第１の態様によるビデオ符号器の実装形態において、コード化ユニットは、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択されるべき補間フィルタパターンについてのシグナリング情報を追加するように構成される。

その結果、シグナリングが最適化されることができるように補間フィルタ情報を所望される粒度に設定することが可能である。

本発明の第２の態様が、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするための方法を提供する。方法は、ビデオストリームの少なくとも１つの参照フレームを記憶することを備える。方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

本発明の第２の態様による方法のさらなる特徴または実装形態は、本発明の第１の態様、またはそれの異なる実装形態によりビデオ符号器の機能を実行することができる。

本発明の第３の態様が、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するためのビデオ復号器を提供する。ビデオ復号器は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するように構成されたフレームバッファを備える。ビデオ復号器は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニットを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニットは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

その結果、第１の態様によるビデオ符号器に関して獲得される利点は、第３の態様によるビデオ復号器に関しても与えられる。

第３の態様によるビデオ復号器の実装形態において、ぼけ補間フィルタと鮮明化フィルタのうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

その結果、参照ブロックは、ビデオの特定の内容に適応させられることができる補間フィルタによって補間され得る。適応は、ビデオ内容の局所的特徴を考慮に入れることができ、要求されるシグナリングオーバーヘッドは、適応および伝送のために１つだけの係数を有する補間フィルタのパラメータ表現が使用されるために制限されることができる。

第３の態様によるビデオ復号器の実装形態において、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および／または存在する場合、適応パラメータの値を暗示する。

その結果、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置を使用することは、さらなるシグナリングオーバーヘッドを生成しない。

第３の態様によるビデオ復号器の実装形態において、予測ユニットは、補間フィルタパターンにより３つの補間フィルタのうちの１つを選択するように構成される。前記補間フィルタパターンは、動きベクトルの整数位置、およびそれに関連付けられた分数位置に関して、関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、適応パラメータの値を規定する。

その結果、補間フィルタパラメータは、補間フィルタタイプをそれぞれ容易に規定することができ、かつ、該当する場合、適応パラメータ値を容易に規定することができ、したがって、シグナリングオーバーヘッドがさらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、ビデオ復号器は、補間フィルタパターンをシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。

第３の態様によるビデオ復号器の実装形態において、ビデオ復号器は、複数の補間フィルタパターン、ならびに選択されるべき補間フィルタパターンについての選択情報をシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。予測ユニットは、獲得された選択情報により、獲得された補間フィルタパターンのうちの１つを選択すること、および選択された補間フィルタパターンにより３つの補間フィルタのうちの１つを選ぶことを行うように構成される。

その結果、この選択情報またはインデックス情報は、復号器によって選択されるべき補間フィルタパターンを示すことができる。復号器が複数の補間フィルタパターンを知ると、コード化されたビデオビットストリームを介してこの選択情報を伝送するだけでよく、したがって、シグナリングオーバーヘッドがさらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、予測ユニットは、ビデオ復号器がコード化されたビデオビットストリームを受信する前に複数の補間フィルタパターンを事前記憶するように構成される。ビデオ復号器は、選択されるべき事前記憶された補間フィルタパターンについての選択情報をシグナリング情報として、コード化されたビデオビットストリームから獲得するように構成された復号ユニットを備える。予測ユニットは、獲得された選択情報により事前記憶された補間フィルタパターンのうちの１つを選択すること、および選択された補間フィルタパターンにより３つの補間フィルタのうちの１つを選ぶことを行うように構成される。

その結果、復号器は、複数の補間フィルタパターンを既に知っており、コード化されたビデオビットストリームを介して、この選択情報を伝送するだけでよい。すると、シグナリングオーバーヘッドは、さらに低減されることができる。

第３の態様によるビデオ復号器の実装形態において、復号ユニットは、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択されるべき補間フィルタパターンについてのシグナリング情報を獲得するように構成される。

その結果、シグナリングが最適化されることができるように補間フィルタ情報を所望される粒度に設定することが可能である。

本発明の第１の態様による、特に、少なくとも３つの補間フィルタ、およびそれらの構造に関するビデオ符号器のさらなる特徴または実装形態は、本発明の第３の態様によるビデオ復号器にも該当する。

本発明の第４の態様が、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するための方法を提供する。方法は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶することを備える。方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップを備え、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、ぼけ補間フィルタ、タップフィルタ、および当該タップフィルタの後に続く鮮明化フィルタのうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

本発明の第４の態様による方法のさらなる特徴または実装形態は、本発明の第３の態様によるビデオ復号器、およびそれの異なる実装形態の機能を実行することができる。

本発明の第５の態様が、コンピュータプログラムがコンピューティングデバイス上で走るとき、そのような符号化および／または復号方法を実行するためのプログラムコードを有するコンピュータプログラムを提供する。

本発明は、局所的な画像特徴により適応的に調整され得るぼけ補間、従来の補間、および鮮明化補間を含む向上させられた動き補間フィルタリングスキームを適用することに存する動き補償を提案する。動き補間スキームは、コード化処理中に選択され得る異なる３つのフィルタタイプ、すなわち、ぼけフィルタ、固定フィルタ、および鮮明化フィルタを備える。ぼけフィルタおよび鮮明化フィルタは、符号化ピクチャの局所的特徴によりうまく適合するように適応的であってよい。補間フィルタタイプおよび適応パラメータを復号器にシグナリングするために、分数動きベクトル位置を使用することが提案される。

提案される補間フィルタリングスキームを用いると、３つのフィルタタイプを適用することによって符号化ピクチャの局所的特徴に対する適応を実行することが可能である。シグナリングオーバーヘッドを低減し、かつ符号化ピクチャのより小さい領域に対する適応を可能にする、適応のための１つだけの係数を有する適応フィルタのパラメータ表現のために低減されたシグナリングオーバーヘッドが実現されることができる。シグナリングオーバーヘッドは、補間フィルタタイプおよび適応パラメータに関するシグナリングポイントとして分数動きベクトル位置が使用されるためにさらに低減されることができる。適応は、低減されたシグナリングオーバーヘッドのために符号化ピクチャの小さい領域の局所的特徴に対して実行されることができる。動き補間フィルタによってもたらされるエッジのリンギングアーチファクトおよびぼけは、補間されたエッジの品質を保ちながら低減されることができる。また、参照ピクチャにおける変換係数の量子化によってもたらされるエッジのリンギングアーチファクトおよびぼけを低減することも可能である。また、動きぼけによってもたらされるエッジのぼけが低減されることもできる。提案されるスキームは、例えば、復元された参照ピクチャにおいてブロッキングおよび勾配バンディングによってもたらされる望ましくないエッジを、ぼけ補間を適用することによって抑制すること、および復元された参照ピクチャにおける望ましくない高周波数ノイズを、ぼけ補間を適用することによって抑制することができる。また、提案されるスキームは、復元されたピクチャにおけるエッジの主観的な品質を高め、かつぼけた勾配領域および平滑な勾配領域の主観的な品質を高めることもする。提案される補間フィルタリングは、ループ参照フィルタリングまたはループ内参照フィルタリングが行うジョブを実行し、同時に、従来の動き補間フィルタによってもたらされるアーチファクトを画像内容に適応的に低減する。

本出願において説明されるすべてのデバイス、要素、ユニット、および手段は、ソフトウェア要素もしくはハードウェア要素、またはこれらの任意の種類の組合せにおいて実装されることができることに留意されたい。本出願において説明される様々なエンティティによって実行されるすべてのステップ、ならびに様々なエンティティによって実行されるように説明される機能は、それぞれのエンティティが、それぞれのステップおよび機能を実行するように適応させられる、または構成されることを意味するように意図される。特定の実施形態の以下の説明において、外部エンティティによって完全に形成されるべき特定の機能またはステップが、その特定のステップまたは機能を実行するそのエンティティの特定の詳細な要素の説明において反映されない場合でさえ、これらの方法および機能は、それぞれのソフトウェア要素もしくはハードウェア要素、またはこれらの任意の種類の組合せにおいて実装されることができることが当業者には明白であろう。

本発明の前述の態様および実装形態は、添付の図面に関連して特定の実施形態の以下の説明において説明される。
最新技術によるビデオ符号器を示す図である。 本発明の実施形態によるビデオ符号器を示す図である。 本発明の実施形態によるビデオ符号器の補間フィルタを示す図である。 本発明の実施形態によるビデオ復号器を示す図である。 本発明の実施形態によるビデオ符号化方法を示す図である。 本発明の実施形態によるビデオ復号方法を示す図である。 本発明によるぼけ補間フィルタの実施形態を示す図である。 本発明による鮮明化フィルタの実施形態を示す図である。 本発明の実施形態によるぼけ補間フィルタに関する補間フィルタパターンを示す図である。 本発明の実施形態による鮮明化フィルタに関する補間フィルタパターンを示す図である。 本発明の実施形態による混合補間フィルタパターンを示す図である。 異なる補間フィルタパターンを有する本発明の実施形態を示す図である。

図２は、本発明の実施形態によるビデオ符号器を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器２００を示す。さらに、図３は、本発明の実施形態によるビデオ符号器の補間フィルタを示す。

ビデオ符号器２００は、特に、フレームバッファ２０７と、予測ユニットとを備える。

フレームバッファ２０７は、ビデオストリームの少なくとも１つの参照フレームまたは参照ピクチャを記憶するように構成される。予測ユニット２１０は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成される。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。

さらに、予測ユニット２１０は、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ３０２、
− タップフィルタ３０３、および
− 当該タップフィルタ３０３の後に続く鮮明化フィルタ３１１
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

図３に示される鮮明化フィルタ３１１は、参照符号２０８によって図２において参照される。図３のぼけ補間フィルタ３０２およびタップフィルタ３０３は、補間フィルタブロック２０９によって図２に表される。

参照フレームは、ビデオストリームの現在のフレームとは異なり得る。特に、本発明の脈絡において、現在のフレームは、現在、コード化されているビデオストリームのフレームである一方で、参照フレームは、既にコード化されており、かつ次に復元されるビデオストリームのフレームである。以下において、「フレーム」という特徴に対するいずれの参照も、「ピクチャ」という特徴に対する参照によって置き換えられてよい。

現在のフレームは、インタ符号化技法を使用してコード化されてよく、すなわち、現在のフレームは、現在のフレームとは別個である少なくとも１つの参照フレームから予測される。参照フレームは、以前のフレーム、すなわち、後続のフレームのビデオストリーム内の現在のフレームに先立って位置付けられたフレームであることができる。あるいは、前方予測が使用される場合、参照フレームは、将来のフレーム、すなわち、現在のフレームの後に位置付けられたフレームであることができる。複数の参照フレームの場合、少なくとも１つが、そのような以前のフレームであることができ、かつそれらのうちの少なくとも１つが、そのような将来のフレームであることができる。参照フレームは、イントラ符号化されることができ、すなわち、まったくさらなるフレームなしに、まったく他のフレームに依存することもなく符号化されることができ、したがって、それは、独立に復号されることができ、かつそれは、ランダムビデオアクセスのためのエントリポイントの役割をすることができる。

特に、予測ユニット２１０は、動きベクトルを生成すること、および参照フレームの参照ブロックと現在のフレームの現在のブロックの間の動きを推定することによって動き推定を実行するように適応させられる。動き推定は、ある費用関数が、例えば、レート−歪み最適化であることに基づいてコード化中に実行されて、参照フレームにおける最良の参照ブロックをポイントする動きベクトルを見出す。動き推定の他に、予測ユニット２１０は、動きベクトルおよび参照ブロックをベースに現在のブロックに関する予測ブロックを生成することによって動き補償を実行するようにさらに適応させられる。

特に、動き予測は、動き推定および動き補償を備える。動きベクトルは、動き推定ユニットを使用することによって生成される。参照ブロックおよび現在のブロックは、好ましくは、参照フレームおよび現在のフレームのそれぞれの区域または部分区域である。そのようなブロックは、長方形のような規則的な形状を有してよく、または不規則な形状を有してよい。あるいは、ブロックは、フレームと同一のサイズを有することができる。現在のブロックと参照ブロックの両方が同一のサイズを有する。ブロックのサイズは、サイド情報またはシグナリングデータとして復号器に伝送されるブロックモード情報を介して規定されることが可能である。ブロックは、フレームの一部分を包含する事前規定されたサイズ、例えば、６４×６４ピクセルのビデオシーケンスの基本符号化構造である符号化ユニットに対応することができる。

予測ブロックは、参照ブロックに鑑みて現在のブロックに関して生成される。特に、複数の予測ブロックが、複数の参照ブロックに鑑みて現在のフレームの複数の現在のブロックに関して生成されることができる。これらの参照ブロックは、単一の参照フレームの一部であることができ、または異なる参照フレームから選択されることができる。いくつかの予測ブロックが、現在のフレームに関して生成されることができ、かつ現在のフレームに関して生成された予測ブロックが組み合わされて、現在のフレームの予測フレームを獲得することができる。

図２のビデオ符号器２００は、特に、ハイブリッドビデオ符号化をサポートするための図１のビデオ符号器１００と同様であるさらなるユニットを備える。例えば、ビデオ符号器２００は、当技術分野において既に知られているとおり、周波数領域への変換を介して変換係数を生成するため、係数を量子化するため、および量子化された係数を、例えば、シグナリングデータと一緒にエントロピ符号化するための変換ユニット２０１、量子化ユニット２０２、およびエントロピエンコーダもしくはエントロピコード化ユニット２０３である同様のユニットを備える。変換ユニット２０１の入力は、図２においてビデオブロックとして参照される、現在のフレームの現在のブロックと、予測ユニット２１０によって出力される予測ブロックの間の差として規定される残差ブロックである。エントロピコード化ユニット２０３は、コード化されたビデオビットストリームを出力として生成するように適応させられる。

ビデオ符号器２００は、逆量子化ユニット２０４、逆変換ユニット２０５、およびループフィルタリングユニット２０６であるさらなる同様のユニットを備える。量子化ユニット２０２によって生成される量子化された変換係数は、それぞれ、逆量子化ユニット２０４および逆変換ユニット２０５によって逆量子化され、逆変換されて、変換ユニット２０１に供給される残差ブロックに対応する復元された残差ブロックを獲得する。次に、復元された残差ブロックが、残差ブロックを生成するために以前に使用された予測ブロックに追加されて、現在のブロックに対応する復元された現在のブロックを獲得するようになり、この復元された現在のブロックは、図２における復元されたビデオブロックとして参照される。復元された現在のブロックは、ループフィルタリングユニット２０６によって、ブロックごとの処理および量子化によって導入されるアーチファクトを平滑化するように処理され得る。次に、少なくとも１つの現在のブロック、または、有利には、複数の現在のブロックを備える現在のフレームが、復元された現在のブロックから復元されることができる。この復元された現在のフレームは、ビデオストリームの別のフレームのインタ予測のための参照フレームの役割をするようにフレームバッファ２０７に記憶されることができる。

本発明によって提案される動き補間スキームは、予測ユニット２１０に配置され、動き推定および動き補償のために使用されて、分数ピクセル位置および整数ピクセル位置におけるフレームブロックが得られる。図３に示されるとおり、補間スキームは、以下の３つの補間フィルタタイプ、すなわち、
− 例えば、ガウスフィルタまたはバイリニアフィルタのような、有利には、リンギングを生成しないぼけ補間フィルタ３０２、
− 一般に、リンギングを生成することがあるシャープなステップ応答を有する従来のロングタップフィルタ、例えば、Ｈ．２６５／ＨＥＶＣからの離散コサイン変換ベースの補間フィルタ（ＤＣＴ−ＩＦ）のようなタップフィルタ３０３、
− シャープなステップ応答を有する従来のロングタップフィルタと、リンギングを低減し、かつエッジの鮮明さを高める非線形鮮明化フィルタの組合せのような、タップフィルタ３０３の後に鮮明化フィルタ３１１が続く組合せ
に基づく。

予測ユニット２１０、３００は、少なくとも３つの補間フィルタのうちの１つを介して分数ピクセル解像度によりフレームバッファ２０７、３０７に記憶された参照ブロックを補間するように構成される。

動き推定中、これら３つの補間タイプのうちの１つが、例えば、最小予測誤差を行う決定ユニット３０５によって、または費用（レート／歪み）基準の最小によって選ばれることができる。

図４は、本発明の実施形態によるビデオ復号器、特に、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するためのビデオ復号器４００を示す。

ビデオ復号器４００は、特に、フレームバッファ４０７と、予測ユニット４１０とを備える。フレームバッファ４０７は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するように構成される。予測ユニット４１０は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成され、分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ユニット４１０は、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ３０２、
− タップフィルタ３０３、および
− 当該タップフィルタ３０３の後に続く鮮明化フィルタ３１１
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間するように構成される。

復号器４００は、ビデオ符号器３００によって生成されたコード化されたビデオビットストリームを復号するように適応させられ、復号器４００と符号器３００の両方は、同一の予測を生成する。図３に示される鮮明化フィルタ３１１は、参照符号４１１によって図４において参照される。図３のぼけ補間フィルタ３０２およびタップフィルタ３０３は、補間フィルタブロック４０９によって図４に表される。

特に、ビデオ復号器４００は、例えば、逆量子化ユニット４０４、逆変換ユニット４０５、およびループフィルタリングユニット４０６のようなビデオ符号器２００にも存在するさらなるユニットを備えてよく、これらは、それぞれ、ビデオ符号器２００の逆量子化ユニット２０４、逆変換ユニット２０５、およびループフィルタリングユニット２０６に対応する。エントロピ復号ユニット４０３が、受信されたコード化されたビデオビットストリームを復号すること、および量子化された残差変換係数、および、存在する場合、シグナリング情報を対応するように獲得することを行うように適応させられる。量子化された残差変換係数は、逆量子化ユニット４０４および逆変換ユニット４０５に供給されて、残差ブロックを生成する。残差ブロックは、予測ブロックに追加され、追加は、ループフィルタリングユニット４０６に供給されて、復号されたビデオを獲得する。復号されたビデオのフレームは、フレームバッファ４０７に記憶されることができ、かつインタ予測のための参照フレームの役割をすることができる。

ビデオ符号器２００とビデオ復号器４００は、ぼけ補間フィルタ３０２、タップフィルタ３０３、およびタップフィルタ３０３と鮮明化フィルタ３１１の組合せである同様の補間フィルタを備える。有利には、ぼけ補間フィルタ３０２と鮮明化フィルタ３１１のうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである。

符号器側と復号器側で同一の予測を確実にするため、整数ピクセル位置、および分数ピクセル位置のそれぞれが、少なくとも３つの補間フィルタ３０２、３０３、３０３＋３１１のうちの１つに関連付けられ、および／または、存在する場合、鮮明化フィルタ３１１および／またはぼけ補間フィルタ３０２の適応パラメータの所与の値に関連付けられる。

符号器２００および復号器４００に関して、３つの補間フィルタのなかの補間フィルタの選択は、整数ピクセル位置または分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの選択、および存在する場合、適応パラメータの選択を暗示する。

ビデオ符号器２００側で、３つの補間フィルタのなかの補間フィルタの選択は、動き推定中に獲得される動きベクトルによって規定される整数ピクセル位置または分数ピクセル位置に依存する。符号器２００のコード化ユニット２０３は、コード化されたビデオビットストリームを生成すること、および補間フィルタタイプ、および、存在する場合、適応パラメータの所与の値、ならびに関連付けられた整数ピクセル位置または分数ピクセル位置を、コード化されたビデオビットストリームにおけるシグナリング情報として指定することを行うように構成される。さらに、コード化ユニット２０３は、動きベクトルを、コード化されたビデオビットストリームにおけるシグナリング情報として指定する。

ビデオ復号器４００は、コード化されたビデオビットストリームからシグナリング情報を獲得するように構成される。復号器４００は、補間フィルタタイプ、および関連付けられたピクセル位置を受信し、特に、各ピクセル位置に関して、関連付けられた補間フィルタタイプを受信する。存在する場合、復号器４００は、各ピクセル位置に関する適応パラメータの所与の値も受信する。さらに、ビデオ復号器４００は、動き推定中に符号器２００によって決定された動きベクトルを、コード化されたビデオビットストリームにおけるシグナリング情報として獲得するように構成される。このため、獲得された動きベクトルを使用して、復号器４００は、ピクセル位置、および関連付けられた補間フィルタタイプ、ならびに、存在する場合、関連付けられた適応パラメータ値を推測することができる。したがって、シグナリングオーバーヘッドを低減しながら、符号器側と復号器側で同一の予測が行われることができる。

図５は、本発明の実施形態によるビデオ符号化方法を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするための方法を示す。

方法は、ビデオストリームの少なくとも１つの参照フレームを記憶するステップ５０１を備える。

方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ５０２をさらに備える。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。さらに、予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ、
− タップフィルタ、および
− 当該タップフィルタの後に続く鮮明化フィルタ
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間することを備える。

図６は、本発明の実施形態によるビデオ復号方法を示し、特に、動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するための方法を示す。

方法は、コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するステップ６０１を備える。

方法は、分数ピクセル解像度を有する動きベクトルにより参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ６０２をさらに備える。分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する。予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
− ぼけ補間フィルタ、
− タップフィルタ、および
− 当該タップフィルタの後に続く鮮明化フィルタ
のうちの１つを介して分数ピクセル解像度により参照ブロックを補間することをさらに備える。

ビデオ符号器２００またはビデオ復号器４００に関して説明されるさらなる態様および特徴は、符号化方法および復号方法にも該当する。

図７は、本発明によるぼけ補間フィルタの実施形態を示し、特に、ビデオ符号器２００のぼけ補間フィルタ３０２の実施形態を示す。

図７の実施形態において、ぼけ補間フィルタ３０２は、パラメータ形態におけるガウスフィルタとして実装される。ぼけの量は、ガウスフィルタの１つの適応パラメータσだけによって制御されることができる。この単一の適応パラメータは、フィルタが容易に最適化されることができ、かつ適応ぼけパラメータを転送するためのシグナリングオーバーヘッドが低減されることができるという利点を有する。

ぼけ補間フィルタ３０２は、動きベクトルを入力として受信する。動きベクトルは、動き推定中に符号器２００によって決定される。動きベクトルに基づいて、ユニット７０１は、動きベクトルのピクセル位置の分数部分を得るように構成される。

さらなるユニット７０２が、所与のパラメータσを用いてガウスフィルタ係数を計算すること、および分数シフトを獲得することを行うように構成される。ユニット７０３が、参照ブロック、およびユニット７０２によって計算された補間フィルタ係数を入力として使用して、動き予測ブロックを獲得するように構成される。次に、ぼけ補間フィルタ３０２が、予測誤差および費用基準を介して予測効率を計算するように構成される。

予測誤差は、残差ブロックに対応し、元のブロックと予測ブロックの間の差として計算される。

予測効率を最適化するのに、ユニット７０２は、パラメータσの別の値に関して係数を計算し、したがって、対応する予測ブロックがユニット７０３によって獲得されることができ、かつ対応する予測効率がぼけ補間フィルタ３０２によって計算されることができるように構成される。パラメータσの異なる値に関するこれらのステップの反復の後、ぼけ補間フィルタ３０２が、最良の予測効率を提供するパラメータσを選ぶ。

あるいは、パラメータσの異なる値を用いてガウスぼけフィルタを事前計算すること、および異なる分数位置に関してそれらを記憶することが可能である。このことは、最適化手順中にいくらかの計算リソースを節約することを許す。

ビデオ復号器４００は、図７に示される符号器２００のぼけ補間フィルタ３０２と同様のぼけ補間フィルタを備える。ビデオ復号器４００のぼけ補間フィルタは、ユニット７０１、７０２、および７０３を同様に備え、動きベクトルを入力として同様に受信する。この動きベクトルは、コード化されたビデオビットストリームからシグナリング情報としてビデオ復号器４００によって獲得される。復号器４００は、補間フィルタパターンにより動きベクトルの分数部分からフィルタ係数を生成するために使用されるべきパラメータσの値を導き出す。

ビデオ符号器２００のぼけ補間フィルタとビデオ復号器４００のぼけ補間フィルタの間の差は、好ましくは、予測効率の計算、およびパラメータσの異なる値に関する予測効率の反復計算による予測効率の最適化に存する。

図８は、本発明による適応鮮明化フィルタの実施形態を示し、特に、ビデオ符号器２００の適応鮮明化フィルタ３１１の実施形態を示す。

鮮明化フィルタ３１１は、好ましくは、非線形フィルタである。線形フィルタの代わりに非線形鮮明化フィルタを使用することが、動き補間フィルタ、および参照ブロックまたは参照フレームの量子化によってもたらされるアーチファクトを取り除くために好ましい。非線形フィルタの選択は、鮮明化フィルタ３１１の適応パラメータの数を低減することが可能である。特に、非線形フィルタは、１つだけの適応パラメータを利用することができ、したがって、コード化されたビデオビットストリームのシグナリングオーバーヘッドが低減される。本発明は、鮮明化フィルタ３１１を制御する複数の適応パラメータの使用も範囲に含むが、１つだけの適応パラメータを利用する鮮明化フィルタが、特に有利な実施形態である。

特に、鮮明化フィルタ３１１は、エッジマップ計算ユニット８０１、８０２と、ぼけフィルタ８０４と、高域フィルタ８０５と、スケール変更ユニット８０６と、ワーピングユニット８０７とを備える。

エッジマップ計算ユニット８０１、８０２は、ソースブロックのエッジマップを生成するように適応させられ、ソースブロックは、参照ブロックまたは予測ブロックである。ぼけフィルタ８０４は、ソースブロックのエッジマップをぼかすように適応させられる。高域フィルタ８０５は、ぼかされたエッジマップを高域フィルタリングすることによって、ソースブロックの各位置に関して導関数ベクトル（ｄ２ｘ，ｄ２ｙ）を生成するように適応させられる。スケール変更ユニット８０６は、鮮明化強度係数ｋを用いて導関数ベクトル（ｄ２ｘ，ｄ２ｙ）をスケール変更することによって変位ベクトル（ｗｘ，ｗｙ）を生成するように適応させられる。ワーピングユニット８０７は、変位ベクトル（ｗｘ，ｗｙ）に基づいて予測ブロックをワープさせるように適応させられる。

その結果、鮮明化フィルタ８００を制御する適応パラメータは、鮮明化強度係数ｋである。図８に示される鮮明化フィルタ８００は、１つだけの適応パラメータを有する本発明の実施形態である。

エッジマップ計算ユニット８０１、８０２は、ソースブロックの各位置に関する勾配ベクトル（ｄｘ，ｄｙ）を生成するように適応させられた勾配ベクトルユニット８０１と、各位置の勾配ベクトル（ｄｘ，ｄｙ）の長さを計算するように適応させられた勾配ベクトル長ユニット８０２とを備えて、ソースブロックのエッジマップを生成するようにすることができる。その結果、この構造は、ぼけフィルタ、高域フィルタ、およびスケール変更ユニットによってさらに処理されて、ワーピング変位ベクトルを生成するようにすることができるエッジマップの生成を可能にする。

勾配ベクトルは、以下の式、すなわち、

により対応するプレヴィット（Ｐｒｅｗｉｔｔ）フィルタを適用することによってｄｘとｄｙに関して別々に、すなわち、図８において動き予測ブロックと呼ばれるソースブロックの水平方向と垂直方向の両方に関して別々に第１の導関数をとることによって獲得されることができる。

エッジマップは、以下の式、すなわち、

により勾配ベクトル長を計算することによって勾配ベクトル長ユニット８０２によって獲得されることができる。

有利には、鮮明化フィルタ３１１は、ソースブロックのエッジマップをクリップするように適応させられたクリッピングユニット８０３を備え、クリッピングユニット８０３は、エッジマップ計算ユニット８０１、８０２とぼけフィルタ８０４の間に配置される。その結果、しきい値を用いてエッジマップをクリップすることは、それが、ワーピングベクトルの極端に高い値および極端に低い値の処理を防止するという点で有利である。

クリップされたエッジマップをぼかすステップは、以下、すなわち、

として規定されることができるガウスフィルタの形態でぼけフィルタ８０４によって獲得されることができる。

高域フィルタは、例えば、以下、すなわち、

によりｄ２ｘとｄ２ｙに関して別々に第２の導関数を獲得するのに使用される。

変位ベクトル（ｗｘ，ｗｙ）は、以下の式、すなわち、
ｗｘ＝ｋ＊ｄ²ｘ
ｗｙ＝ｋ＊ｄ²ｙ
により、係数ｋを用いて第２の導関数ベクトル（ｄ２ｘ，ｄ２ｙ）をスケール変更することによって獲得され、係数ｋは、鮮明化強度と見なされることができる。

ワーピングユニット８０７は、例えば、バイリニア補間フィルタである補間フィルタを含み、分数ピクセル位置におけるサンプル値を獲得する。ワーピングユニット８０７は、スケール変更ユニット８０６によって生成された変位ベクトルを使用する。その結果、ビデオ符号器の全体的な品質が向上させられる一方で、同時に、所望される分数ピクセル位置上で参照フレーム／ブロックの補間を提供する。

減算ユニット８０８が、ワーピングユニット８０７によって生成された鮮明化された予測ブロックと現在のブロックの間の差を構築するように適応させられ、現在のブロックは、コード化されるべきブロックに対応する。減算ユニット８０８は、事実上、残差ブロックを生成する。鮮明化フィルタ３１１は、例えば、残差ブロックを最小化することによって、または、例えば、レート−歪みに基づく費用基準によって最適な鮮明化強度ｋを見出すように適応させられる。

ビデオ復号器４００は、図８に示されるビデオ符号器２００の適応鮮明化フィルタ３１１と同様の適応鮮明化フィルタを備える。ビデオ符号器２００の適応鮮明化フィルタとビデオ復号器４００の適応鮮明化フィルタの間の差は、好ましくは、減算ユニット８０８、および残差ブロックのこの最小化に存する。

ビデオ復号器４００において、適応パラメータ、例えば、係数ｋは、減算ユニット８０８、および残差ブロックの最小化を介して設定されることはない。代わりに、適応パラメータは、補間フィルタパターンにより、好ましくは、動きベクトルの分数部分に依存してビデオ復号器４００において設定される。

鮮明化フィルタ４００は、ソースブロックから計算された変位ベクトルに基づくワーピングを備え、ソースブロックは、動き予測ブロックとして図８において参照される。

図８に示されない実施形態によれば、ソースブロックは、変位ベクトル（ｗｘ，ｗｙ）が参照ブロックから導き出されるように、フレームバッファ２０７に記憶された参照フレームの参照ブロックである。その結果、参照ブロックは、鮮明化変位ベクトルまたはワーピング変位ベクトルとも呼ばれる、変位ベクトルを獲得するためのソースブロックとしても使用される。次に、ワーピングが、獲得された変位ベクトルを使用して予測ブロックに適用される。この実施形態は、エンコーダ側で計算リソースを節約するという点で有利である。

図８の代替の実施形態によれば、ソースブロックは、予測ユニット２１０によって生成された予測ブロックであり、変位ベクトル（ｗｘ，ｗｙ）が予測ブロックから導き出されるようになる。

その結果、ソースブロックとして予測ブロックを選ぶことは、予測ブロックのワーピングを行うための適切な変位ベクトルの計算を可能にする。すると、また、鮮明化フィルタは、予測ブロックに関して１つの入力しか要求せず、参照ブロックに関する第２の入力は必要とされない。

図８の実施形態に関して、鮮明化フィルタは、１つだけの係数、例えば、鮮明化強度ｋだけによって制御されることができる。このことは、適応処理をより容易にし、かつ従来の線形ウィナーベースの適応フィルタと比べて、伝送のためにより少ないシグナリングビットしか要求しない。また、知られている線形フィルタの代わりに非線形鮮明化フィルタを使用することは、動き補間フィルタ、および参照ピクチャの量子化によってもたらされるアーチファクトを取り除くためにより好ましくもある。

図９は、本発明の実施形態によるぼけ補間フィルタの補間フィルタパターンを示す。図９に示される補間フィルタパターンは、整数ピクセル位置の各位置、および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタがぼけ補間フィルタ３０２であると規定する。さらに、図９のパターンは、各ピクセル位置に関して、適応パラメータの値、例えば、ぼけ係数σの値を規定する。

動きベクトルの分数空間は、いくつかのピクセル位置を備える。Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣのような最新のビデオコーデックにおいて、動きベクトルは、通常、次元Ｘと次元Ｙの両方において１／４ピクセル解像度を有する。図９は、そのような１／４ピクセル解像度による本発明の実施形態を示す。この解像度は、４×４＝１６の可能な位置の合計を暗示する。これらの可能な位置は、正方形「ａ」として識別された１つの整数位置、ならびに１５の分数位置ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｎ、ｏ、ｐを含む。分数位置は、円ｃ、ｉ、ｋとして識別された３と１／２ピクセル位置、ならびに対応する三角形として識別された１２と１／４ピクセル位置を備える。パターンは、各位置に関して、ぼけ係数σに関する値σ１、．．．、σ１６を規定する。

図９の補間フィルタパターンは、コード化されたビデオビットストリームにシグナリング情報として符号器２００によって追加されることができ、かつコード化されたビデオビットストリームから復号器４００によって対応するように獲得されることができる。図９の補間フィルタパターンによる補間を実行することは、シャープなステップ応答を有する従来の固定フィルタを使用する代わりに、ぼけ補間フィルタが補間のために適用されることを意味する。分数位置に関連付けられたぼけ係数σｉは、適応ぼけ補間フィルタに関する適応係数として使用される。

係数σｉは、一定であり、かつオフライン訓練によって事前規定される、または、例えば、以前の符号化実験に基づいて選ばれることができる。パターンの異なる分数位置において同一のぼけ係数σｉを有することが許される。また、係数σｉは、シーケンスレベルで、ＧＯＰレベルで、フレームレベルで、または領域レベルで可変であり、かつ適応的であってもよい。その場合、さらなるシグナリングが要求される。

図１０は、本発明の実施形態による鮮明化フィルタに関する補間フィルタパターンを示す。

図１０の補間フィルタパターンは、図９のパターンと同様であり、かつ整数ピクセル位置の各位置、および分数ピクセル位置の各位置に関して、関連付けられた補間フィルタが鮮明化フィルタ３１１であることを規定する。さらに、ぼけ補間フィルタのぼけ係数σを規定する代わりに、図１０の補間フィルタパターンは、各ピクセル位置に関して、適応パラメータの値、例えば、鮮明化強度係数ｋの値を規定する。

図９と同様に、係数ｋｉは、一定であり、かつオフライン訓練によって事前規定される、または、例えば、以前の符号化実験に基づいて選ばれることができる。異なる分数位置において同一の鮮明化係数ｋｉを有することが許される。また、係数ｋｉは、シーケンスレベルで、ＧＯＰレベルで、フレームレベルで、または領域レベルで可変であり、かつ適応的であってもよい。その場合、さらなるシグナリングが要求される。

図１１は、本発明のさらなる実施形態による補間フィルタパターンを示す。

図１１に示されるパターンは、事実上、３つすべての補間フィルタタイプを包含する混合補間フィルタパターンである。いくつかの分数ピクセル位置ｂ、ｅ、ｆ、ｇ、ｈ、ｊ、ｎが、関連付けられたぼけパラメータσを有し、このことは、これらの位置に関して、ぼけ補間フィルタ３０２が対応するフィルタパラメータσ１、．．．、σ７を用いて適用されるべきことを意味する。

他のいくつかのピクセル位置ｌ、ｏ、ｐは、関連付けられた鮮明化強度パラメータｋを有し、このことは、タップフィルタ３０３を用いた、すなわち、従来の固定フィルタタップを用いた補間の後、適応鮮明化フィルタ３１１が、対応するパラメータ値ｋ１、ｋ２、ｋ３を用いて適用されるべきことを意味する。

他のいくつかのピクセル位置ａ、ｃ、ｄ、ｉ、ｋ、ｍは、関連付けられたパラメータをまったく有さない、すなわち、補間フィルタパターンは、これらの位置にパラメータ値をまったく関連付けない。このことは、復号器４００によって、これらの位置に関して、タップフィルタ３０３、すなわち、従来の線形補間フィルタが使用されるように解釈される。

１つの補間フィルタパターンにおいてすべての補間タイプを混合することによって、今や、エンコーダが、画像内容に適応的に各特定の場合に関する最も適切な補間を選ぶことが可能である。

図９、図１０、および図１１の実施形態において、このように、動きベクトルの分数位置は、補間フィルタタイプにおいて、ならびにぼけ補間フィルタ３０２および鮮明化フィルタ３１１に関して、規定された補間フィルタタイプの適応パラメータを規定することができる。補間フィルタパターンは、符号器と復号器の両方によって知られなければならない。それは、事前規定されてよく、または適応的であり、かつサイド情報として、すなわち、コード化されたビデオビットストリームのシグナリング情報として渡されてよい。

図１２は、異なる補間フィルタパターンを有する本発明の実施形態を示す。

フレームのいくつかの領域に関して、ぼけ補間フィルタ３０２または鮮明化フィルタ３１１を使用することは、必要ないことがある。そのような場合、すべての分数ポイントに関してタップフィルタ３０３を使用することがより良好である。フレームの他の領域において、ぼけ補間フィルタ３０２または鮮明化フィルタ３１１を適用することが最適であり得る。

これらの変形を範囲に含めるのに、フレームのいくつかの局所的領域に関して異なるいくつかの補間フィルタパターンを規定し、例えば、レート歪み最適化のような費用基準に基づいて最良の補間フィルタパターンを選び、所与の領域における動き補間のためにいずれの補間フィルタパターンが使用されるべきかを復号器４００にシグナリングすることが提案される。

対応するように、図１２は、例えば、異なる２つの補間フィルタパターンが使用されながら、いくつかの領域を備えるフレームを示す。「補間パターン０」として識別された第１のパターンは、各ピクセル位置に関してタップフィルタ３０３、すなわち、従来の固定補間フィルタが使用されるべきことを規定する一方で、「補間パターン１」として識別された第２のパターンは、図１１に示されるとおりの混合補間フィルタパターンである。

図１２の実施形態において、符号器２００は、２つの領域に関して第１のパターンを選び、フレームの残り４つの領域に関して第２のパターンを選ぶ。コード化処理中、特定の各領域に関して、すなわち、例えば各最大符号化ユニット（ＬＣＵ）に関して最良の補間フィルタパターンが選ばれることができ、かつ１ビットで復号器にシグナリングされることができ、ビットは、第１の補間フィルタパターンまたは第２の補間フィルタパターンを決定する。

本発明は、例としての様々な実施形態、ならびに実装形態に関連して説明されてきた。しかし、図面、本開示、および独立クレームの検討から、他の変形が、主張される発明を実施する当業者によって理解され、実現されることができる。特許請求の範囲、ならびに説明において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素も、他のステップも除外せず、「ａ」または「ａｎ」という不定冠詞は、複数を除外しない。単一の要素、または他のユニットが、特許請求の範囲に記載されるいくつかのエンティティまたはアイテムの機能を遂行してよい。ある手段が互いに異なる従属クレームに記載されるという単なる事実は、これらの手段の組合せが有利な実装形態において使用されることができないことを示すわけではない。

Claims (33)

1. 動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするためのビデオ符号器であって、
   − 前記ビデオストリームの少なくとも１つの参照フレームを記憶するように構成されたフレームバッファ（２０７）と、
   − 分数ピクセル解像度を有する動きベクトルにより前記参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニット（２１０）であって、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する、予測ユニット（２１０）と
   を備え、
   前記予測ユニット（２１０）は、以下の少なくとも３つの補間フィルタ、すなわち、
   − ぼけ補間フィルタ（３０２）、
   − タップフィルタ（３０３）、および
   − 前記タップフィルタ（３０３）の後に続く鮮明化フィルタ（３１１）
   のうちの１つを介して前記分数ピクセル解像度により前記参照ブロックを補間するように構成される、ビデオ符号器。
2. 前記ぼけ補間フィルタ（３０２）と前記鮮明化フィルタ（３１１）のうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである請求項１に記載のビデオ符号器。
3. 前記鮮明化フィルタ（３１１）は、単一の適応パラメータによって制御されるように構成される請求項２に記載のビデオ符号器。
4. 前記鮮明化フィルタ（３１１）は、非線形フィルタである請求項１乃至３のいずれか一項に記載のビデオ符号器。
5. 前記適応鮮明化フィルタ（３１１）は、
   − ソースブロックのエッジマップを生成するように適応させられたエッジマップ計算ユニット（８０１、８０２）であって、前記ソースブロックは、前記参照ブロックまたは前記予測ブロックである、エッジマップ計算ユニット（８０１、８０２）と、
   − 前記ソースブロックの前記エッジマップをぼかすように適応させられたぼけフィルタ（８０４）と、
   − 前記ぼかされたエッジマップを高域フィルタリングすることによって、前記ソースブロックの各位置に関する導関数ベクトル（ｄ２ｘ，ｄ２ｙ）を生成するように適応させられた高域フィルタ（８０５）と、
   − 鮮明化強度係数（ｋ）を用いて前記導関数ベクトル（ｄ２ｘ，ｄ２ｙ）をスケール変更することによって変位ベクトル（ｗｘ，ｗｙ）を生成するように適応させられたスケール変更ユニット（８０６）と、
   − 前記変位ベクトル（ｗｘ，ｗｙ）に基づいて前記予測ブロックをワープさせるように適応させられたワーピングユニット（８０７）と
   を備える請求項１乃至４のいずれか一項に記載のビデオ符号器。
6. 前記鮮明化フィルタ（３１１）の前記適応パラメータは、前記鮮明化強度係数（ｋ）を含む、請求項２または３に従属する請求項５に記載のビデオ符号器。
7. 前記予測ユニットは、残差ブロックを最小化する前記鮮明化強度係数（ｋ）を選択するように構成され、前記残差ブロックは、前記現在のブロックと前記適応鮮明化フィルタ（３１１）によって出力される前記予測ブロックとの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく請求項５または６に記載のビデオ符号器。
8. 前記ぼけ補間フィルタ（３０２）は、単一の適応パラメータを備える請求項２乃至７のいずれか一項に記載のビデオ符号器。
9. 前記ぼけ補間フィルタ（３０２）の前記適応パラメータは、ぼけ係数（σ）を含む請求項８に記載のビデオ符号器。
10. 前記ぼけ補間フィルタ（３０２）は、ガウスフィルタまたはバイリニアフィルタであり、かつ前記ぼけ補間フィルタ（３０２）がガウスフィルタである場合、前記ぼけ係数（σ）は、ガウス分布の標準偏差である請求項９に記載のビデオ符号器。
11. 前記ぼけ補間フィルタ（３０２）は、
    − 前記標準偏差（σ）に基づいてガウスフィルタ係数を計算するように構成された計算ユニット（４０２）と、
    − 前記計算されたガウスフィルタ係数を使用することによって、前記ぼけ補間フィルタ（３０２）の出力として予測ブロックを生成するように構成されたフィルタリングユニット（４０３）と
    を備える請求項１０に記載のビデオ符号器。
12. − 異なる標準偏差（σ）に基づいてガウスフィルタ係数の事前計算されたセットを記憶するように構成されたユニットと、
    − ガウスフィルタの前記事前計算されたセットのうちの１つのフィルタを使用することによって、前記ぼけ補間フィルタ（３０２）の出力として予測ブロックを生成するように構成されたフィルタリングユニット（４０３）と
    を備える請求項１０に記載のビデオ符号器。
13. 前記予測ユニットは、残差ブロックを最小化する前記ぼけ係数（σ）を選択するように構成され、前記残差ブロックは、前記現在のブロックと前記ぼけ補間フィルタ（３０２）によって出力される前記予測ブロックとの間の差である、または、例えば、レート歪み最適化のような費用基準に基づく請求項９乃至１２のいずれか一項に記載のビデオ符号器。
14. 前記タップフィルタ（３０３）は、シャープなステップ応答を有する固定ロングタップフィルタである請求項１乃至１３のいずれか一項に記載のビデオ符号器。
15. 前記整数ピクセル位置、および前記分数ピクセル位置のそれぞれが、前記少なくとも３つの補間フィルタ（３０２、３０３、３０３＋３１１）のうちの前記１つに関連付けられ、および／または、存在する場合、前記鮮明化フィルタ（３１１）および／または前記ぼけ補間フィルタ（３０２）の前記適応パラメータの所与の値に関連付けられる請求項２乃至１４のいずれか一項に記載のビデオ符号器。
16. 前記コード化されたビデオビットストリームを生成すること、ならびに、補間フィルタタイプおよび前記適応パラメータの前記所与の値、ならびに前記関連付けられた整数ピクセル位置または分数ピクセル位置を、前記コード化されたビデオビットストリームにおけるシグナリング情報として指定することを行うように構成されたコード化ユニット（２０３）を備える請求項１５に記載のビデオ符号器。
17. 前記３つの補間フィルタのなかからの前記補間フィルタの前記選択は、前記整数ピクセル位置または前記分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの前記選択、および存在する場合、適応パラメータの選択を暗示する請求項１乃至１６のいずれか一項に記載のビデオ符号器。
18. 前記整数ピクセル位置および前記分数ピクセル位置の各位置に関して、前記関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、前記適応パラメータの前記値を規定する少なくとも１つの補間フィルタパターンを備える請求項１乃至１７のいずれか一項に記載のビデオ符号器。
19. 複数の補間フィルタパターンを備え、
    前記予測ユニット（２１０）は、前記複数の補間フィルタパターンのうちの１つを選択するように構成される請求項１乃至１８のいずれか一項に記載のビデオ符号器。
20. 前記コード化されたビデオビットストリームを生成すること、および前記補間フィルタパターンを、前記コード化されたビデオビットストリームにおけるシグナリング情報として追加することを行うように構成されたコード化ユニット（２０３）を備える請求項１８または１９に記載のビデオ符号器。
21. 複数の補間フィルタパターンが提供される場合、前記コード化ユニット（２０３）は、選択される前記補間フィルタパターンについての選択情報を、前記コード化されたビデオビットストリームにおけるシグナリング情報として追加するように構成される請求項１８乃至２０のいずれか一項に記載のビデオ符号器。
22. 前記コード化ユニット（２０３）は、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、前記フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択される前記補間フィルタパターンについての前記シグナリング情報を追加するように構成される請求項１８乃至２１のいずれか一項に記載のビデオ符号器。
23. 動き補償により後続のフレームのビデオストリームを予測符号化して、コード化されたビデオビットストリームにするための方法であって、
    − 前記ビデオストリームの少なくとも１つの参照フレームを記憶するステップ（５０１）と、
    − 分数ピクセル解像度を有する動きベクトルにより前記参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ（５０２）であって、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する、ステップ（５０２）と、
    を備え、
    前記予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
    − ぼけ補間フィルタ、
    − タップフィルタ、および
    − 前記タップフィルタの後に続く鮮明化フィルタ
    のうちの１つを介して前記分数ピクセル解像度により前記参照ブロックを補間するステップをさらに備える、方法。
24. 動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するためのビデオ復号器であって、
    − 前記コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するように構成されたフレームバッファ（４０７）と、
    − 分数ピクセル解像度を有する動きベクトルにより前記参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成するように構成された予測ユニット（４１０）であって、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する、予測ユニット（４１０）と
    を備え、
    前記予測ユニット（４１０）は、以下の少なくとも３つの補間フィルタ、すなわち、
    − ぼけ補間フィルタ（３０２）、
    − タップフィルタ（３０３）、および
    − 前記タップフィルタ（３０３）の後に続く鮮明化フィルタ（３１１）
    のうちの１つを介して前記分数ピクセル解像度により前記参照ブロックを補間するように構成される、ビデオ復号器。
25. 前記ぼけ補間フィルタ（３０２）と前記鮮明化フィルタ（３１１）のうちの少なくとも１つは、少なくとも１つの適応パラメータによって制御されるように構成された適応フィルタである請求項２４に記載のビデオ復号器。
26. 前記３つの補間フィルタのなかからの前記補間フィルタの前記選択は、前記整数ピクセル位置または前記分数ピクセル位置に依存し、したがって、所与の整数ピクセル位置または分数ピクセル位置は、所与の補間フィルタの前記選択、および／または存在する場合、前記適応パラメータの値を暗示する請求項２４または２５に記載のビデオ復号器。
27. 前記予測ユニット（４１０）は、補間フィルタパターンにより前記３つの補間フィルタのうちの前記１つを選択するように構成され、かつ
    前記補間フィルタパターンは、前記動きベクトルの整数位置、およびそれに関連付けられた分数位置に関して、関連付けられた補間フィルタタイプを規定し、および／または、存在する場合、前記適応パラメータの前記値を規定する請求項２４乃至２６のいずれか一項に記載のビデオ復号器。
28. 前記補間フィルタパターンをシグナリング情報として、前記コード化されたビデオビットストリームから獲得するように構成された復号ユニット（４０３）を備える請求項２７に記載のビデオ復号器。
29. 複数の補間フィルタパターン、ならびに選択される前記補間フィルタパターンについての選択情報をシグナリング情報として、前記コード化されたビデオビットストリームから獲得するように構成された復号ユニット（４０３）を備え、
    前記予測ユニット（４１０）は、前記獲得された選択情報により、前記獲得された補間フィルタパターンのうちの１つを選択すること、および前記選択された補間フィルタパターンにより前記３つの補間フィルタのうちの前記１つを選ぶことを行うように構成される請求項２７に記載のビデオ復号器。
30. 前記予測ユニット（４１０）は、前記ビデオ復号器が前記コード化されたビデオビットストリームを受信する前に複数の補間フィルタパターンを事前記憶するように構成され、
    前記ビデオ復号器は、選択される前記事前記憶された補間フィルタパターンについての選択情報をシグナリング情報として、前記コード化されたビデオビットストリームから獲得するように構成された復号ユニット（４０３）をさらに備え、
    前記予測ユニット（４１０）は、前記獲得された選択情報により前記事前記憶された補間フィルタパターンのうちの１つを選択すること、および前記選択された補間フィルタパターンにより前記３つの補間フィルタのうちの前記１つを選ぶことを行うように構成される請求項２７に記載のビデオ復号器。
31. 前記復号ユニット（４０３）は、フレームレベルで、ＧＯＰ（ピクチャのグループ）レベルで、ＰＰＳ（ピクチャパラメータセット）レベルで、またはＳＰＳ（シーケンスパラメータセット）レベルで、前記フレームの任意の領域または規則的な領域に関して、各予測ブロックに関して選択される前記補間フィルタパターンについての前記シグナリング情報を獲得するように構成される請求項２５および請求項２８乃至３０のいずれか一項に記載のビデオ復号器。
32. 動き補償により後続のフレームのビデオストリームを予測符号化することによって獲得されたコード化されたビデオビットストリームを復号するための方法であって、
    − 前記コード化されたビデオビットストリームから獲得された少なくとも１つの参照フレームを記憶するステップ（６０１）と、
    − 分数ピクセル解像度を有する動きベクトルにより前記参照フレームの参照ブロックから現在のフレームの現在のブロックの予測ブロックを生成することを備える予測ステップ（６０２）であって、前記分数ピクセル解像度は、整数ピクセル位置および分数ピクセル位置を規定する、予測ステップ（６０２）と
    を備え、
    前記予測ステップは、以下の少なくとも３つの補間フィルタ、すなわち、
    − ぼけ補間フィルタ、
    − タップフィルタ、および
    − 前記タップフィルタの後に続く鮮明化フィルタ
    のうちの１つを介して前記分数ピクセル解像度により前記参照ブロックを補間するステップをさらに備える、方法。
33. コンピュータプログラムがコンピューティングデバイス上で走ると請求項２３または３２に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images