JP2013510482A - ハイブリッド映像符号化 - Google Patents

Abstract

ハイブリッド映像符号化において、前のフレームの参照残差信号を用いて、動き補償予測によって、現在のフレームの残差信号を付加的に予測することによって、更なる符号化効率の増加が達成される。
言い換えれば、最終残差信号、すなわち最後に送信されたもののエネルギーを更に低減し、符号化効率を増大するために、前の符号化フレームの復元残差信号を用いて、動き補償予測によって、付加的に残差信号を予測することが提案されている。
【選択図】図１

Description

本発明は、デジタル処理の分野に関し、特にハイブリッド映像符号化に関する。

映像符号化の圧縮レートを増やす継続するニーズがある。記憶と伝送の技術はデータ容量の増大を呈しているが、メディアの品質に関する要求と、空間分解能、ビューの数、ビット深さ、その他についてのような性能に関する要求もまた増大し、それにより技術的な記憶と伝送の発展を相殺している。したがって、圧縮技術の効果を増大するニーズが依然としてある。ハイブリッド映像符号化は、現時点で映像圧縮のための好ましいツールである。ハイブリッド映像符号化において、圧縮比を増大するために、映像素材の予測が実行される。特に、映像素材を直接符号化する代わりに、予測残差、すなわち残差信号が符号化される。残差信号を符号化するために、例えば、変換符号化および／またはエントロピー符号化を用いることができる。

非特許文献１において、動き情報のみが送信されるスキームが開示されている。残差信号はデコーダに送信されない。残差信号のいわゆる二次予測は、非特許文献２において提案されている。イントラ予測（同じフレーム内で復元残差サンプルを用いる）が、誤差信号のエネルギーを更に低減するために用いられる。

J. T. Gisladottir、M. T. Orchard、「動きのみの映像圧縮」、ＩＣＩＰ−９４ 議事録、ＩＥＥＥ国際会議「イメージ処理」、Ｖｏｌ．１、７３０−７３４頁、１９９４年１１月１３−１６日 Shangwen Li、Sijia Chen、Jianpeng WangおよびLu Yu、「ｈ．２６４／ａｖｃに関する２次予測」、画像コーディング・シンポジウム ＰＣＳ２００９ 議事録、２００９年５月６−８日

本発明は、増大した符号化効率を有するハイブリッド映像符号化のコンセプトを提供することを目的とする。

対象は、請求項１に係るデコーダ、請求項１７に係るエンコーダ、請求項１８または１９に係る方法、および請求項２０に係るハイブリッド映像コーダビットストリームによって達成される。

本発明の基礎をなす根本概念は、ハイブリッド映像符号化において、現在のフレームの残差信号が、前のフレームの参照残差信号を用いて、動き補償予測によって、付加的に予測される場合に、更なる符号化効率の増大を達成することができることである。言い換えれば、最終的な残差信号、すなわち最後に送信されたもののエネルギーを更に低減し、したがって符号化効率を増大するために、前に符号化されたフレームの復元残差信号を用いて、動き補償予測によって、付加的に残差信号を予測することが提案される。

本発明の有利な実施態様は、付属する従属クレームの対象である。

本願の好ましい実施形態は、以下の図面に関して、引き続いて更に詳細に記載される。
本発明の一実施形態に係るハイブリッド映像エンコーダのブロック図を示す。 本発明の一実施形態に係るハイブリッド映像デコーダのブロック図を示す。 本発明の一実施形態に係る映像の部分の図解図を示す。 本発明の一実施形態に係るハイブリッド映像エンコーダ／デコーダの映像信号復元部のブロック図を示す。 本発明の一実施形態に係るハイブリッド映像エンコーダ／デコーダの映像信号復元部のブロック図を示す。 本発明の一実施形態に係るハイブリッド映像デコーダのパラメータ復元部のブロック図を示す。

図１は、本発明の一実施形態に係るエンコーダ１０を示す。エンコーダは、映像１２の前の符号化部分を用いて、映像１２の現在の符号化フレームを予測することによって、そして、予測誤差を表す残差信号をビットストリーム１４に直接符号化する代わりに、前の符号化フレームの参照残差信号を用いて、動き補償予測によって、現在の符号化フレームの残差信号を予測することによって、映像１２をビットストリーム１４に符号化するように構成された、ハイブリッド映像エンコーダである。

図１は、ハイブリッド映像エンコーダ１０は、内部的にどのように解釈することができるかについて例示する。図に示すように、ハイブリッド映像エンコーダ１０は、映像を受信する入力１２と前述のビットストリームを出力する出力１４の間に順次接続される、第１の減算器１６、第２の減算器１８、変換器２０およびビットストリーム発生器２２を備えることができる。特に、減算器１６と１８は、それぞれ入力１２と減算器１６の出力に接続される非反転入力を有し、変換器２０は、減算器１８の出力と、次に出力１４に接続される出力を有するビットストリーム発生器２２の第１の入力の間に接続される。ハイブリッド映像エンコーダ１０は、変換器２０の出力に順次接続される、逆変換器２４、第１の加算器２６および第２の加算器２８を更に備える。

ハイブリッド映像エンコーダ１０は、第１の入力が加算器２６の出力に接続されている加算器２８の、出力と第２の入力の間に接続される第１の予測器３０を備える。同様に、ハイブリッド映像エンコーダ１０は、第１の入力が逆変換器２４の出力に接続されている加算器２６の、出力と第２の入力の間に接続される、第２の予測器３２を備える。あるいは、図１において破線を用いて示されるように、予測器３２は、代替として、加算器２６の第１の入力と第２の入力の間に接続することができる。予測器３０の出力は、加算器２８の第２の入力に接続されるだけでなく、減算器１６の反転入力にも接続される。同様に、予測器３２の出力は、加算器２６の第２の入力に接続されるだけでなく、減算器１８の減算入力にも接続される。両方の予測器３０と３２は、ビットストリーム発生器２２の２つの更なる入力に接続される更なる出力、パラメータ出力を有する。

それぞれのハイブリッド映像デコーダの内部構成の実施例について述べ、それに引き続いて、ハイブリッド映像エンコーダとデコーダの動作モードについて共通に詳細に述べる前に、図１のハイブリッド映像エンコーダ１０の動作を、ここで簡単に述べる。既に述べたように、ハイブリッド映像エンコーダ１０は、映像１２のフレームを直接予測するだけでなく、それぞれのフレームの残差信号をも予測する。したがって、予測器３０は、予測の結果によって、すなわち減算器１６の反転入力に適用される前の予測信号によって、映像１２のフレームを予測する。予測器３２は、次に予測信号３４とそれぞれのフレームの差を表す減算器１６の出力によって取得される残差信号３６を予測する。予測器３２の予測の結果は、従って残差予測信号３８と呼ぶことができ、減算の結果が変換器２０における変換符号化の対象となる最終残差信号４０を表している減算器１８の反転入力に適用される。すなわち、図１の実施形態に係る変換器２０は、それぞれの量子化された変換係数４２を取得するために、ＤＣＴ等のような変換と、最終残差信号４０の引き続く量子化を実行することができる。しかしながら、変換器２０の存在は、単に説明の目的で示されたものであり、その存在は本発明に対して決定的でない。実質的に、それは欠落しても良い。

逆変換器２４は、変換器２０の出力に基づいて最終残差信号を復元し、変換器２０の量子化による情報損失を除いて最終残差信号４０に対応する復元最終残差信号４４を取得する。最終残差信号４４と残差予測信号３８の加算は、残差信号４６に結果としてなり、加算器２８による残差信号４６と予測信号３４の加算は、現在の復号化フレームまたは復元フレーム４８に結果としてなる。それぞれの入ってくる信号に基づいて、予測器３０と３２は、既に上述したような予測を実行する。予測器３０は、例えば、イントラ予測モードと動き補償予測モードの間で切換えることができる。切換の細かさは、以下により詳細に述べられるように、マクロブロックまたは他ブロックのような映像１２のフレームのサンプルのセットとすることができる。予測器３０が予測信号３４を取得する方法を記述する予測パラメータ５０は、例えば、そのサイド情報の範囲内で、ビットストリーム１４に挿入するために、予測器３０によってビットストリーム発生器２２に順送りされる。予測器３２は、残差予測信号３８を取得するために動き補償予測を用い、予測器３２が動き補償予測によって残差予測信号３８を取得する方法を記述する残差予測動きパラメータ５２を、例えば、そのサイド情報の範囲内でのビットストリーム１４への挿入のために、ビットストリーム発生器２２に転送する。

図２は、本発明の一実施形態に係るハイブリッド映像デコーダ１１０を示す。ハイブリッド映像デコーダ１１０は、入力１１２に入るビットストリームと出力１１４に出力される復元映像によって、ビットストリームから映像信号を復元するように構成される。特に、ハイブリッド映像デコーダ１１０は、ハイブリッド映像エンコーダにおいて実行される予測をエミュレートするように構成される。すなわち、ハイブリッド映像デコーダ１１０は、映像のフレームを予測し、また、前の復号化フレームの参照残差信号を用いて、動き補償予測によって、第１の予測の予測誤差に関係する残差信号を予測する。

ハイブリッド映像デコーダ１１０は、図２に示すように内部的に構成することができる。図２に示すように、ハイブリッド映像デコーダ１１０は、入力１１２と出力１１４の間に順次接続される、ビットストリーム抽出器１１６、逆変換器１１８、第１の加算器１２０および第２の加算器１２２を備えることができる。更に、ハイブリッド映像デコーダ１１０は、第１の予測器１２４と第２の予測器１２６を備える。第１の予測器１２４は、次に出力１１４にも接続される加算器１２２の出力と、加算器１２０の出力に接続される第１の入力を有する加算器１２２の第２の入力との間に接続される。第２の予測器１２６は、次に、加算器１２０の出力、または加算器１２０の第１の入力が接続される逆変換器１１８の出力に接続される入力を有する。更に、予測器１２６は、加算器１２０の第２の入力に接続される出力を有する。予測器１２６と１２４のパラメータ入力は、ビットストリーム抽出器１１６のそれぞれの更なる入力に接続される。

図２のハイブリッド映像デコーダ１１０の機能を簡単に記載すると、ビットストリーム抽出器１１６は、エンコーダ側でビットストリーム発生器２２に入るビットストリーム１１２から情報を抽出するように構成される。ビットストリーム抽出器１１６とビットストリーム発生器１２２は両方とも、算数符号化または可変長符号化のようなエントロピー符号化を用いることによって、抽出生成を実行するように構成することができる。好ましくは、ビットストリーム発生器２２とビットストリーム抽出器１１６によって用いられる圧縮スキームは、無損失である。したがって、ビットストリーム抽出器１１６は、ビットストリームが入る入力１１２から、図１の係数４２に対応する量子化された変換係数１２６、図１のパラメータ５２に対応する残差予測動きパラメータ１２８、および図１のパラメータ５０に対応する予測パラメータ１３０を抽出する。

図２の要素１１８−１２６の構成と動作モードは、図１の要素２４-３２の構成と動作モードに対応する。これらの要素は、それぞれ、エンコーダとデコーダの映像信号復元部を形成する。すなわち、逆変換器１１８は、図１の信号４４に対応する信号１３２によって、係数１２６から最終残差信号１３２を回復する。現在の復号化フレームに対する最終残差信号１３２と、予測器１２６によって取得されたような現在の復号化フレームの残差予測信号１３４の加算は、現在の復号化フレームの残差信号に結果としてなる。残差信号１３６と、予測器１２４によって取得されたような予測信号１３８の加算は、現在の復号化フレーム１４０の復元に結果としてなる。予測器１２４は、パラメータ１３０を用いることによって、予測器１２４に入る映像の前に復号化された／復元された部分を用いて、現在の復号化フレームを予測する予測信号１３８を決定するように構成される。予測器１２６は、図２の点線で示すように、前の復号化フレームの参照残差信号、すなわち前の復号化フレームの残差信号１３６または前の復号化フレームの最終残差信号１３２に基づいて、現在の復号化フレームに対する動きパラメータ１２８を用いて、動き補償予測によって、残差予測信号１３４を決定する。

ハイブリッド映像エンコーダとハイブリッド映像デコーダの実施形態をむしろ一般的に記載した後、本発明の実施形態において実施することができるハイブリッド映像符号化の一般的なコンセプトが以下に記載される。特に、第１に、これらの詳細は、映像のフレームの直接予測、すなわち、予測誤差が予測の対象ともなる残差信号によって表され、次に、予測誤差がビットストリーム内で送信された最終予測信号によって表される、予測を取り扱う。

上記のエンコーダとデコーダによって用いられるようなハイブリッド映像符号化において、映像フレームの色成分は、前のフレームの復元色成分を用いた動き補償予測、または、同じフレームの前の復元マクロブロックを用いたイントラ予測のいずれかによって予測することができる。この予測は、予測器１２４と３０内でそれぞれ実行することができる。残差信号、すなわち、オリジナルの色成分と、対応する予測信号の差は、図１と２の場合において、それぞれ予測器３２と１２６において実行される更なる予測の対象となる。この最終残差信号は、変換符号化（結果として生じる量子化シンボルのエントロピー符号化によって可能となる、変換係数の非相関化変換・量子化の組合せ）を用いて符号化することができる。図１と２の場合、変換は、それぞれ、変換器２０と逆変換器１１８によって実行され、エントロピー符号化は、それぞれ、ビットストリーム発生器２２とビットストリーム抽出器１１６によって実行される。中間の残差信号において結果として生ずる第１の予測が関係する限り、動き補償予測は、映像フレームのいくつかのサブ領域に対してなすことができる。通常、サブ領域は、矩形ブロックのサンプルである。しかし、サンプルの任意のセットに対して、同じ動きパラメータを使用することも概念的に可能である。動きパラメータ（例えば、５０と１３０の一部）は、ビットストリームに含まれ、デコーダに送信される。任意の動きモデルを用いることが可能である。例えば、動きは、並進運動モデルを用いてモデル化することができ、それから、変位を指定する動きベクトル（２個のパラメータ）が各領域に対して送信される。他の一般的な動きモデルは、アフィン動きモデル（６個のパラメータ）、３、４および８個のパラメータモデルが含まれる。動きパラメータは、任意の精度で送信することができる。例えば、並進運動モデルに対して、動きベクトルは、フルサンプル精度またはサブサンプル精度（例えば４分の１のサンプル精度）を用いて符号化することができる。前者の場合、予測サンプルは、復元フレームから（例えば、４８と１４０から）直接コピーすることができる。サブサンプル精度の動きベクトル（あるいは一般的な動きパラメータ）の場合、予測サンプル（例えば、３４と１３８を参照）は、参照フレームにおける復元サンプルを用いて（例えば、４８と１４０から）補間される。可能な補間方法は、ＦＩＲフィルタリングまたはスプライン補間技術を含む。フィルタリングは、予測器３０と１２４内で、または、加算器２８と１２２のそれぞれと予測器３０と１２４のそれぞれの各入力の間のいくつかの付加的な構成要素内で、実行することができる。前に送信されたフレームのいずれかを動き補償に対して用いることができる。参照フレームがハイレベルパラメータによって固定されない場合、参照インデックス（それは、例えば、それぞれ５０と１３０の一部とすることができる）は、用いられた参照フレームを識別するために送信することができる。予測信号（例えば、図１と２におけるそれぞれ３４と１３８）を取得するために、重み係数とオフセット（しばしば重み付き予測と称される）またはその他の重み付け関数を用いて予測信号を修正することも可能である。さらにまた、予測信号（３４と１３８のような）を取得するために、いくつかの予測信号を結合することができる。これは「多重仮定予測」と称される。結合された予測信号は、例えば、異なる予測信号の加重和によって取得することができる。個々の予測信号は、異なる参照フレームまたは同じ参照フレームから生じることができる。２つの予測信号が結合される場合、多重仮定予測は、二重予測と称することができる。しかしながら、２つ以上の仮定を用いることも可能である。量子化された変換係数（例えば、図１と２における４２と１２６を参照）のエントロピー符号化は、例えば、可変長符号化、または（適応）算術符号化（例えば、２２と１１６における）によってなすことができる。

ちょうど提示された記述の詳細は、ベース予測、すなわちフレーム自身の予測に集中された。しかしながら、本発明の実施形態は、ここで止まらない。むしろ、このベース予測の残差信号は、いずれかの前に符号化／復号化されたフレームの参照残差信号を用いて動き補償予測によって実行される更なる予測の対象である。以下に、この付加的な予測に関する詳細が示される。

本発明の実施形態の以下の詳細に従って、ハイブリッド映像符号化における残差信号（例えば、３６と１３６を参照）のエネルギーは、更に低減される。エネルギーの低減は、前の符号化フレーム（例えば、それぞれ入ってくるブロック３２と１２６）の復元残差サンプルを用いて、現在のフレームの残差信号（すなわち、オリジナルの信号と、動き補償予測信号またはイントラ予測信号の差）を付加的に予測する（例えば、３２と１２６を参照）ことによって達成することができる。この付加的な予測は、残留する残差信号（例えば、図１の４０）のエネルギーを有意に低減することができる。それ故、結果として生じる残差信号（すなわち、例えば、量子化された変換係数）は、同じ復元品質に対して、より少ないビットで表すことができる。しかしながら、デコーダを、残差信号の動き補償予測をエミュレートする位置に持ってくるために、残差予測に対する動きパラメータは、サイド情報として付加的に送信される。付加的に送信される動きパラメータに対するレートが、結果として生じる残差信号に対するレート節減よりも小さい場合にのみ、符号化効率は改善される。付加的な残差予測が符号化効率を減少させないことを保証するために、それは画像領域に基づいて最適に選択され、その使用はデコーダにシグナルされる。エンコーダは、付加的な動き補償残差予測による符号化とよらない符号化であって、レート歪み判定基準に基づいてより良好なものが選択される符号化をテストすることができる。レート歪み判定基準として、一般的に用いられるラグランジアンコスト関数Ｄ＋λＲを用いることができる（ここで、ＤとＲは、それぞれ、テストされる画像領域に対して結果として生じる歪みと全体のレートを表す）。λは、目標レートに関係するラグランジアン乗数を表す。

図１と２の実施形態のような本願の実施形態の考えられる実施態様に対して特定の詳細を記載するとき、ハイブリッド映像デコーダは、時には、図２に示されない復号化画像バッファを備えるまたは少なくとも復号化画像バッファにアクセスすることが仮定される。特定の構成において、復元残差信号（例えば、エントロピー予測３２と１２６）のフレームが復号化画像バッファに挿入される、または、付加的な復号化画像バッファが復元残差信号に対して作動される。

残差予測と参照残差は、例えば、動き補償予測またはイントラ予測を用いた従来のハイブリッド符号化解法に対して、本実施形態に従って加えられたものである。時には、ハイブリッド映像デコーダとハイブリッド映像エンコーダのそれぞれに対する考えられる特定の実施態様の例は、パラメータ５２と５０および１２８と１３０のそれぞれが、ユーザ予測と残差予測を定義する細かさが、映像フレームのユニットより小さいブロックにおいて、それぞれビットストリーム１４と１１２内で変動すると仮定する。しかしながら、予測器３０と予測器３２さらには変換器２０は、フレームより小さい単位において、すなわち、一般にフレームの矩形ブロック（他のいかなる形状もまた可能なであるが）のような画像のセットである領域による現在のフレームの領域を単位として動作することができる。領域は、単連結であってもよい。

これを説明するために、図３が参照される。図３は、３つの連続するフレーム２００ａ、２００ｂ、および２００ｃを示す。フレーム２００ａ〜２００ｃの中のシーケンスは、映像内のそれらの連続する時間構成によって、すなわちそれらの提示時間によって決定することができる。映像フレームの中の符号化／復号化の順序は、これらのフレームの獲得／提示時間の順序と符合することができるが、これは必ずしもそうではない。いずれにせよ、エンコーダおよびデコーダは、フレームの中で共通の復号化順序を用いる。図３に示すように、各フレームは、点線によって示されるような領域２０２に細区分することができる。フレームの全ての領域２０２は、全体のフレームを横にカバーする。フレームの細区分は、図３に示されるように領域２０２がお互いにオーバーラップしないようにすることができる。しかしながら、別の実施形態によれば、領域２０２はお互いにオーバーラップすることができる。領域２０２への細区分は、フレーム２００ａの、同一サイズの領域２０２の規則的な配列への規則的な細区分に対応することができる。あるいは、多重ツリー細区分を、各フレームを細区分するために用いることができる、または前記の規則的な配列の同一サイズの領域のそれぞれ、すなわちサブセットを更に細区分するために用いることができる。後者の可能性は、フレーム２００ａの左上ブロックに見られるように、図３に例示される。ハイブリッド映像エンコーダとデコーダは、あるとすれば、通常の予測、残差予測および／または最終残差信号の符号化に対して、異なる細区分を用いることができる。図１と２に係る例示した構成の場合には、予測器３０、３２と変換器２０および予測器１２４、１２６と逆変換器１１８は、お互いに関係する同じ細区分または異なる細区分を用いることができる。この点に関する一層の詳細は、以下に提示される。いずれにせよ、通常の予測、残差予測および最終残差信号の符号化／復号化に対して用いられるちょうど言及された細区分のいずれもが、フレームからフレームまたはＧＯＰからＧＯＰ（ＧＯＰ：画像のグループ）のように、時間を通じて変化することができる。変化は、ビットストリーム内で、サイド情報としてシグナルすることができる。以下において、復元される現在のフレームの領域は、現在のフレームＦにおける全てのピクセルのサブセットであるピクセルＲのセットである。

上記説明を簡潔に要約すると、本願の実施形態に係るハイブリッド映像デコーダは、例えば、図３のフレーム２００ｂのような前の復号化フレームの参照残差信号４５と１２７を用いて、動き補償予測によって、図３のフレーム２００ａのような現在の復号化フレームの残差信号３６と１３６を付加的に予測するように構成することができる。この目的で、ハイブリッド映像デコーダは、例えば、前述のフレーム２００ｂのような前の復号化映像部分、および／またはフレーム２００ｃのようないくつかの他のフレームから、現在の復号化フレーム２００ａを予測し、予測信号１３６が予測誤差に関係する現在の復号化フレーム２００ａの予測信号１３８を取得し、現在の復号化フレーム２００ａの最終残差信号１３２をエントロピー復号化し、ａ）現在の復号化フレーム２００ａの予測信号１３８と、ｂ）現在の復号化フレーム２００ａの残差信号１３６を予測する際に、ハイブリッド映像デコーダによって取得される、現在の復号化フレーム２００ａの残差予測信号１３４と、ｃ）現在の復号化フレーム２００ａの最終残差信号１３２とを合成することによって、現在の復号化フレーム２００ａを復元することができる。

ハイブリッド映像デコーダとエンコーダのこの構成は、ハイブリッド映像デコーダとエンコーダが、前述の領域またはサンプルのセット２０２を単位として残差予測を実行するように構成される場合、以下の方法で拡張することができる。

動き補償残差予測を現在のフレームにおける任意のサンプルのセットに適用することができる。動き補償残差予測が適用されるサンプルのセットは、通常の動き補償予測またはイントラ予測が用いられるサンプルのセットに従属してもよく、または従属しなくてもよい。特に、以下の組合せが可能である。
● 動き補償残差予測が（ユニークな予測パラメータによって）適用されるサンプルのセットが、通常の動き補償予測またはイントラ予測が（ユニークな予測パラメータによって）適用されるサンプルのセットに等しい。例えば、図３を参照されたい。まさに言及された変形例によれば、ハイブリッド映像デコーダとハイブリッド映像エンコーダは、それぞれ、通常の予測と残差予測を実行し、それぞれの予測と動きパラメータをセットし送信するために、同じ細かさあるいはフレームの細区分を用いる。言い換えると、予測器１２６と３２は、予測器１２４と３０と同じ細かさあるいは細区分を用いることができる。その場合、動き補償残差予測が適用されるかどうかをシグナルする１つ以上の構文要素が、通常の動き補償予測が適用されるサンプルの各セットに対しておよび／またはイントラ予測が適用されるサンプルの各セットに対して送信される。すなわち、エンコーダ１０は、イントラ予測モードまたは動き補償予測モードを各領域２０２に関連付けるように構成することができ、各領域２０２に対して、予測器３２と１２６は、ビットストリーム１４において反映された１つ以上のそれぞれの構文要素によって、動き補償残差予測が適用されるか否かを判定することができる。ＹＥＳの場合は、それぞれの残差予測動きパラメータ５２と１２８は、ビットストリーム内に埋め込まれる。動き補償残差予測が適用されるかどうかのシグナリングは、動きパラメータと結合することもできる。より正確に言うと、動き補償残差予測が適用されるかどうかのシグナリングは、それぞれ残差予測動きパラメータ５２と１２８内に本質的に含めることができる。このような構成において、残差予測（それぞれ予測器３２と１２６における）に対して用いられる復元残差サンプルを、前述の復号化画像バッファに挿入し、参照フレームインデックスを介して、動き補償残差予測が用いられたかどうかを示すことができる（すなわち、付加的な構文要素は送信されず、動き補償予測に対して参照画像として復元残差画像を指定するために、参照フレームインデックスが再利用される）。復号化画像バッファにおいて、フレームインデックスを用いて、オプションの付加的な残差予測を特に以下のように制御することができる。ハイブリッド映像デコーダ１１０は、復号化画像バッファ内で復元フレームの異なる時間、すなわち、信号１４０から生じる復元フレーム、および、最終残差信号１３２または最終残差信号１３２と残差予測１３４との合計から生じる復元参照残差フレームを管理するように構成することができる。ビットストリーム１４が、ビットストリーム内に、参照残差フレームを表す復号化画像バッファ内のフレームを示す参照フレームインデックスに関係する残差予測動きパラメータを含む場合、そのとき、関連する残差予測動きパラメータの、この参照残差フレーム（５２と１２８を参照）への適用は、残差予測信号に結果としてなる。他のケースでは、すなわち、参照フレームインデックスが、復元フレームを表す復号化画像バッファ内のフレームを示す場合、そのとき、関連する動きパラメータ（５０と１３０を参照）の適用は、通常の予測に結果としてなる。それは、直接的には、図２における加算器１２０と１２２および予測器１２６と１２４の分離した構成と供給は、単に考えられる実施可能性を表したものであるが、分離した構成と供給は、ハイブリッド映像デコーダ内でのそれぞれのハードウェア、ファームウェアまたはソフトウェアコンポーネントの重複に終わらないようにする説明の意図と必要性に役立つ。むしろ、それぞれの動きパラメータと加算を用いることによる復号化画像バッファ内のそれぞれのフレームに基づく復元を得るための以下に述べる動きモデリングと補間、および加算は、通常の予測と残差予測によって、参照フレームインデックスと、復号化画像バッファ内のフレームの管理によって実際に実施され、操作されるまたは制御される予測のソートと共に用いることができる。更に、２つの分離した復号化画像バッファが存在し、参照残差予測フレームと、関連する参照復号化／復元フレームがそれぞれのバッファにおいて同じインデックスにアサインされることが可能である。その場合、同じ参照フレームインデックスに関係し、サンプルの同じセットに関係する動きパラメータの第２の送信は、第１の動きパラメータセットが通常の予測に対するものであるのに対して、第２の動きパラメータセットが、例えば、残差予測に対するものであるように、デコーダによって解釈することができる。更に、動きパラメータの各セットに対して、これらの動きパラメータが通常の動き補償予測に対して用いられるかまたは動き補償残差予測に対して用いられるかを特定する構文要素を送信することが可能である。第１のケースでは、動きパラメータはパラメータ５０内にあり、第２のケースでは、動きパラメータはパラメータ５２内にある。
● 動き補償残差予測が（ユニークな予測パラメータによって）適用されるサンプルのセットが、通常の動き補償予測またはイントラ予測が（ユニークな予測パラメータによって）適用されるサンプルのセットのサブセットである。例えば、図３を参照されたい。例えば、図３において、フレーム２００ａの領域２０２への細区分が、それぞれ予測器３０と１２４によって実行される通常の予測の基礎をなす（第１段の）細区分であった場合、予測器３２と１２６が残差予測を実行する細かさは、この第１段の細区分の第２段の細区分とすることができる。すなわち、予測器３２と１２６が残差予測を実行する領域は、予測器３０と１２４が通常の予測を実行する領域と同じまたは適当なサブセットとすることができる。その場合、サブセットへの分割と、結果として生じる各サブセットに対して動き補償残差予測が適用されるかどうかをシグナルする１つ以上の構文要素は、通常の動き補償予測が適用されたサンプルの各セットに対して、および／または、イントラ予測が適用されたサンプルの各セットに対して送信することができる。特定の構成において、サンプルのセットおよびサブセットは、画像の矩形領域である。
● 動き補償残差予測が（ユニークな予測パラメータによって）適用されるサンプルのセットが、通常の動き補償予測またはイントラ予測が（ユニークな予測パラメータによって）適用されるサンプルのセットと独立している。例えば、通常の予測（３０と１２４を参照）が実行される細区分あるいは細かさを、固定することができ、またはビットストリーム内でシグナルすることができ、残差予測（３２と１２６を参照）が実行される細区分を、−予測器１２６によるような−復号化側で、同じ現在の復号化フレームにおいて通常の予測（予測器１２４のような）に対して用いられる細区分から完全に独立していると解釈される構文要素を用いることによって、ビットストリーム内でシグナルすることができる。その場合、動き補償残差予測が適用されるサンプルのセットをシグナルする１つ以上の構文要素が送信される。例えば、フレームあるいはいずれかの予め定められた画像領域のサブセットへの分割をシグナルし、これらのサブセットの各々に対して動き補償残差予測が適用されるかどうかをシグナルすることによって、この情報をシグナルすることができる。特定の構成において、サンプルのセットあるいはサブセットは、画像の矩形領域である。

すなわち、上記３つの変形例を要約すると、ハイブリッド映像デコーダは、現在の復号化フレームに対する１つ以上の構文要素を復号化し、現在の復号化フレームのサンプルの第１のセットの残差信号１３６の予測を、図３におけるフレーム２００ａの領域２０２のサブセットのような、１つ以上の構文要素によって定義される予め定められたセットを有する現在の復号化フレームのサンプルの第１のセットの予め定められたセットに適用するように構成することができる。ハイブリッド映像デコーダは、付加的に通常の予測を考慮して、フレーム２００ａのような、残差信号１３６が予測誤差に関係する現在の復号化フレームの予測信号１３８に結果としてなる現在の復号化フレームの予測、すなわち通常の予測を、現在の復号化フレーム２００ａのサンプルの第２のセット（を単位とする現在の復号化フレーム２００ａ）、すなわち例えば図３に示されないフレーム２００ａの他の細区分の領域に適用するように構成することができ、ハイブリッド映像デコーダは、サンプルの第２のセットの各々に対して１つ以上の構文要素を復号化し、サンプルの第２のセットの各々に対して１つ以上の構文要素を用い、サンプルの第２のセットから（この場合、通常の予測と残差予測に対する細区分あるいは細かさは同じである）、またはサンプルの第２のセットサブセットから（この場合、残差予測の細区分は通常の予測に対する細区分に関する第２段の細区分を表す）、サンプルの第１のセットの予め定められたセットを識別する。更に、ハイブリッド映像デコーダは、現在の復号化フレーム２００ａに対する１つ以上の構文要素を復号化し、現在の復号化フレーム２００ａの残差信号１３６の予測を、１つ以上の構文要素によって定義される領域２０２の中の予め定められたセットを有する、図３の領域２０２のような現在の復号化フレームのサンプルの第１のセットの予め定められたセットに適用し、現在の復号化フレーム２００ａの予測信号１３８を部分的に形成する現在の復号化フレーム２００ａのイントラ予測を、現在の復号化フレーム２００ａのサンプルの第２のセットの予め定められた第１のセットに適用し、予測信号を部分的に形成する現在の復号化フレーム２００ａの動き補償予測を、サンプルの第２のセットの予め定められた第２のセットに適用し、サンプルの第１のセットがサンプルの第２のセットの第１および第２のセットから独立しているように構成することができる。言い換えれば、上記確認された第３の変形例において言及されたように、サンプルの第１のセットへの細区分を定義する１つ以上の構文要素は、ビットストリーム内で送信することができ、残差予測に用いられるサンプルのこれらの第１のセットへの細区分が、現在の復号化フレームの、サンプルの第２のセットへの細区分から独立して、通常の予測と、動き補償の通常の予測またはイントラ予測が用いられるかどうかについての判定が実行される細かさで、現在の復号化フレームを細区分するように、ハイブリッド映像デコーダによって用いることができる。

動き補償残差予測をどのように実行するかの考えられる変形例に関する詳細が以下に記載される。

通常の動き補償予測と同様に、動き補償残差予測に対して、多重の参照画像、多重仮定予測、重み付き予測および多重の動きモデルを用いることができる。

＜多重の参照画像＞
多重の参照画像のコンセプトは、動き補償残差予測に対して多重の復元残差フレームが利用可能であることを指定する。復元残差フレームは、復号化画像バッファに挿入することができる、または付加的な復号化画像バッファが復元残差画像に対して作動される。動き補償残差に対して復元残差フレームが用いられることの表示は、ビットストリームにおいてシグナルすることができる。特定の構成において、この表示は、復号化プロセスによって推定することができる。他の構成において、この表示は、フレーム、またはスライス、またはサンプルのセットに対してシグナルされる。後者の場合、サンプルのセットは、動き補償残差予測が（ユニークなパラメータによって）適用されるサンプルのセットとすることができる、または動き補償残差予測が適用されるサンプルのセットの上位セットとすることができる。この表示は、復元残差フレームのリストまたは復元残差フレームと復元フレームの両方のリストにおける位置を指定する参照フレームインデックスとすることができる。
ｔ₀，ｔ（ｈ），ｈ＝０…Ｈ
（２）

すなわち、復号化画像バッファの、または残差予測と通常の予測に対して用いられる分離した復号化画像バッファの場合における復号化画像バッファの現在の状態は、現在の復号化フレーム、すなわちｔ₀に対するインデックスによって決定することができ、個々の仮定Ｈ（ここで、Ｈは、仮定の数を示す）に対するこの復号化画像バッファ内の特定のフレームのインデックス化は、インデックスリストｔ（．）を介して実行することができる。

復元残差フレームのリストのまたは復元残差フレームおよび復元フレームのリストは、復号化画像バッファの状態または復元画像に対する復号化画像バッファの状態、および復元残差フレームに対する復号化画像バッファの状態、そして、潜在的に、他のハイレベルの（例えば、スライスヘッダ）構文要素に基づいて導き出される。

上記を要約すると、ハイブリッド映像デコーダは、ビットストリームから、現在の復号化フレームの残差信号が予測される参照残差信号を用いて、前の復号化フレームをインデックスする残差参照フレームインデックスを抽出するように構成することができる。

特定の構成において、参照フレームインデックスは、シグナルされず、通常の動き補償予測に対して用いられるフレームに対する復元残差信号を表現するためにデコーダにおいて推定される。すなわち、ハイブリッド映像デコーダは、現在の復号化フレームの残差信号が予測される参照残差信号を用いて、前の復号化フレームをインデックスする残差参照フレームインデックスを推定し、現在の復号化フレームの予測信号を決定する基礎となる更に前の復号化フレームを表現するように構成することができる。

＜多重仮定予測と重み付き予測＞
１つ以上の動き補償残差予測信号は、最終動き補償残差予測を形成するために結合することができる。動き補償残差予測信号は、「仮定」とも称される。以下のコンセプトが、特に最終動き補償予測信号を形成するために考慮される。
● 最終動き補償残差予測信号が、仮定の加重和によって形成される。各仮定に対して、重み係数がシグナルされる（スライスベースまたはサンプルのセットに基づいて）。特定の構成において、各仮定に対して１つのオフセットまたは唯一のオフセットのいずれかの、付加的なオフセットをシグナルすることもできる。
● 仮定に対する残差予測信号の各サンプルが、サンプルに依存する値によって重み付けられる。サンプルのセットが矩形画像領域を表す場合、これは重み付けマトリクスとみなすことができる。用いられた重み値（矩形画像領域に対する重み付けマトリクス）は、ビットストリームにおいて表示を介してシグナルすることができる。例えば、重み値の予め定められたセット（矩形画像領域に対する重み付けマトリクス）をエンコーダとデコーダの両方に記憶し、いずれのセットが選択されたかの表示を送信することが可能である。重み値の付加的なセットは、ビットストリームの中で送信することもできる。重み付き仮定は、最終動き補償残差予測信号を形成するまで合計される。特定の構成において、各仮定に対して１つのオフセットまたは唯一のオフセットのいずれかの付加的なオフセットをシグナルすることもできる。
● 動き補償残差予測に対して、単一の仮定のみが用いられるときに、仮定の残差予測信号を修正する上記方法を用いることもできる。
● 仮定を最初に合計することもできる。そのとき、結果として生じる仮定は、重み係数または重み値のセットによってスケーリングすることができる。特定の構成において、付加的なオフセットを用いることもできる。

残差予測信号に対する重み係数は、ゲインとも称される。そして、重み値のセット（矩形画像領域に対する重み付けマトリクス）は、ゲインのセット（矩形画像領域に対するゲインマトリクス）とも称される。

＜空間変位パラメータ＞
使用された動きモデルに依存して、空間変位パラメータは、動き補償残差予測が（ユニークな動きパラメータによって）適用されるサンプルのセットに対して異なることができる。空間変位は、送信された動きパラメータと使用された動きモデルのセットに基づいて導き出すことができる。空間変位（ｕ、ｖ）は、ｘ方向とｙ方向に対する２つの値であり、それらの導出は次のように一般化することができる。

特に、以下の動きモデルが考慮される。
● 並進運動モデル
動きパラメータ（ｕ＝ａ₀、ｖ＝ｂ₀）は、動き補償残差予測が適用されるサンプルの各セットに対する並進運動ベクトルに対応する。
● アフィン運動モデル
アフィン動きパラメータを表す６つの動きパラメータが、動き補償残差予測が適用されるサンプルのセットに対する変位ベクトルを指定するためにシグナルされる。
● 一般線形運動モデル
Ｎ個の動きパラメータが、動き補償残差予測が適用されるサンプルのセットに対する変位ベクトルを指定するためにシグナルされる。動き補償残差予測が適用されるサンプルのセットに対する変位ベクトルは、上記指定された式を用いて決定される。

サンプルの異なるセットと、サンプルのセットに対する異なる仮定は、異なる動きモデルを用いる可能性がある。特に、以下の構成が考慮される。
● スライスにおいて、サンプルの全てのセットに対して同じ動きモデルが用いられる。動きモデルのシグナリングは必要でない（おそらくスライスレベルを除いて）。選択されたモデル対する動きパラメータのみが、動き補償残差予測が適用されるサンプルの各セットの各仮定に対して送信される。
● サンプルの異なるセットに対して異なる動きモデルが用いられるが、動き補償残差予測が適用されるサンプルのセットに対する全ての仮定に対して同じ動きモデルが用いられる。動きモデルは、動き補償残差予測が適用されるサンプルの各セットに対してシグナルされる。
● サンプルの異なるセットに対して異なる動きモデルが用いられ、動き補償残差予測が適用されるサンプルのセットに対する全ての仮定に対して異なる動きモデルが用いられる。動きモデルは、動き補償残差予測が適用されるサンプルのセットの各仮定に対してシグナルされる。

動きパラメータは、さまざまな精度で送信することができる。動きパラメータの精度は、固定することができる、または、スライスレベルまたはスライスのサブセットのレベルでシグナルすることができる。特に、並進運動モデルが用いられるとき、動きベクトルは、フルサンプル精度またはサブサンプル精度（例えば４分の１のサンプル精度）で送信することができる。並進運動モデルがフルサンプル精度の動きベクトルで用いられる場合、残差予測信号は、参照残差フレームのサンプルを複製することによって取得することができる。他の大部分のケースにおいて、参照復元残差信号は補間されなければならない。補間方法として、ＦＩＲフィルタ（サブサンプル位置に依存する）または一般化された補間（例えばＢスプライン補間）を用いることができる。

特定の構成において、１つ以上の動きパラメータが既に送信された情報を用いて予測され、動きパラメータとその予測との差のみが送信される。動きパラメータ予測に対して、以下のコンセプトを用いることができる。
● 同じフレームの中のサンプル（例えば隣接するブロック）の既に符号化されたセットの動きパラメータ（残差予測に対する）を用いて、動きパラメータが予測される。
● サンプルの同じセットおよび／または同じフレームに対するサンプルの既に送信されたセットの通常の動き補償予測に対する動きパラメータを用いて、動きパラメータが予測される。
● 前の符号化フレームにおけるサンプルの既に符号化されたセットの動きパラメータ（残差予測に対する）を用いて（例えば前のフレームにおける同じ位置に配置されたブロックの動きパラメータによって）、動きパラメータが予測される。
● 前の符号化フレームにおけるサンプルの既に符号化されたセットの通常の動き補償予測に対する動きパラメータを用いて（例えば前のフレームにおける同じ位置に配置されたブロックの動きパラメータによって）、動きパラメータが予測される。
● 上記コンセプトの任意の組合せを用いることによって、または動きパラメータ予測方法を直接シグナルすることによって、動きパラメータが予測される。

いくつかのまさに言及されたオプションを簡単に要約すると、ハイブリッド映像デコーダは、図３の２０２によって代表的に示される領域のような現在の復号化フレーム２００ａのサンプルの予め定められたセットに対して、フレーム２００ａのような現在の復号化フレームの残差信号を予測する際に用いられる残差予測動きパラメータ１２８を、フレーム２００ａの領域のようなサンプルの他のセット、隣接する領域２０２、または現在の復号化フレーム２００ａのサンプルの同じセットに対して、残差信号１３６が予測誤差に関係する現在の復号化フレーム２００ａの予測信号１３８を決定する際にハイブリッド映像デコーダによって前に用いられた動きパラメータを用いて、または、例えば、代表的な領域２０２と同じ位置に配置される領域に対して、フレーム２２０ｂのような前の復号化フレームの予測信号１３８を決定する際にハイブリッド映像デコーダによって前に用いられた動きパラメータを用いて、予測するように構成することができる。

特定の構成において、動きパラメータは、直接シグナルされない。その代わりに、潜在的な動きパラメータのセットがデコーダ側で導き出され、潜在的な動きパラメータのいずれが用いられるかを指定するインデックスのみがシグナルされる。このインデックスは、既に送信されたサンプルのセットの符号化インデックスを用いて、更に予測することができる。

次に、ハイブリッド映像エンコーダまたはハイブリッド映像デコーダによって実行されるような一般の信号復元に対するより詳細な実施形態が、以下により詳細に記載される。信号復元は、上述のように、一般に通常の予測並びに残差予測を含み、従って、以下の記述において、ハイブリッド映像エンコーダおよびハイブリッド映像デコーダが、それぞれ一般にどのように動作することができるか、および、例示的に図１および２においてどのように動作することができるかについて、さまざまな詳細が記載される。

＜通常の予測信号＞
サンプルのセットは、イントラ予測または動き補償予測のいずれかによって予測される。また、サンプルのセットに対する最終予測信号を形成するために、２つ以上のイントラ予測または動き補償予測を結合することが可能である。動き補償予測を考慮するとき、Ｈ_vid仮定までの予測サンプルが、対応する重み係数ｗ_vid,hによってスケーリングされ、合計される。

各仮定に対して、現在の領域は、参照フレームにおいて映像の空間変位に従って移送される。仮定に対して予測信号を生成するために、サブサンプル補間を用いることができる。最終予測信号を取得するために、オフセットを加えることも可能である。

＜残差予測＞
サンプルのセットに対して残差予測が用いられる場合、最終残差予測信号は、仮定に対して予測信号を重み付けし、仮定に対して重み付けされた残差予測信号を合計することによって取得される。

重み付けは、仮定毎の重み係数によって、または仮定毎の重み値のセット、例えばサンプルの矩形セットに対する重み付けマトリクス（上記参照）によってなすことができる。各仮定に対して、現在の領域は、参照残差フレームにおいて、空間変位情報に従って移送される。仮定に対して残差予測信号を生成するために、サブサンプル補間を用いることができる。最終残差予測信号を取得するために、オフセットを加えることも可能である。

以下の構成が考慮される。
● 全ての残差参照フレームが同じ方法で生成される。
● 参照残差フレームが生成される方法がフレームレベルで選択される。
● 両方の考えられる参照残差フレームが復号化画像バッファに挿入され、残差予測に対して参照残差フレームのいずれが用いられるかが（例えば参照フレームインデックスを介して）シグナルされる。

式６と７に関連して記載された変形例を要約すると、ハイブリッド映像デコーダは、フレーム２００ｂのような前の復号化フレームの最終残差信号１３２をエントロピー復号化し、前の復号化フレーム２００ｂの最終残差信号１３２によって、前の復号化フレームの参照残差信号１２７を生成する。言い換えれば、ハイブリッド映像デコーダは、現在の復号化フレーム２００ａの残差信号１３６が予測される前の復号化フレームの参照残差信号１２７として、最終残差信号１３２を用いることができる。

あるいは、ハイブリッド映像デコーダは、前の復号化フレーム２００ｂの最終残差信号をエントロピー復号化し、前の復号化フレーム２００ｂの残差予測信号１３４を取得するために、フレーム２００ｃのようなさらに前の復号化フレームの参照残差信号を用いて、動き補償予測によって前の復号化フレーム２００ｂの残差信号１３６を予測し、前の復号化フレーム２００ｂの最終残差信号１３２と前の復号化フレームの残差予測信号１３４の合計によって、前の復号化フレームの参照残差信号１２７を生成するように構成することができる。

しかしながら、上述のように、ハイブリッド映像デコーダは、フレームベースで、いずれの生成スキームを用いるかを選択するようにさらに構成することができる。さらに代替として、ハイブリッド映像デコーダは、式６と式７に従って、それぞれの候補の参照残差信号をハイブリッド映像デコーダの復号化画像バッファに挿入するために、ビットストリーム内のシグナリングに基づいて、前の復号化フレームの参照残差信号として第１または第２の候補の参照残差信号を用いることによって、両方の生成スキームを実行するように構成することができる。

上記さまざまな実施形態において提示されたような復元の変形例は、図１と２において既に用いられたのと同じ参照符号を用いて、図４ａと４ｂに要約される。図４ａと４ｂは、残差参照フレームと映像参照フレームに対して、分離した復号化フレームバッファ、すなわち、映像予測に対する復号化映像フレームバッファ２５０と残差予測に対する復号化残差フレームバッファ２５２が用いられる実施形態である。両方とも、それぞれの予測器１２４と１２６の参照信号入力にそれぞれ接続される。しかしながら、既に述べたように、通常の予測フレームと残差予測フレームの両方の記憶に対して、１つの復号化フレームバッフを用いることができる。更に、図４ａと４ｂは、動き補償予測、すなわち通常の予測と残差予測に対して用いられる前に参照フレームの非ブロック化を実行するために、オプションとして、それぞれ、非ブロック化フィルタ２５４と２５６をそれぞれのバッファ２５０と２５２の前に配置することができることを示す。

したがって、図４ａと４ｂに関して簡単に示したように、ブロックアーチファクトを低減するために、一般に、参照残差フレームおよび／または復元信号の両方を、復号化フレームバッファに挿入される前に、インループで非ブロック化することができる。非ブロック化は、復元映像を表示または記憶の前に、ポストフィルタとして適用することができる。

次に記載されるように、上述の実施形態に関して、オーバーラップ動き補償を用いることができる。特定の構成において、オーバーラップ動き補償を、通常の動き補償予測と動き補償残差予測のいずれかまたは両方に対して用いることができる。

これまで、特定の実施形態による特定の詳細は、残差予測そのものに関連する異なる可能性を主に取り扱った。次に、予測データの復元、すなわち、動き補償残差予測を制御するパラメータを、ハイブリッド映像デコーダがビットストリームから明らかにすることができる方法と、ハイブリッド映像エンコーダがビットストリームに埋め込むことができる方法にフォーカスする。

図５に示すように、映像信号を復元するために必要なパラメータを復元する際に、最高３つのステージ：エントロピー復号化３００、非量子化３９２、および構文要素から予測パラメータへの変換３０４、を含むことができる。すなわち、次に非量子化モジュール３０２において非量子化の対象となる量子化された構文要素３０８に結果としてなるビットストリームのビット３０６は、エントロピー復号化ステージ３００に入る。それから結果としてなる非量子化構文要素３１０は、参照フレームインデックス、動きパラメータ、分割／細区分情報、重み、他のような、上記識別された構成要素を実際に表すパラメータ３１２を取得するために、モジュール３０４において構文要素から予測パラメータへの変換の対象となる。エントロピー復号化３００は、ビットストリーム抽出器１１６によって実行することができる。非量子化３０２は、ビットストリーム抽出器１１６によって、または引き続くモジュール１１８、１２６および１２４のいずれか、またはその間にあるいずれかの他の構成要素のいずれかによって実行することができる。同じことは、構文−パラメータ変換モジュール３０４に関して適用される。

＜エントロピー復号化（３００）＞
ビットストリームは、エントロピー符号化を用いて構文要素に復号化することができる。これは、例えば可変長符号化（ＶＬＣ）、文脈適応ＶＬＣ（特定の判定基準に基づくＶＬＣテーブルの切換による）、または文脈適応算術符号化（ＣＡＢＡＣ）とすることができる。

＜文脈決定（３００のオプション部分）＞
ＣＡＢＡＣ（および文脈適応ＶＬＣ）において、可能性導出（およびＶＬＣテーブルの切換）に対する文脈は、既に送信された構文要素および／または復号化パラメータの関数として選択することができる。

残差予測の参照フレーム表示に関係する復号化構文要素に対して用いられる文脈は、残差または映像予測あるいはその両方の空間的隣接するまたは時間的に同じ位置に配置された既に復元された参照フレーム表示を評価することによって選択することができる。映像予測の参照フレーム表示に関係する復号化構文要素に対して用いられる文脈は、残差または映像予測あるいはその両方の、空間的に隣接するまたは時間的に同じ位置に配置された既に復元された参照フレーム表示を評価することによって選択することができる。

残差予測の空間変位に関係する復号化構文要素に対して用いられる文脈（残差予測動きパラメータ）は、空間的に隣接するまたは時間的に同じ位置に配置された既に復元された動きパラメータ、空間変位、または、残差または映像予測あるいはその両方の参照フレーム表示を評価することによって選択することができる。

映像予測の空間変位に関係する復号化構文要素に用いられる文脈（通常の予測動きパラメータ）は、空間的に隣接するまたは時間的に同じ位置に配置された既に復元された動きパラメータ、空間変位、または、残差または映像予測あるいはその両方の参照フレーム表示を評価することによって選択することができる。

残差予測の重み付けパラメータに関係する復号化構文要素に用いられる文脈（参照信号の重み）は、復元残差または動きパラメータまたは参照フレーム表示またはそれらのいずれかの組合せの係数ｓを評価することによって選択することができる。

＜非量子化（３０２）＞
エンコーダにおいて構文要素（例えば、ゲイン）が量子化される場合、それは、デコーダにおいて用いられる前に非量子化（スケーリング）されなければならない。

＜構文要素から予測パラメータへの変換（３０４）＞
上述のように、構文要素のビットレートを更に低減するために、構文要素は、パラメータ予測器とパラメータの差として符号化することができる。

次のパラグラフにおいて、このようなパラメータ予測が記載される。

＜仮定の数＞
残差仮定の数は、映像仮定の数からの差として、およびその逆として符号化することができる。サポートの領域の映像または残差仮定の数を評価することによる予測も可能である。

＜残差係数＞
映像および残差信号の予測がオリジナルの映像信号の良好な近似である場合、残差係数は符号化される必要はない。空間変位が予測器によって同様に充分フェアに近似される場合、予測が予測誤差なしで用いられることがシグナルされなければならないだけである。これは、ノイズのないバックグラウンド領域のケースとすることができる。

＜動きパラメータ＞
動きパラメータは、既に復号化された動きパラメータ、または隣接する領域または時間的に同じ位置に配置された領域の空間変位を用いることによって予測することができる（上記説明も参照されたい）。これらの領域は、次にサポートの領域になる。残差動きパラメータは、現在の領域の通常の動きパラメータから、サポートの領域の通常の動きパラメータから、またはその両方、並びにサポートの領域からの残差動きパラメータと組合せて、導き出すことができる。サポートの領域からの通常の動きパラメータと、サポートの領域と現在の領域からの残差動きパラメータを用いて、同じスキームを通常の動きパラメータに適用できる。

＜参照フレーム表示＞
参照フレーム表示は、同様に空間的および時間的に同じ位置に配置された領域の参照フレーム表示から予測することができる（上記説明も参照されたい）。参照フレーム表示がこれらの領域の大部分において用いられる場合、現在の参照フレーム表示は同じである可能性がある。また、残差参照フレーム表示は、通常の参照フレーム表示を用いて予測することができ、その逆も真である。

＜参照信号重み＞
参照残差信号に適用される重みｗｒｅｓは、復元残差を解析することによって予測することができる。予測に基づいて、予測誤差の送信をスキップすることができる。このように、重みは、復元残差から導き出される。導き出された重みはスカラーとすることができ、または、それらは重み付けマトリクスに拡張することができる。上記説明も参照されたい。

このように、上記実施形態において、映像フレームの色成分は、動き補償予測またはイントラ予測のいずれかによって予測される。残差信号とも称される、オリジナルの色成分と、対応する予測信号の差は、直接送信されない。むしろ、更に残差信号のエネルギーを低減し、従って符号化効率を増大するために、残差信号が、前の符号化フレームの復元残差信号を用いて、動き補償予測によって付加的に予測される。

装置の文脈においていくつかの態様が記載されたが、これらの態様は、１つのブロックまたはデバイスが方法ステップまたは方法ステップの機能に対応する方法の記述をも表していることは明らかである。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロックまたはアイテムまたは機能の記述をも表している。いくつかのまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のような、ハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態では、１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。

発明の符号化された映像信号は、デジタル記録媒体に記憶することができ、または、無線伝送媒体のような伝送媒体またはインターネットのような有線伝送媒体上を送信することができる。

特定の実施要求に基づいて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。従って、デジタル記憶媒体はコンピュータ読取可能とすることができる。

本発明に係るいくつかの実施形態は、電子的に読込可能な制御信号を有し、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、データキャリアを含む。

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するために動作可能であるプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば、機械読取可能なキャリア上に記憶することができる。

他の実施形態は、機械読取可能なキャリア上に記憶され、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを含む。

言い換えれば、本発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

発明の方法の更なる実施形態は、従って、その上に記録されて、本願明細書において記載されている方法の１つを実行するためのコンピュータプログラムを備えているデータキャリア（またはデジタル記録媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録された媒体は、通常は有形および／または非遷移的である。

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続、例えばインターネットを介して伝送されるように構成することができる。

更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成され、または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。

更なる実施形態は、本願明細書に記載された方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

本発明に係る更なる実施形態は、本願明細書に記載されている方法の１つを実行するためのコンピュータプログラムを受信者に転送する（例えば、電子的にまたは光学的に）ように構成された装置またはシステムを含む。受信者は、例えば、コンピュータ、モバイルデバイス、メモリデバイスまたはその他とすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するためのファイルサーバを備えることができる。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を、本願明細書に記載された方法の機能の一部または全部を実行するために用いることができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

上述した実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、他の当業者にとって明らかであると理解される。本発明は、それ故に、特許クレームのスコープのみによって制限され、本願明細書の実施形態の記述および説明によって提供された特定の詳細によって制限されないことを意図する。

Claims (21)

1. 前の復号化フレーム（２００ｂ）の参照残差信号（１２７）を用いて、動き補償予測によって、現在の復号化フレーム（２００ａ）の残差信号（１３６）を付加的に予測するように構成された、ハイブリッド映像デコーダ。
2. 前の復号化映像部分から前記現在の復号化フレームを予測し、前記残差信号（１３６）が予測誤差に関係する、前記現在の復号化フレーム（２００ａ）の予測信号（１３８）を取得し、
   前記現在の復号化フレーム（２００ａ）の最終残差信号（１３２）をエントロピー復号化し、
   前記現在の復号化フレーム（２００ａ）の前記予測信号（１３８）と、
   前記現在の復号化フレーム（２００ａ）の前記残差信号（１３６）を予測する際に、前記ハイブリッド映像デコーダによって取得される、前記現在の復号化フレーム（２００ａ）の残差予測信号（１３４）と、
   前記現在の復号化フレームの前記最終残差信号（１３２）と、
   を合成することによって、前記現在の復号化フレーム（２００ａ）を復元する、
   ように更に構成された、請求項１に記載のハイブリッド映像デコーダ。
3. 前記前の復号化フレームの最終残差信号（１３２）をエントロピー復号化し、前記前の復号化フレームの前記最終残差信号（１３２）によって、前記前の復号化フレームの参照残差信号（１２７）を生成するように構成された、請求項１または２に記載のハイブリッド映像デコーダ。
4. 前記前の復号化フレームの最終残差信号（１３２）をエントロピー復号化し、さらに前の復号化フレームの参照残差信号を用いて動き補償予測によって前記前の復号化フレームの残差信号（１３６）を予測し、前記前の復号化フレームの残差予測信号（１３４）を取得し、前記前の復号化フレームの前記最終残差信号（１３２）と前記前の復号化フレームの前記残差予測信号（１３４）の合計によって、前記前の復号化フレームの前記参照残差信号（１２７）を生成するように構成された、請求項１または２に記載のハイブリッド映像デコーダ。
5. 前記前の復号化フレームの最終残差信号をエントロピー復号化してフレームベースで選択し、
   前記前の復号化フレームの前記最終残差信号によって、または、前記前の復号化フレームの前記最終残差信号と、さらに前の復号化フレームの参照残差信号を用いて動き補償予測によって前記前の復号化フレームの残差信号を予測することによって取得された前記前の復号化フレームの残差予測信号との合計によって、前記前の復号化フレームの前記参照残差信号を生成する、
   ように構成された、請求項１または２に記載のハイブリッド映像デコーダ。
6. 前記前の復号化フレームの最終残差信号をエントロピー復号化し、
   前記前の復号化フレームの前記最終残差信号によって、前記前の復号化フレームの第１の候補の参照残差信号を生成し、前記ハイブリッド映像デコーダの復号化画像バッファに挿入し、
   前記前の復号化フレームの前記最終残差信号と、さらに前の復号化フレームの参照残差信号を用いて動き補償予測によって前記前の復号化フレームの残差信号を予測することによって取得された前記前の復号化フレームの残差予測信号との合計によって、前記前の復号化フレームの第２の候補の参照残差信号を生成し、前記復号化画像バッファに挿入する、ように構成され
   ビットストリーム内のシグナリングに従って、前記第１および第２の候補の参照残差信号を、前記前の復号化フレームの前記参照残差信号として用いる、
   請求項１または２に記載のハイブリッド映像デコーダ。
7. 残差予測動きパラメータに関する情報をエントロピー復号化し、前記現在の復号化フレームの前記残差信号を予測する際に、前記残差予測動きパラメータを用いるように構成された、請求項１〜６のいずれかに記載のハイブリッド映像デコーダ。
8. 映像予測動きパラメータ（１３０）に関する情報をエントロピー復号化し、前記映像予測動きパラメータを用いて、動き補償予測によって現在の復号化フレームを予測し、前記現在の復号化フレームの前記残差信号（１３６）が予測誤差に関係する前記現在の復号化フレームの予測信号（１３８）を取得するように構成された、請求項１〜７のいずれかに記載のハイブリッド映像デコーダ。
9. 前記現在の復号化フレームに対する１つ以上の構文要素を復号化し、前記現在の復号化フレームの前記残差信号（１３６）の予測を、前記現在の復号化フレームの第１のセットの、前記１つ以上の構文要素によって定義されている予め定められたセットに適用するように構成された、請求項１〜８のいずれかに記載のハイブリッド映像デコーダ。
10. 前記残差信号（１３６）が予測誤差に関係する、前記現在の復号化フレーム（２００ａ）の予測信号（１３８）に結果としてなる、前記現在の復号化フレームの予測を、前記現在の復号化フレーム（２００ａ）のサンプルの第２のセットに適用し、サンプルの前記第２のセットの各々に対する１つ以上の構文要素を復号化し、サンプルの前記第２のセットの各々に対する前記１つ以上の構文要素を用い、サンプルの前記第２のセットから、またはサンプルの前記第２のセットのサブセットから、サンプルの前記第１のセットの前記予め定められたセットを識別するように構成された、請求項９に記載のハイブリッド映像デコーダ。
11. 前記現在の復号化フレーム（２００ａ）に対する１つ以上の構文要素を復号化し、前記現在の復号化フレーム（２００ａ）の前記残差信号（１３６）の予測を、前記現在の復号化フレーム（２００ａ）のサンプルの第１のセットの、前記１つ以上の構文要素によって定義されている予め定められたセットに適用し、前記残差信号が予測誤差に関係する前記現在の復号化フレーム（２００ａ）の残差信号（１３８）を部分的に形成する前記現在の復号化フレームのイントラ予測を、前記現在の復号化フレーム（２００ｃ）のサンプルの第２のセットの予め定められた第１のセットに適用し、前記現在の復号化フレームの前記予測信号（１３８）を部分的に形成する前記現在の復号化フレームの動き補償予測を、サンプルの前記第２のセットの予め定められた第２のセットに適用し、サンプルの前記第１のセットが、サンプルの前記第２のセットの前記第１および第２のセットから独立するように構成された、請求項１〜８のいずれかに記載のハイブリッド映像デコーダ。
12. 前記前の復号化フレームをインデックスする残差参照フレームインデックスを、ビットストリームから抽出するように構成された、請求項１〜１１のいずれかに記載のハイブリッド映像デコーダ。
13. 後のフレームが、それに基づいて、前記残差信号（１３６）が予測誤差に関係する前記現在の復号化フレーム（２００ａ）の予測信号を決定するように、前記前の復号化フレームをインデックスする残差参照フレームインデックスを推定するように構成された、請求項１〜１２のいずれかに記載のハイブリッド映像デコーダ。
14. 前記現在の復号化フレームのサンプルの予め定められたセットに対して前記現在の復号化フレームの前記残差信号を予測する際に用いられる残差予測動きパラメータを、前記現在の復号化フレームのサンプルの他のセットに対して前記現在の復号化フレームの前記残差信号を予測する際に前記ハイブリッド映像デコーダによって前に用いられた残差予測動きパラメータ、または前の復号化フレームの残差信号を用いて、予測するように構成された、請求項１〜１３のいずれかに記載のハイブリッド映像デコーダ。
15. 前記現在の復号化フレーム（２００ａ）のサンプルの予め定められたセットに対して前記現在の復号化フレームの前記予測信号を予測する際に用いられる残差予測動きパラメータを、前記現在の復号化フレーム（２００ａ）のサンプルの他のセットまたは同じセットに対して前記残差信号（１３６）が予測誤差に関係する前記現在の復号化フレーム（２００ａ）の予測信号（１３８）を決定する際に前記ハイブリッド映像デコーダによって前に用いられた、または前の復号化フレームの残差信号（１３８）を決定する際に前記ハイブリッド映像デコーダによって前に用いられた、動きパラメータを用いて予測するように構成された、請求項１〜１４のいずれかに記載のハイブリッド映像デコーダ。
16. 前記現在の復号化フレームの前記予測信号を予測するために、多重仮定予測を用い、前記現在の復号化フレームの前記残差信号を予測する際に用いられる多くの仮定を、前記予測信号が予測誤差に関係する前記現在の復号化フレームの予測信号を決定する際に前記ハイブリッド映像デコーダによって用いられる多くの仮定からの差として、異なって復号化するように構成された、請求項１〜１５のいずれかに記載のハイブリッド映像デコーダ。
17. 前の符号化フレームの参照残差信号を用いて、動き補償予測によって、現在の符号化フレームの残差信号を付加的に予測するように構成された、ハイブリッド映像エンコーダ。
18. 前の復号化フレームの参照残差信号を用いて、動き補償予測によって、現在の復号化フレームの残差信号を付加的に予測するステップを含む、ハイブリッド映像復号化方法。
19. 前の符号化フレームの参照残差信号を用いて、動き補償予測によって、現在の符号化フレームの残差信号を付加的に予測するステップを含む、ハイブリッド映像符号化方法。
20. 前の符号化フレームの参照残差信号を用いた、動き補償予測による、予め定められたフレームの残差信号の予測誤差の動き補償予測を定める残差予測動きパラメータに関する情報を備えた、ハイブリッド映像符号化されたビットストリーム。
21. コンピュータプログラムがコンピュータ上で動作するとき、請求項１８または１９に記載の方法を実行するプログラムコードを有する、コンピュータプログラム。

Images