JP2013110747A - 画素ブロックを符号化して再構成する方法及び対応する装置 - Google Patents

Abstract

【課題】ビデオ圧縮等におけるブロック効果を解消できる画像ブロック符号化方法及び装置を提供すること。
【解決手段】本発明は画素ブロックを符号化する方法に関し、画素ブロック及び予測ブロックから残部ブロックを計算するステップ（１００）と、１組の基底関数により規定される変換で、残部ブロックを係数ブロックに変換するステップ（１０４）と、係数ブロックを符号化するステップ（１０６）とを含む。この符号化方法は、変換するステップ（１０４）の前に、画素ブロックのガジュアル近傍において計算された残部から基底関数を再同相化するステップ（１０２）を含む。変換するステップは、再同相化された基底関数を使用する。
【選択図】図１

Description

本発明は画像の符号化の一般的な分野に関する。より詳細には、本発明は画素（ピクセル）ブロックを符号化する方法とそのようなブロックを再構成する方法とに関する。本発明はまた、デバイスを符号化する装置とそのようなブロックを復号化する装置に関する。

画素ブロックを符号化するために、予測エラーを表す残部ブロックを計算する目的を有して、空間的に、または時間的にこのブロックを予測することが知られている。残部ブロックは、その後、係数ブロックに変換されることにより量子化されて、Ｆストリームに符号化される。従来、残部ブロックは１組の基底関数により定義された変換を用いて変換される。

変換の基底関数は通常、画像内のブロックの位置にかかわりなく、同じように適用される。したがって、基底関数が残部ブロック内で観察される信号に正しく同相していないと、周波数拡張が観察される。例えば、残部ブロックが変換の基底関数の１つに対応するパターンで形成される、すなわち、この基底関数と同じ周波数のパターンで形成されると仮定する。変換が適用されるブロックの信号が基底関数と同相であると、変換はエネルギーが問合わせでの信号を表す一意的な係数を生成する。しかし、ブロックの信号が基底関数と同相していないと、変換はいくつかの係数を生成する。この場合、変換後の量子化は、ブロックが同調している場合とは異なり、特定の係数を削除してしまうことが多い。これにより、情報の損失が生じてしまう。情報の損失は、変換されたドメイン内における係数の拡張及び量子化に起因する。同相していない信号の場合、このエネルギーがいくつかの係数に分配されるので、エネルギーは失われるが、位相レベルでは正確であり、これら２つの問題点が画像及びビデオ圧縮の分野で良く知られているブロック効果を引き起こす。

本発明の目的は、従来技術の上記不都合の少なくとも１つを解決することである。この目的のため、本発明は、以下のステップを含む画素ブロックを符号化する方法に関する。

前記画素ブロックと予測ブロックとから残部ブロックを生成するステップ、
１組の基底関数によって規定された変換により、前記残部ブロックを係数ブロックに変換するステップ、及び
前記係数ブロックを符号化するステップ。
有利なことに、前記符号化方法は、前記変換ステップの前に、画素ブロックのカジュアルな近傍で計算される残部から基底関数を再同相化するステップを含み、前記変換ステップは前記再同相化された基底関数を使用する。

本発明の符号化方法により有利なことに、係数は、符号化コストを下げることにより符号化効率を上げる前記変換されたドメインに広がることを可能にする。すなわち、有利なことに、前記変換の基底関数を再同相化することによる符号化方法は、符号化する信号にこの変換を適応する。この再同相化された変換は、信号をコンパクトにし、少ない数の係数に圧縮するキャパシティが増大すると、より効果的である。

本発明の他の態様によれば、前記変換は別々であり、１組の基底関数は、水平基底関数と垂直基底関数とを含む。水平基底関数及び垂直基底関数の再同相化ステップは、以下のステップを含む。
ａ)水平基底関数を用いて画素ブロックのカジュアルな近傍の残部の少なくとも１ラインを係数に変換するステップ、
ｂ)より大きい振幅の係数を決定するステップ、
ｃ)前記決定された係数に対応する前記水平基底関数を特定するステップ、
ｄ)前記特定された水平基底関数と残部ラインとの間の水平空間シフトを決定するステップ、
ｅ)決定された前記水平空間シフトを用いて前記水平基底関数を再同相化するステップ、及び、
ｆ)前記画素ブロックのカジュアルな近傍の少なくとも１つの残部列に前記ステップａ）からｅ）を垂直に繰り返して、ステップｄ）で決定された垂直空間シフトを用いて前記垂直基底関数を再同相化するステップ。

有利なことに、前記残部ライン及び残部列の残部は、前記残部ブロックを計算するために用いられる予測モードと同一の予測モードに従って計算される。

１つの特徴によると、前記垂直空間シフトと前記水平空間シフトは位相の相関によって決定され、前記空間シフトは、メインピークと呼ばれる最大相関ピークである。

特に有利な実施形態によると、前記符号化方法は、前記ステップｄ）とｅ）との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより垂直サブピクセルシフトと水平サブピクセルシフトとをそれぞれ決定するステップを含む。この実施形態によると、水平基底関数は水平空間シフトと水平サブピクセルシフトとの和に等しいシフトで再同相化され、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトとの和に等しいシフトで再同相化される。

本発明は、以下のステップを含む画素ブロックを再構成する方法にも関する。
係数ブロックを復号化するステップ、
１組の基底関数により規定される変換を使用して、前記係数ブロックを残部ブロックへ変換するステップ、及び、
前記残部ブロックと予測ブロックから、画素ブロックを再構成するステップ。

有利なことに、前記再構成方法は、前記変換ステップの前に、画素ブロックのカジュアル近傍で計算される残部から基底関数を再同相化するステップを含み、前記変換ステップは当該再同相化された基底関数を使用する。

本発明の他の態様によれば、前記変換は分離することができ、前記１組の基底関数は、水平基底関数と垂直基底関数を含む。

水平基底関数及び垂直基底関数を再同相化するステップは、以下のステップを含む。
ａ)前記水平基底関数を用いて、前記画素ブロックの前記カジュアル近傍の残部の少なくとも１ラインを係数に変換するステップ、
ｂ)大きな振幅の係数を決定するステップ、
ｃ)前記決定された係数に対応する前記水平基底関数を特定するステップ、
ｄ)特定された前記水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ、
ｅ)決定された前記水平空間シフトにより前記水平基底関数を再同相化するステップ、及び、
ｆ)前記画素ブロックの前記カジュアル近傍の少なくとも１つの残部列に垂直に前記ステップａ）からｅ）までを繰り返すことによって、ステップｄ）において決定された垂直空間シフトで前記垂直規定関数を再同相化するステップ。

有利なことに、前記残部ライン、及び前記残部列の残部は、前記残部ブロックを計算するために用いられた前記予測モードと同一の予測モードに従って計算される。

本発明の１つの特別な特徴によると、前記垂直空間シフト、及び前記水平空間シフトは位相相関関係で決定され、前記空間シフトは、メインピークと呼ばれる最大相関ピークに対応する。

別の実施形態によれば、前記再構成方法は、ステップｄ）とｅ）との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフト及び垂直サブピクセルシフトをそれぞれ決定するステップを含む。この実施形態によると、前記水平基底関数は前記水平空間シフトと前記水平サブピクセルシフトとの和に等しいシフトで再同相化され、前記垂直基底関数は前記垂直空間シフトと前記垂直サブピクセルシフトとの和に等しいシフトで再同相化される。

本発明はまた、画素ブロック符号化装置に関し、この画素ブロック符号化装置は、
前記画素ブロック及び予測ブロックから残部ブロックを計算する手段、
１組の基底関数によって規定される変換で、前記残部ブロックを係数ブロックに変換する手段、及び
前記係数ブロックを符号化する手段を含む。

前記符号化装置はさらに、前記画素ブロックのカジュアル近傍で計算される残部から前記基底関数を再同相化する手段を含み、前記変換手段は前記再同相化された基底関数を使用する。

本発明はさらに、画素ブロックを表すストリームの復号化装置に関し、この復号化装置は、
前記ストリームから係数ブロックを復号化する手段、
１組の基底関数によって規定される変換で、前記係数ブロックを残部ブロックに変換する手段、及び
前記残部ブロック及び予測ブロックから前記画素ブロックを再構成する手段を含む。

前記符号化装置はさらに、前記画素ブロックのカジュアル近傍で計算される残部から前記基底関数を再同相化する手段を含み、前記変換手段は前記再同相化された基底関数を使用する。

前記基底関数の前記再同相化は、前記符号化及び再構成化方法によって対称的に実行され、前記ストリームにおいて追加の情報が符号化される必要がない。特に、前記空間シフトは送信される必要がない。

本発明は、添付図面を参照して、非限定的な実施形態及び有利な実施によって、より良く理解されかつ説明するだろう。
図１は本発明の画素ブロックｂ_curの符号化方法を示す図である。 図２は前記画素ブロックｂ_curとこのブロックｂ_curのカジュアル近傍を示す図である。 図３は図１に示した符号化方法の詳細を示す図である。 図４は変換されたドメインにおける関数Ｚ及びＳを示す図である。 図５は変換されたドメインと空間ドメインにおける相関関数を示す図である。 図６は本発明に従う画素ブロックを再構成する方法を示す図である。 図７は本発明に従う符号化装置を示す図である。 図８は本発明に従う復号化装置を示す図である。

本発明は、画像シーケンスの画素ブロックを再構成する方法と、そのようなブロックを符号化する方法とに関する。画像シーケンスは一連のいくつかの画像である。各画像は複数の画素または画像ポイントからなり、各画素または画像ポイントには、画像データの少なくとも１つのアイテムが関連付けられている。画像データのアイテムは、例えば、輝度データのアイテムまたは色差データのアイテムである。以下、符号化方法及び再構成方法は画素ブロックを用いて説明される。これら方法は、１つまたは複数の画像の再構成の符号化という目的で、いくつかの画像ブロック及び一連のいくつかの画像に適用することができることは明らかである。

「動きデータ」という用語は最広義に理解される。動きデータは、動きベクトル、及び、場合により参照画像が画像シーケンス内で識別可能にする参照画像インデックスを指定する。動きデータはまた、予測ブロックを決定するために使用される補間タイプを示す情報の項目を含むことができる。実際には、ブロックＢｃに関連付けられた動きベクトルが整数座標を有していない場合には、予測ブロックを決定するために、参照画像Ｉｒにおいて画像データを補間する必要がある。ブロックに関連付けられた動きデータは一般的には、動き推定法、例えばブロックマッチングにより計算される。しかし、本発明は、動きベクトルがブロックに関連付けられる方法によって限定されない。

「残余データ」または 「残余誤差」という用語は、他のデータを抽出した後に得られたデータを示す。この抽出は一般的に、ソースデータから予測データを画素による減算画素である。しかし、抽出はより一般的であり、特に、例えば照射変動モデルを考慮するために、加重減算を含む。「残余データ」という用語は「残部」という用語と同義である。残部ブロックは、残余データが関連付けられている画素ブロックである。

「変換された残余データ」という用語は、変換が適用された残余データを指す。 ＤＣＴ（離散余弦変換）は、２００３年９月にジェイワイリー＆サンズ(J.Wiley & Sons)によって発行された「Ｈ．２６４及びＭＰＥＧ−４ビデオ圧縮」と呼ばれるアイ・イー・リチャードソン(I.E.Richardson)よる書籍の第３．４．２．２章に記載されたそのような変換の例である。アイ・イー・リチャードソンの書籍の第３．４．２．３章に説明されているウェーブレット変換、及びアダマール（Hadmard）変換は、他の例である。このような変換は、画像データのブロック、例えば、残留揮度、及び／または、クロミナンスデータ(chrominance data)を、「変換されたブロック」、「周波数データのブロック」または「係数のブロック」とも呼ばれる「変換されたデータのブロック」に変換する。係数のブロックは一般に、連続係数またはＤＣ係数という名称で知られる低周波係数、及び、ＡＣ係数として知られる高周波数係数を含む。「画像ドメイン」または「空間ドメイン」という用語は、輝度及び/またはクロミナンス値が関連付けられる画素のドメインを指定する。「周波数ドメイン」または「転換されたドメイン」は、係数のドメインを表す。１つは、例えば、画像を変換、例えばＤＣＴに適用することにより空間ドメインから変換されたドメインに変化し、また反対に、先例の変換の逆変換、例えば、逆ＤＣＴを適用することにより、上記変換されたドメインから空間ドメインに変化する。

「予測データ」という用語は、他のデータを予測するために使用されるデータを指す。予測ブロックは、予測データが関連付けられる画素ブロックである。予測ブロックは、それが予測するブロック（空間予測もしくは画像内）が属する画像と同じ画像の１つもしくは複数のブロックから得られるか、または、それが予測するブロックが属する画像の異なる画像（時間的予測もしくは画像間予測）の１つ（単方向予測）、もしくはいくつかの参照ブロック（双方向予測もしくは二重予測）から得られる。

用語「予測モード」はブロックが予測される方法を指す。複数の予測モードの中には、空間予測に対応するイントラモードと、時間的予測に対応するインターモードとがある。予測モードは、ブロックが、符号化されるために分割される方法を指定することもある。したがって、１６×１６のサイズのブロックに関連付けられている８×８のインター予測モードは、１６×１６ブロックが４つの８×８ブロックに分割されて、時間的予測によって予測されていることを示す。

用語「再構成されたデータ」は、予測データで残部を結合した後に得られたデータ（例えば、画素、ブロック）を指す。結合は一般に、残部と予測データとの和である。しかし、結合はより広い意味を有し、特に、例えば照明変動モデルを考慮するため加重和を含む。再構成されたブロックは、再構成された画素のブロックである。

画像の符号化に関し、用語 「再構成」及び「復号化」は同義語として使用されることが非常に多い。したがって、「再構成されたブロック」はまた、「復号化されたブロック」という用語で指されることもある。

用語である符号化は最広義でとらえられる。符号化は場合により画像データの変換、及び/または量子化を含めることができる。符号化はまた、エントロピー符号化のみを指定する場合もある。

現在のブロックの「カジュアル近傍」は、現在のブロックの前に符号化／再構成された画素を含むこのブロックの近傍を指す。

図１を参照すると、本発明は、１組の基底関数によって規定される変換Ｔを有する変換ステップを含むタイプの整数ＮでＮ×Ｎサイズの画素ブロックｂ_curを符号化する方法に関する。ステップ１００の間、残部ブロックｂは、画素ブロックｂ_cur、及び、予測モードに従って決定された予測ブロックｂｐから計算される。例えば、ｂ（i，j）＝ｂ_cur（i，j）−ｂ_p（i，j）であり、ここでは（i，j）は画素の座標である。

ステップ１０２の間は、変換Ｔの基底関数は、ブロックｂ_curのカジュアル近傍から再同相化される。そのようなカジュアル近傍の例は、図２においてゾーンＺＣｘ及びＺＣｙで表してある。より正確には、基底関数はこのカジュアル近傍内で計算された残部から再同相化される。

ステップ１０４の間、残部ブロックｂは、再同相化された基底関数で係数ブロックＢに変換される。係数ブロックＢは次の態様で決定される。
Ｂ ＝ Ｔ_phase（ｂ）、ここで、Ｔ_phaseは再同相化された基底関数によって規定された変換である。

ステップ１０６の間、係数ブロックＢはストリームＦにおいて符号化される。例えば、係数ブロックＢは、量子化された後、ＶＬＣ（可変長符号化）、ＣＡＶＬＣ（コンテキスト適応型可変長符号化）、またはＣＡＢＡＣ（コンテキスト適応バイナリ算術符号化）のタイプのエントロピー符号化により符号化されることになる。これらの技術は、画像符号化の分野の当業者には周知であり、さらに詳述しない。本発明は、使用されるエントロピー符号化のタイプによって限定されない。

別々の変換について、図３を参照して、特定の実施形態について説明する。この場合、１組の基底関数は、垂直基底関数Ｃｙと水平基底関数Ｃｘとに分けられる。この実施形態は、ＤＣＴ変換の特定のケースで説明されるが、本発明は、この変換によって限定されない。図３に関連して説明される実施形態は、任意の分離可能な変換に適用される。

ＤＣＴの特定のケースでは、基底関数は次のように定義される。

ブロックｂは次の態様で係数ブロックＢに変換される。

ここで（ｕ，ｖ）は、周波数ドメインにおける係数の座標である。

この実施形態によれば、基底関数を再同相化するステップ１０２は次のステップを含む。

水平基底関数を再同相化するステップ、及び
垂直基底関数を再同相化するステップ。

水平基底関数を再同相化するステップは、図３の左側部分に関連して説明される。

ステップ１０２０の間、ブロックｂ_curのカジュアル近傍ＺＣｘで計算された残部ｚ（ｘ）は、水平基底関数で図４に表されたＺ（ｕ）係数に変換される。特定の実施形態によれば、ＺＣｘは、図２に示すように、現在のブロックｂ_curの真上に位置する画素ラインを含む。ＺＣｘの各画素は残部値ｚ（ｘ）に関連付けられている。ＺＣｘは従って、残部ラインである。変形例によれば、ＺＣｘは現在のブロックｂ_curの上方に位置する複数の残部画素ラインを含む。残部ｚ（ｘ）は、例えば、現在のブロックについて計算された残部誤差を近傍ＺＣｘに拡張することにより計算される。したがって、値ｚ（ｘ）は、現在のブロックｂ_curに関連付けられた予測モードＭｏｄｅを使用することにより、かつ、場合によっては、残部ブロックｂを計算するために使用される動きデータＭＶも使用することにより得られる。より正確には、Ｍｏｄｅ、及び場合によりＭＶは、近傍ＺＣｘの画素に関する予測データｚ_p（ｘ）を計算するために使用され、残部ｚ（ｘ）は予測データｚ_p（ｘ）から計算される。例えば、ｚ（ｘ）＝ｚ_cur（ｘ）−ｚ_p（ｘ）であり、ここでｚ_cur（ｘ）は輝度またはクロミナンス画像データである。

ステップ１０２２の間、大きい振幅の係数Ｚ（ｕ_max）が決定される。

ｕ≠０である。

ステップ１０２４の間、前記決定された係数に対応する水平基底関数が特定される。この目的のために、次のように定義されかつ図４で表わしてあるように、ステップ１０２０で適用された変換の逆変換を中間の関数Ｓ（ｕ）に適用することにより、空間ドメインに戻る。
・ｕ＝０の場合、Ｓ（ｕ）＝Ｚ（ｕ）
・ｕ＝ｕ_maxの場合、Ｓ（ｕ）＝Ｚ（ｕ）
・それ以外の場合、Ｓ（ｕ）＝０

ある実施形態によれば、さらにＺ（ｕ_max）＞ＴＨが確認されると、ＴＨはしきい値である。例えば、ＴＨは係数の符号化の間に使用される量子化ステップＱＰの倍数である。基底関数の再同相化は従って、Ｚ（ｕ_max）＞ＴＨの場合にのみ実行される。

Ｓ（ｕ）の逆変換はｓ（ｘ）で示される。ｓ（ｘ）は、ｓ（ｘ）から特定される変換Ｔの基底関数の１つに対応する。

ステップ１０２６の間、特定された水平基底関数と残部ラインＺＣｘとの間の水平方向の空間シフトｄｘが決定される。簡略化した説明例によると、図５に示すように、水平空間シフトｄｘは位相相関により決定される。この目的のために、残部ラインｚ（ｘ）はフーリエ変換により、変換された信号ＦＺ（ｕ）に変換される。同様に、ｓ（ｘ）はフーリエ変換により、変換された信号ＦＳ（ｕ）に変換される。相関関係はよって、次の式に従って計算される。

ここで、ＦＺ^*（ｕ）はＦＺ（ｕ）の共役複素数である。

変換されたドメイン内の相関は、逆フーリエ変換ＩＦＴをＣｏｒｒ（ｕ）に適用することにより、空間ドメインに持ち込まれる。空間ドメインにおける相関はｃｏｒｒ（ｘ）として表され、ｃｏｒｒ（ｘ）=ＩＦＴ（Ｃｏｒｒ（ｕ））である。

シフトまたは位相ｄｘは、空間ドメインで相関ピークを判別することによって得られる。

実施形態の変形例によれば、水平空間シフトｄｘは空間相関により決定される。より正確には、可能性のあるシフトの有限集合Ｅにおける各シフトｄｘについて、空間相関はｄｘで再同相化され特定された基底関数と、残部ラインＺＣｘとの間で計算される。選択されたシフトｄｘは、空間相関が最大となるシフトである。例えば、Ｅ＝{１，２，３，４}。変形例によると、Ｅ＝{１，１．５，２，２．５，３，３．５，４}であり、これによりサブピクセルシフトを決定することができる。当然に、Ｅは、例えば、１／４画素、１ ／８画素等において、より正確なシフトを含むことが可能である。

ステップ１０２８の間、水平基底関数は、ステップ１０２６で決定された水平空間シフトｄｘで再同相化される。ＤＣＴの場合、Ｃｘは次のように再同相化される。

同様に、図３の右側に示すように、ステップ１０２０からステップ１０２８までは、ゾーンＺＣｙで垂直に適用される。垂直基底関数はステップ１０２６で決定された垂直空間シフトで再同相化される。ＤＣＴの場合、Ｃｙは次のように再同相化される。

有利な実施形態によれば、ステップ１０２６の間に決定されたシフトｄｘ及びｄｙは、ステップ１０２７の間において、より精緻化される。例えば、空間ドメインにおいて相関ピークを囲むエネルギーの共通重心は、図５に示すように、メインピークｂで中央となる文字ａ、ｂおよびｃにより特定される３つのエネルギーピークに基づいて決定される。共通重心ｂ'は、水平サブピクセルシフトδｘと垂直サブピクセルシフトδｙとを決定することが可能である。この実施形態によれば、水平基底関数及び垂直基底関数は、ステップ１０２８で、それぞれ、（ｄｘ＋δｘ）及び（ｄｙ＋δｙ）だけシフトする。別の変形例によれば、メインピークを中央とする３つのエネルギーのピークを通過する既知の解析関数曲線、例えば、放物線が決定される。この関数の最大値は、処理が水平または垂直に行われるかに従って、シフト（ｄｘ＋δｘ）または（ｄｙ＋δｙ）に対応する。

図６を参照すると、本発明は、１組の基底関数により規定される変換Ｔ'を有する変換ステップを含むタイプの整数Ｎを有するサイズＮｘＮの画素ブロックｂ_curを再構成する方法に関する。

ステップ２００の間、再構成するブロックｂ_recを表す係数ブロックＢは、ストリームＦから復号化される。例えば、係数ブロックＢはＶＬＣ（可変長符号化）、ＣＡＶＬＣ（コンテキスト適応型可変長符号化）、もしくはＣＡＢＡＣ（コンテキスト適応型バイナリ算術符号化）のタイプのエントロピー復号化方法により復号化される可能性があり、逆量子化される可能性もある。このステップは、符号化方法のステップ１０６の逆である。

ステップ２０２の間、変換Ｔ'の基底関数は再構成するブロックのカジュアル近傍から再同相化される。そのような近傍の例は、ＺＣｘ及びＺＣｙにより図２に表してある。より正確には、基底関数はこのカジュアル近傍で計算された残部から再同相化される。

ステップ２０４の間、係数ブロックＢは、再同相化された基底関数で、残部ブロックＢに変換される。残部ブロックは次の態様で決定される。

Ｂ＝Ｔ’_phase（Ｂ）、ここでＴ’_phaseは再同相化された基底関数によって規定される変換である。

ステップ２０６の間、画素ブロックｂ_recは、残部ブロックｂと、予測モードに従って決定される予測ブロックｂｐとから再構成される。例えば、ｂ（ｉ，ｊ）＝ｂ_rec（ｉ，ｊ）−ｂ_p（ｉ，ｊ）、ここで（ｉ，ｊ）は画素の座標である。

符号化方法について図３、図４及び図５を参照して説明された特定の実施形態は、再構成方法に等しく適用することができ、特に、基底関数を再同相化するステップ２０２に等しく適用することができる。係数ブロックＢは、次の式に従ってステップ２０４の間に残部ブロックに変換される。ｂ＝Ｃ_y．Ｂ．Ｃ_x、ここでＣ_x及びＣ_yは、ｄｘ及びｄｙの再同相化された水平基底関数及び垂直基底関数であり、場合によっては（ｄｘ＋δｘ）及び（ｄｙ+δｙ）の再同相化された水平基底関数及び垂直基底関数となる。

図７及び図８を参照すると、本発明は、画素ブロックの符号化装置ＣＯＤＥＲとそのような画素ブロックを表すストリームＦの復号化装置ＤＥＣＯＤＥＲに関する。これらの図において、示されたモジュールは機能ユニットであり、物理的に区別できるユニットに対応し得るし、または対応し得ない。例えば、これらのモジュール、またはいくつかは、単一のコンポーネントに統合する、あるいは、同じソフトウェアの機能を構成することが可能である。また、いくつかのモジュールは、別々の物理エンティティで構成してもよい。

図７を参照すると、符号化装置ＣＯＤＥＲは、入力として、画像シーケンスに属する画像Ｉを受け取る。各画像は複数の画素ブロックｂ_curに分割され、各画素ブロックには画像データの少なくとも１つの項目、例えば、輝度及び／またはクロミナンス（色度）が関連づけられる。符号化装置ＣＯＤＥＲは、特に、時間的予測で符号化を実施する。時間的予測による符号化、すなわちインター符号化に関連する符号化装置ＣＯＤＥＲのモジュールだけが、図６に表してある。示されず、かつビデオ符号化装置の技術で当業者に知られている他のモジュールは、空間的予測を利用し、または利用せずにイントラ符号化を実施する。符号化装置ＣＯＤＥＲは、特に、符号化方法のステップ１００に従って、例えば、画素毎に、現在のブロックｂ_curから予測ブロックｂｐを引いて残部ブロックｂを生成することにより、抽出が可能な計算モジュールＡＤＤ１を備える。符号化装置はさらに、１組の基底関数により規定された変換Ｔで、残部ブロックｂを係数ブロックＢに変換することができる変換モジュールＴを備えている。変換Ｔは、例えばＤＣＴである。符号化装置ＣＯＤＥＲはさらに、図１を参照して説明された符号化方法のステップ１０２に従う変換Ｔの基底関数を再同相化することができる再同相化モジュールＲＥＰＨＡＳを備える。従って、変換モジュールＴは、符号化方法のステップ１０４に従って、１組の再同相化された基底関数をブロックｂに適用する。変換モジュールＴの出力は、係数ブロックＢを量子化されたデータに量子化することができる量子化モジュールＱの入力に接続されている。量子化モジュールの出力は、量子化されたデータを符号化されたデータのストリームＦに符号化することができるエントロピー符号化モジュールＣＯＤの入力に接続されている。よって、符号化方法のステップ１０６は、モジュールＱ及びＣＯＤによって実施される。符号化装置はさらに、量子化モジュールＱの逆演算を行うモジュールＩＱを備えており、モジュールＩＱは、変換モジュールＴの逆演算を行うモジュールＩＴに接続されている。モジュールＩＴの出力は、画素毎にモジュールＩＴからのデータブロックと予測ブロックを加算することができる計算モジュールＡＤＤ２とに接続されている。加算により、再構成されたブロックが生成され、これがメモリＭＥＭに記憶される。

また、符号化装置ＣＯＤＥＲは、ブロックｂ_curと、メモリＭＥＭに記憶された参照画像Ｉｒとの間に少なくとも１つの動きベクトルＶｐを推定することができる動き推定モジュールＭＥを含む。この画像は事前にコード化されて、その後、再構成される。１つの変形例によれば、動き推定は、現在のブロックｂｃと、Ｉｒに対応するソース画像との間で行うことができ、この場合、メモリＭＥＭは動き推定モジュールＭＥに接続されない。当業者に周知の方法によれば、動き推定モジュールは、動きベクトルについて、対応するソース画像のそれぞれの参照画像Ｉｒにおいて検索を行うことにより、現在のブロックｂ_curと前記対応するソース画像のそれぞれの参照画像Ｉｒ内のブロックとの間で計算される誤差を最小限にする。１つの変形例によれば、動きベクトルは、位相相関もしくは全体的動作推定により決定されるか、または「テンプレートマッチング」によって決定されてもよい。動きデータは、所定セットの符号化モードの中からブロックｂ_curための符号化モードを選択することができる決定モジュールＤＥＣＩＳＩＯＮに、動き推定モジュールＭＥによって送信される。選択された符号化モードは、例えば、ビットレート歪みのような基準を最小化するものである。しかし、本発明はこの選択方法に限定されず、選択されるモードは、別の基準、例えば、経験に基づく基準、前例に倣う基準）に従って選択することができる。決定モジュールＤＥＣＩＳＩＯＮによって選択された符号化モード及び動きデータ、例えば、時間的予測モードまたはインターモードにおける１つもしくは複数の動きベクトルは、予測モジュールＰＲＥＤに送信される。１つもしくは複数の動きベクトル、および前記選択された符号化モードはさらに、エントロピー符号化モジュールＣＯＤに送信されてストリームＦに符号化される。もし予測モードＩＮＴＥＲが決定モジュールＤＥＣＩＳＩＯＮによって保持されるなら、前記予測モジュールＰＲＥＤは、すでに再構成されてメモリＭＥＭに記憶されている参照画像Ｉｒにおいて、前記動き推定モジュールＭＥによって決定された動きベクトルを用いて予測ブロックｂｐを決定する。もし予測モードイントラが決定モジュールＤＥＣＩＳＩＯＮによって保持されているなら、予測モジュールＰＲＥＤは、現在の画像において、すでに符号化されてメモリＭＥＭに記憶されている複数のブロックから予測ブロックｂｐを決定する。

図８を参照すると、復号化装置ＤＥＣＯＤＥＲは、入力として、画像シーケンスを表す符号化データのストリームＦまたは当該画像シーケンスの一部、例えば、ブロックを表す符号化データのストリームを受信する。ストリームＦは、例えば、符号化装置ＣＯＤＥＲによって送信される。復号化装置ＤＥＣＯＤＥＲは、復号化されたデータ、例えば、画像のコンテンツに関する復号化されたデータ及び符号化モードを生成することができるエントロピー復号化モジュールＤＥＣを含む。復号化装置ＤＥＣＯＤＥＲはさらに、動きデータ再構成モジュールを備える。第１の実施形態によれば、動きデータ再構成モジュールは、動きベクトルを表すストリームＦの一部を復号化するエントロピー復号化モジュールＤＥＣである。

図８に示されていない変形例によれば、動きデータ再構成モジュールは動作推定モジュールである。復号化装置ＤＥＣＯＤＥＲにより動きデータを再構成する解決は、「テンプレートマッチング」として知られている。

画像の内容に関する復号化されたデータは、その後、係数ブロックＢを得るために復号化されたデータの逆量子化を行うことができる逆量子化モジュールＩＱに送信される。再構成方法のステップ２００はモジュールＤＥＣ及びＩＱにおいて実行される。モジュールＩＱは符号化装置ＣＯＤＥＲのモジュールＴによって実行された変換に対して逆変換を行うことができる変換モジュールＩＴに接続されている。モジュールＩＱ及びＩＴは、符号化されたストリームＦを生成した符号化装置ＣＯＤＥＲのモジュールＩＱ及びＩＴと同一である。復号化装置ＤＥＣＯＤＥＲはさらに、図６を参照して説明された再構成方法のステップ２０２に基づいて変換Ｔの基底関数を再同相化できる再同相化モジュールＲＥＰＨＡＳを備える。よって、変換モジュールＴは、再構成方法のステップ２０４に基づいて、１組の再同相化された基底関数を係数ブロックＢに適用する。モジュールＩＴは計算モジュールＡＤＤ３に接続されており、当該計算モジュールは例えば、画素を画素に追加する形で、モジュールＩＴからの残部ブロックｂと予測ブロックｂｐとを結合して、再構成されたブロックｂ_recを生成することができる。再構成ブロックｂ_recはメモリＭＥＭに記憶される。また、復号化装置ＤＥＣＯＤＥＲは、符号化装置ＣＯＤＥＲの予測モジュールＰＲＥＤと同一の予測モジュールＰＲＥＤを備えている。予測モードＩＮＴＥＲが復号化されているなら、予測モジュールＰＲＥＤは、すでに再構成されてメモリＭＥＭに記憶されている参照画像Ｉｒの中から、予測ブロックｂ_curをエントロピー復号化モジュールＤＥＣにより決定する。もし予測モードイントラが復号化されているなら、予測モジュールＰＲＥＤは、既に再構成されてメモリＭＥＭに記憶されているブロックの中の現在の画像において、予測ブロックｂｐを決定する。

本発明は上記実施形態に限定されないことは明らかである。特に、当業者は上記実施形態に任意の変更を施すこと、及び、それらを組み合わせてそれらの様々な利点・効果を得ることができる。特に、カジュアル近傍から基底関数を再同相化することは、サイズ及び次元（１Ｄ、２Ｄなど）に関係なく、任意のタイプの変換に適用可能である。同様に、本発明のカジュアル近傍の形状は変わり得る。

Claims (16)

1. 画素ブロックを符号化するビデオ符号化方法であって、
   前記画素ブロック、および、予測モードに従って決定された予測ブロックから残部ブロックを計算するステップ（１００）と、
   １組の基底関数により規定された変換で、前記残部ブロックを係数ブロックに変換するステップ（１０４）と、
   前記係数ブロックを符号化するステップ（１０６）と、を含み、
   前記方法は、前記変換するステップ（１０４）の前に、前記画素ブロックのカジュアル近傍において前記予測モードに従って計算された残部から前記基底関数を再同相化するステップ（１０２）を含み、前記変換するステップは、前記再同相化された基底関数を使用する、前記符号化方法。
2. 前記変換は分離され、前記１組の基底関数は、水平基底関数および垂直基底関数を含み、前記基底関数を再同相化するステップ（１０２）は、
   前記水平基底関数を再同相化するステップ、および
   前記垂直基底関数を再同相化するステップ、を含む、請求項１記載の符号化方法。
3. 前記水平基底関数を再同相化するステップは、
   ａ）前記画素ブロックの前記カジュアル近傍の少なくとも１つの残部ラインを、前記水平基底関数で、係数に変換するステップ（１０２０）、
   ｂ）より大きい振幅の係数を決定するステップ（１０２２）、
   ｃ）前記決定された係数に対応する水平基底関数を特定するステップ（１０２４）、
   ｄ）前記特定された水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ（１０２６）、および
   ｅ）前記決定された水平空間シフトで、前記水平基底関数を再同相化するステップ（１０２８）と、を含み、
   前記垂直基底関数を再同相化するステップは、前記画素ブロックの前記カジュアル近傍の少なくとも１つの残部列に垂直に前記ステップａ）からｅ）までを繰り返して、前記垂直基底関数を、前記ステップｄ）で決定された垂直空間シフトで再同相化することを含む、請求項２記載の符号化方法。
4. 前記残部ラインと前記残部列との残部は、前記残部ブロックを計算するために用いられた前記予測モードと同じ予測モードに従って計算される、請求項３記載の符号化方法。
5. 前記垂直空間シフト、および前記水平空間シフトは、位相相関により決定され（１０２６）、前記空間シフトはメインピークと呼ばれる最大相関ピークに対応する、請求項３または４記載の符号化方法。
6. 前記ステップｄ）とｅ）との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフトと垂直サブピクセルシフトとをそれぞれ決定するステップ（１０２７）を含み、前記水平基底関数は、前記水平空間シフトと前記水平サブピクセルシフトとの和に等しいシフトだけ再同相化され（１０２８）、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトの和に等しいシフトだけ再同相化される（１０２８）、請求項５記載の符号化方法。
7. ビデオ復号化方法であって、
   係数ブロックおよび予測モードを復号化するステップ（２００）、
   １組の基底関数により規定される変換で、前記係数ブロックを残部ブロックに変換するステップ（２０４）、および
   前記残部ブロックおよび前記予測モードに従って決定された予測ブロックから画素ブロックを再構成するステップ（２０６）、を含み、
   前記方法は、前記変換するステップの前に、前記画素ブロックのカジュアル近傍における前記予測モードに従って計算された残部から前記基底関数を再同相化するステップ（２０２）を含み、前記変換するステップは、前記再同相化された基底関数を使用する、前記ビデオ復号化方法。
8. 前記変換は分離され、前記１組の基底関数は、水平基底関数と垂直基底関数を含み、前記基底関数を再同相化するステップ（１０２）は、
   前記水平基底関数を再同相化するステップ、および
   前記垂直基底関数を再同相化するステップ、を含む、請求項７記載のビデオ復号化方法。
9. 前記水平基底関数を再同相化するステップは、
   ａ）前記画素ブロックの前記カジュアル近傍の少なくとも１つの残部ラインを、前記水平基底関数で、係数に変換するステップ（１０２０）、
   ｂ）より大きい振幅の係数を決定するステップ（１０２２）、
   ｃ）前記決定された係数に対応する水平基底関数を特定するステップ（１０２４）、 ｄ）前記特定された水平基底関数と前記残部ラインとの間の水平空間シフトを決定するステップ（１０２６）、および
   ｅ）前記決定された水平空間シフトを使用して前記水平基底関数を再同相化するステップ（１０２８）、を含み、
   前記垂直基底関数を再同相化するステップは、前記画素ブロックの前記カジュアル近傍の少なくとも１つの残部列に垂直に前記ステップａ）〜ｅ）を繰り返して、前記ステップｄ）で決定された垂直空間シフトで、前記垂直基底関数を再同相化することを含む、請求項８記載のビデオ復号化方法。
10. 前記残部ラインと前記残部列との残部は、前記残部ブロックを計算するために用いられた前記予測モードと同じ予測モードに従って計算される、請求項９記載のビデオ復号化方法。
11. 前記垂直空間シフトおよび前記水平空間シフトは位相相関により決定され（１０２６）、前記空間シフトはメインピークと呼ばれる最大相関ピークに対応する、請求項９または１０記載のビデオ復号化方法。
12. 前記ステップｄ）とｅ）との間に、前記メインピークと、前記メインピークを囲む相関ピークとから共通重心を計算することにより、水平サブピクセルシフトおよび垂直サブピクセルシフトを決定するステップ（１０２７）を含み、前記水平基底関数は、前記水平空間シフトと前記水平サブピクセルシフトの和に等しいシフトだけ再同相化され（１０２８）、前記垂直基底関数は、前記垂直空間シフトと前記垂直サブピクセルシフトの和に等しいシフトだけ再同相化される（１０２８）、請求項１１記載のビデオ復号化方法。
13. 画素ブロックを符号化するビデオ符号化装置（ＣＯＤＥＲ）であって、
    前記画素ブロックおよび予測モードに従って決定された予測ブロックから残部ブロックを計算する手段（ＡＤＤ１）、
    １組の基底関数により規定される変換で、前記残部ブロックを係数ブロックに変換する手段（Ｔ）、および
    前記係数ブロックを符号化する手段（Ｑ、ＣＯＤ）、を含み、
    前記ビデオ符号化装置は、前記画素ブロックのカジュアル近傍において前記予測モードに従って計算された残部から前記基底関数を再同相化する手段（ＲＥＰＨＡＳ）をさらに含み、前記変換する手段（Ｔ）は、前記再同相化された基底関数を使用する、ビデオ符号化装置。
14. 前記ビデオ符号化装置は請求項１から６のいずれか１項に従う前記符号化方法の前記ステップを実行するように適合される、請求項１３記載のビデオ符号化装置。
15. ビデオ復号化装置（ＤＥＣＯＤＥＲ）であって、
    係数ブロック、および予測モードを復号化する手段（ＤＥＣ、ＩＱ）、
    １組の基底関数により規定される変換で、前記係数ブロックを残部ブロックに変換する手段（ＩＴ）、および
    前記残部ブロック、および前記予測モードに従って決定された予測ブロックから前記画素ブロックを再構成する手段（ＡＤＤ３）、を含み、
    前記ビデオ復号化装置はさらに、前記画素ブロックのカジュアル近傍における前記予測モードに従って計算された残部から前記基底関数を再同相化する手段（ＲＥＰＨＡＳ）を含み、前記変換する手段（Ｔ）は、前記再同相化された基底関数を使用する、前記ビデオ復号化装置。
16. 前記ビデオ復号化装置は、請求項７ないし１２のいずれか１項に従う前記復号化方法の前記ステップを実行するように適合される、請求項１５記載のビデオ復号化装置。

Images