JP2010524380A

JP2010524380A - 空間的に強化される変換符号化

Info

Publication number: JP2010524380A
Application number: JP2010502623A
Authority: JP
Inventors: ヤニライネマ
Original assignee: Nokia Oyj
Current assignee: Nokia Oyj
Priority date: 2007-04-12
Filing date: 2008-04-09
Publication date: 2010-07-15
Anticipated expiration: 2028-04-09
Also published as: US20080260270A1; KR20090127953A; CN101682787A; KR101182634B1; RU2009141606A; RU2427099C2; MX2009010921A; WO2008126019A2; TW200901775A; WO2008126019A3; EP2156675A2; US8077991B2; CA2684110A1; JP5094960B2

Abstract

種々の映像圧縮アルゴリズムの予測誤差符号化性能を改善するためのシステムおよび方法。種々の実施形態は、変換符号化エネルギー集中の特徴と、空間符号化の局在特性とを組み合わせる。種々の実施形態では、画素「外れ値」の効果は、変換から除去され、空間的に符号化された画素予測として別々に符号化され、これによって、変換の符号化利得が改善される。
【選択図】図１

Description

本発明は、デジタル映像材料の符号化および復号に関する。より具体的には、本発明は、周波数領域および空間領域の両方における予測誤差符号化（prediction error coding）に関する。

発明の背景

本項は、請求項に列挙される本発明の背景または内容を提供することを意図する。本項における説明は、追求され得る概念を含む場合があり、必ずしも過去に着想または追求された概念だけではない。したがって、本明細書において別途明示されない限り、本項に説明される事項は、本出願における説明および請求項に対する従来技術と認められるものではなく、本項に含められることだけでは従来技術であるとは認められない。

映像コーデックは、入力映像を、格納および／または伝送に適した圧縮表現に変換する符号化器と、圧縮された映像表現を再び可視形式に解凍可能である復号器とを備える。通常、符号化器は、映像をよりコンパクトな形式で、すなわちより低いビットレートで表現するために、原映像シーケンスからいくつかの情報を削除する。

典型的なハイブリット型映像コーデック、例えば、ＩＴＵ−ＴのＨ．２６３やＨ．２６４は、映像情報を２段階で符号化する。第１段階では、特定のピクチャ範囲または「ブロック」における画素値が予測される。これらの画素値は、例えば、動き補償機構によって予測可能であり、この動き補償機構は、先行して符号化された映像フレームの１つから中に、符号化されるブロックに良く対応する領域を見つけて示すことを伴う。さらに、画素値は、空間機構によって予測可能であり、この空間機構は、所定の方式で符号化されるブロック周辺の画素値を使用することを伴う。第２段階は、予測誤差、すなわち、予測されたブロックの画素と、原ブロックの画素との間の差を符号化することを伴う。これは、通常、所定の変換（例えば、離散コサイン変換（Discrete Cosine Transform; DCT）またはその変形）を使用して、画素値の差分を変換し、係数を量子化し、量子化された係数をエントロピー符号化することによって達成される。量子化プロセスの忠実度を変更することによって、符号化器は、画素表現の精度（すなわち、ピクチャの質）と、最終的に符号化される映像表現のサイズ（すなわち、ファイルサイズまたは伝送ビットレート）との間のバランスを制御することが可能である。

復号器は、画素ブロックの予測表現を形成するべく、符号化器が使用する機構に類似する予測機構と、予測誤差復号とを適用することによって、出力映像を再構成する。この予測機構には、符号化器により生成されて圧縮表現に格納される、動き情報または空間情報が用いられる。また、予測誤差復号（prediction error decoding）は、予測誤差符号化の逆処理であり、空間画素領域で量子化された予測誤差信号を復元する。予測プロセスおよび予測誤差復号プロセスの適用後、復号器は、予測信号および予測誤差信号（すなわち、画素値）をまとめて、出力映像フレームを形成する。また復号器（および符号化器）は、出力映像がディスプレイに送られる前に、および／または映像シーケンスにおける出力映像を映像シーケンスにおける次のフレームの予測基準として格納する前に、出力映像の質を改善するために、追加のフィルタリングプロセスを適用することもできる。

典型的な映像コーデックでは、動き情報は、動き補償された各画像ブロックに関連する動きベクトルにより表される。これらの動きベクトルの各々は、符号化されるピクチャ（符号化器側）または復号されるピクチャ（復号器側）における画像ブロックと、先行して符号化または復号されたピクチャのうちの１つにおける予測源ブロックとの位置のずれ（displacement）を表現する。動きベクトルを効率的に表現するために、動きベクトルは、通常、ブロック特有の予測された動きベクトルとは別個に符号化される。典型的な映像コーデックでは、予測された動きベクトルは、所定の方式で、例えば、隣接ブロックの符号化または復号された動きベクトルの中央値を計算することによって生成される。

典型的な映像符号化器は、ラグランジュのコスト関数を利用して、最適な符号化モード、例えば、所望のマクロブロックモードおよび関連の動きベクトルを探索する。この種類のコスト関数は、重み付け係数λを使用して、非可逆符号化方法による正確な又は推定された画像歪みと、画像範囲における画素値の表現に必要な正確な又は推定された量の情報とを以下のように合わせる。
Ｃ＝Ｄ＋λＲ（１）

式（１）において、Ｃは、最小化されるラグランジュコストであり、Ｄは、モードベクトルおよび動きベクトルを考慮した画像歪み（例えば、平均２乗誤差）であり、Ｒは、復号器において画像ブロックを再構成するために必要なデータの表現に必要なビット数である（候補となる動きベクトルを表現するためのデータ量を含む）。

通常、映像または画像圧縮システムにおける予測誤差信号の変換符号化は、ＤＣＴベースの線形変換、変換されたＤＣＴ係数の量子化、および量子化された係数のコンテクストベースのエントロピー符号化を含む。しかしながら、この変換は、特定の統計データの場合のみ、予測誤差信号のエネルギーを効率的に圧縮し、変換される予測誤差の相関が低い場合には、符号化性能は劣化する。このため、特に、符号化される画像ブロックの高品質な予測を達成するために高度な動き補償プロセスおよび空間予測プロセスを用いる（ひいては、予測誤差信号を最小化および無相関化する）現在の映像および画像符号化システムにおいては、準最適な性能しか得られない。

上記問題のうちのいくつかに対処するために、多くのハイブリット型映像符号化スキームが開発されている。これらのハイブリット型システムは、通常、２つの冗長度低減技術（つまり予測および変換）のハイブリット型である。予測は、ピクチャ間予測（Inter-picture prediction）の形式を取ることができ、これを使用して信号における時間冗長性を除去する。また、ピクチャ内予測（Intra-picture prediction）を、H.264／高度映像符号化（Advanced Video Coding; AVC）規格において使用してもよい。この規格においては、ピクチャフレーム内の近傍領域間の類似性を利用することによって空間冗長性が除去され得る。これらのピクチャ間およびピクチャ内予測技術により、残留信号／誤差信号は、予測されたピクチャフレームを原ピクチャフレームから除去することによって形成される。次いで、この予測誤差信号は、通常、信号における空間冗長性を低減するために、８×８のＤＣＴ変換を使用してブロック変換符号化される。

本発明の種々の実施形態は、選択された変換および量子化された空間サンプルの異なる基底関数の加重和として、予測誤差信号を表現するためのシステムおよび方法を提供する。選択された変換の基底関数は、基底ベクトルの直交系を含んでもよく、または基底関数は、直交系を含まなくてもよい。種々の実施形態によると、１個の画像ブロックの予測誤差信号は、変換基底関数（transform basis function）および空間サンプル（すなわち画素値）の両方を使用して構成されるが、それによって、上述の変換符号化手法および空間符号化手法の両方の望ましい特徴が組み合わせられる。これによって、最小量の変換係数で画像ブロックの優れた全体表現をもたらす変換基底関数の利用が可能になる。（変換係数は、基底関数との相関が大きい予測誤差信号の成分を表現する。）また、本発明の種々の実施形態は、同じ画像ブロックの予測誤差信号の成分のうち、適用される変換の基底関数との相関が小さい成分（特定の種類のセンサ雑音、高周波テクスチャ、エッジ情報など）についての、効率的な空間表現を可能とする。

本発明の種々の実施形態による、データブロックのための予測誤差信号（prediction error signal）を符号化するシステムおよび方法は、予測されたデータブロックのサンプル値と、オリジナルの入力ブロックの値との間の差分を表現する差分信号（difference signal）を計算することを含む。変換符号化（transform coding）および空間符号化（spatial coding）の両方を、前記差分信号に適用し、それによって、前記差分信号の第１の成分および第２の成分の第１の表現および第２の表現を生成する。次いで、前記予想誤差信号を提供するために、前記第１の表現および第２の表現を組み合わせる。

また、本発明の種々の実施形態は、データブロックのための予測誤差信号を復号するシステムおよび方法も提供し、複数の変換係数および複数の空間サンプルを含む、符号化された予測誤差信号を受信することを含む。前記複数の変換された係数は、復号された変換情報に復号され、前記複数の空間サンプルは、復号された空間情報に復号される。前記復号された変換情報、前記復号された空間情報、および前記データブロックの再構成された予測は積算され、それによって、前記データブロックの復号された表現が形成される。

本発明の種々の実施形態の実装は、現代の映像および画像コーデックの圧縮効率を改善する役割を果たす。符号化に関する計算複雑性がある程度増すかもしれないが、従来の変換符号化ベースの手法の複雑性レベル程度にはそれを低下させるために、高速アルゴリズムを適用することができる。本発明の種々の実施形態の実装において、復号における複雑性への影響は無視できる。

本発明に関するこれらの利点および特徴ならびにその他の利点および特徴と、その動作の機構および方式とは、添付図面および以下の詳細説明により明白になる。添付の図面において、同一要素には同一の符号が付されている。

画像データの符号化に使用可能なアダマール変換（Hadamard transform）の基底関数（basis function）の例を示す。

図２（ａ）は、原画像と予測画像との間の予測誤差信号を表現する、符号化または復号されるべき４つのスカラー値の例であり、図２（ｂ）は、予測誤差信号へと積算される、図１における４つの重み付け基底関数を示し、図２（ｃ）は、第１の基底関数および矢印により表現される単一の空間サンプルのみを積算することによって、同じ予測誤差信号を再構成することを可能にする方法を示している。

本発明の一実施形態に従って構成される映像符号化器のブロック図である。

本発明のある実施形態において使用され得る１つの符号化アルゴリズムを示すフローチャートである。

本発明の種々の実施形態において使用され得る１つの復号アルゴリズムを示すフローチャートである。

本発明の一実施形態に従って構成される映像復号器のブロック図である。

本発明の種々の実施形態が実装され得るシステムの概略図である。

本発明の種々の実施形態の実装と併せて使用可能である電子機器の斜視図である。

図８の電子機器に含まれ得る回路の概略表現である。

種々の実施形態の詳細な説明

本発明の種々の実施形態は、選択された変換および量子化された空間サンプルの異なる基底関数の加重和として、予測誤差信号を表現するためのシステムおよび方法を提供する。種々の実施形態によると、１個の画像ブロックの予測誤差信号は、変換基底関数（transform basis function）および空間サンプル（すなわち画素値）の両方を使用して構成されるが、それによって、上述の変換符号化手法および空間符号化手法の両方の望ましい特徴が組み合わせられる。これによって、最小量の変換係数で画像ブロックの優れた全体表現をもたらす変換基底関数の利用が可能になる。（変換係数は、基底関数との相関が大きい予測誤差信号の成分を表現する。）また、本発明の種々の実施形態は、同じ画像ブロックの予測誤差信号の成分のうち、適用される変換の基底関数との相関が小さい成分（特定の種類のセンサ雑音、高周波テクスチャ、エッジ情報など）についての、効率的な空間表現を可能とする。

図１および図２は、本発明の種々の実施形態が一次元でどのように動作しうるかを示す簡単な例である。図１は、画像データの符号化に使用可能である一次元線形変換の基底関数（basis function）の例を示す。この変換は、アダマール変換（Hadamard transform）と呼ばれる。
これらの４つの基底関数の加重和（weighted sum）は、任意の４つのサンプルの表現に使用可能である。図２（ａ）は、原画像と予測画像との間の予測誤差信号を表現する、符号化または復号されるべき４つのスカラー値の例である。図２（ｂ）では、図１における４つの重み付け基底関数は、予測誤差信号へと積算されている（第１の基底関数の１．５倍、第２の基底関数の０．５倍、第３の基底関数の−０．５倍、および第４の基底関数の−０．５倍）。図２（ｃ）では、第１の基底関数および矢印により表現される単一の空間サンプルのみを積算することによって、同一の予測誤差信号を再構成可能にする方法を実証する。この例では、４つのアダマール基底関数（図２（ｂ）に示す）を重み付けする４つの変換係数の代わりに僅か１個の変換係数および１個の空間サンプルによって信号が表現されるため、圧縮効率の改善を期待することができる。

図３は、本発明の一実施形態に従い構成される映像符号化器のブロック図である。より具体的には、図３は、符号化される画像３００が、画素予測３０２、予測誤差符号化３０３、および予測誤差復号３０４の各処理をどのように受けるかを示す。画素予測処理３０２では、画像３００は、ピクチャ間予測（inter-prediction）３０６およびピクチャ内予測３０８（intra-prediction）の両方の処理を受け、これらによって、モード選択３１０の後に、画像ブロック３１２の予測表現がもたらされる。また、仮再構成画像（preliminary reconstructed image）３１４もピクチャ内予測３０８に使用される。画像ブロックの全てが処理されると、仮再構成画像３１４は、３１６においてフィルタリングされて、最終再構成画像３４０が生成される。最終再構成画像３４０は、参照フレームメモリ３１８に送信され、今後のフレームのピクチャ間予測３０６に使用される。

画像ブロック３１２の予測表現ならびに符号化される画像３００は、予測誤差符号化処理３０３に使用する予測誤差信号３２０を定義するために、一緒に使用される。予測誤差符号化部３０３では、予測誤差信号３２０は、特徴選択（feature selection）３２２および空間量子化（spatial quantization）３２４、ならびに変換（transform）３２６および量子化（quantization）３２８の各処理を受ける。変換３２６および量子化３２８は、特徴選択３２２の後に行われる。
画像ブロック３１２の予測誤差および予測表現を記述するデータ（例えば、動きベクトル、モード情報、量子化されたＤＣＴ＋空間サンプル）は、エントロピー符号化処理３３０に送られる。予測誤差復号処理３０４は、予測誤差符号化処理３０３の実質的に逆であり、予測誤差復号処理は、逆空間量子化部３３２、逆変換部３３４、および逆量子化部３３６を含む。予測誤差復号部３０４の結果は、再構成された予測誤差信号３３８であり、これは、仮再構成画像３１４を生成するために、画像ブロック３１２の予測された表現と組み合わせて使用される。

図４は、本発明のある実施形態において使用され得る１つの符号化アルゴリズムを示すフローチャートである。しかしながら、後述のように、多種多様の異なるアルゴリズムが、本発明の原理に従い使用され得る。図４の４００において、予測されたブロックのサンプル値と、オリジナルの入力ブロックとの間の差分が計算される。本明細書において、「値（value）」および「外れ値（outlier value）」の語句が、これらの差分値を言及するように意図されうることに留意されたい。４１０において、外れ値が探索される。この場合、探索される外れ値の大きさは、符号化される表現の精度に依存する。高ビットレートの良質な表現を目標とする場合は、差分値が小さくとも外れ値としてみなされ、低品質でも低いビットレートの表現を目標とする場合には、差分値が大きい場合にのみ外れ値としてみなされる。４２０では、修正された予測誤差信号が変換符号化（transform code）される。ここでは、変換（transform）、量子化（quantization）、およびエントロピー符号化（entropy coding）を伴う。ここで外れ値は、例えば、近傍の予測誤差値を平均化することによって、これらの値の補間表現に置換される。４３０において、修正された予測誤差信号は、空間領域に再び変換復号（transform decode）される。４４０において、元の外れ値と、変換復号された外れ値との間の差分に空間符号化が適用される。ここでは、変換は伴わず、量子化およびエントロピー符号化のみを伴う。４５０において、変換符号化データおよび空間符号化データを結合する（joining）ことによって、予測誤差信号の最終符号化表現が形成される。別の実施形態では、空間符号化は、変換符号化の前に行われる。

図２（ａ）〜図２（ｃ）に示す一次元の例について検討すると、図４に概説されるアルゴリズムは、データを次のように処理し得る。前述のように、図２（ａ）は、符号化されるべき差分信号［１１３１］を表現する。この場合、［３］は外れ値である。ゆえに、予測誤差信号は、第２および第４のサンプルの平均と［３］とを置換することによって修正され、信号［１１１１］を生成する。次いで、元の外れ値サンプル（［３］）と変換符号化された外れ値（［１］）との間の差分が空間符号化され、空間符号化された信号［００２０］を生成する。次いで、変換符号化および空間符号化された信号のエントロピー符号化された表現が、ビットストリームに書き込まれる。ゆえに、復号器は、逆変換されたデータ［１１１１］および逆空間符号化されたデータ［００２０］を積算することによって（画像ブロックの予測サンプルと合わせて）、符号化された信号を復元することが可能である。

上記例を検討すると、変換に関するアダマール基底ベクトルの選択が、単に例示的であるように意図されていることに留意することが重要である。実際は、本明細書に記載の種々の方法および技術は、基底関数を用いる任意の変換に適用可能であり、基底関数は、必ずしも直交である必要はない。

本発明の種々の実施形態によると、映像または画像コーデックは、種々の方式で実装可能である。符号化器の場合、符号化器は、所望の変換係数および空間サンプルを見つけるために、様々な戦略を使用することが可能である。例えば、符号化器は、最初に信号を変換符号化し、残りの信号に空間符号化を適用することが可能である。また、符号化器は、最初に空間符号化を信号に適用し、その後、残りの信号に変換符号化を適用することが可能である。さらに、符号化性能を改善するために、変換係数の一部または全部をゼロに設定することも可能である。また、符号化性能を改善するために、空間サンプルの一部または全部をゼロに設定することも可能である。また、符号化器は、符号化性能を改善するために、所望の性能または所定の最大の反復数に達するまで、変換係数および／または空間サンプルを繰り返し修正することが可能である。

量子化および逆量子化に関し、変換係数および空間サンプルの量子化および逆量子化を結びつけることが可能である。例えば、変換係数および空間サンプルの両方の量子化ステップサイズを、単一のパラメータから導くことが可能である。別の方法では、変換係数および空間サンプルに対し、異なる量子化および逆量子化法を適用することも可能である。

空間サンプルの符号化および復号では、このような符号化および復号は、変換係数（transform coefficient）に依存することが可能であり、またその逆も同様である。実施形態によっては、空間サンプル、変換係数、またはその両方の符号化および復号が、予測信号（prediction signal）に依存し、また同じ画像または他の画像における他の変換係数および空間サンプルに依存することが可能である。

上記に加えて、特定の画像範囲または画像に変換係数または空間サンプルが存在しないことを示すこと可能である。また、空間符号化のみまたは変換符号化のみを、特定の画像範囲または画像に使用することを示すことが可能である。空間サンプルの数は、例えば、特定のテクスチャパターンを表現する単位で符号化および復号可能である。予測信号、予測誤差信号により再構成された信号、またはそれらの任意の組み合わせには、適切な処理前の機構および／または処理後の機構を組み合わせることができる。予測誤差信号の代わりに、または予測誤差信号に加えて、他の情報を符号化および復号してもよい。コーデックは、変換係数または空間サンプルのいずれかの利用を制限し得る。（例えば、低周波数の変換係数のみが信号の符号化表現に使用可能とする。）

図５は、本発明の種々の実施形態に従う復号プロセスを示す。図５の５００において、映像復号器は、符号化された予測誤差信号を受信し、この信号は、変換された係数および空間サンプルの両方を含む。５１０において、変換された係数および空間サンプルの両方が復号される。５２０において、復号された変換情報、復号された空間情報、および画像ブロックの再構成された予測は、画像ブロックの復号表現を形成するように積算される。

図６は、本発明の一実施形態に従い構成される映像復号器のブロック図である。図６に示すように、エントロピー復号部６００の後に、予測誤差復号部６０２および画素予測部６０４の両方が続く。予測誤差復号部６０２では、逆変換６０６および逆量子化６０８に加えて、上述のように逆空間量子化６１０が行われ、最終的に、再構成された予測誤差信号６１２がもたらされる。画素予測部６０４では、ピクチャ内予測またはピクチャ間予測が６１４において行われ、画像ブロック６１６の予測された表現を生成する。画像ブロック６１６の予測された表現と、再構成された予測誤差信号６１２とを併せて使用して、仮再構成画像６１８が生成される。仮再構成画像６１８は、予測処理６１４のためにも使用可能である。全ての画像ブロックが処理されると、仮再構成画像６１８はフィルタリング部６２０に送られる。フィルタリングされた画像は、参照フレームメモリ６２４にも格納可能であり、予測６１４でも使用可能になる。

図７は、本発明の種々の実施形態が利用可能なシステム１０を示し、このシステムは、１つ以上のネットワークを介して通信可能な多数の通信機器を備える。システム１０は、携帯電話機ネットワーク、無線ローカルエリアネットワーク（Local Area Network; LAN）、Bluetoothパーソナルエリアネットワーク、イーサネットＬＡＮ、トークンリングＬＡＮ、広域ネットワーク、インターネット等を含むが、これらに限定されない有線ネットワークまたは無線ネットワークの任意の組み合わせを備えてもよい。システム１０は、有線および無線の両方の通信機器を含んでもよい。

例証のために、図７に示されるシステム１０は、携帯電話機ネットワーク１１およびインターネット２８を含む。インターネット２８に対する接続性には、長距離無線接続、短距離無線接続、ならびに電話線、ケーブル線、電力線、およびその同等物を含むがこれらに限定されない、種々の有線接続が含まれ得るが、これらに限定されない。

システム１０の例示的な通信機器には、電子機器５０、携帯情報端末（personal digital assistant; PDA）および携帯電話機１４の組み合わせ、ＰＤＡ１６、一体型メッセージング機器（Integrated Messaging Device; IMD）１８、デスクトップ型コンピュータ２０、ならびにノート型コンピュータ２２が含まれ得るが、これらに限定されない。通信機器は、固定型または移動中の個人によって持ち運ばれるような携帯型であってもよい。また、通信機器は、自動車、トラック、タクシー、バス、ボート、飛行機、自転車、バイク等を含むが、これらに限定されない輸送手段に位置してもよい。通信機器の一部または全部は、呼およびメッセージを送受信してもよく、また、無線接続２５から基地局２４を介してサービスプロバイダと通信してもよい。基地局２４は、携帯電話機ネットワーク１１およびインターネット２８間の通信を可能にするネットワークサーバ２６に接続されてもよい。システム１０は、追加の通信機器および異なる型の通信機器を含んでもよい。

通信機器は、種々の伝送技術を使用して通信してもよく、この通信技術には、符号分割多元接続（Code Division Multiple Access; CDMA）、モバイル通信のためのグローバルシステム（Global System for Mobile Communications; GSM）、ユニバーサル移動体通信システム（Universal Mobile Telecommunications System； UMTS）、時分割多元接続（Time Division Multiple Access； TDMA）、周波数分割多元接続（Frequency Division Multiple Access； FDMA）、伝送制御プロトコル／インターネットプロトコル（Transmission Control Protocol／Internet Protocol； TCP／IP）、ショートメッセージサービス（Short Messaging Service； SMS）、マルチメディアメッセージサービス（Multimedia Messaging Service； MMS）、電子メール、インスタントメッセージサービス（Instant Messaging Service； IMS）、Bluetooth、IEEE 802.11等が含まれるが、これらに限定されない。本発明の種々の実施形態の実装に伴う通信機器は、無線接続、赤外線接続、レーザ接続、ケーブル接続、およびその同等物を含むが、これらに限定されない種々の媒体を使用して通信してもよい。

図８および図９は、本発明が実装され得る１つの代表的な電子機器５０を示す。しかしながら、本発明が、１つの特定の型の機器に限定されるように意図されないことを理解されたい。図８および図９の電子機器５０は、ハウジング３０、液晶ディスプレイ形式のディスプレイ３２、キーパッド３４、マイクロホン３６、イヤホン３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の一実施形態に従うＵＩＣＣ形式のスマートカード４６、カード読み取り器４８、無線インターフェース回路５２、コーデック回路５４、制御器５６、およびメモリ５８を含む。個々の回路および要素の全ては、当技術分野において、例えば、ノキアの種類の携帯電話機において周知の型を有する。

本明細書において説明する本発明の種々の実施形態は、方法ステップまたはプロセスの一般的な内容において説明され、これは、ネットワーク環境においてコンピュータにより実行されるプログラムコード等の、コンピュータにより実行可能な命令を含むプログラム製品であって、コンピュータ可読媒体に内蔵されるコンピュータ製品によって、一実施形態において実装され得る。概して、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含み得る。コンピュータにより実行可能な命令、関連のデータ構造、およびプログラムモジュールは、本明細書に開示する方法のステップを実行するためのプログラムコードの例を表す。特定の一連のこのような実行可能な命令または関連のデータ構造は、このようなステップまたはプロセスにおいて説明する機能を実装するための対応する動作の例を表す。

本発明の種々の実施形態のソフトウェアおよびウェブ実装は、種々のデータベース検索ステップまたはプロセス、相関ステップまたはプロセス、比較ステップまたはプロセス、ならびに決定ステップまたはプロセスを達成するために、法則ベースの論理および他の論理を含む標準的なプログラミング技法により達成可能である。本明細書および以下の請求項で使用する際、単語の「構成要素」および「モジュール」は、１つ以上の種類のソフトウェアコード、および／またはハードウェア実装、および／または手動入力を受信するための設備を使用する実装を包含するように意図されることに留意されたい。

本発明の実施形態に関する前述の説明は、例証目的および説明目的のために提示されている。前述の説明は、包括的であるように、または開示される厳密な形式に本発明を限定するように意図されず、また、上記教示を考慮した修正および変形が可能であるか、または、これらの修正および変形は、本発明の実践により入手され得る。本明細書において論じられる実施形態は、本発明の種々の実施形態およびその実用的な用途に関する原理および性質を説明して、種々の実施形態における本発明および想定される特定の使用に適合する種々の修正を有する本発明を当業者が利用できるように、選択および説明されている。

Claims

データブロックのための予測誤差信号（prediction error signal）を符号化する方法であって、
予測されたデータブロックのサンプル値と、オリジナルの入力ブロックの値との間の差分を表現する差分信号（difference signal）を計算することと、
変換符号化（transform coding）を前記差分信号に適用することによって、前記差分信号の第１の成分の第１の表現を生成することと、
空間符号化（spatial coding）を前記差分信号に適用することによって、前記差分信号の第１の成分の第２の表現を生成することと、
前記第１の表現と第２の表現とを結合すること（joining）と、
を含む、方法。
変換符号化および空間符号化を実行する前に、修正した予測誤差信号を生成するために、前記差分信号における外れ値（outlier value）を非外れ値（non-outlier value）と置換することをさらに含む、請求項１に記載の方法。
変換符号化は、前記修正された予測誤差信号に適用され、空間符号化は、その残りに適用される、請求項２に記載の方法。
空間符号化は、前記修正された予測誤差信号に適用され、変換符号化は、その残りに適用される、請求項２に記載の方法。
変換符号化のために、少なくとも１つの変換係数がゼロに設定される、請求項１に記載の方法。
空間符号化のために、少なくとも１つの空間サンプルがゼロに設定される、請求項１に記載の方法。
前記外れ値の置換に使用される前記非外れ値は、複数の近傍予測誤差値（neighboring prediction error value）の平均を含む、請求項２に記載の方法。
適切な場合、前記データブロックにおいて変換係数が存在しないという表示子を提供することをさらに含む、請求項１に記載の方法。
適切な場合、前記データブロックにおいて空間サンプルが存在しないという表示子を提供することをさらに含む、請求項１に記載の方法。
前記変換符号化において、離散変換基底ベクトルの重み付け係数を含む変換係数が形成される、請求項１に記載の方法。
前記離散変換は離散直交変換を含む、請求項１０に記載の方法。
コンピュータ可読媒体に内蔵されるコンピュータプログラム製品であって、請求項１に記載の実装されたプロセスを実行するように構成されるコンピュータコードを備える、コンピュータプログラム製品。
プロセッサと、制御器に通信可能に接続されるメモリユニットとを備える装置であって、前記メモリユニットが、
変換符号化を前記差分信号に適用することによって、前記差分信号の第１の成分の第１の表現を生成するコンピュータコードと、
空間符号化を前記差分信号に適用することによって、前記差分信号の第１の成分の第２の表現を生成するコンピュータコードと、
前記第１の表現と第２の表現とを結合するコンピュータコードと、
を備える、装置。
前記メモリユニットは、変換符号化および空間符号化を実行する前に、修正された予測誤差信号を生成するために、前記差分信号における外れ値を非外れ値と置換するコンピュータコードをさらに備える、請求項１３に記載の装置。
前記修正された予測誤差信号に変換符号化を適用し、その残りに空間符号化を適用する、請求項１４に記載の装置。
前記修正された予測誤差信号に空間符号化を適用し、その残りに変換符号化を適用する、請求項１４に記載の装置。
変換符号化のために、少なくとも１つの変換係数をゼロに設定する、請求項１３に記載の装置。
空間符号化のために、少なくとも１つの空間サンプルをゼロに設定する、請求項１３に記載の装置。
前記外れ値の置換に使用される前記非外れ値は、複数の近傍予測誤差値（neighboring prediction error value）の平均を含む、請求項１３に記載の装置。
適切な場合、前記データブロックにおいて変換係数が存在しないという表示子を提供することをさらに含む、請求項１３に記載の装置。
適切な場合、前記データブロックに空間サンプルが存在しないという表示子を提供することをさらに含む、請求項１３に記載の装置。
データブロックのための予測誤差信号（prediction error signal）を復号する方法であって、
複数の変換された係数および複数の空間サンプルを含む、符号化された予測誤差信号を受信することと、
前記複数の変換された係数を、変換情報へと復号することと、
前記複数の空間サンプルを、空間情報へと復号することと、
前記復号された変換情報、前記復号された空間情報、および前記データブロックの再構成された予測を積算することによって、前記データブロックの復号表現を形成することと、
を含む、方法。
適切な場合、前記データブロックにおいて変換係数が存在しないという表示子が提供される、請求項２２に記載の方法。
適切な場合、前記データブロックに空間サンプルが存在しないという表示子が提供される、請求項２２に記載の方法。
前記複数の変換された係数および空間サンプルの前記復号は、各々の逆量子化を含み、変換された係数および空間サンプルの前記逆量子化は、相互に関連する、請求項２２に記載の方法。
前記複数の変換された係数および空間サンプルの前記復号は、各々の逆量子化を含み、変換された係数および空間サンプルの前記逆量子化は、相互に異なる、請求項２２に記載の方法。
前記空間サンプルの前記復号は、前記変換された係数の前記復号に依存する、請求項２２に記載の方法。
前記変換された係数の前記復号は、前記空間サンプルの前記復号に依存する、請求項２２に記載の方法。
前記複数の空間サンプルのうちの少なくともいくつかは、単一のユニットとして復号される、請求項２２に記載の方法。
コンピュータ可読媒体に内蔵されるコンピュータプログラム製品であって、請求項１９に記載のプロセスを実行するように構成されるコンピュータコードを備える、コンピュータプログラム製品。
プロセッサと、前記プロセッサに通信可能に接続されるメモリユニットとを備える装置であって、前記メモリユニットは、
複数の変換された係数および複数の空間サンプルを含む、符号化された予測誤差信号を受信して処理するコンピュータコードと、
前記複数の変換された係数を、変換情報へと復号するコンピュータコードと、
前記複数の空間サンプルを、空間情報へと復号するコンピュータコードと、
前記復号された変換情報、前記復号された空間情報、および前記データブロックの再構成された予測を積算することによって、前記データブロックの復号表現を形成するコンピュータコードと、
を備える、装置。
適切な場合、前記データブロックにおいて変換係数が存在しないという表示子が提供される、請求項３１に記載の装置。
適切な場合、前記データブロックに空間サンプルが存在しないという表示子が提供される、請求項３１に記載の装置。
前記複数の変換された係数および空間サンプルの前記復号は、各々の逆量子化を含み、変換された係数および空間サンプルの前記逆量子化は、相互に関連する、請求項３１に記載の装置。
前記複数の変換された係数および空間サンプルの前記復号は、各々の逆量子化を含み、変換された係数および空間サンプルの前記逆量子化は、相互に異なる、請求項３１に記載の装置。
前記空間サンプルの前記復号は、前記変換された係数の前記復号に依存する、請求項３１に記載の装置。
前記変換された係数の前記復号は、前記空間サンプルの前記復号に依存する、請求項３１に記載の装置。
前記複数の空間サンプルのうちの少なくともいくつかは、単一のユニットとして復号される、請求項３１に記載の装置。
データブロックのための予測誤差信号を符号化する方法であって、
予測されたデータブロックのサンプル値と、オリジナルの入力ブロックの値との間の差分を表現する差分信号を計算することと、
修正された予測誤差信号を生成するために、前記差分信号における外れ値を非外れ値と置換することと、
変換符号化および空間符号化のうちの１つを前記修正された予測誤差信号に適用し、変換符号されたデータおよび空間符号化されたデータのうちの１つを生成することと、
変換符号化および空間符号化のうちの一方の逆を実行することと、
変換符号化および空間符号化のうちの他方を、前記逆変換または空間復号からの残りに適用し、変換復号データおよび空間復号データのうちの他方を生成することと、
前記変換符号化されたデータおよび前記空間符号化されたデータを結合することと、
を含む、方法。