JP2011503979A - ビデオ圧縮のためのループ内忠実度の向上 - Google Patents

Abstract

ビデオ・フレームを受信し、符号化ビットストリームを生成するよう符号化処理を行うための符号化器は、４分木分割を利用して、ビデオ・フレームに対して忠実度向上手法を行い、４分木分割構造に関連付けられたパラメータを含む忠実度向上情報を生成するための忠実度向上ブロックと、忠実度向上ブロックに結合され、忠実度向上情報を符号化し、符号化された忠実度向上情報を符号化ビットストリームに埋め込むためのエントロピ符号化ブロックとを備える。

Description

本発明は、その内容を本明細書及び特許請求の範囲に援用する、Ｓｔｅｐｈｅｎ Ｗｉｔｔｍａｎｎ及びＴｈｏｍａｓ Ｗｅｄｉによる、「Ｔｒａｎｓｍｉｓｓｉｏｎ ｏｆ ｐｏｓｔ−ｆｉｌｔｅｒ ｈｉｎｔｓ ｆｏｒ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｃｈｅｍｅｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ２００７）」と題する論文、及び欧州特許第１８４１２３０号明細書を参照する。

次世代ビデオ符号化手法は、データをできる限り、圧縮することにより、最大の効率を達成することを目的とする。データをかなり圧縮することが可能な場合、高品質ビデオを、帯域制限されたネットワークを介してストリーミングし、配信することが可能である。Ｈ．２６４／ＡＶＣ符号化標準は、ビデオ符号化標準の一例である。Ｈ．２６４標準は、ブロック動き補償を変換符号化と組み合わせる。変換符号化が、フレーム内の空間冗長度を除去する一方、ブロック動き補償はフレーム間の冗長度を除去する。

ビデオ符号化は、４つの部分（すなわち、予測、変換、量子化、及びエントロピ符号化）において行われる。符号化側では、予測は、同じフレーム内の画素を指すイントラ予測、及び先行フレーム内の画素を指すインター予測を含み得る。変換により、低周波数帯に向けて残差のエネルギを圧縮することにより、予測残差が係数に変えられる。量子化により、フレームを表すことが可能なビットの数を更に削減するために、より小さな数のビット深度の表現にラウンディングされた値でフレームの変換係数が除算される。最後の段階（すなわち、エントロピ符号化）には、量子化変換係数及び他のパラメータの可逆表現が関係する。復号化側は、前述の処理の逆を行って、再構成された画素を生成する。復号化処理及び符号化処理は閉ループを含み、フレームの符号化／復号化マクロブロックは、再構成され、次いで、次のフレームの符号化情報を生成するために予測装置にもう一度入力される。次のフレームを予測するために、元のフレームでなく、再構成されたフレームを利用することにより、フレーム間のドリフトが阻止される。

Ｈ．２６４標準は、イントラ予測及びインター予測を利用し、ブロックベース符号化を行う。フレームをマクロブロックに分割し、各マクロブロックを別個に符号化することは、アーチファクトがブロック・エッジで発生することをもたらし得る（すなわち、近傍ブロックの符号化モード又は動きベクトルは通常異なるので、ブロック間の目にみえる境界が存在している。前述のアーチファクトを打ち消すために、大半のブロックベース符号化手法は、閉符号化ループにおけるデブロッキング（ブロック解除）・フィルタを含む。前述のデブロッキング・フィルタは、ブロック・エッジでのアーチファクトを減少させることが可能であるが、ブロック内の量子化誤差を除去することが可能でない。大きな量子化値を高忠実度で利用して符号化を行った場合、デブロッキング・フィルタだけでは充分でない。

ウィーナー・フィルタは、元の信号に、雑音の多い符号化信号をより近付けるために、符号化信号からの雑音成分を除去することによって機能する。通常のシステムに信号ｓが入力された場合、これは、ある程度、擾乱させられ、元の信号ｓと異なる信号ｓ’が生じる。これは、相加性雑音の結果である。ウィーナー・フィルタの目的は、結果として生じるフィルタリングされた信号ｓ＾が、擾乱させられたｓ’よりも元の信号ｓに近くなるように前述の２つの信号間の平均二乗誤差を最小にすることである。ウィーナー・フィルタは、自己相関行列及びフィルタ係数を利用した相互相関行列を生成することによって動作する。

欧州特許第１８４１２３０号明細書には、符号化器側及び復号化器側で実現されたウィーナー・フィルタが開示されている。したがって、ウィーナー・フィルタは、まず、相互相関行列、上記行列に関連付けられた符号化器パラメータを生成し、前述のパラメータをビットストリームに埋込み、これを、復号化するために復号化器に送出し、前述のパラメータは、復号化フレームにおける量子化誤差を削減し、より高い忠実度を確実にするよう利用することが可能である。

本発明は、符号化器側及び復号化器側の両方で実現される複数の忠実度向上方法及び装置を導入することにより、前述の欧州特許出願記載のシステムを向上させることを目的とする。

ビデオ・フレームを受信し、符号化ビットストリームを生成するための符号化処理を行う符号化器は、４分木分割を任意的に利用して、処理済データに対して第１の忠実度向上手法を行い、第１の忠実度向上手法に関連付けられた少なくとも１つのパラメータを含む忠実度向上情報を生成するための忠実度向上ブロックと、忠実度向上ブロックに結合され、忠実度向上情報を符号化し、符号化された忠実度向上情報を符号化ビットストリームに埋め込むためのエントロピ符号化ブロックとを備える。

ビデオ・フレームを符号化する第１の方法は、ビデオ・フレームを受信する工程と、現在のフレームをどのようにして分割するかを判定するための４分木分割手法を利用する工程と、判定結果に応じて、現在のフレームを分割し、次いで、現在のフレームに対してウィーナー・フィルタリングを行って、ウィーナー・フィルタリング・パラメータを生成する工程と、ウィーナー・フィルタリング・パラメータによってビデオ・フレームを符号化して、符号化ビットストリームを生成する工程とを含む。

ビデオ・フレームを符号化する第２の方法は、ビデオ・フレームを受信する工程と、処理されたデータに対して忠実度向上を行って、忠実度向上情報を生成する工程と、受信ビットストリームを符号化して、符号化ビットストリームを生成する工程と、忠実度向上情報を符号化し、符号化された忠実度向上情報を、符号化されたビットストリームの末尾に埋め込む工程と、ビットストリーム内の忠実度向上情報の位置を示すポインタを生成し、符号化ビットストリームのヘッダ内にポインタを配置する工程とを含む。

本発明の第１の実施例による符号化器を示す図である。 本発明の第１の実施例による復号化器を示す図である。 本発明の第２の実施例による符号化器を示す図である。 本発明の第２の実施例による復号化器を示す図である。 本発明の第３の実施例による符号化器を示す図である。 本発明の第３の実施例による復号化器を示す図である。 本発明の第４の実施例による符号化器を示す図である。 本発明の第４の実施例による復号化器を示す図である。 マルチレベルの４分木分割を示す図である。

本発明の前述及び他の目的は、種々の図に示された好ましい実施例の以下の詳細な説明を読んだ後、当業者に明らかになることに疑問の余地はないであろう。

本発明は、複数の忠実度向上方法を提供することにより、符号化器内のウィーナー・フィルタリングを拡張することを目的とする。ここで、前述の忠実度向上方法に関する情報は、符号化され、ビットストリームに埋め込まれる。このようにして、復号化器が受信ビットストリームを復号化すると、埋め込まれた忠実度向上情報を復号化器側で取り出し、利用して、処理済データに対する忠実度向上を行う。別々の多くの手法を処理済データに対して行うことが可能であり、符号化器側及び復号化器側における忠実度向上ブロックの別々の多くの配置により、向上が等価であることが確実にされるので、このことは、量子化誤差の削減を可能にするのみならず、回復されたビデオ・フレームの全体品質の向上も確実にする。

ビデオ符号化器及び復号化器に忠実度向上手法を適用する目的は、誤差を打ち消すことにより、忠実度を向上させることである。忠実度向上手法の例には、限定列挙でないが、カルマン・フィルタリング、雑音低減、ブラー解除、ウィーナー・フィルタリング、回帰、正則化、及び種々の差異モデリング、例えば、ＤＣオフセット（ゼロ次）、加重予測（１次、例えば、ａｘ＋ｂ）、空間予測、例えば、高次予測（例えば、ａｖ２＋ｂｖ＋ｃ）、線フィッティング（ａｘ＋ｂ，ａｙ＋ｂ）、曲線フィッティング（ａｖ２＋ｂｖ＋ｃ，ａｙ２＋ｂｙ＋ｃ）、平面フィッティング（ａｘ＋ｂｙ＋ｃ）、及び表面フィッティング（ａｘ２＋ｂｘｙ＋ｃｙ２＋ｄｘ＋ｅｙ＋ｆ）が含まれる。

前述の忠実度向上手法は、符号化器におけるいくつかの段において、上記処理済データに対して行うことが可能である。以下の明細書及び特許請求の範囲では、４つの例示的な実施例を提供するが、本発明の範囲は前述の４つの実施例に限定されるものでない。更に、２つ以上の忠実度向上ブロックが、符号化器に配置され、（復号化器内の対応する位置に）配置される修正も本発明の範囲内に収まる。

符号化器において利用する対象の複数の忠実度向上手法を提供することに加え、本発明は、新たなビットストリーム構文、及び忠実度向上手法を行うための複数のやり方を更に提供する。

ウィーナー・フィルタリングは通常、スライス及びブロック・レベルで行われる。しかし、本発明は、処理済データに対して４分木分割手法を利用して、忠実度向上を行う。４分木分割を利用してビデオ・フレームを分割することにより、コスト関数を最小にするように忠実度向上を行うことが可能である。例えば、一部のフレームでは、最小の量子化誤差がフレームの半分において存在しており、したがって、必要な大量計算は少なくなる。逆に、フレームの残り半分では、大量の量子化誤差が存在しており、したがって、量子化誤差を最小にするために、より大量の計算が必要である。前述の場合、フレームの残り半分よりも小さな領域に、より多くの量子化誤差を備えたフレームの半分を分割することは意味をなす。したがって、４分木分割は、フレームを分割するための最善のやり方を求めるためにコスト関数解析を利用することにより、適応的忠実度向上手法を提供する。

図９は、４分木分割を備えたビデオ・フレーム９００の例を示す。ビデオ・フレーム９００の処理済データが、忠実度向上ブロック（例えば、ウィーナー・フィルタ）に供給され、忠実度向上ブロックは、まず、コスト関数比較に基づいて、４分木分割構造を求める。忠実度向上ブロックは、トップダウン分離アルゴリズム、ボトムアップ・マージ・アルゴリズム、又は何れかの種類の順序を使用して、候補４分木分割構造それぞれに対応するコスト関数を順次算出して、最小のコストの４分木分割構造を求めることができる。コスト関数の例には、レート歪み関数（Ｊ＝Ｄ＋λｒ）がある。トップダウン分離関数の場合、ビデオ・フレーム９００はまず、４つの第１レベル部分に分割され、分割されていないフレームに対応するコスト関数、及び４つの第１レベル部分（分割されたフレーム）に対応するコスト関数が比較され、分割部分は、より小さなコスト関数を備えたものに従う。前述のコスト関数が、より小さい場合、第１レベル部分それぞれが４つの第２レベル部分に更に分割され、分割されていない部分、及び分割された第１レベル部分に対応するコスト関数を比較して、この第１レベル部分を分離する必要があるか否かを判定する。図９中のビデオ・フレーム９００は、フレームの左下及び右上において２つの第１レベル部分を示す。これらは、しかし、第２レベル部分に更に分割される訳でなく、残りの２つの第１レベル部分が更に分割される。同様に、第２レベル部分それぞれが第３レベル部分に分割され、コスト関数が比較され、所定の分割レベルに近づくと前述のトップダウン分離アルゴリズムは終結する。

ボトムアップ・マージ・アルゴリズムの場合、忠実度向上ブロックは、より小さな部分のコスト関数の計算を始める。例えば、第３レベル部分について、４つの第３レベル部分に対応するコスト関数が、前述の４つの第３レベル部分を含むより大きな領域に対応するコスト関数と比較される。後者のコスト関数のほうが低い場合、４つの第３レベル部分が第２レベル部分にマージされる。４つの第２レベル部分も、コスト関数比較後に、第１レベル部分にマージすることが可能である。忠実度向上ブロックによって最終的に求められる４分木分割構造は、エントロピ符号化段階においてビットストリームに埋め込まれる忠実度向上情報のうちの１つであり得る。

４分木分割により、忠実度向上を行った場合、より小さな領域についての計算結果はそれぞれ、より小さな領域を含むより大きな領域によって完全に再使用することが可能である。前述の再使用手法は、ボトムアップ・マージ・アルゴリズム及びトップダウン分離アルゴリズムに適用することが可能である。より小さな領域に対応する計算結果をまず計算することが可能であり、前述の計算結果を次いで、より大きな領域の計算に再使用することが可能である。忠実度向上のためにウィーナー・フィルタを利用する実施例では、相互相関及び自己相関行列を含むフィルタ・パラメータが生成される。４分木分割手法などの特定の分割手法が行われると、フィルタリングされたフレームの特定の領域が、領域のサイズに応じて再フィルタリングされる。したがって、本発明は、前述のウィーナー・フィルタリングの再使用手法を提供し、より小さな領域を含む、より大きな領域に対してフィルタリングが行われる場合、より小さな領域の相互相関及び自己相関行列が、より大きな領域について再使用される。これにより、計算時間が節減される。

忠実度向上パラメータは通常、符号化され、符号化ビットストリームの末尾に埋め込まれる。ビットストリームの末尾が復号化されるまで、復号化器が、忠実度向上の実行を開始することが可能でないということを、ビットストリームの末尾において忠実度向上パラメータを提供することが意味するので、特定の通常の手法により、ヘッダ内に忠実度向上情報が配置される。しかし、前述の手法は、ビットストリームの再連結を必要とする。したがって、本発明は、ビットストリームの末尾に忠実度向上情報をなお埋め込むが、ビットストリーム内の忠実度向上情報の位置を示すためのポインタをヘッダに配置する。例えば、ポインタにより、ヘッダと末尾との間のビットの数に関する情報が与えられ得る。これは、（ヘッダ中の）ポインタが復号化されると直ちに、復号化器が忠実度向上情報をサーチすることを可能にし、したがって、忠実度向上パラメータを得る前に、ビットストリーム全体を復号化器が復号化しなければならなかった場合よりもずっと速く、忠実度向上の実行を開始することが可能である。忠実度向上パラメータはビットストリームの末尾に埋め込まれなくてよく、ポインタが符号化器によって修正されるにつれ、ポインタは、ビットストリーム内の何れかの位置に記憶された何れかの情報を表し得、よって、適応的ポインタである。

前述の手法の少なくとも１つ又は全ては、上記忠実度向上ブロックによって利用することが可能である。以下の図は、忠実度向上ブロックの種々の位置を示し、忠実度向上ブロックの動作を更に説明する。

図１を参照されたい。図１は、忠実度向上（ＦＥ）ブロック１６０を有する符号化器１００の図である。符号化器１００は、イントラ予測ブロック１１０と、インター（ＭＥ／ＭＣ）予測ブロック１２０と、除算器１３２と、変換ブロック１３４と、量子化ブロック１３６と、逆変換ブロック１４２と、逆量子化ブロック１３８と、再構成装置１７０と、デブロッキング（ブロック解除）装置１４０と、参照フレーム・バッファ１３０と、エントロピ符号化装置１８０とを含む。忠実度向上ブロック１６０以外に、符号化器１００のその他の構成部分は、当業者に周知であり、したがって、前述の構成部分の機能及び動作はここで詳細に説明しないものとする。忠実度向上ブロック１６０は、参照フレーム・バッファ１３０からの１つ又は複数の参照フレームの処理済データを受信し、参照フレームの処理済データと現在のフレームのデータとの間の差異を削減し、補償された処理済データを、予測のために、インター（ＭＥ／ＭＣ）予測ブロックに供給する。忠実度向上ブロック１６０は、ブロック、スライス又は４分木レベルでの上記忠実度向上手法のうちの少なくとも１つを行うことが可能である。忠実度向上ブロック１６０は、忠実度向上を行い、ＦＥ関連パラメータを生成する場合に、上記手法のうちの１つ又は複数も利用することが可能である。すなわち、図１に示すＦＥブロック１６０はウィーナー・フィルタリングを行う場合、自己相関及び相互相関行列を再使用することが可能であり、符号化されたビットストリームのヘッダ内の適応的ポインタを利用する一方で、生成されたＦＥ情報を符号化ビットストリームの末尾に埋込んで、ビットストリーム内の忠実度向上情報の位置を復号化器に通知することが可能である。

図２を参照されたい。図２は、本発明の第１の実施例による復号化器２００の図である。復号化器２００も、符号化器１００内のＦＥブロック１６０に対応する位置に忠実度向上ブロック２０も含む。これは、符号化器１００によって生成される忠実度向上情報を最適に、復号化器２００によって利用することが可能であるということを確実にする。復号化器２００は更に、エントロピ復号化装置２４０と、イントラ予測ブロック２１０と、動き補償（ＭＣ）装置２２０と、参照フレーム・バッファ２３０と、逆量子化ブロック２５６と、逆変換ブロック２４２と、再構成装置２５０と、デブロッキング（ブロック解除）装置２６０とを備える。前述の装置の機能及び動作は、当業者に周知であるため、関連した詳細は、本明細書では、話を簡単にするために含めていない。エントロピ復号化装置２４０は、受信ビットストリームからの忠実度向上情報などの情報及び残差を取り出す。前述の実施例では、エントロピ復号化装置２４０は、ヘッダを復号化している間に、受信ビットストリームにおける忠実度向上情報の位置を示すポインタを獲る。忠実度向上ブロック２７０は次いで、エントロピ復号化装置２４０から忠実度向上情報を受信し、参照フレーム・バッファに記憶された１つ又は複数の参照フレームの処理済データに対して忠実度向上を行う。一部の実施例では、忠実度向上情報は、特定の４分木分割構造を表す情報を含み、忠実度向上ブロックは、特定の４分木予測構造による差異モデリング又はフィルタリングを行う。

図３及び図４を参照されたい。図３及び図４はそれぞれ、本発明の第２の実施例による符号化器２００及び復号化器４００の図である。符号化器３００及び復号化器４００はそれぞれ、ＦＥブロック１６０、２７０を含む。デブロッキング（ブロック解除）装置１４０の後に配置された符号化器３００のＦＥブロック１６０は、現在のフレームの処理済データと、現在のフレームの元のデータ（すなわち、未処理データ）との間の誤差を低減し、補償された処理済データを生成するために使用される。ＦＥブロック１６０からの補償された処理済データは参照フレーム・バッファ１３０に記憶される。図３及び図４に示す各ブロックの動作及び機能は、図１及び図２に示すそれぞれのブロックと同じであり、したがって、数字は全て、同じに維持されている。

図５乃至図８を参照されたい。図５乃至図８はそれぞれ、本発明の第３の実施例による符号化器５００、本発明の第３の実施例による復号化器６００、本発明の第４の実施例による符号化器７００、及び本発明の第４の実施例による復号化器８００の図である。各実施例間の差は、ＦＥブロックの位置である。各図中のＦＥブロックは、ウィーナー・フィルタリングを含む忠実度向上手法を行うことができる。一部の実施例では、４分木分割が使用され、再使用手法は、計算時間を更に削減することが可能である。例えば、ウィーナー・フィルタリングが、より小さな領域に対して行われ、次いで、より小さな領域を含む、より大きな領域に対して行われた場合、既に生成された相互相関行列及び自己相関行列をフィルタリングに再使用することが可能である。更に、本願記載の符号化器はそれぞれ、ビットストリームにおける忠実度向上情報の位置を示すために、符号化ビットストリームのヘッダ内の適応的ポインタを利用することができる。第３の実施例では、図５に示すように、変換ブロック１３４の処理、量子化ブロック１３６の処理、逆量子化ブロック１３８の処理、及び逆変換ブロック１４２の処理によってもたらされる誤差を低減するために、現在のフレームの処理済データに対して忠実度向上を行う。第４の実施例では、図７に示すように、ＦＥブロック１６０は、量子化ブロック１３６及び逆量子化ブロック１３８の処理によってもたらされる誤差を低減するために、現在のフレームの処理済デ―タに対して忠実度向上を行う。

本願記載のＦＥブロックが、上記図に記載された単一の位置に限定されないということ、及び、複数の位置における複数のＦＥブロックを含む符号化器及び復号化器も本発明の範囲内に収まるということは当業者に明らかなはずである。更に、符号化器及び復号化器における各ＦＥブロックが、別々の忠実度向上手法を行うことも可能である。更に、上記手法（ＦＥ情報の位置を示す、ビットストリーム内のポインタ、４分木分割、４分木分割における計算結果の再使用等）全てをＦＥブロックが行う必要はなく、上記忠実度手法の一部又は１つのみを行うＦＥブロックも本発明の範囲内に収まる。

本発明は、符号化側でウィーナー・フィルタリングを利用し、符号化器側で複数の忠実度向上手法を提供することにより、符号化ビットストリームに、適切なフィルタリング情報を埋め込むという考えを拡張する。ここで、適切な情報は同様に、符号化ビットストリームに埋め込まれる。本発明は、計算結果の再使用、及び４分木分割によって分割されたフレームに対して、ウィーナー・フィルタリングなどの忠実度向上を行う方法も提供する。最後に、本発明は、ＦＥ情報の位置を示すために、ビットストリームのヘッダにおいてポインタを提供することにより、ビットストリームのヘッダ内に埋め込まれていなくても復号化器がＦＥ情報を即座にアクセスする手段を提供する。

当業者は、本発明の教示を維持しながら、上記装置及び方法の数多くの修正及び改変を行うことができるということを当業者は容易に認識するであろう。よって、上記説明は、特許請求の範囲記載の境界によってのみ限定されると解されるものとする。

Claims (26)

1. ビデオ・フレームを受信し、符号化ビットストリームを生成するための符号化処理を行う符号化器であって、
   ４分木分割を利用して、処理済データに対して忠実度向上手法を行い、４分木分割構造に関連付けられた少なくとも１つのパラメータを含む忠実度向上情報を生成するための忠実度向上ブロックと、
   忠実度向上ブロックに結合され、前記忠実度向上情報を符号化し、前記符号化された忠実度向上情報を前記符号化ビットストリームに埋め込むためのエントロピ符号化ブロックと
   を備える符号化器。
2. 請求項１記載の符号化器であって、前記忠実度向上手法は、ウィーナー・フィルタリング、カルマン・フィルタリング、雑音低減、ブラー解除、回帰、及び正則化を含む符号化器。
3. 請求項１記載の符号化器であって、前記忠実度向上ブロックは、ウィーナー・フィルタリングを行い、前記ビデオ・フレームの、小さな領域について自己相関行列及び相互相関行列を生成し、大きな領域が、前記小さな領域を含む場合、前記ビデオ・フレームの前記大きな領域について、前記自己相関行列及び相互相関行列を再使用する符号化器。
4. 請求項１記載の符号化器であって、前記忠実度向上手法は、ＤＣオフセット補償、加重予測、及び空間予測を含む差異モデリング手法である符号化器。
5. 請求項１記載の符号化器であって、
   予測残差及び予測情報を生成するよう、前記ビデオ・フレームに対して予測を行うための予測ブロックと、
   前記予測ブロックに結合され、前記予測残差に対して変換及び量子化処理を行うための変換及び量子化ブロックと、
   前記変換及び量子化ブロックと、前記予測ブロックとの間に結合され、前記変換及び量子化ブロックからの情報、前記予測残差に応じて前記ビデオ・フレームを再構成するための再構成ループとを備え、
   前記エントロピ符号化ブロックは前記変換及び量子化ブロックに結合され、前記忠実度向上ブロックが前記再構成ループ内にある符号化器。
6. 請求項５記載の符号化器であって、前記再構成ループは、
   前記忠実度向上ブロックの前記処理済データを生成するようブロック解除を行うためのブロック解除装置
   を更に備える符号化器。
7. 請求項５記載の符号化器であって、前記再構成ループは、
   参照フレームの処理済データをバッファリングするための参照フレーム・バッファ
   を更に備え、
   前記忠実度向上ブロックは、前記参照フレーム・バッファから取り出された前記処理済データに対して忠実度向上を行う符号化器。
8. 請求項５記載の符号化器であって、前記再構成ループは、
   前記量子化及び変換装置に結合され、前記処理済データを生成するよう逆量子化処理及び変換処理を行うための逆量子化及び変換装置
   を更に備え、
   前記忠実度向上ブロックは、前記逆量子化及び変換装置から前記処理済データを受信する符号化器。
9. 請求項５記載の符号化器であって、前記再構成ループは、
   前記変換及び量子化装置に結合され、前記処理済データを生成するよう逆量子化処理を行う逆量子化装置を更に備え、前記忠実度向上ブロックは、前記逆量子化装置から前記処理データを受信する符号化器。
10. 請求項１記載の符号化器であって、前記符号化忠実度向上情報が前記符号化ビットストリームに埋め込まれ、前記符号化ビットストリームのヘッダは、前記符号化ビットストリームにおける前記忠実度向上情報の位置を示すためのポインタを備える符号化器。
11. ビデオ・フレームを符号化する方法であって、
    ビデオ・フレームを受信する工程と、
    前記ビデオ・フレームをどのようにして分割するかを判定するために４分木分割手法を利用する工程と、
    判定結果に応じて、前記ビデオ・フレームを分割し、忠実度向上パラメータを生成するよう前記ビデオ・フレームに対して忠実度向上を行う工程と、
    前記フィデリティ向上パラメータによって前記ビデオ・フレームを符号化して、符号化ビットストリームを生成する工程と
    を含む方法。
12. 請求項１１記載の方法であって、前記ビデオ・フレームをどのようにして分割するかを判定するために４分木分割手法を利用する工程は更に、
    トップダウン分離アルゴリズム又はボトムアップ・マージ・アルゴリズムを利用し、前記ビデオ・フレームをどのようにして分割するかを判定するためにコスト関数結果を比較する工程を含む方法。
13. 請求項１１記載の方法であって、前記ビデオ・フレームの、小さな領域の計算結果は、大きな領域が前記小さな領域を含む場合、前記ビデオ・フレームの、前記大きな領域について再使用される方法。
14. ビデオ・フレームを符号化する方法であって、
    ビデオ・フレームを受信する工程と、
    忠実度向上情報を生成するよう、処理済データに対して忠実度向上を行う工程と、
    前記ビデオ・フレームを符号化して、符号化ビットストリームを生成する工程と、
    前記忠実度向上情報を符号化し、前記符号化忠実度向上情報を、前記符号化ビットストリームに埋め込む工程と、
    前記符号化ビットストリーム中の前記忠実度向上情報の位置を示すポインタを生成する工程と
    を含む方法。
15. 請求項１４記載の方法であって、忠実度向上は、フィルタリング及び差異モデリングを含む方法。
16. ビットストリームを復号化する方法であって、
    ビットストリームを受信する工程と、
    前記ビットストリーム内のヘッダからポインタを取り出す工程であって、前記ポインタは、前記ビットストリーム内の忠実度向上情報の位置を示す工程と、
    復号化処理により、ビデオ・フレームを構成する工程と、前記忠実度向上情報を使用して、処理済データに対して忠実度向上を行う工程と
    を含む方法。
17. 請求項１６記載の方法であって、忠実度向上は、フィルタリング及び差異モデリングを含む方法。
18. ビットストリームを受信してビデオ・フレームを生成するための復号化器であって、
    前記ビットストリームを復号化して残差及び忠実度向上情報を生成するためのエントロピ復号化装置であって、前記忠実度向上情報は、４分木分割構造に関連付けられた少なくとも１つのパラメータを含むエントロピ復号化装置と、
    前記エントロピ復号化装置に結合され、前記残差から前記ビデオ・フレームを再構成するための再構成ループと、
    前記エントロピ復号化装置から前記忠実度向上情報を受信し、前記忠実度向上情報から導き出された前記４分木分割構造に応じて忠実度向上を行うための忠実度向上ブロックとを含む復号化器。
19. ビデオ・フレームを受信し、符号化ビットストリームを生成するための符号化処理を行う符号化器であって、
    予測残差及び予測情報を生成するよう前記ビデオ・フレームに対して予測を行うための予測ブロックと、
    前記予測ブロックに結合され、前記予測残差に対して変換及び量子化処理を行う変換及び量子化ブロックと、
    前記変換及び量子化ブロックと前記予測ブロックとの間に結合され、前記変換及び量子化ブロックからの情報、及び前記予測残差に応じて前記ビデオ・フレームを再構成するための再構成ループと
    を備え、前記再構成ブロックは、
    参照フレーム・バッファと、
    処理済データに対して差異モデリング手法を行い、差異モデリング情報を生成するための差異モデリング・ブロックと、
    前記差異モデリング情報とともに残差を、前記符号化ビットストリームに符号化するためのエントロピ符号化ブロックと
    を備える符号化器。
20. 請求項１９記載の符号化器であって、前記差異モデリング手法は、ＤＣオフセット補償、加重予測、及び空間予測を備える符号化器。
21. 請求項１９記載の符号化器であって、前記差異モデリング・ブロックは、前記参照フレーム・バッファから参照フレームの前記処理済データを受信し、差異モデリングを行って、参照フレームと前記ビデオ・フレームとの間の誤差を削減する符号化器。
22. 請求項１９記載の符号化器であって、前記差異モデリング・ブロックは、前記ビデオ・フレームの前記処理済データを受信し、前記ビデオ・フレームの処理済データ及び未処理データ間の誤差を低減するために差異モデリングを行い、補償された処理済データを前記参照フレーム・バッファに記憶する符号化器。
23. ビットストリームを受信してビデオ・フレームを生成するための復号化器であって、
    前記ビットストリームを復号化して残差及び差異モデリング情報を生成するためのエントロピ復号化装置と、
    前記エントロピ復号化装置に結合され、前記残差から前記ビデオ・フレームを再構成するための再構成ループと
    を備え、前記再構成ル―プは、
    前記エントロピ復号化装置から前記差異モデリング情報を受信し、前記差異モデリング情報に応じて処理済データに対して差異モデリング手法を適用するための差異モデリング・ブロック
    を備えた復号化器。
24. 請求項２３記載の復号化器であって、前記差異モデリング手法は、ＤＣオフセット補償、加重予測、及び空間予測を備える復号化器。
25. 請求項２３記載の復号化器であって、前記再構成ループは参照フレーム・バッファを更に備え、前記差異モデリング・ブロックは、前記参照フレーム・バッファから参照フレームの前記処理済データを受信し、前記差異モデリング情報に応じて差異モデリングを行う復号化器。
26. 請求項２３記載の復号化器であって、前記再構成ループは参照フレーム・バッファを更に備え、前記差異モデリング・ブロックは、前記ビデオ・フレームの前記処理済データを受信し、前記差異モデリング情報に応じて差異モデリングを行い、補償された処理済データを前記参照フレーム・バッファに記憶する復号化器。

Images