JP2013518517A - 非対称なサンプルを使った画像およびビデオ向上のためのフィルタ処理 - Google Patents

Abstract

低品質の画像または画像シーケンスを高品質の画像または画像シーケンスを用いてフィルタ処理する方法および装置が記載される。

Description

関連出願への相互参照
本願は、ここに参照によってその全体において組み込まれる、2010年2月1日に出願された米国特許仮出願第61/300,115号の優先権を主張する。

分野
本開示は画像およびビデオのフィルタ処理の分野に関する。より詳細には、本開示は非対称サンプルを使った画像およびビデオ向上のためのフィルタ処理に関する。

本開示の可能な応用は、スケーラブルおよび非スケーラブルなフル解像度の3D両眼視用ビデオ送達のために開発される製品を含む。本開示の教示は、インターレース素材をエンコードするシステムを含む、空間的または時間的スケーラビリティーを含みうる製品においても使用できる。

米国仮出願第61/223,027号、名称「Encoding And Decoding Architectures for Format Compatible 3D Video Delivery」、2009年7月4日出願 米国仮出願第61/170,995号、名称「Directed Interpolation And Data Post-Processing」、2009年4月20日出願 米国仮出願第61/140,886号、名称「Content Adaptive Sampling Rate Conversion for Interleaving And Deinterleaving of Images」、2008年12月25日出願

J.R. Ohm, "Advances in Scalable Video Coding," Proc. of the IEEE, vol.93, no.1, January 2005 O. G. Guleryuz, "Weighted Averaging for Denoising with Overcomplete Dictionaries, "IEEE Trans. on Image Processing, vol.16, no.12, 2007, pp.3020-3034 T.F. Chan and J. Shen, "Mathematical models for local nontexture inpaintings," SIAM Journal of Applied Mathematics, vol.62, no.3, pp.1019-1043, 2002 S. Mallat and G. Peyre, "A review of bandlet methods for geometrical image representation", Numerical Algorithms, vol.44, no.3, pp.205-234 H.-Y.C. Tourapis and A.M. Tourapis, "Fast motion estimation within the H.264 codec," Proceedings of the International Conference on Multimedia and Expo, vol.3, pp.517-520, 2003

従来技術の欠点を軽減ないし解消する。

本願の課題は請求項記載の手段によって解決される。

複数層3Dビデオ符号化システムを示す図である。 後処理モジュールの入力および出力を示す図である。 非対称品質のビデオ・エンコード・システムにおける後処理の、エンコーダによって渡される任意的なフィルタ情報を用いる一実施形態を示す図である。 向上層が基本層とは異なる品質をもつサンプルを含む場合、あるいは基本層および／または基本層自身が異なる品質の諸サンプルをもつ場合のインターリーブされた画像のための後処理の一実施形態を示す図である。 ループ内非対称サンプル・フィルタの例を示す図である。 非対称な品質のサンプルを処理するための複数仮説フィルタおよび組み合わせ器の例を示す図である。 非対称な品質のサンプルをフィルタ処理する周波数領域の方法を示す図である。 時間的スケーラビリティー用途のための後処理を示す図である。 時間的スケーラビリティー用途のためのMCTFベースの後処理を示す図である。 二つ以上の異なるセットのサンプルに適用される単一のエンコード・プロセスの例を示す図である。 二つ以上の異なるセットのサンプルに適用される単一のエンコード・プロセスの例を示す図である。

第一の側面によれば、画像または画像シーケンスのサンプルを処理する方法であって：第一のエンコード・プロセスで第一のセットのサンプルをエンコードする段階と；第二のエンコード・プロセスで第二のセットのサンプルをエンコードする段階と；第一のセットのエンコードされたサンプルを、第二のセットのエンコードされたサンプルからの情報と組み合わせて第一のセットのエンコードされたサンプルを向上させる段階とを含む、方法が提供される。

第二の側面によれば、画像または画像シーケンスのサンプルを処理する方法であって：第一のエンコード・プロセスで第一のセットのサンプルをエンコードする段階と；第二のエンコード・プロセスで第二のセットのサンプルをエンコードする段階と；第一のセットのエンコードされたサンプルをデコードする段階と；第二のセットのエンコードされたサンプルをデコードする段階と；第一のセットのデコードされたサンプルを、第二のセットのデコードされたサンプルからの情報と組み合わせて第一のセットのデコードされたサンプルを向上させる段階とを含む、方法が提供される。

第三の側面によれば、デコード後に画像または画像シーケンスのサンプルを後処理する方法であって：複数のデコードされた画像または画像シーケンスを提供する段階と；前記デコードされた画像または画像シーケンスの一つまたは複数を、前記複数のデコードされた画像または画像シーケンスの他のデコードされた画像または画像シーケンスからの情報を使って向上させる段階とを含む、方法が提供される。

第四の側面によれば、画像を処理する方法であって：第一のセットの画像をエンコードする段階と；第二のセットの画像をエンコードする段階であって、ここで、前記第一のセットおよび前記第二のセットはある画像特徴に関連付けられており、前記第二のセットの画像特徴は前記第一のセットの画像特徴の値とは異なる値をもつ、段階と；前記第二のセットからの再構成された画像を使って前記第一のセットの再構成された画像をフィルタ処理する段階とを含む、方法が提供される。

第五の側面によれば、デコードされた画像を後処理する方法であって：第一の画像特徴を有する第一のセットのデコードされた画像を提供する段階と；前記第一の画像特徴とは異なる第二の画像特徴を有する第二のセットのデコードされた画像を提供する段階と；前記第二のセットをフィルタ処理する段階と；前記フィルタ処理された第二のセットを前記第一のセットと組み合わせる段階とを含む、方法が提供される。

第六の側面によれば、画像を処理する方法であって：第一の画像特徴を有する第一のセットの画像をエンコードする段階と；前記第一の画像特徴よりよい第二の画像特徴の第二のセットの画像をエンコードする段階と；前記エンコードされた第一のセットの画像および前記エンコードされた第二のセットの画像を周波数変換する段階と；周波数変換されたエンコードされたセットの一方の画像を、他方の周波数変換されたエンコードされたセットの画像からの情報を用いて規格化する段階と；規格化された周波数変換されたエンコードされた一方のセットの画像を、周波数変換されたエンコードされた他方のセットの画像と組み合わせる段階と；組み合わされたセットの画像を逆変換する段階とを含む、方法が提供される。

第七の側面によれば、時間領域において画像を処理する方法であって：第一の品質の第一のセットの画像であって、前記第一の品質より高い第二の品質の第二のセットの画像と時間的にインターリーブされたものを提供する段階と；前記第一のセットの画像を、前記第二のセットの画像の一つまたは複数を用いてフィルタ処理することによって、前記第一のセットの画像を向上させる段階とを含む、方法が提供される。

第八の側面によれば、画像または画像シーケンスのサンプルを処理する方法であって：第一のプロセスで第一のセットのサンプルを処理する段階と；第二のプロセスで第二のセットのサンプルを処理する段階と；処理されたサンプルをエンコードする段階と；第一のセットのエンコードされたサンプルを、第二のセットのエンコードされたサンプルからの情報と組み合わせて第一のセットのエンコードされたサンプルを向上させる段階とを含む、方法が提供される。

第九の側面によれば、画像または画像シーケンスのサンプルを処理する方法であって：前記サンプルを二つ以上の領域に分離する段階と；前記サンプルを、異なる領域内のサンプルが異なる特徴を含むようエンコードする段階と；一つまたは複数の領域からの情報が他の領域のエンコードされたサンプルを向上させるために使用されるよう、エンコードされたサンプルを組み合わせる段階とを含む、方法が提供される。

本開示のさらなる実施形態は本願の明細書、図面および請求項において与えられる。

画像およびビデオ圧縮において、いくつかの状況が、圧縮されたコンテンツの異なるサンプルの間の非対称な品質の状態に導くことができる。スケーラブルなビデオ送達、インターレース式ビデオ符号化および3Dもしくはマルチビュー・ビデオ符号化は、圧縮された画像またはシーケンスの一部のサンプルが同じ画像またはシーケンスの他のサンプルと有意に異なる品質になりうるプロセスにつながるいくつかの例示的な応用である。

本開示の諸実施形態は、より低品質のサンプルが、フィルタ処理または後処理を通じて、画像またはシーケンス中の他のより高品質のサンプルからの情報を使って向上されるよう、画像またはシーケンスの非対称な品質のサンプル（asymmetric quality samples）の間でフィルタ処理する方法に向けられる。換言すれば、より低品質のサンプルはより高品質のサンプルからの情報を用いたフィルタ処理を通じて改善される。本開示のさらなる実施形態によれば、ある量の所望されるまたは選択される特徴（たとえば周波数）を含むサンプルが、そのような所望されるまたは選択される特徴の異なる量（通例はより多くの量）を含むサンプルを用いてフィルタ処理されるフィルタ処理方法も開示される。

必要であれば、品質（またはより一般に情報）が測定できる。たとえば、画像／ビデオ品質を測定するために使用できるいくつかの客観的な品質指標がある。あるいはまた、そのような情報は、信号伝達されたり、あるいは信号伝達および解析の組み合わせを通じて提供されたりできる。例として、非対称が具体的にどのくらいか、それがどのように測定できるか、向上されるべき領域はどれか、などについての情報を、信号が与えることができる。たとえば、領域の何らかの大まかな定義が与えられれば、ブロックノイズまたは他の何らかのアーチファクトが測定でき、次いで、サンプルの間の差または非対称性およびそのような情報がどのように処理されるべきかが決定できる。

スケーラブルなビデオ送達（参照によりその全体においてここに組み込まれる非特許文献１参照）では、基本層ビットストリームは典型的にはより低い品質／解像度／ビュー数（マルチビュー符号化における）／ビット深さなどでエンコードされる。次いで、使用されるスケーラビリティーの型に依存して信号対雑音比（SNR）、解像度、ビュー数またはビット深さの面でビデオの全体的な品質を改善する一つまたは複数の向上層ビットストリームが追加される。場合によっては、向上層ビットストリームは、基本層に含まれていなかったサンプルについての情報を含むこともある。たとえば、一つまたは複数の向上層が時間的分解能向上のために使われる場合、新しい向上層一つ一つが、既存の基本層サンプルを維持しつつ、画像シーケンスに一つまたは複数の新しいピクチャを追加しうる。また、一般に、各向上層は、デコードされたときに各向上層からのデコードされたサンプルがエンコードされたシーケンスの基本層および他の層とは（SNR、解像度などの点で）有意に異なる品質でありうるような、サンプルについての情報を含んでいてもよい。

本開示のある実施形態によれば、スケーラブルな画像／ビデオ・コーデックにおける異なる層のサンプルの間でフィルタ処理する方法であって、より低品質でエンコードされた層がより高品質でエンコードされた層からの情報を使って向上される、方法が提供される。

本開示のあるさらなる実施形態は、非対称な品質のサンプルの間のフィルタ処理がインターレース式ビデオ符号化において採用される。その場合、符号化された画像シーケンスは、フレーム・レートの二倍のレートの交互のフィールドを含む。たとえば、各フィールドは、種々の時点における、もとのフル解像度画像の奇数行または偶数行のいずれかに対応する。それらの画像は次いで再生または表示装置において「インターレース解除」される。ビデオ・コーデックは、奇数／偶数フィールドを異なるエンコード・パラメータを使ってエンコードすることを選んでもよく、これはフィールド間での非対称な品質につながる。その場合、本開示において記載されるようなフィルタ処理方法を、より低品質のフィールドを、またはビデオの最終的なインターレース解除された画像を向上させるために使うことができる。したがって、処理および向上は、より低品質のサンプルに対してのみ、あるいはより低品質のサンプルとより高品質のサンプルの両方に対して、行われることができる。

2D画像の奇数行／偶数行に対応するフィールドに加えて、上記と同様の概念は、3Dまたはマルチビュー・ビデオ符号化に適用できる。ここでは、各フィールドは、所与の時点における一つのビューからの情報からなる。あるさらなる実施形態では、3Dまたはマルチビュー画像およびビデオは、フレーム互換なインターリーブ・フォーマットを使ってインターリーブされた画像としてエンコードされてもよい。たとえば、市松模様（checkerboard）、行ごと（line-by-line）、左右隣り合わせ（side-by-side）、上下（over-under）が、二つの両眼視用3Dビューを、送達のために、一つの左／右インターリーブされた画像にインターリーブするために使われる技法のいくつかである。ここでもまた、これらの各場合において、非対称な品質の同様の状態がビューの間で生じうる。

本開示のあるさらなる実施形態は、3D両眼視用またはマルチビュー・ビデオのスケーラブルな送達の分野である。この場合、各ビューからのもとのフル解像度の画像はサブサンプリングされてもよく、次いでサブサンプリングされたビューがインターリーブされて既存のビデオ送達パイプラインを通じた伝送および表示のための「フレーム互換な」基本層画像を形成してもよい（参照によりここにその全体において組み込まれる特許文献１参照）。

その場合、フル解像度のビデオの送達は、基本層の欠けているサンプルを再構成するのを助ける情報を与える一つまたは複数の向上層を加えることによって可能にされることができる（図１参照）。図１に示されるように、エイリアシングのようなアーチファクトを軽減し、圧縮効率を改善するために、各層についてより低解像度のサンプルを生成するサブサンプリングに先立って、もとのフル解像度の画像はフィルタ処理される必要があることがある（図１のフィルタF_L、F_R参照）。しかしながら、各段で使われるフィルタは異なっていてもよい。たとえば、基本層のサンプルはレガシー・ディスプレイ装置によってフル解像度に補間されるので、基本層については、より積極的なフィルタ処理が必要とされることがある。各段におけるビデオ・エンコード・パラメータも異なっていてもよい。向上層がすでにエンコードされた基本層を活用できるからである（参照によりここにその全体において組み込まれる特許文献２参照）。したがって、各層のサンプルは、符号化アーチファクト、周波数特性および視覚的品質の点で非対称的であってもよい。

本開示のある側面によれば、画像品質向上は、ビデオ・デコーダのデコードされた画像に適用される後処理として行われることができる。図２は、本実施形態に基づく例示的な後処理モジュールの基本的な入力および出力を示す。プロセス0、1、……、Nから来る入力画像サンプルは、限定ではなく例として、スケーラブルなビットストリームにおける種々の層からのデコードされた画像、インターレースされたビットストリームにおける種々のフィールドまたはマルチビュー符号化されたビットストリームにおける種々のビューであることができる。ある実施形態では、後処理モジュールは後処理のために使うためのフィルタ型およびフィルタ・パラメータのような追加的な情報を入力として取ることができる。パラメータおよびフィルタは、シーケンスまたは画像のレベル、ピクセル・ブロック、画像のスライスなどといった領域レベル、あるいは極端な場合にはピクセルのレベルで指定されうる。この追加的な情報は、プロセス固有であって特定のプロセス0、1、……、Nから来てもよいし、あるいは非プロセス固有であってもよい。追加的な情報は、エンコーダにおいて生成され、エンコードされたビットストリームとともに送信されることができる。

図３は、画像シーケンスが後処理される前に複数の異なる前処理およびエンコード段にかけられる本開示のあるさらなる実施形態を示している。各段はシーケンスの異なる空間的または時間的な領域に適用されてもよい。しかしながら、実行されるエンコードの型に依存して、各段における空間的および時間的領域は重なってもよい。図３に示されるように、各エンコード段において追加的な情報が生成されてもよい。追加的な情報は、デコードされたビデオの最終的な品質を向上させるために、適用されるべきフィルタ処理の型を決定することにおいて後処理器を支援できる。追加的な情報は、使うべきフィルタの型およびフィルタ・パラメータ、フィルタ処理されるべき領域などについての、後処理モジュールの計算量を軽減するのを助ける詳細な情報であってもよい。もう一つの実施形態では、追加的な情報は、エンコードの各段で使われるエンコード・パラメータ、たとえば、使用される量子化きざみの大きさ、動き推定の精度（たとえば、二分の一画素、四分の一画素）、ブロック解除のようなループ内フィルタ処理が使われるか否かなどについての情報であってもよい。後処理器は次いで、この追加的な情報を使って、デコードされた画像に対して実行される必要のあるフィルタ処理の型および量を決定することができる。より一般には、ある種の情報を含むサンプルは、異なる種類の情報を含むサンプルと組み合わされる。組み合わせに先立って、第一のセット、第二のセットまたは両セットのサンプルのフィルタ処理が行われてもよい。

たとえば、図１に示されるスケーラブルな3Dビデオ符号化の場合、後処理器は入力として、サブサンプリングされた基本層および向上層からデコードされた画像を受け取り、各層からのサンプルに対してフィルタ処理を行ったのちにフル解像度の画像を出力することができる。この場合、基本層は左／右インターリーブされ、第一の向上層は、基本層を作成するために落とされたピクセルを再構成するために使用されることができる。たとえば、行ごとにインターリーブされた場合、左ビューの偶数番目の行と右ビューの奇数番目の行が基本層においてエンコードされてもよく、一方、左ビューの奇数番目の行と右ビューの偶数番目の行が第一の向上層においてエンコードされる。市松模様式インターリーブさた場合には、行番号と列番号の和が偶数（左ビュー）と奇数（右ビュー）パリティーになるピクセルに同じことが適用される。左右隣り合わせの場合には、基本層は左ビューの偶数番目の列および右ビューの奇数番目の列を含んでいてもよく、向上層は左ビューの奇数番目の列および右ビューの偶数番目の列を含むことになる。上下の場合には、画像の行に対して同じことが適用されうる。上記のサンプル位置は例示的な方式であって、他のサンプリング方法が上記の各インターリーブの場合と一緒に用いられてもよいことを注意しておく。ある別の実施形態では、もとのサンプルは、基本層がもとのデータからの低周波数情報を含み、向上層が高周波数情報を含むよう、フィルタ処理されてもよい。いくつかの他の実施形態では、前処理段は、各層における複数のビューを横断して諸サンプルをフィルタ処理してもよい。これらの場合のすべてにおいて、向上層エンコーダは、向上層ビットストリームの圧縮効率を改善するために、基本層からの情報を使うことができる。後処理モジュールに追加的な情報を供給する基本層および向上層のエンコーダにおいて追加的なデータが生成されてもよい。たとえば、領域についての情報は、該領域をエンコードするために使われるエンコード・パラメータ、それらの間の差はどのくらいか、どのように後処理するのが最善か、動きの規則性などを含んでいてもよい。そのような情報は、領域についての情報、それらの間の差はどのくらいか、どのように後処理するのが最善かのような後処理メタデータをも含んでいてもよい。

一つの向上層をもつ左右隣り合わせフォーマットの両眼対（stereo pair）の特定の実施形態についての図４に示されるように、後処理モジュールとして使われる非対称な品質のサンプルのフィルタ（asymmetric quality sample filter）は、L⁺/R^-インターリーブされたデコードされた基本層およびL^-/R⁺インターリーブされたデコードされた向上層を入力として取る。図４の後処理モジュールは、デコードされた向上層サンプルを使って基本層のサンプルと同位置の処理された値の組を生成するよう、位相シフターを有する。次いで、基本層と処理された向上層のサンプルが組み合わされて、新たに向上させられた基本層を形成する。具体的には、組み合わせ器に送られるパラメータは、各セットのサンプルに置かれる信頼度を決定するために使われることができ、該信頼度は基本層および処理された向上層のサンプルを組み合わせるための重み／係数を決定するために使われることができる。組み合わせは、向上層と基本層の間の関係に依存することができる。隣り合わせ型3Dが適用される場合、たとえば、組み合わせは、サンプルを水平方向にインターリーブすることによって行われる。行インターリーブされた、あるいは上下型3Dが適用される場合、サンプルは垂直方向にインターリーブされる。処理された基本層およびデコードされた向上層は次いで多重化されて、フル解像度の左右のビューの出力を生成する。ここで、基本層に対応するサンプルがさらに、近隣の向上層サンプルをガイドとして使って処理される。当業者は、処理された基本層サンプルが向上層の品質をさらに改善するために使われる場合にも同じ概念が適用できることを理解するであろう。また、これらの概念は、基本層がより低解像度でサンプリングされた画像またはシーケンスを含み、向上層がそれらの画像をフル解像度にするのを助けるサンプルを含む、非両眼視用の空間的にスケーラブルな用途に適用されることができる。二つ以上の向上層が利用可能な場合や、スケーラブル符号化の代わりにインターレースされた符号化が使用される場合にも同じ概念が使用されうる。図４の実施形態は具体的に位相シフトに言及しているが、当業者は、平滑化、鮮鋭化、位相シフト、周波数領域フィルタ処理などといった他の型のフィルタ処理を使ってもよいことを理解するであろう。

本開示のもう一つの実施形態では、非対称的なサンプルの間のフィルタ処理は、エンコード・ループの一部として実行されることができる（図５参照）。この場合、あるセットのサンプルは低品質でエンコードされてもよく（エンコード・プロセス０参照）、別のセットのサンプルはより高品質でエンコードされてもよい（エンコード・プロセス１参照）。次いで、各セットの再構成されたサンプルが、非対称品質フィルタを使って組み合わされてもよい。非対称品質フィルタの出力は、次いで、もう一つのエンコード・プロセスとしてエンコードされ（たとえば、非対称品質フィルタからの再構成されたサンプルともとのサンプルとの間の残差がエンコードされてもよい；エンコード・プロセス２参照）、デコーダに伝送されることができる。望むなら、フィルタ・パラメータ、領域情報などといったエンコードされた画像に対して追加的な情報がデコーダに伝送されることができる。そのような情報は、外部信号の形で伝送され、エレメンタリー・ストリームの一部としてビットストリームに埋め込まれ（たとえば、補足向上情報（Supplemental Enhancement Information）メッセージとして）、トランスポート・ストリームに埋め込まれてもよく、またさらには画像／ビデオ透かしの形でビットストリームに隠されてもよい。この方式は、たとえば、図１に描かれる任意的な第二の向上層において使用されることができる。その場合、第一の向上層および基本層の出力は、各層について使われるエンコード・パラメータおよび再構成された画像の特性に基づいて、非対称品質フィルタを使ってフィルタ処理されることができる。次いで、非対称品質フィルタからのフィルタ処理された出力と、もとの画像サンプルとの間の残差が、任意的な第二の向上層としてエンコードされることができる。

図６は、サンプルのセットの品質を、より高品質のサンプルのセットからの情報を使って向上させるために、複数仮説フィルタおよび組み合わせ器が使われるさらなる実施形態を示している。複数仮説フィルタ（multi-hypothesis filter）は、N個の代替的なフィルタ出力、すなわち仮説を生成することができ、それらの出力のうちの一つまたは複数がのちに選択されることができるフィルタである。フィルタF₁、……、F_Nはさまざまな型であることができ、水平方向、垂直方向または斜め方向フィルタ、近傍サンプルを使う非分離型フィルタ（non-separable filter）、二面フィルタ〔バイラテラル・フィルタ〕などを含むことができる。変換領域においてフィルタ処理を実行する過完全な（overcomplete）方法がこのコンテキストにおいて使用されてもよい。たとえば参照によりここにその全体において組み込まれる非特許文献２参照。過完全な方法は、コンテンツ特性および重なり関係を与えられて、種々の重なる領域の変換を実行し、次いですべての変換された領域の周波数情報を調べ、すべての領域を横断して関係を見出してフィルタ処理を実行する。フィルタは、より高品質のサンプルに含まれる情報を使って、フィルタ処理されたサンプルの別個の諸セットを生成するために使われる。

いくつかの実施形態によれば、フィルタ処理されたサンプルは、より低い品質のサンプルと同位置になるよう生成されることができる。そのような場合、高品質のサンプルからの情報は、低品質のエンコード・プロセスを使ってエンコードされたサンプルによって現在占められている各位置に位置されるサンプルの推定値を得るために使われることができる。次いで、推定値および既存の低品質のサンプルが組み合わされて出力を形成することができる。他の実施形態によれば、一方の種類の情報を含むサンプルは、他方の種類の情報を含むサンプルと、同位置ではない（たとえば、わずかに異なる位相にある）。たとえば、図４に示されるようなシステムの場合、フィルタは、高品質層における欠けているサンプルを、その層における利用可能なサンプルを使って再構成しようとする補間フィルタであってもよい。ある実施形態では、複数仮説フィルタにおいて使用されるべきフィルタの組またはフィルタ・パラメータは、非対称な品質のサンプルのフィルタに追加的データとして信号伝達されることができる。

また、参照によりここにその全体において組み込まれる特許文献３に記載される諸方法、欠損修復（inpainting）（参照によりここにその全体において組み込まれる非特許文献３参照）、ウェーブレット、コンターレット（contourlet）およびバンドレット（bandlet）・アップサンプリング技法（参照によりここにその全体において組み込まれる特許文献４参照）といった他の補間方式から生成されたサンプルが複数仮説フィルタにおいて仮説として使用されてもよい。

また、ある実施形態では、一組のフィルタがルーマ・サンプルを、もう一組がクロマ・サンプルをフィルタ処理するために設けられてもよい。関係した方式では、クロマ・フィルタ・パラメータが、同じではないが、ルーマ・フィルタのパラメータから推定されてもよい。たとえば、クロマがルーマより低解像度でサンプリングされる場合、ルーマ成分とクロマ成分について、同様の特性を持つが異なるサポートをもつフィルタが使用されてもよい。

フィルタ処理されたサンプル値に加えて、図６に示される複数仮説設計の各フィルタは、フィルタ処理されたサンプルについての信頼値を決定することもできる。たとえば、信頼度は、フィルタ処理されたサンプルと、フィルタ長もしくはタップのようなフィルタ・サポート内にある諸サンプルとの間の差の測度として測定されることができる。ある実施形態では、差の測度は、平均平方差であることができ、別の実施形態では、計算量を減らすために平均差分絶対値を使うことができる。差の測定値は、ソース・コンテンツのもとの色空間において計算されてもよいし、あるいはディスプレイの色空間など異なる色空間に基づいていてもよいし、両者の組み合わせであってもよい。ある実施形態では、サポート内にあるサンプルの全部が信頼度を測定するために使われることができるし、あるいは別の実施形態では、サポート領域がサブサンプリングされて、差は、サブサンプリングされた値を使って計算されることができる。

また、もう一つの実施形態では、距離指標は、異なるサンプルについては異なる重みを与えられることができる。たとえば、フィルタ処理されたサンプルからより遠く離れたサンプルのほうが、直近の近傍にあるサンプルより低い重みを与えられることができる。もう一つの実施形態では、画像の複数のクロマおよびルーマ成分に対して前記フィルタを適用後、上記のように計算した諸信頼度は、組み合わされて、前記フィルタについての組み合わされた信頼値を形成することができる。もう一つの実施形態では、画像の特定のルーマまたはクロマ成分についての使用されるフィルタの組またはフィルタ・パラメータは、前にフィルタ処理されたルーマまたはクロマ成分において高い信頼度であると見出された諸フィルタに基づいて予測されることができる。たとえば、画像の第一の成分についての前記複数の仮説を生成するために、より複雑なエッジ適応フィルタが使われることができ、次いで、前記第一の成分において最も高い信頼度であると見出されたエッジ方向に基づいて（たとえばフィルタ処理された値とフィルタ・サポートとの間の差和測度が最小であるような方向について）、前記第一の成分において見出されたエッジから所与の最大角以内にある方向に沿って補間する、より複雑でない諸方向性フィルタが、他の諸成分についての複数仮説フィルタ・セットとして使われることができる。

図６の組み合わせ器は、フィルタ処理された値と各フィルタ処理された値の信頼度を、低品質のデコードされたサンプル値とともに使って、そのサンプル位置についての出力値を決定する。ある実施形態では、組み合わせは、デコードされた低品質サンプル値と、閾値T₁を超える信頼度をもつすべてのフィルタ処理された値との重み付けされた組み合わせであることができる。ここで、低品質サンプルは、高品質サンプルに対する該低品質サンプルのエンコード品質に基づいて重み付けされることができる。低品質サンプルと高品質サンプルとの間の品質差は、サンプルを生成するのに使われた量子化きざみの大きさ、エンコーダへの入力に対して実行された前処理の量、各セットのサンプルに対して実行されるブロック解除のような後処理の量、動きベクトルのピクセル精度などのようなエンコード・パラメータに基づいて決定できる。動き情報の規則性および動きベクトルの長さも、サンプルの時間的品質の測度として使用されてもよい。

また、各セットのサンプル（低品質および高品質）の鮮鋭さ解析またはより複雑な客観的品質測定は、各セットのサンプルの相対的な視覚的品質を、またそれにより各セットについて与えられる重み付けを決定する助けとなることができる。もう一つの実施形態では、低品質サンプルと最大信頼度をもつフィルタ処理された値との間の重み付けされた平均が使われることができる。もう一つの実施形態では、低品質サンプル値から±dの範囲内にあるフィルタ処理された値のみが使用できる。

非対称な品質の試料の間のフィルタ処理は、変換領域で実行されてもよい。これは、異なるエンコード・プロセスが異なる前処理段にかけられ、その結果、周波数領域において非対称な歪みを生じるアプリケーションにおいて特に有用である。たとえば、スケーラブルなシステムの基本層サンプルは、向上層サンプルより積極的にフィルタ処理されてもよい。これは、基本層の圧縮効率を改善するため、あるいはより低い解像度のディスプレイから見たときに基本層の視覚的品質を改善するために行われてもよい。また、特定の周波数を優遇してバイアスをかけ、またある層を他の層に対して優遇してバイアスをかける量子化行列が使用されてもよい。

図７は、より低品質のエンコード・プロセスのパフォーマンスを改善するために使われることのできる、周波数領域のフィルタ処理方式を示している。この場合、各エンコード・プロセス後の再構成された画像出力は、DCT、FFT、ウェーブレット変換などの任意のものを使って周波数領域に変換される。次いで、より高品質のエンコード・プロセスの変換係数が、より低品質のエンコード・プロセスにおける対応する係数によりよくマッチするよう規格化されてもよい。たとえば、これは、フーリエ変換またはウェーブレット変換の場合、エネルギー規格化または位相シフトに関わっていてもよい。次いで、より高品質で以前にエンコードされたサンプルからの規格化された係数が、より低品質で以前にエンコードされたサンプルの変換係数と組み合わされる。これは、マッチする係数の重み付けされた組み合わせ、または、より低品質のエネルギー・プロセスの係数のサブセットの、より高品質のエンコード・プロセスからの対応する係数のエネルギーにマッチするためのスケーリングに関わっていてもよい。その後、逆変換により、より低品質のエンコード・プロセスの向上された出力が取り出される。そのような周波数領域の技法は、先の段落で論じた複数仮説法の一部として使われてもよいことを注意しておくべきである。その場合、フィルタ処理されたサンプルについて複数の周波数領域仮説を生成するために重複変換（overlapped transform）が使用されてもよく、次いで、後処理されたサンプルを生成するために複数の周波数領域および時間領域の仮説の線形または非線形の組み合わせが使用されてもよい。

図７の実施形態は、高品質サンプルの規格化を記載している。より一般には、異なる情報をもつ二つの異なるセットが処理されることができ、一方のセットは、可能性としては一方のセット、他方のセットまたは両方の追加的なフィルタ処理を通じて、該セットを他方のセットからの情報と組み合わせることによって、向上させることができる。さらに、二つの異なるセットは、重なり（overlap）および差分の初期決定を通じて得ることができる。よって、第一の種類の情報を含む画像（または領域）が第二の種類の情報を含む画像（または領域）とは別個にグループ化される。

非対称な品質のサンプルの間のフィルタ処理は、時間領域で実行されてもよい。この場合、動き適応的なアプローチおよび動き補償された時間的フィルタ処理が、時間的に隣り合う領域において非対称な品質のサンプルを横断してフィルタ処理するために使われることができる。そのようなアプローチは、時間的にスケーラブルなビデオ符号化システムに拡張されることもできる。

図８は、時間的にスケーラブルなビデオに、非対称なサンプル品質の向上の概念を適用することを示している。明確のため、もとのシーケンスが時間分解能において半分にされ、基本層（base layer）はインデックス0,2,…,n−2,n,n＋2,…等をもつピクチャを含む場合を考える。同じ技法は、他のレベルの時間的スケーラビリティーやインターレース式符号化にも適用できることを注意しておく。向上層（enhancement layer）は、インデックス1,3,…,n−1,n＋1,…等をもつ残りのピクチャを含む。次いで、時間インデックスnにおける基本層のピクチャを、n−N,…,n−1,n＋1,…,n＋Nにおける向上層のピクチャからの情報を用いてフィルタ処理することによって向上させることができる。向上予測ゾーン探索（EPZS: Enhanced Predictive Zonal Search）（参照によりここにその全体において組み込まれる非特許文献５参照）のような動き推定（motion estimation）方法は、シーケンス内の諸ピクセル領域の動きを追跡し、フィルタ処理を動き補償された（motion compensated）フィルタ処理プロセス（図９）にすることができるために使うことができる。時間的フィルタ処理の場合、向上層ピクチャに加えて、以前にフィルタ処理された基本層ピクチャ（Buff1およびBuff2に保持される）も、現在の基本層ピクチャのフィルタ処理のために使用できる。

もう一つの実施形態では、本開示の教示は、同じエンコード・プロセスが使われるが、該エンコード・プロセスへの諸入力は非対称な品質の諸ソースまたは異なる前処理をされた諸ソースからである場合にも適用されうる。たとえば、3D両眼視用の場合、入力は左右隣り合わせフォーマットの両眼対であって、一方のビューは、他方よりも、ダウンサンプリングに先立ってより積極的にフィルタ処理されてもよい。その場合、後処理方式の一部として、それほど積極的にフィルタ処理されないほうのビューからの情報が、より積極的にフィルタ処理されたビューの品質を向上させるために使用されうる。

図１０は、エンコーダ（１００５）への入力が列インターリーブされた画像（１０１０）を含む例示的な実施形態を示している。ここで、影付きの列（１０１５）は、影なしの列（１０２０）とは異なる情報をもつサンプルを含む。サンプルのエンコード（１００５）および再構成（１０２５）後、異なる処理をされた入力サンプルからの情報を組み合わせるために、再構成された画像（１０３５）に対して非対称フィルタ処理（１０３０）が実行される。図のように、非対称なサンプルのフィルタは、フィルタ処理方法およびフィルタ・パラメータを決定するために、エンコーダへの入力サンプルに適用された前処理の知識に基づく先験的情報（１０４０）を使ってもよい。また、図の例は空間的に非対称な入力サンプルに関するが、同じことは、時間的に非対称なサンプルや、あるセットの入力サンプルが別のセットの入力サンプルとは異なる周波数特性を含むコンテンツにも適用できることを注意しておく。また、非対称フィルタ処理はループ内フィルタの一部としてエンコーダ内で適用されてもよいことを注意しておく。

もう一つの実施形態では、同じエンコード・プロセスがすべてのサンプルについて使用されてもよいが、あるセットのサンプルは該エンコード・プロセスの間、別のセットとは異なる仕方で扱われてもよい。たとえば、変換係数の量子化は、いくつかの係数は他の係よりも高い精度のままであるようなものであってもよい。また、マクロブロック・モード決定および動きパラメータ推定決定のための歪み推定が、あるセットのサンプルを他のセットに対してバイアスする仕方で実行されてもよい。たとえば、あるセットのサンプルに他のセットより高い重みをかける重み付けされたPSNR指標が使用されてもよい。そのような処理は、デコードされた画像のサンプル間でも非対称な品質を引き起こすことになる。本開示の教示は、そのような非対称なエンコード・プロセスのために劣化したサンプルの品質を向上させるための実施形態において使われてもよい。

図１１は、「非対称」エンコード・プロセス（１１０５）の間に奇数列のサンプルが偶数列のサンプルとは異なる仕方で扱われるそのようなプロセスを示している。次いで、再構成された画像（１１１０）は、エンコード・プロセスについての情報を与えられ、よりよい品質の再構成画像を得るためにフィルタ処理（１１１５）されることのできる非対称品質サンプルを含んでいてもよい。ここでもまた、以前と同様、同じことは、サンプルの諸領域の間の時間領域および周波数領域の差に当てはまり、このプロセスは、ループ内フィルタの一部としてエンコーダ内で適用されることもできる。

結論として、本開示の教示は、画像またはビデオのいくつかの領域または成分が他よりも全体としてよりよい品質であることがわかっている場合に、画像およびビデオの品質を向上させるために使われることができる。

本開示に記載される方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはその組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される特徴は、一緒に実装されても（たとえば集積論理デバイスのような論理デバイスにおいて）、あるいは別個に実装されてもよい（たとえば、別個の接続された論理デバイスとして）。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載された方法を実行する命令を含むコンピュータ可読媒体を含んでいてもよい。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を含んでいてもよい。命令はプロセッサ（たとえばデジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）またはフィールド・プログラム可能な論理アレイ（FPGA））によって実行されてもよい。

本明細書において言及されるあらゆる特許および刊行物は、本開示に関係する当業者の技量のレベルを示しうる。本開示において引用されるあらゆる文献は、各文献が参照によりその全体において組み込まれているかのように、参照によって組み込まれる。

本開示が特定の方法やシステムに限定されるものではなく、むろんさまざまなものでありうることは理解しておくものとする。また、本稿で使用される用語は特定の実施形態を記載するためだけのものであり、限定することは意図されていないことも理解しておくものとする。本明細書および付属の請求項において使用されるところでは、単数形は、内容がそうでないことを明確に示すのでない限り、複数の被指示物を含む。用語「複数」は、内容がそうでないことを明確に示すのでない限り、二つ以上の被指示物を含む。他の定義がなされていない限り、本稿で使われているあらゆる科学技術用語は、本開示に関する当業者が普通に理解するのと同じ意味をもつ。

上記の例は、当業者に、本開示のレート歪み最適化された量子化のための高速化技法の実施形態をいかにして作り、使用するかの完備な開示および記述を与えるために記載されているのであり、発明者がその開示内容と見なすものの範囲を限定することをは意図されていない。本開示を実行するための上記の諸態様の修正がビデオ技術の当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。

本開示のいくつかの実施形態を記載してきたが、本開示の精神および範囲から外れることなく、さまざまな修正をなしうることは理解されるであろう。したがって、他の実施形態も以下の請求項の範囲内である。

Claims (56)

1. 画像または画像シーケンスのサンプルを処理する方法であって：
   第一のエンコード・プロセスで第一のセットのサンプルをエンコードする段階と；
   第二のエンコード・プロセスで第二のセットのサンプルをエンコードする段階と；
   前記第一のセットのエンコードされたサンプルを、前記第二のセットのエンコードされたサンプルからの情報と組み合わせて、前記第一のセットのエンコードされたサンプルを向上させる段階とを含む、
   方法。
2. 前記第一のセットのサンプルおよび前記第二のセットのサンプルが、スケーラブルなビデオ送達アプリケーションの異なる層から取られる、請求項１記載の方法。
3. 一方のセットのサンプルが基本層から取られ、他方のセットのサンプルが向上層から取られる、請求項２記載の方法。
4. 前記第一のセットのサンプルおよび前記第二のセットのサンプルが、インターレースされた画像シーケンスの異なるフィールドまたはインターリーブされた3Dもしくはマルチビュー画像シーケンスの異なるビューから取られる、請求項１記載の方法。
5. 前記第一のセットのサンプルが前記インターレースされたまたはインターリーブされた画像シーケンスの偶数フィールドに対応し、前記第二のセットのサンプルが前記インターレースされたまたはインターリーブされた画像シーケンスの奇数フィールドに対応する、または逆に、前記第一のセットのサンプルが前記インターレースされたまたはインターリーブされた画像シーケンスの奇数フィールドに対応し、前記第二のセットのサンプルが前記インターレースされたまたはインターリーブされた画像シーケンスの偶数フィールドに対応する、請求項４記載の方法。
6. 前記インターレースされたまたはインターリーブされた画像シーケンスが3D画像シーケンスであり、前記第一のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの左目用両眼視ビューに対応し、前記第二のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの右目用両眼視ビューに対応する、または逆に、前記第一のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの右目用両眼視ビューに対応し、前記第二のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの左目用両眼視ビューに対応する、請求項４記載の方法。
7. 前記インターレースされたまたはインターリーブされた画像シーケンスがマルチビュー画像シーケンスであり、前記第一のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの第一のビューに関する画像に対応し、前記第二のセットのサンプルは前記インターレースされたまたはインターリーブされた画像シーケンスの第二のビューに関する画像に対応する、請求項４記載の方法。
8. 前記第一のセットのエンコードされたサンプルが、前記第二のセットのエンコードされたサンプルとは異なる特徴をもつ、請求項１ないし７のうちいずれか一項記載の方法。
9. 前記第一のセットのエンコードされたサンプルが、前記第二のセットのエンコードされたサンプルとは異なる品質をもつ、請求項８記載の方法。
10. 前記第一のセットのエンコードされたサンプルが、前記第二のセットのエンコードされたサンプルより低い品質をもつ、請求項９記載の方法。
11. 画像または画像シーケンスのサンプルを処理する方法であって：
    第一のエンコード・プロセスで第一のセットのサンプルをエンコードする段階と；
    第二のエンコード・プロセスで第二のセットのサンプルをエンコードする段階と；
    第一のセットのエンコードされたサンプルをデコードする段階と；
    第二のセットのエンコードされたサンプルをデコードする段階と；
    前記第一のセットのデコードされたサンプルを、前記第二のセットのデコードされたサンプルからの情報と組み合わせて前記第一のセットのデコードされたサンプルを向上させる段階とを含む、
    方法。
12. 前記第一のセットのデコードされたサンプルが、前記第二のセットのデコードされたサンプルとは異なる特徴をもつ、請求項１１記載の方法。
13. 前記第一のセットのデコードされたサンプルが、前記第二のセットのデコードされたサンプルとは異なる品質をもつ、請求項１２記載の方法。
14. 前記第一のセットのデコードされたサンプルが、前記第二のセットのデコードされたサンプルより低い品質をもつ、請求項１３記載の方法。
15. デコード後の画像または画像シーケンスのサンプルを後処理する方法であって：
    複数のデコードされた画像または画像シーケンスを提供する段階と；
    前記デコードされた画像または画像シーケンスの一つまたは複数を、前記複数のデコードされた画像または画像シーケンスの他のデコードされた画像または画像シーケンスからの情報を使って向上させる段階とを含む、
    方法。
16. 向上させる段階がさらに、前記他のデコードされた画像または画像シーケンスとは別の追加的な情報を使う、請求項１５記載の方法。
17. 前記追加的な情報が、フィルタ型情報、パラメータ情報およびフィルタ処理すべき領域情報から選択される、請求項１６記載の方法。
18. 前記追加的な情報が、前記デコードされた画像または画像シーケンスに対する以前のエンコードおよび／またはデコード・プロセスからのフィルタ情報を含む、請求項１６記載の方法。
19. 前記複数のデコードされた画像または画像シーケンスが、デコードされた基本層画像およびデコードされた向上層画像を含み、前記デコードされた基本層画像が、前記デコードされた向上層画像からの情報を使って向上させられる、請求項１５記載の方法。
20. 前記デコードされた基本層画像が、前記デコードされた向上層画像をフィルタ処理し、前記デコードされた基本層画像を対応するフィルタ処理されたデコードされた向上層画像と組み合わせることによって向上させられる、請求項１９記載の方法。
21. フィルタ処理が、平滑化、鮮鋭化、位相シフトおよび周波数領域フィルタ処理から選択される、請求項２０記載の方法。
22. 前記向上が品質向上である、請求項１５ないし２１のうちいずれか一項記載の方法。
23. 前記画像または画像シーケンスが、2Dアプリケーション、3Dアプリケーションまたはマルチビュー・アプリケーションから選択されるアプリケーションの一部である、請求項１５ないし２２のうちいずれか一項記載の方法。
24. 画像を処理する方法であって：
    第一のセットの画像をエンコードする段階と；
    第二のセットの画像をエンコードする段階であって、
    ここで、前記第一のセットおよび前記第二のセットはある画像特徴に関連付けられており、前記第二のセットの画像特徴は前記第一のセットの画像特徴の値とは異なる値をもつ、段階と；
    前記第二のセットからの再構成された画像を使って前記第一のセットの再構成された画像をフィルタ処理する段階とを含む、
    方法。
25. 前記第一のセットのフィルタ処理された再構成された画像をさらにエンコードする段階と；
    前記第一のセットの前記さらにエンコードされた再構成された画像をデコーダに送信する段階とをさらに含む、
    請求項２４記載の方法。
26. 前記第一のセットのフィルタ処理された再構成された画像が、前記第一のセットのもとの画像と前記第一のセットのフィルタ処理された再構成された画像との間の差分を含む残差画像の一部としてエンコードされる、請求項２５記載の方法。
27. 前記第一のセットの前記さらにエンコードされた再構成された画像に対して追加的な情報を前記デコーダに送信する段階をさらに含む、
    請求項２５または２６記載の方法。
28. 前記第一のセットの画像はスケーラブルなビデオ・アプリケーションの基本層の一部であり、前記第二のセットの画像は前記スケーラブルなビデオ・アプリケーションの向上層の一部である、請求項２４記載の方法。
29. 前記第一のセットの画像はスケーラブルなビデオ・アプリケーションの基本層の一部であり、
    前記第二のセットの画像は前記スケーラブルなビデオ・アプリケーションの第一の向上層の一部であり、
    前記さらにエンコードされたフィルタ処理された再構成された画像は前記スケーラブルなビデオ・アプリケーションの第二の向上層の一部である、
    請求項２５記載の方法。
30. 前記画像特徴が画像品質である、請求項２４記載の方法。
31. デコードされた画像を後処理する方法であって：
    第一の画像特徴を有する第一のセットのデコードされた画像を提供する段階と；
    前記第一の画像特徴とは異なる第二の画像特徴を有する第二のセットのデコードされた画像を提供する段階と；
    前記第二のセットをフィルタ処理する段階と；
    前記フィルタ処理された第二のセットを前記第一のセットと組み合わせる段階とを含む、方法。
32. 前記第二のセットをフィルタ処理する段階が、前記第二のセットをサブセットに分割し、各サブセットを別個のフィルタでフィルタ処理することを含む、請求項３１記載の方法。
33. 前記第二のセットをフィルタ処理する段階がさらに、フィルタ処理されたセットまたはサブセットについての信頼値を提供することを含む、請求項３１または３２記載の方法。
34. フィルタ処理が複数仮説フィルタ処理であり、前記信頼値は、フィルタ処理されたサンプルとフィルタ・サポート内にある諸サンプルとの間の差である、請求項３３記載の方法。
35. 前記差が重み付けされた差である、請求項３４記載の方法。
36. 前記第一のセットが、前記フィルタ処理された第二のセットと組み合わされる前に重み付けされる、請求項３１記載の方法。
37. 重み付けが、前記第一のセットの画像のエンコード品質に対する前記第二のセットの画像のエンコード品質に基づく、請求項３６記載の方法。
38. 前記第一の画像特徴と前記第二の画像特徴が画像品質である、請求項３１ないし３７のうちいずれか一項記載の方法。
39. 画像を処理する方法であって：
    第一の画像特徴を有する第一のセットの画像をエンコードする段階と；
    前記第一の画像特徴よりよい第二の画像特徴の第二のセットの画像をエンコードする段階と；
    前記エンコードされた第一のセットの画像および前記エンコードされた第二のセットの画像を周波数変換する段階と；
    周波数変換されたエンコードされたセットの一方の画像を、他方の周波数変換されたエンコードされたセットの画像からの情報を用いて規格化する段階と；
    規格化された周波数変換されたエンコードされた一方のセットの画像を、周波数変換されたエンコードされた他方のセットの画像と組み合わせる段階と；
    組み合わされたセットの画像を逆変換する段階とを含む、
    方法。
40. 時間領域において画像を処理する方法であって：
    第一の品質の第一のセットの画像であって、前記第一の品質より高い第二の品質の第二のセットの画像と時間的にインターリーブされたものを提供する段階と；
    前記第一のセットの画像を、前記第二のセットの画像の一つまたは複数を用いてフィルタ処理することによって、前記第一のセットの画像を向上させる段階とを含む、
    方法。
41. 前記フィルタ処理が動き補償されたフィルタ処理である、請求項４０記載の方法。
42. 画像または画像シーケンスのサンプルを処理する方法であって：
    第一のプロセスで第一のセットのサンプルを処理する段階と；
    第二のプロセスで第二のセットのサンプルを処理する段階と；
    処理されたサンプルをエンコードする段階と；
    前記第一のセットのエンコードされたサンプルを、前記第二のセットのエンコードされたサンプルからの情報と組み合わせて前記第一のセットのエンコードされたサンプルを向上させる段階とを含む、
    方法。
43. 前記組み合わせる段階が、前記第一のプロセスおよび前記第二のプロセスの知識に基づく情報に依存する、請求項４２記載の方法。
44. 前記第一のセットのサンプルが、前記第二のセットのサンプルと空間的に非対称的である、請求項４２または４３記載の方法。
45. 前記第一のセットのサンプルが、前記第二のセットのサンプルと時間的に非対称的である、請求項４２または４３記載の方法。
46. 前記第一のセットのサンプルの周波数特性が前記第二のセットのサンプルの周波数特性とは異なる、請求項４２または４３記載の方法。
47. 前記組み合わせる段階が前記エンコードする段階の一部である、請求項４２ないし４６のうちいずれか一項記載の方法。
48. 前記第一のプロセスが第一のフィルタ処理プロセスであり、前記第二のプロセスが第二のフィルタ処理プロセスである、請求項４２ないし４７のうちいずれか一項記載の方法。
49. 画像または画像シーケンスのサンプルを処理する方法であって：
    前記サンプルを二つ以上の領域に分離する段階と；
    前記サンプルを、異なる領域内のサンプルが異なる特徴を含むようエンコードする段階と；
    一つまたは複数の領域からの情報が他の領域のエンコードされたサンプルを向上させるために使用されるよう、エンコードされたサンプルを組み合わせる段階とを含む、
    方法。
50. 一つの領域のサンプルが、もう一つの領域のサンプルとは空間的に非対称的である、請求項４９記載の方法。
51. 一つの領域のサンプルが、もう一つの領域のサンプルとは時間的に非対称的である、請求項４９記載の方法。
52. 一つの領域のサンプルが、もう一つの領域のサンプルとは異なる周波数特性をもつ、請求項４９記載の方法。
53. 前記組み合わせる段階が前記エンコードする段階の一部である、請求項４９ないし５２のうちいずれか一項記載の方法。
54. 請求項１ないし５３のうちいずれか一項記載の方法に従ってビデオ信号を処理する装置。
55. 請求項１ないし５３のうちいずれか一項記載の方法の、ビデオ信号を処理するための使用。
56. コンピュータに請求項１ないし５３のうちいずれか一項記載の方法を実行させる命令の集合を含むコンピュータ可読媒体。

Images