JP2008541282A

JP2008541282A - データ処理のための離散変換の連続拡張

Info

Publication number: JP2008541282A
Application number: JP2008511520A
Authority: JP
Inventors: パテラ、ジリ; アトヤン、アーメン
Original assignee: Universite de Montreal
Current assignee: Universite de Montreal
Priority date: 2005-05-17
Filing date: 2006-05-17
Publication date: 2008-11-20
Also published as: CA2608455A1; US20060262994A1; US7787754B2; WO2006122413A1; US20100329579A1

Abstract

逆離散変換の連続拡張関数を使用して画像を補間するための方法が開示される。該方法は、画像データセットの少なくとも１ブロックを定義するステップと、少なくとも１つのブロックを表わす順離散軌道関数変換係数を計算して保存するステップとを含む。該方法は、第１および第２の異なる空間分解能を定義するステップと、保存された離散軌道関数変換係数および第１の異なる空間分解能を使用し、前記少なくとも１つのブロックを表わす離散軌道関数変換の少なくとも１つの連続拡張を使用して第１の処理済み画像データセットを計算するステップとを含む。第２の処理済み画像データセットは、保存された離散軌道関数変換係数および第２の異なる空間分解能を使用し、前記少なくとも１つのブロックを表わす離散軌道関数変換の少なくとも１つの連続拡張を使用して計算される。
【選択図】なし

Description

本発明は、データ補間、データ圧縮、および／またはノイズ除去を含むデータ処理の分野に関し、さらに詳しくは、１次元、２次元、３次元、またはより高次元の画像補間、圧縮および／またはノイズ除去に関する。

矩形２次元グリッド上に画定された画像のような離散多次元データの補間は、多くの実際の用途で求められる。例えば、コンピュータ断層撮像に要求されるように、観察のために関心領域でズームし、画像を回転し、あるいはデータを極座標からデカルト座標に変換することが必要かもしれない。画像を処理して画素の空間分解能または位置を変化させるときに、特定の目的に最もよく適合する公知のアルゴリズムを選択することによって補間が行なわれる。補間の速度と品質との間で妥協が見出される。最速であるが品質が最悪なのは、最近隣からの新しい画素値の補間である。品質が最良であるが速度が最悪なのは、処理後の画像の各画素の周囲に原画像からの画素の数個の最近隣「環」を含む、双三次およびより高次の多項式補間アルゴリズムである。これらのアルゴリズムは全て周波数成分を変化させ、したがって原画像の初期情報を変化させることに注意されたい。

ＪＰＥＧのような現在の標準圧縮技術は、画像を空間的にブロックに分割し、各ブロックの画素値に対する離散変換（ＪＰＥＧの場合、これは離散コサイン変換つまりＤＣＴである）の係数を算出するステップを含む。これらの係数は、圧縮されていなければ、逆離散変換を用いることによって、データの損失無しに各ブロックの正確な画素値を決定するために使用することができる。変換係数の無損失符号化は結果的にデータビットサイズを多少低減することができるが、大部分の場合、データ圧縮は、変換係数を表わす情報を減少することによって行なわれる。この圧縮は、画像の外観に対する影響が低減されるような仕方で行なわれる。例えば、一般的に高い周波数に対応する重要性の低い周波数に関係する係数は除去するか、あるいは低い精度で表わすことができる。このステップは係数データの量子化と呼ばれる。
R. V. Moody, J. Patera. Computation of character decompositions of class functions on compact semisimple Lie groups, Mathematics of Computation, vol.48 (1987), pp. 799-827. A.L. Onishchik, E.B. Vinberg (eds.). Lie groups and Lie algebras III: structure of Lie groups and Lie algebras, Berlin, New-York, Springer- Verlag, 1994. M. Bremner, R.V.Moody, J. Patera. Tables of dominant weight multiplicities for representations of simple Lie group algebras, Marcel Dekker, New York, 1985. W. McKay, J. Patera. Tables of dimensions, indices, and branching rules for representations of simple Lie algebras, Marcel Dekker, New York, 1981 W. McKay, J. Patera, D. Rand, Tables of representations of simple Lie algebras, Exceptional simple Lie algebras, Les Publications CRM, Montreal 1990 A. Atoyan, J. Patera, Properties of continuous Fourier extension of the discrete cosine transform and its multidimensional generalization, J. Math. Phys. Vol.45 (2004), pp.2468-2491 A. Atoyan, J. Patera, 2005, Continuous extension of the discrete cosine transform, and its applications to data processing", CRM Proceedings and Lecture Notes, vol. 39, 2005, in press; (Proc. "Workshop on group theory and numerical methods", Montreal, 26-31 May 2003), A. Atoyan, J. Patera. 2005, Application of continuous extension of DCT to FLIR images., in E. Shahbazian, G. Rogova, P. Valin (eds.) "Data Fusion for Situation Monitoring, Incident Detection, Alert and Response Management", ISO Press, Amsterdam, 2005 in press; (Proc. NATO ASI-03, Tsakhkadzor, Armenia, Aug 18-29, 2003) A. Atoyan, J. Patera, V. Sahakian, A. Akhperjanian, Fourier transform method for imaging atmospheric Cherenkov telescopes, Astroparticle Physics, vol. 23 (2005), pp. 79-95. A. Akhperjanian, A. Atoyan, J. Patera, V. Sahakian. 2005, Application of multidimensional discrete transforms on Lie groups for image processing, in E. Shahbazian, G. Rogova, P. Valin (eds.) "Data Fusion for Situation Monitoring, Incident Detection, Alert and Response Management", ISO Press, Amsterdam, 2005 in press; (Proc. NATO ASI-03, Tsakhkadzor, Armenia, Aug 18-29, 2003) J. Patera, A. Zaratsyan, Discrete and continuous cosine transform generalized to the Lie groups SU(2)x SU(2) and O(5), to appear in J. Math. Phys., May 2005. J. Patera, A. Zaratsyan, Discrete and continuous cosine transform generalized to the Lie groups SU(3) and G(2), submitted to J. Math. Phys., 2005 K. R. Rao, P. Yip, "Discrete cosine transform - Algorithms, Advantages, Applications", Academic Press (1990) H. J. Nussbaumer, Fast Fourier transform and convolution algorithms, Springer- Verlag, Berlin Heidelberg N-Y (1982)

発明の概要

本明細書で、「画像データセット」とは、ｎ次元実ユークリッド空間Ｒⁿの点｛ｚ_k|ｋ＝１，２，．．．，Ｋ｝の離散グリッドＦ（Ｎ）上のｎ次元（「ｎ‐Ｄ」と略される）連続変数ｚ∈Ｒｎの連続関数ｆ（ｚ）のサンプリングから結果的に得られるものと考えることのできる実数値また、一般的に複素数値の、「離散関数」とも呼ばれるデータセット｛ｆ_k|ｋ＝１，２，．．．，Ｋ｝を意味するつもりである。すなわちｆ_k＝ｆ（ｚ_k）である。このグリッドＦ（Ｎ）は、矩形、三角形、六角形等のような所与の対称性の格子（その数学的定義の）の部分集合を表わすべきであり、ここでＮはグリッド点の密度を定義する整数（一般的にｎ次元）である。各事例のｎ次元格子は、ランクｎの１つの半単純なコンパクトリー群、例えばＧ群の基本的ウェイトの格子、またはウェイト格子に対応する。前記グリッドは、Ｇ群の基本領域Ｆに埋め込む必要があり、あるいは埋め込まれるものとして再定義することが可能でなければならない。半単純なコンパクトリー群および属性は周知であり、完全に数学に分類される。追加情報については、文献１〜５を参照されたい。

時間は可能な次元とすることができる。したがって、２Ｄ（「２次元」の略語）ビデオシーケンスは３Ｄ画像データセットとみることができる。拍動する心臓の３Ｄコンピュータ断層画像のシーケンスは、４Ｄ画像データセットと見ることができる。

この明細書で、「軌道関数」とは、次のように定義される三角多項式関数を意味するつもりである。

ここで（μ|ｚ）はスカラ積であり、μはｎ次元周波数（または波数）空間のベクトルである。Ｗ（ｐ）は要素ｐから有限対称性群Ｗによって生成される要素の有限集合であり、したがってＧ群のウェイト格子Ｐからの要素ｐのＷ軌道を表わす。

この明細書で、ＤＯＦＴとも略される「離散軌道関数変換」とは、離散三角級数

への拡張による、画像データセットのｎ‐Ｄ周波数空間への順および逆変換対から成る任意の変換を意味するつもりである。該変換の基礎は、グリッド点｛ｚ_k｝で評価される式（１）によって定義される軌道関数、またはそのような軌道関数の任意の線形結合から成る。式（２）で、Ｓ（Ｎ）⊂Ｐは、変換の基底関数を定義するｎ次元周波数ベクトルの集合｛ｐ_j|ｊ＝１，．．．，Ｋ｝に対応し、ＮはグリッドＦ（Ｎ）の点の密度を定義するのと同じ数字である。

この明細書で、「順離散変換」とは、変換係数Ａ_pjに対して拡張級数（２）を解くことを意味するつもりであり、「逆離散変換」とは、グリッド点｛ｚ_k｝における画像データセットの級数（２）の形の拡張を意味するつもりである。

この明細書では、離散変換の「連続拡張」（ＣＥと略される）は、離散変数ｚ_kが連続変数ｚ∈Ｒⁿに置換されるときに逆離散変換から結果的に生じる連続関数ｇ（ｚ）を意味するつもりである。離散軌道関数変換の場合、式（２）によって定義される逆ＤＯＦＴの連続拡張は

となる。ここで、係数Ａ_Pjは順離散変換から計算される。

この明細書では、実数値画像データセットのＤＯＦＴの「連続拡張」は、式（３）によって定義される連続関数ｇ（ｚ）の実部を意味するつもりである。

この明細書では、ここでＣＥＤＯＦＴと略されるＤＯＦＴの「連続拡張」とは、順離散変換から求められた係数Ａ_pjが、繰込み、乗算、減算、非相関等を実行するなど、さらなる処理および修正を受けた、式（３）にあるような、軌道関数から成る連続三角多項式関数を意味するつもりである。ＣＥＤＯＦＴはまた、離散変換の連続拡張として生成される連続関数とすることもでき、その基底関数は、引数ｚの線形変換によって、すなわち式（３）にΦ_p（ｚ）→Φ_p（ａｚ＋∇）を代入することによって、式（１）の形の軌道関数にすることができる。これは画像空間におけるグリッドＦ（Ｎ）のシフトおよび／またはリスケーリングと考えることができる。

この明細書で、用語「異なる空間分解能」とは、入力画像データセットを処理する文脈で、異なるグリッド点空間密度（例えばズーム）および異なる向き（例えば画像回転）のような、少なくとも１つの点で初期組｛ｚｋ｝‘とは異なる１組の点｛ｚ_k｝’で定義される出力画像データセットを得ることを意味するつもりである。そのような処理は、点の少なくとも何らかの補間を使用する。図２６Ａおよび２６Ｂはそれぞれ、非回転画像およびそれに対応する回転後の画像を示す。

この明細書で、用語「非矩形グリッド」とは、非矩形基本領域を有するリー群のウェイト格子の部分集合であるグリッドを意味するつもりである。２Ｄ画像の場合の非矩形グリッドの例として、ハニカム配列の画素を有するカメラに由来するもの、および従来のベイヤＣＣＤ画像の緑色画素の５点形配列がある。

この明細書で、「圧縮率」とは、圧縮画像を構築するためにＣＥＤＯＦＴで使用される係数の個数に対する、所与の画像データセットの順ＤＯＦＴの係数｛Ａ_pj｝の総数の比を意味するつもりである。

この明細書で、「Ｌのブロックサイズ」（ここでＬは数値である）とは、画像データセット内の各次元のＬのブロックサイズを意味するつもりであり、すなわちＬ＝（Ｌ₁，．．．，Ｌ_n）である。文脈から、場合によっては、ブロックは正方形、立方形などである必要はなく、格子またはグリッドに従って矩形または異なる形状とすることができることが明らかである

この明細書で、「目立つブロックアーチファクト」とは、平均的な人間の観察者が画像全体を見たときに知覚するブロックアーチファクトを意味するつもりである。ＪＰＥＧ２０００圧縮で使用される１６×１６のブロックサイズでは、画像に現われる目立つブロックアーチファクトは、正方格子のブロックの境界の線に似ている。目立つブロックアーチファクトは、画像全体内の線が少なくなるようにブロック境界線間の間隔を増加することによって低減されるとは考えられず、むしろ、画像全体内の各線の出現が考えられる。一部の画像は、同一圧縮率で他の画像より目立つブロックアーチファクトを生じやすい。目立つブロックアーチファクトが無い場合、これらの線は、平均的な人間の観察者による画像全体の理解を妨害しない。

本発明の目的は、離散軌道関数変換の連続拡張を使用して、原画像とは異なる空間分解能を有する画像データセットをもたらす、原画像を処理する方法を提供することである。

本発明では、画像データセットの少なくとも１ブロックを定義するステップと、該ブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を算出するステップと、ＤＯＦＴ係数を使用して該ブロックを表わす離散軌道関数変換の少なくとも１つの連続拡張（ＣＥＤＯＦＴ）を決定するステップと、異なる空間分解能を定義するステップと、ＣＥＤＯＦＴおよび異なる空間分解能を使用して処理済み画像データセットを算出するステップとを含む、画像データセットを処理する方法を提供する。

一部の実施形態では、画像データセットは非矩形グリッドを含み、異なる空間分解能が矩形グリッドを含む場合、該方法は画像フォーマット変換をもたらす。

２Ｄ画像の場合、ＤＯＦＴは離散コサイン変換（ＤＣＴ）、例えばＤＣＴ‐１またはＤＣＴ‐２である。

画像圧縮の場合、該方法はさらに、変換係数を量子化して圧縮を達成するステップを含み、異なる空間分解能を定義するステップ、および処理済み画像データセットを算出するステップは、画像データセットの復元の一環として実行される。圧縮画像データは第１場所に格納することが望ましく、異なる空間分解能を定義するステップは、希望するズームおよび回転値の少なくとも１つを繰返し指定することを含むことができ、処理済み画像データセットは少なくとも１つの第２場所に格納される。これにより、圧縮画像データセットを異なるズームおよび／または回転パラメータに従って表示することが可能になる。

カラーＣＣＤの場合、該方法はさらに、カラーフィルタアレイパターンの画素を有するＣＣＤを使用して、画像データセットを取得するステップを含み、ＤＯＦＴ係数を算出するステップは、各色のＤＯＦＴ係数を得るために、各色の画素を使用してＣＣＤの各色毎に別々に行なわれ、処理がカラーフィルタアレイからカラー画像データセットへの変換を実行するように、異なる空間分解能は各色に対して同じである。

画像が圧縮されるカラーＣＣＤの場合、該方法はさらに、変換係数を量子化して圧縮を達成するステップを含み、異なる空間分解能を定義するステップおよび処理済み画像データセットを算出するステップは、画像データセットの復元の一環として実行される。

本発明はまた、圧縮される画像データセットが提供され、圧縮率が定義され、該画像データセットは圧縮および復元されるときに離散コサイン変換を使用し、１６のブロックサイズが結果的に目立つブロックアーチファクトを引き起こす、画像データセットを圧縮および復元する方法を提供する。該方法は、１６より適切に大きいブロックサイズを選択するステップと、該適切に大きいブロックサイズおよび定義された圧縮率を使用して画像データセットを圧縮して、圧縮画像データセットを得るステップとを含む。該圧縮画像データセットは次いで復元されて、目立つブロックアーチファクトを有さない復元画像データセットが得られる。該適切に大きいブロックサイズは２ⁿの値、すなわち３２、６４、１２８等であることが好ましいが、他の値も可能である。本発明のこの態様は、連続拡張を使用せずに（すなわち、離散関数のみを使用して）実行することができるが、画素補間が望ましい場合には、本発明の他の態様に係る連続拡張関数を使用することができることは理解されるであろう。

本発明は、添付の図面に関連する特定の実施形態の以下の詳細な説明によって、いっそう深く理解されるであろう。

発明の詳細な説明

一般的な場合、リー群Ｇでの離散軌道関数変換およびＤＯＦＴの連続拡張は、次のように理解することができる。選択された群Ｇで、我々はその属性を自動的に持つ。請求する方法は、次のものを外延的に使用する。
‐ウェイト格子Ｐおよび実空間Ｒⁿにおけるその双対。
‐Ｐの有限対称性群Ｗ。
‐対応する無限群Ｗアフィン。
‐要素ｐ∈Ｐを含む群Ｗによる変換の下で不変量であるＷ（ｐ）と呼ばれるＰのｓ個の点μの有限集合を計算するための公知のアルゴリズム。それはＰの要素ｐのＷ軌道である。個数ｓはリー群によって定義される。
‐リー群の基本領域Ｆ。それはｎ次元空間における所定の対称性の領域である（Ｒ¹では線分［０，０．５］；２次元空間では矩形または三角形；３次元空間では３ｄ矩形、３次元四面体等）
‐Ｆ（Ｎ）と表わされ、選択された正の整数Ｎによって定義される、Ｆにおける点｛ｚ_k｝のグリッド。
‐我々の方法の（フーリエ型）変換のための基本関数を表わす軌道関数Φｐ（ｚ）。これらの関数は上記式（１）によって定義される。
‐次式ように表わせるグリッドＦ_Mにおける異なる値ｐおよびｐ´による軌道関数の離散直交性の特性。

ここでオーバラインは複素共役を表わし、ｄ_zおよびＤ_N,pは各群Ｇに特異的な既知の定数である。直交特性は、ｎ次元周波数（または同等の波数）空間でもグリッドを作る離散集合Ｓ_Nでｐを持つ関数Φｐ（ｚ）の有限集合に有効である。Ｎが一定である場合、グリッドＳ_NおよびＦ_Nは両方とも分かる。

所与の離散関数｛ｆ_k|ｋ＝１，．．．，Ｋ｝の離散軌道関数変換は、式（２）の形で点｛Ｚ_k|ｋ＝１，２，．．．，Ｋ｝で評価される一連の関数Φ_p（Ｚ_k）へのその拡張に対応する。Ｋ個の拡張係数｛Ａ_pj｜ｊ＝１，２，．．．，Ｋ｝に対するＫ個の式のこの集合の反転は、離散関数の周波数空間への順離散変換に対応する。それは直交関係（４）を使用して行なわれる。

ＤＯＦＴの逆は式（２）によって与えられ、したがって逆離散変換と呼ばれる。コンパクトな半単純リー群の軌道関数に対するこの離散変換の数学的な詳細は、文献１に見られる。

ＤＯＦＴの連続拡張は、式（２）によって与えられる逆離散変換から構成された、三角多項式関数の形の連続関数として定義され、ここで離散変数ｚ_k∈Ｆ（Ｎ）⊂Ｆ⊂Ｒⁿは連続変数ｚ∈Ｒⁿに置換される一方、拡張係数は式（４）により離散順変換から計算される。

ＣＥＤＯＦＴ関数は、ノイズによって支配されている項（これらは一般的に高周波数に対応する）を三角級数から減少するか完全に切り捨てるなど、係数Ａ_pを変更することによって修正することができる。そのような修正されあるいは切り捨てられたＣＥＤＯＦＴ関数も、データの顕著な圧縮に随伴するノイズの高速抑制、およびそれから切捨てＣＥＤＯＦＴシリーズを使用して画像品質を改善するような、画像処理用途に役立つことができる。そのようなデータ処理の例はおそらく図７ｃ、図８ｄ、図９ｃに掲げられる。

離散変換の連続拡張は、１次元の事例に対するコンパクトな単純リー群ＳＵ（２）、およびｎ次元矩形グリッドに対するランクｎの半単純なリー群ＳＵ（２）ｘ．．．ｘＳＵ（２）の例について、文献６で最初に定義された。画像補間、ノイズ除去、および圧縮のためのＳＵ（２）ＣＥＤＯＦＴの実現は、文献７、８に提案されている。ランク２の他のリー群の離散変換およびそれらの連続拡張は、文献９、１０、１１で検討されている。

〔実施例：三角形グリッドのリー群ＳＵ（３）の事例〕
図２５は、整数ａおよびｂで線形結合ｐ＝ａω₁＋ｂω₂＝（ａ，ｂ）を通してウェイト格子Ｐを定義する、ＳＵ（３）群の基本ウェイト（ω₁，ω₂）の対を示す。２次元空間では、従来、単一の２次元指数、ここではｐの代わりに、１対の１次元指数、ここではａおよびｂが使用される。このリー群の基本領域Ｆは、ω₁とω₂との間に囲まれた正三角形である。要素ｐのＷ軌道は、一般的な場合、基本ウェイトを基底にして次のように書くことのできる６個のベクトル点から構成される。
Ｗ（ｐ）＝｛（ａ，ｂ），（ｂ，−ａ−ｂ），（−ａ−ｂ，ａ），（−ａ，ａ＋ｂ），（ａ＋ｂ，−ｂ），（−ｂ，−ａ）｝

図２５に示すデカルト座標（ｘ，ｙ）では、軌道関数は明示的に次のように表わすことができる。

ここでａおよびｂは負でない整数である。

所与のＮに対し、離散関数｛ｆ_k｝が与えられる主要離散グリッドＦ（Ｎ）は従来、Ｚ_k＝（ｓω₁＋ｍω₂）／Ｎ≡ｚ（ｓ，ｍ）として、基本ウェイトに双対の基底に定義することができる（ＳＵ（３）群の場合、これらの基底は一致する）。ここでｓおよびｍは、条件ｓ，ｍ≧０、およびｓ＋ｍ≦Ｎを満足する整数である。グリッド内の点の総数は、Ｋ＝（Ｎ＋１）（Ｎ＋２）／２である。図１ａおよび１ｂに示したグリッドは、Ｎ＝１１の場合に対応する。すなわちＮは、基底ベクトルに沿った均等な部分区間の個数に対応する。２次元波数を定義する周波数空間の主要グリッドＳ（Ｎ）は群のウェイト格子Ｐに属し、非常によく似た三角形構造を有する。それは、条件｛ａ，ｂ≧０およびａ＋ｂ≦Ｎ｝を満足する整数ａおよびｂで、要素ｐ＝ａω₁＋ｂω₂≡（ａ，ｂ）から構成される。変換で使用される三角調和関数の周波数の基底集合を変更する可能性が知られているが、これは最小可能な調波周波数、または所与の数字Ｎ、および方法の最善の性能をもたらすものである。

ＳＵ（３）の場合のＤＯＦＴは次の通りである。

ここで（ｘ_s,m，ｙ_s,m）はグリッドＦ（Ｎ）上を動く点Ｚ（_s,m）のデカルト座標であり、ｄ_a,bおよびｄ_s,mは、指数ａおよびｂ、またはｓおよびｍに応じて、６、３、または１に等しい多重度である（文献１０を参照されたい）。ＤＯＦＴの連続拡張は、Ｎ＝２次元（この事例では）変数ｚ∈Ｒ²の三角多項式の形の連続関数を表わす。

この関数はグリッドＦ（Ｎ）の全ての点で離散関数｛ｆ_k＝ｆ（ｚ_k）｝と一致するが、グリッド点の間では一般的に連続関数ｆ（ｚ）と一致し、グリッドにおけるそのサンプリングが｛ｆｋ｝をもたらしたことに我々は注目した。したがって、ＣＥＤＯＦＴを表わすｇ（ｚ）はｆ（ｚ）とは区別すべきである。しかし、重要な注目点は、ｇ（ｚ）が平滑な原関数ｆ（ｚ）とよく近似し、原グリッドの点間の任意の点（または点の集合）で離散画像の補間に効果的に使用することができることである。

〔実施例：ＳＵ（２）およびその多次元一般化の事例〕
ランクｎ＝１の群ＳＵ（２）の場合、基本領域は１Ｄ線分Ｆ＝［０，１／２］に通約さされる。この群の要素ｚ∈ＦのＷ軌道は、一般的な形では２つの要素Ｗ（ｐ）＝｛ｐ，−ｐ｝のみで構成される。軌道関数（１）は次いで２つの指数関数の和に通約され、Φ_p（θ）＝２ｃｏｓ（２πｐｚ）が得られる。グリッドＦ_Nは、基本領域の細分に等しいＮに対応する点の等距離集合に対応する。すなわち｛ｚ_k＝ｋ／２Ｎ|ｋ＝０，１，．．．，Ｎ｝。このグリッド上で、軌道関数はｃｏｓ（πｐｋ／Ｎ）に通約される。これは公知の離散コサイン変換（ＤＣＴ）、またはより正確にはＤＣＴ‐１の変換基底と一致する（［６］参照）。線分［０，Ｘ］上に定義される（すなわちグリッドがｘ_k＝ｋＸ／Ｎに対応する）関数ｆ（ｘ）のサンプリングから得られる画像データセット｛ｆ_k|ｋ＝０，１，．．．，Ｎ｝の順変換は、次の通りである。

ここで、ｍ＝０またはｍ＝Ｎの場合Ｃ_N,m＝１であり、それ以外の場合Ｃ_N,m＝２である。
便宜上、我々がＣＥＤＣＴと呼ぶＤＯＦＴの連続拡張は次いで、次の形の単純な三角多項式によって与えられる。

ここでｘは連続変数である。

｛ｘ_k＝ｋＸ／Ｎ|ｋ＝０，１，．．．，Ｎ｝、｛ｙ_j＝ｊＹ／Ｍ|ｊ＝０，１，．．．，Ｍ｝である場合に、点（ｘ_k，ｙ_j）の矩形グリッド上で｛０≦ｘ≦Ｘ，０≦ｙ≦Ｙ｝の連続関数ｆ（ｘ，ｙ）のサンプリングから生じる２次元離散画像データセット｛ｆ_kj｝を考慮する。

三角多項式、

はリー群ＳＵ（２）×ＳＵ（２）のＣＥＤＯＦＴ関数を表わし、ここで係数は離散変換

により計算される。これは２ＤＤＣＴ‐１の連続拡張を表わす。

離散関数｛ｆ_ijs｝の３ＤＣＥＤＣＴは、同様の明示的形式

を有し、ここで係数は離散順３Ｄ変換

を通して計算される。

ｎ＞３のｎ次元矩形グリッドのＣＥＤＣＴの一般化は、この構成から明らかである。

標準ＪＰＥＧでは、別のバージョンのＤＣＴ、すなわちＤＣＴ‐２が使用されることに注目されたい。この変換の基底次元、すなわち１次元バージョンは、次式によって与えられる（文献１２参照）。

ここで係数ｃ_N,mはｃ_N,mとはわずかに異なる。すなわちｍ=０の場合、ｃ_N,m＝１であり、それ以外の場合、Ｃ_N,m＝２である。ここで我々は間隔の個数に対してＮを使用しており、したがって（Ｎ＋１）は画素の個数である。この級数で離散引数ｋは、ＤＣＴ-１と比較して１／２だけシフトされることに注目されたい。逆ＤＣＴ−２もそうであり、それは次のように書くことができる。

引数ｘ_k＝ｋＸ／ＮをＤＣＴ-１の場合と同様に維持して、このＤＣＴ‐２の連続拡張は次のように表わすことができる。

ここでΔ＝１／（２Ｎ）である。事実上、これは画像空間でグリッドＦ（Ｎ）をグリッド間隔の２分の１だけシフトし、ＤＣＴ‐１のＣＥの引数を倍率ａ＝（１−１／（Ｎ＋１））だけリスケーリングすることを表わす。

重要な注目点は、ＣＥＤＯＦＴ関数を形成する三角多項式級数の波動関数の（すなわち指数関数の）調波次数が一般的に、標準離散フーリエ変換の場合とは異なり、整数で表わされないことである。ＤＯＦＴ変換の基底関数の調波次数を定義するグリッドＳ（Ｎ）は、同じ空間次元のＤＦＴの場合より高密度の間隔を有する。実際的には、これにより結果的に、ナイキストサンプリングレートを満たす最大周波数の連続帯域制限三角関数ｇ（ｚ）が構成される（詳細な説明については、文献７を参照されたい）。ここでＤＯＦＴとして統一された離散三角変換の連続拡張の族の優れた特性は、基底関数のまさにこの特性によって説明される。

図１ａないし１ｄは、ＤＦＴ（細い実線曲線）と略される従来の離散フーリエ変換の連続拡張、およびＤＣＴとして（またはより正確にはＤＣＴ‐１で）知られる公知の離散コサイン変換と一致する、リー群ＳＵ（２）のＤＯＦＴ（鎖線曲線）の連続拡張によって提供される、１次元実変数ｔ∈［０，１］の２つの解析関数ｆ（ｔ）の近似（太い実線によって示す）を実証する。太いドットは、ここで便宜的に線分［０，１］に正規化された１次元グリッドの（Ｎ＋１）個の等距離点｛ｔｋ＝ｋ／Ｎ｝におけるｆ（ｔ）のサンプリングの結果得られた離散関数｛ｆ_k｝の値を示す。ＣＥＤＣＴ関数ｇ_N（ｔ）は、Ｎが増大するにつれて急速にｆ（ｔ）に収束する一方、ＣＥＤＦＴの振動は減衰しない。理由は、標準ＤＦＴの形式的連続拡張に常に存在する、ナイキストレートを超える高周波調波に関係するエイリアシングにある。後者は次にように表現される。

ここで｛ｕ_p｝は従来のＮ点ＤＦＴ係数である。

文献６に説明されているように、強い振動の理由は、ＤＦＴの変換基底がｐ＝（Ｎ−１）までの周波数の三角関数から構成されることである。ＤＦＴの高周波項の振幅は、関係

のため、全てのＮで顕著であり、ここでオーバラインは複素共役を表わす。したがってＣＥＤＦＴは、形式的に帯域制限連続関数を表わし、エイリアシングを回避するために、そのナイキストサンプリングレートは少なくとも２（Ｎ−１）個の点が必要であるが、Ｎ個の点しか利用できない。

ＤＦＴ係数間の上述の関係を使用して次数ｐ≦Ｎ／２の調波のみから構成された「実ＤＦＴ」を構成し、その後にようやく「実ＤＦＴ」と呼ばれるその変換の連続拡張を構成して、周波数（Ｎ／２）を超えるＤＦＴの調波を処理すると、エイリアシングは回避される。

連続コサイン変換関数が軌道関数変換であり、したがって画像データセットの離散値間の良好な補間をもたらすことは理解されるであろう。他方、連続拡張コサイン変換と同様にデータセットの各離散値と忠実に交差する連続拡張フーリエ級数は離散値の間で振動し、したがって補間目的には効率的でない。さらに、軌道関数変換の連続拡張が、画像データセットの勾配または１次導関数の公正な近似でもある勾配または１次導関数を有することを示すことができる。図１ａないし１ｄの単純な１次元図から、より高次元の連続拡張軌道関数変換が同様に補間目的に効率的であることを理解することができる。

また、連続拡張軌道関数を使用して、原画像とは異なる空間分解能（および同数のグリッド点）を有する画像データセットのグリッド点を計算することは、逆離散変換値を計算する場合と基本的に同じ努力であることも、上記式から理解することができる。そのような逆離散コサイン変換（ＤＣＴ）計算は、ＤＣＴを用いて圧縮された画像を復元するときに行なわれる。ＤＣＴは標準ＪＰＥＧ圧縮で使用され、逆ＤＣＴは標準ＪＰＥＧ復元で使用される。

図２ａないし２ｄは、ＣＥＤＣＴ（鎖線曲線）、「実ＤＦＴ」のＣＥ（細い実線曲線）、および正弦関数に基づく有限離散数列のためのシャノン補間公式（３点鎖線曲線）によって達成された、原解析関数ｆ（ｔ）およびその導関数ｄｆ／ｄｔ（両方とも太い実線曲線で示される）に対する近似の質を比較する。Ｎ＝８からＮ＝５０までグリッド点の密度が増加するにつれて、これらの３つの補間は全てｆ（ｔ）に収束する。しかしＣＥＤＣＴ関数ｇ_N（ｔ）の導関数だけはｄｆ／ｄｔに収束する。ＣＥＤＯＦＴの可微分性は文献６で証明されている。

図３ａないし３ｄは、正規化サイズｘ，ｙ∈［０，１］の矩形グリッド上の２Ｄ関数ｆ（ｘ，ｙ）のサンプリングの結果得られた解析テスト画像の再生の品質を示す。左下のパネルにその等高線図が示された関数は、グリッドセルの長さ１／Ｎに等しい分散σによって定義される各々の有効幅を持つ２つのガウス２Ｄ分布の和から成る。左上のパネルに示すグレースケール離散画像から明らかなように、グリッドはそのような画像にはやや粗いが、図３ｂおよび３ｄに示す２ＤＣＥＤＣＴ関数ｇ（ｘ，ｙ）のグレースケール図および等高線図表現は両方とも、原関数ｆ（ｘ，ｙ）のｇ（ｘ，ｙ）による再生の良好な品質を実証する。これら２つの間の相違は、ｆ（ｘ，ｙ）が零強度レベルに降下する領域の（画像振幅の５％未満の）最下等高線レベルでのみ目立つようになる。

図４ａないし４ｄは、非矩形グリッド、この事例では正三角形、あるいは六角形のグリッドに形成された同様の解析画像の補間品質の例を示す。リー群ＳＵ（３）の場合、補間はＣＥＤＯＦＴによって実行される。

リアルな画像の補間に対するＣＥＤＯＦＴ関数の適用の高い潜在性が、図５ａおよび５ｂで実証される。ここで、リー群ＳＵ（２）×ＳＵ（２）のＣＥＤＯＦＴ、すなわち２次元ＣＥＤＣＴが、テスト画像「レナ」の補間に適用されている。図５ｂは、左に示された原２５６×２５６分解能画像「レナ」の強くズームされた８１×８１画素フラグメントの補間の効果を実証する。そのような補間によってもたらされる良好な品質は明らかである。

図５ｂで使用される点の実際の表面密度すなわち分解能は、原データセットより５×５＝２５倍高い。一方で、これらの２つの画像を周波数空間で表わすデータセットの実際のサイズは厳密に等しい。これは、ＣＥＤＣＴ関数が厳密に原画像｛Ｇ_nm｝と同数のＤＣＴ変換係数｛Ａ_nm|ｎ＝０，１，．．．，Ｎ−１；ｍ＝０，１，．．．，Ｍ−１｝（Ｎ×Ｍ画素サイズの矩形画像を前提として）を使用するからである。これらの画像の周波数成分は厳密に同じである。

したがって、原則的に、ＣＥＤＣＴによって、または他のリー群一般の多次元ＣＥＤＯＦＴによって原画像よりずっと高い空間分解能に補間された画像は次いで、周波数空間でＪＰＥＧのような圧縮アルゴリズムによって、補間に使用されたのと同じリー群のＤＯＦＴを使用して原画像サイズに圧縮することができることが重要である。そのような圧縮は無損失であることが重要である。それは、画像の品質の劣化無しに、必要に応じて何度でも繰り返すことができる。図５ｂのズーム画像の無損失圧縮の圧縮率は、エントロピ符号化のような標準無損失圧縮技術を使用しない場合でも２５と高い。こうして画像を圧縮、格納、または伝送し、いつでも必要な場合に再び任意の空間サイズに「連続的に」ズームすることができる。

図６Ａおよび６Ｂは、ＣＥＤＣＴによってもたらされる良好な品質のリアルな画像の補間の別の例を提示する。ここで、２５６×２５６分解能テスト画像「鳥」が図６Ｂに使用されている。また、ＤＣＴ高速計算のために、ＦＦＴ型のアルゴリズム（「高速フーリエ変換」）が開発され、変換係数およびより高い分解能への補間の両方の計算に適用することができることも重要である。補間計算は、分解能が整数の像倍率だけ増大する場合、ＦＦＴの方法によって行なうことができる。

〔２Ｄ画像のズームおよびノイズ除去の実施例〕
図７ａないし７ｃは、ＣＥＤＯＦＴ補間が雑音画像の処理にも効果を発揮できることを実証する。ここで２ＤＣＥＤＣＴ関数は、ＦＬＩＲ（「前方監視赤外」）検出器によって取り込まれた画像をノイズ除去するために使用される。ここで、切捨てＣＥＤＣＴ関数では、単純に周波数ｋ＞Ｎ／４に対応する高周波モードが切り捨てられている一方、各々の周波数軸に沿ったＤＣＴの最大周波数はＮ／２である。この手順は結果的に、ＦＬＩＲ検出器に固有の「水平」ノイズの抑制をもたらし（文献８参照）、それはＣＥＤＣＴ補間画像の品質を明瞭に改善した。ＣＥＤＯＦＴを用いて処理画像の細部にさらにズームすると、さらなる細部を顕現させることができる。ＤＣＴおよびＣＥＤＣＴの計算にＦＦＴ型アルゴリズムを使用すれば、ノイズ除去は単純かつ高速であることが重要である。それはまた、実際画像サイズの図７Ｃにおける４分の１のような顕著な圧縮によっても達成される。

ＣＥＤＯＦＴ関数の高周波項の単純な切捨てによってノイズ画像の品質が改善される理由は、図７Ｂに示されたシーンからの２つの１７×１７サイズブロックの周波数成分が示された、図７Ｄおよび７Ｅから理解することができる。画像の最も有意義な部分は周波数空間の画像の低周波コーナに集中している一方、ガウスランダムノイズは高周波の画像に強く出ている（さらなる詳細は文献７、８を参照されたい）。

図８Ｂ、８Ｃ、および８Ｄは、図８Ａに示された原医用画像（ＣＴスキャン）の小さいフラグメントの２ＤＣＥＤＣＴを使用した補間およびズーミングを示す。図８Ｃおよび８Ｄの画像は、図８Ｂのフラグメントの４×４倍高い分解能グリッドへの非切捨ておよび切捨て（４分の１に圧縮した）ＣＥＤＣＴ補間に対応する補間を表わす。ズームプロセスが圧縮画像データセットから行なわれる場合、ＤＣＴ係数を計算する初期ステップは圧縮中にすでに行なわれており、画素値の追加計算が、ズーム画像を得るための唯一の余分な努力である。これは、画像空間の画素を解析して画素を補間する目的のためだけに使用される正確な補間関数を定義しようとする高次画素補間スキームより、望ましいことがあり得、多くの補間スキームでは、補間される画素毎に補間関数が再定義されることは理解されるであろう。

図７Ｃおよび７Ｄに示されたノイズ画像のノイズ除去の高速かつ効果的な手順は、非矩形対称性のｎ次元グリッドに一般的に対応する他のリー群のＣＥＤＯＦＴ関数にも適用される。これは、正三角形グリッドで解析２Ｄガウス関数をサンプリングし、２つの個々の画素の位置で２つの「ホット画素」、または離散デルタ関数を重複することによって形成された画像のノイズ除去の例を使用して、図９および図１０で実証される。切捨てＣＥＤＯＦＴ関数による画像の表現は基本的に、ホット画素および波を図９Ａ、９Ｂ、９Ｃ、および９Ｄのシーンから除去し、原解析画像の有意義な部分を回復する。さらなる詳細は献［９、１０に見られる。

図９Ａおよび９Ｂに示された原画像のＤＯＦＴ画像は、図１０によって証明されるように、ノイズの寄与によって、すなわち周波数の第２半分（ｋ＋ｍ）＞Ｎ／２に対応する主に２つのホット画素のＤＯＦＴによって支配される。

〔実施例：他の補間アルゴリズムとの比較〕
ＣＥＤＣＴ／ＤＯＦＴアルゴリズムによる変換の計算時間のみならず補間計算も、非常に競争力がある。画像空間では、画素補間は通常、双１次または双３次のような様々なアルゴリズムを用いて実行される。後者は、より良好な補間品質をもたらす高次多項式補間の型に属するが、一般的に１６回以上の乗算演算を必要とする。この演算は加算演算よりずっと多くの時間がかかり、補間計算時間の大部分を定義する。２Ｄ画像の双１次補間は、４個の最近隣画素値のみを使用し、相応して、補間される点毎に４回の乗算演算しか使用しない。それは高次多項式補間より著しく劣るが、後者よりずっと高速である。したがって、補間速度のために補間の品質を犠牲にする多くの実用的分野で、双１次補間は好適である。

ＣＥＤＯＦＴによって、特に２ＤＣＥＤＣＴによってもたらされる補間の品質は、双３次、双３次スプライン、または他の高次多項式補間アルゴリズムの品質に匹敵する。これは、２ＤＣＥＤＣＴ（図１１Ｃ）によってもたらされる補間、および最良の高次多項式型補間アルゴリズムと考えられるランツォシュ補間（図１１Ｄ）によってもたらされる補間を比較する、図１１Ｃおよび１１Ｄによって実証される。同時に、１００×１００程度の大きいサイズのブロックを使用する場合でさえ、補間の速度は多項式アルゴリズムの場合よりかなり高く、双１次補間の速度に匹敵する。

ＤＣＴおよび逆ＤＣＴは、ＦＦＴ族（高速フーリエ変換）アルゴリズム（例えば文献１４、１５参照）として知られる高速計算アルゴリズム、およびその様々な変形を使用して計算することができる。ラディックス２アルゴリズム（これは整数ｐでＮ＝２^pを暗示する）によるＮ×Ｎ×．．×Ｎのブロックデータセットのｋ次元ＦＦＴの計算に要する乗算の回数Ｍは、おおよそ次の通りである。

これは、２Ｄデータセットの場合、１点当たりの乗算の回数ｍがわずかｐであることを意味し、それはブロックのサイズＮの増加により、ｍが対数的に増加するだけであることを意味する。１６×１６のブロックサイズの場合、式（１７）はｍ=４と予測し、１２８×１２８サイズのブロックの場合、それはｍ＝７に増加するだけである。実際には、これらの数字を２分の１ないし３分の１にさらに低減することのできる、より洗練されたアルゴリズムを適用することができる。かくして文献１４の表７．１は、いわゆる多項式変換（多項式補間と混同してはならない）アルゴリズムによる１点当たりの乗算の回数が、Ｎ＝１６の場合にはｍ＝１．６９、Ｎ＝１２８の場合にはｍ＝４．６７にすぎないことを示している。後者は双１次補間に必要な４回の乗算にかなり匹敵し、高次の双３次等の補間に必要な１点あたりの１６回以上の乗算よりずっと少ない。ｋ‐ＤＣＥＤＣＴによる補間は、いわゆる零詰め法を使用して、ＦＦＴによって実現することができることに注目されたい。それは、指数ｓ＞Ｎの係数Ａｓに対して０値を取りながら、変換係数の個数を形式的に増加し、したがってより高い分解能のグリッドの計算のために非自明な乗算の回数は増加しない。

多次元ＣＥＤＣＴ補間の利点は、高次元データセットの場合にさらに増加する。かくして、３Ｄデータセットの場合の補間点当たりの乗算の回数は、双１次型補間（初期グリッドの８個の最近隣点の計算を含む）の場合には８に、３Ｄデータ空間での双３次類似物の場合には１６×４＝６４に増大する。一方、式（１７）から得られるように、３ＤＣＥＤＣＴの１点あたりの乗算の回数は、同じ１次サイズＮの３Ｄブロックの１次サイズが同じである場合、１．５倍に増加するだけである。

〔実施例：より大きいブロックサイズの効果〕
図１２Ａないし１２Ｄに、２ＤＣＥＤＣＴによって４４８×４４８画素分解能画像（図１２Ｂ）に補間された、５１２×５１２分解能の原テスト画像「橋」（図１２Ａ）の２２４×２２４画素サイズのフラグメントが示される。図１２Ｃは、量子化を閾値処理し、原画像データセットをサイズ３３×３３のブロックに細分し、隣接境界で１画素重複し、次いで切捨てＣＥＤＣＴを使用して図１２Ｂと同じ４４８×４４８分解能の圧縮画像を提示する方法によって、圧縮率Ｃ＝３５に圧縮された画像を示す。隣接ブロックの少なくとも１画素の重複は、一般的にブロック間の画像の分解能をも高めるために、ＣＥＤＯＦＴによる補間方法で必要とされることに注目されたい。さもなければ、ブロック効果が非圧縮画像ですでに明瞭になる。図１２Ｄは、図１２Ｃと同じ圧縮率Ｃ＝３５に圧縮され、かつ切捨てＣＥＤＣＴによって全く同じ４４８×４４８分解能グリッドに補間された同じフラグメントを示すが、閾値処理がサイズ９×９の重複ブロックで行なわれる場合である。このサイズは８×８の間隔のブロックに対応し、ＤＣＴ-１の場合、それに対して効率的なＦＦＴ型アルゴリズムが利用可能である。

より大きいブロックサイズが同じ高圧縮率でより良好な品質の画像を可能にする理由は、変換領域で画像操作に利用することのできるずっと多数の変換係数に質的に関係する。したがって、８×８ブロックの場合、係数は６４個しか無く、したがって３０分の１に圧縮しても平均して、ＣＥＤＣＴ関数で１ブロック当たり約２項しか残らない。サイズ３２×３２のブロックの場合、圧縮されたＣＥＤＣＴ（またはＣＥＤＯＦＴ一般）に残される変換係数および三角関数の項の数は１６倍であり、画像圧縮にずっと幅広い選択度がもたらされる。

単にブロックサイズを増大するだけで圧縮画像の品質を高めるこの傾向は、図１３ａないし１３ｄ、１４ａないし１４ｄ、および１５ａないし１５ｄで、３つの既知のテスト画像「鳥」、「レナ」、および「胡椒」の例をそれぞれ使用して実証される。これらの画像は、変換領域で「閾値処理圧縮」を使用する（すなわち各ブロックに対して個々に決定されたある値より小さい変換係数を切り捨てる）ことによって、しかし量子化および符号化圧縮を実現することなく、中程度の圧縮率に圧縮される。画像の補間も無いので、画像再生には離散逆ＤＣＴだけが使用される。これらの例の各々で想定された圧縮率に対し、ブロックサイズを増大することにより、ブロックサイズを３２×３２および６４×６４に増大した場合、目に見えるブロックアーチファクトが事実上消失する。この特徴のさらなる詳細については、文献７を参照されたい。

〔ブロックサイズの増大による画像再生の品質向上〕
これらの３つの画像の画像圧縮品質の定量的測度がプロットされた図１６ａないし１６ｂ、１７ａないし１７ｂ、および１８ａないし１８ｂで、標準ＪＰＥＧと同様にブロックを重複することなく、しかし異なるブロックサイズに対して圧縮が行なわれた場合について、Ｎ×Ｎが実証されている。様々な圧縮率の画層の品質は、ＰＳＮＲと略されるピーク信号対雑音比によって測定される。ｂビットデータセットの場合、それは次のように定義される。

ここでＭＳＥは、圧縮画像の画素値の原値からの平均２乗誤差偏差（mean square error deviation）である（例えば文献１４参照）。ここで論じる全ての画像で、ｂ＝８である。この場合、ＰＳＮＲが３０以上であれば、画像再生品質は一般的に良好とみなされることに注目されたい。

図２４Ａおよび２４Ｂは、（図２２Ａ、２２Ｂ、および２２Ｃで用いられたように）ブロック間でＳ＝３画素の重複を使用して、様々なサイズのブロックで計算が行なわれるときに、それぞれ閾値処理およびゾーン圧縮技術を使用した様々な圧縮率のＰＳＮＲを示す。ブロックサイズが増加するにつれて、同じ圧縮比の画像の品質／ＰＳＮＲが、ブロック間にかなりの重複がある場合にも、著しく改善されることが分かる。

図１９ａないし１９ｃおよび２０ａないし２０ｃは、ブロックが重複せず、かつ圧縮率が１である（すなわち圧縮無し）場合のＣＥＤＣＴ補間の例を提示する。補間は画像の品質を明らかに改善しているが、この事例では大きいブロックサイズに対してもブロックアーチファクトが見える。重複無しでは、中程度の圧縮率の場合でも、ブロックアーチファクトが急速に非常に目立つようになる。これは、図１９と同じフラグメントがブロックの重複無しで補間され、圧縮率Ｃ＝３．１に圧縮された、図２１Ａ、２１Ｂ、および２１Ｃで実証される。

ｑ＝１画素だけでも隣接ブロックと重複することにより、示された全てのブロックサイズ、すなわち８×８、１６×１６、および３２×３２に対して、図２２ａないし２２ｃで証明される通り、同じ圧縮率の画像の品質が劇的に改善される（後者の場合、ブロック縁部は見分けることができない）。この効果の理由は、隣接ブロックの重複により重複する画素における画像強度の平均化が可能になることだけではなく、重複により隣接ブロック間の周波数成分の通過が事実上、より連続的になるためでもある。

図２３ａないし２３ｄは、ｑ＝２〜４ブロックでブロックの重複が著しい場合、大きい圧縮率を実現する場合でも、大きいブロックサイズに対してブロックアーチファクトを消失させることが可能であることを実証する。図２３で、圧縮率は全てのブロックサイズに対してＣ＝９である。大きいブロックサイズは良好な品質の圧縮画像をもたらすだけでなく、重複するブロックの場合に必要な計算量の事実上の増加に対しても感受性が低下することに注目されたい。実際、計算量は（１−ｑ／Ｎ）^-2倍増加し、したがって重複サイズの所与の値に対してＮが大きいことが好ましい。

画像編集または検査を実行するときに、圧縮画像データに対し異なる空間分解能を繰返し選択して、結果的に生じる画像を観察することが有利である。この場合、圧縮画像データは原画像としてさらに使用するために第１場所に維持することができる一方、異なる空間分解能の処理画像は第２場所に格納される。

〔実施例：ビデオ圧縮〕
標準ＭＰＥＧビデオ圧縮アルゴリズムは、２Ｄ画像圧縮すなわちＪＰＥＧを、ビデオカメラが固定されている場合のように全く変化を受けない部分、およびビデオカメラが移動またはパンする場合のように固定された背景に関連する部分または２Ｄフレーム内で動くがそれ以外は変化しない部分、ならびに遠い固定背景に関連する部分を有する画像がビデオシーケンスに含まれることがあるという前提に基づく時間的補間技術と結合する。ビデオ圧縮符号化は、前景で話したり動く人間のようにフレーム毎に変化する画像の部分に対して提供される。基本的に、変換圧縮技術は２Ｄ画像内でのみ使用される一方、符号化および補間技術は時間的に変化する部分を圧縮および再生するために使用され、これは、ビデオシーケンス全体を再生するために、変化する部分に対して一般的に変換圧縮技術を使用して圧縮された新しいデータと結合される。

ＪＰＥＧのような変換圧縮技術は、ほとんどの２Ｄ画像の性質のため、および損失の多い圧縮‐復元サイクル中に導入されるエラーを人間の目が知覚する方法のため、符号化のみに依存する技術より効率的な２Ｄ画像圧縮をもたらす。しかし、ビデオシーケンスにおける空間的歪みより時間的歪みに対する目の高い感受性のため、３Ｄ変換、すなわち２次元の空間データおよび１時間次元としてのビデオストリームの変換が効率的であるかは、明らかでない。例えば、いずれかの方法で平滑化されるか、あるいは時間的に歪められる１つのフレームから次のフレームへの２つのシーン間の突然の変化は、人間の観察者にぼやけとして不利に知覚される。同様にパン動作は、１つのフレームから次のフレームに変化を受けるフレーム内の画素に、突然の時間的変化を示す。時間的変化の人間の目の敏感な知覚を満足させるために、時間の急激な遷移または「エッジ」を表わす能力は、時間的変化の正確な表現を維持する必要がある。

ビデオは基本的に、Ｘ、Ｙ、およびｔ次元の画素を有する３Ｄ画像である。ビデオは基本的に、Ｘ、Ｙ、およびＴ次元の画素を有する３Ｄ画像である。非零ラインスキャン時間τのため、（ビデオカメラの）空間グリッド点の集合｛（Ｘ_i，Ｖ_j）|Ｉ＝０．．．Ｎ，ｊ＝０．．．Ｍ｝で画像値を取り込む時間インスタンス｛ｔ´_s｝は異なる点（ｘｉ，ｙｊ）では事実上異なることができるという事実にもかかわらず、グリッドは形式的にＴ次元をも含む矩形３Ｄグリッドとみなすことができる。同じ画像フレーム内の位置（ｘｉ，ｙｊ）および（０，０）における画像強度測定のインスタンス間には、画像フレーム内の位置（ｉ，ｊ）に依存する次式

に等しい差があるが、３Ｄ集合｛ｘｉ，ｙｊ，ｔ´ｓ｝はそれ自体、ブロックサイズ［（Ｎ＋１），（Ｍ＋１），（Ｌ＋１）］の完全に等辺の３Ｄグリッドを作成する。これは記録された画像値Ｖｉｊｓのこれらのブロックに３ＤＤＣＴを適用することを即座に可能にし、次のＤＣＴ係数が得られる。

受信器／復号器側における式（１２）の逆ＤＣＴでのこれらの係数を、そのままで、または（量子化後に）圧縮して使用することにより、記録されたときと同じ位置｛ｘｉ，ｙｊ，ｔ´ｓ｝に、｛Ｖｉｊｓ｝のそれぞれ厳密な値または近似値がｘｉ，ｙｊ，ｔｓ｝でＣＥＤＣＴを適用することにより、画像復号の単一ステップでの追加努力無しに、レコーダの有限ラインスキャン時間τ＞０による歪みが事実上補正された画像が得られることは理解されるであろう。

本発明に係る連続拡張を使用する技術により、変換されたソースからの補間画像の生成をビデオ保存の時間次元に首尾よく適用することが効率的になることが明らかになった。

ビデオ保存および再生に連続拡張を使用して、２つの基本的利点または用途が可能である。第１に、ソース圧縮ビデオデータから正確に補間して、異なるフレームレートを有する再生画像ストリームを生成する能力は、ソースおよび再生表示が異なるフレームまたはフィールドレートで動作する用途に有利である。フィルムが元々毎秒２４画像でキャプチャされたが、テレビ画面での再生が通常毎秒３０フレーム（インタレーステレビジョンの場合、より正確には毎秒６０フィールド）であり、コンピュータモニタまたはＨＤＴＶでの再生がより高いレートである場合がこれに当たる。したがって本発明は、ビデオシーケンスをオリジナルソースビデオストリーム取得時間フレームレートで保存することを可能にし、次いで再生時にだけ装置によって定義することのできるレートで時間的変換を行なうことを可能にし、したがって同じ原画像ソースから将来の再生装置の多種多様なレートに適応することが容易にできるようになる。

第２に、再生時に空間的補間を実行し、こうしてビデオをオリジナルソースビデオフォーマットで記録し、必要に応じて再生ディスプレイの分解能に変換することを可能にすることができる。ソースおよび再生ディスプレイ装置の一方だけがインタレースされる場合、時間的および空間的補間の両方が必要になる。インタレースビデオストリームは、変換係数を計算するとき、および／または連続拡張関数を用いて画素値を計算するときに、空間的かつ時間的に適切に分離することができる。したがって、ソース画素だけを使用して、補間画素は使用せずに、係数を計算することが可能である。同様に、連続拡張関数からの画素値の計算は、再生ディスプレイに必要な正確な時間および空間座標に対してのみ実行される。ＣＲＴのフィールド内のスキャン遅延に関連する時間的遅延とともに、ＣＲＴに送られる出力画素値を計算することさえも可能である。

ＤＶＤのような従来のビデオストレージでは、復元されたビデオが予め定められた分解能およびフレームレートを有することは理解されるであろう。ソースがＤＶＤストレージに望まれる分解能およびフレームレートを持たない場合には、圧縮および保存の前に変換が実行される。再生時の復元後に、ビデオコーデックは空間的または時間的に画素空間の所望の分解能変更を実行しなければならない。

この明細書では、「オリジナルソースビデオストリーム」とは、元々ストリームを生成するために使用された画像取得装置の空間および時間分解能の画像ストリームを意味する。フィルムの場合、オリジナルソースビデオストリームは、スタジオフィルムカメラの毎秒２４フレームおよび電子フィルムスキャナの出力分解能を有する。ビデオカメラの場合、オリジナルソースビデオストリームはＣＣＤ（またはカメラ出力）の画素レイアウトおよび分解能ならびにカメラ出力フレームレートを有する。

２Ｄ画像の場合と同様に、ブロックは少なくとも１画素の重複を有する。時間次元では、正確な時間表現が重要であるので、単一画素のみの重複を有することが最良である。

図１ａおよび１ｂは、解析関数が等間隔の数Ｎ＝１０のグリッドでサンプリングされるときに、細い実線によって描かれた従来ＤＦＴと略される標準離散フーリエ変換の連続拡張、および鎖線で描かれた離散コサイン変換（ＤＣＴと略される）と一致するリー群ＳＵ（２）に対するＤＯＦＴの連続拡張によって提供される、太い実線で描かれた２つの解析関数ｆ（ｔ）の近似を示す。太いドットはグリッド点ｔ_kにおける離散関数｛ｆ_k｝を示す。図１ｃは、グリッドの分解能がＮ＝３０に増加したときの図１ａに示した関数に対する同様の近似を示す。図１ｄは、グリッドの分解能がＮ＝２４に増加したときの図１ｄに示した関数に対する同様の近似を示す。図２ａは、太い実線曲線は、Ｎ＝８間隔の１Ｄグリッド上のそのサンプリングから離散関数｛ｆ_k|ｋ＝０，１，．．．，Ｎ｝が生成された連続関数ｆ（ｔ）を示す。鎖線曲線はその関数から構成されたＣＥＤＣＴであり、細い実線曲線は「実ＤＦＴ」の連続拡張であり、３点鎖線曲線は離散関数｛ｆ_k｝に基づいて構成されたシャノン補間関数に対応する。図２ｂは、図２ａと同様であるが、関数ｆ（ｔ）がＮ＝５０間隔のグリッドでサンプリングされる場合を示す。図２ｃは、太い実線で描かれた図２ａに示したのと同じ解析関数ｆ（ｔ）の導関数ｄｆ／ｄｔを示し、鎖線はＣＥＤＣＴの導関数であり、細い実線は「実ＤＦＴ」のＣＥの導関数であり、３点鎖線はシャノン補間関数の導関数である。選択されたグリッド分解能は、図２ａの場合と同様に、Ｎ＝８間隔に対応する。図２ｄは、グリッド分解能がＮ＝５０に増加したときの図２ｃに示したのと同じ導関数を示す。図３ａは、２つの２Ｄガウス分布関数の和から成る解析関数をサンプリングすることによって矩形グリッドに形成される画像である。図３ｃは、その関数の等高線図を示す。図３ｂは、離散画像データセットから再生された２ＤＣＥＤＣＴ画像である。図３ｄは、その２ＤＣＥＤＣＴ画像の等高線図である。図４ａは、２つのガウス分布の重ね合せの形の２Ｄ解析関数の等高線図を示す。図４ｂは、示された三角形グリッドでの解析関数のサンプリングから得られた離散関数から構成される、リー群ＳＵ（３）に対するＣＥＤＯＦＴの等高線図を示す。図４ｃは、図４ａに描かれた解析関数の３Ｄ図を示す。図４ｄは、図４ｂに描かれたＣＥＤＯＦＴの３Ｄ図である。図５ａは、画素サイズが明らかになるように強くズームした２５６×２５６画素テスト画像「レナ」のフラグメントを示す。図５ｂは、２ＤＣＥＤＣＴ、すなわちリー群ＳＵ（２）×ＳＵ（２）に対するＣＥＤＯＦＴを使用した、５×５より高い分解能へのこの画像の補間を示す。図６Ｂは、２５６×２５６画素テスト画像「鳥」からの１６０×２５６画素フラグメントを示す。図６Ａは、２ＤＣＥＤＣＴを使用した４×４より高い分解能への補間を示す。図７Ａは、ＦＬＩＲ（「前方監視赤外」検出器）によって検出された画像を示す（カリフォルニア州チャイナレイク、ＮＡＷＣＷＰＮＳ；一般公開が許可された画像、http://www.cis.edu/data.sets/nawc_flir）。図７Ｂは、図７Ａのシーンからのズームされたフラグメント（戦車の画像）。図７Ｃは、ｘ軸およびｙ軸に沿って周波数項の第２（上位）半分に対応する２ＤＣＥＤＣＴ（三角多項式関数）の全ての成分を切り捨て、原グリッドより３×３＝９倍高い点の空間分解能のグリッド上でこうして切り捨てられたＣＥＤＣＴによって画像を補間することによってノイズを除去した、図７Ｂと同じフラグメントを示す。図７Ｄは、図７Ｂに示した画像からの１７×１７ブロックフラグメントの２Ｄ周波数空間における２ＤＤＣＴ表現である。水平または垂直軸に沿った各間隔刻みは、それぞれの方向に沿った周波数の０．５に等しい∇ｋまたは∇ｊの増加に対応する。濃い部分は変換係数の大きい絶対値に対応し、左下隅のブロックは最下周波数項Ａ_0,0に対応する。図７Ｅは、ＤＣＴによって周波数空間に変換された、図７Ｂからの別の１７×１７ブロック画像の例を示す。図８Ａは、ヒト肺のＣＴ（コンピュータ断層撮影）画像である。図８Ｂは、図８Ａ（枠内）の画像のズームされたフラグメントを示す。図８Ｃは、２ＤＣＥＤＣＴによって実行された図８Ｂの原画像のより高い分解能グリッドへの補間の結果を示す。図８Ｄは、切捨てＣＥＤＣＴによって実行された図８Ｂに示したのと同じフラグメントの補間を示す。各Ｎ×Ｎ画像ブロックに対し０≦ｋ，ｊ≦（Ｎ−１）／２に対応する変換係数Ａ，ｋ，ｊの４分の１しか使用されないので、切捨ては４分の１の原画像の実効ノイズ除去および（ゾーン）圧縮に対応する。図９Ａは、２Ｄガウス楕円および背景に示された三角形グリッドのノードを中心とする２つの「ホット画素」から成る解析関数Ｇ（ｘ，ｙ）の等高線図である。図９Ｂは、図９Ｂに描かれた解析画像の３Ｄ図。図９Ｃは、三角形グリッド上の原解析関数Ｇ（ｘ，ｙ）のサンプリングに由来する離散関数｛Ｇｋｎ｝から構成されたリー群ＳＵ（３）のＣＥＤＯＦＴ関数の等高線図である。鎖線等高線は零レベルに対応する。図９Ｄは、図９Ｃに提示されたＳＵ（３）ＣＥＤＯＦＴ画像の３Ｄ図である。図９Ｅは、係数の３／４（高周波数に対応する）が切り捨てられる切捨てＳＵ（３）ＣＥＤＯＦＴ関数を使用して、図９Ｃの場合と同じ離散関数｛Ｇｋｎ｝から構成された画像の等高線図である。図９Ｆは、図９Ｅに示された画像の３Ｄ図である。図１０は、図９ａないし図９ｆに示した画像データセットの異なる周波数モード（ｋ＋ｍ）に対応するＳＵ（３）ＤＯＦＴ係数Ａｋ、ｍの平均値のプロットを示す。星印はこの画像だけの２つのホット画素の変換係数に対応する。図１１Ａは、クロコダイルのテスト画像を示す。図１１Ｂは、図１１Ａの目の１４５×１０５画素のズーム画像を示す。図１１Ｃは、ＣＥＤＣＴ関数によって７×７倍高い分解能グリッドに補間された、図１１Ｂの画像を示す。図１１Ｄは、比較のため、最高次多項式型補間アルゴリズムの１つとして尊重されている「ランツォシュ」補間アルゴリズムによるクロコダイルの目の補間を示す。（http://www.americaswonderlands.com/image_resizing.htmより）。図１２Ａは、５１２×５１２分解能の原テスト画像「橋」の２２４×２２４画素サイズのフラグメントを示す。図１２Ｂは、図１２Ａの画像の４４８×４４８画素分解能画像への２ＤＣＥＤＣＴ補間を示す。図１２Ｃは、量子化閾値処理法によって圧縮率Ｃ＝３５に圧縮され、かつこのように圧縮されたＣＥＤＣＴによって４４８×４４８分解能グリッド上に再生された、図１２Ａに示された画像を示す。補間は原画像データセットを、隣接ブロックで１画素重複するサイズ３３×３３のブロックに細分することによって行なわれる。図１２Ｄは、計算が９×９画素サイズのブロックで行なわれる場合に、図１２Ｃと同じ圧縮率Ｃ＝３５に圧縮され、ＣＥＤＣＴによって同じ４４８×４４８分解能グリッドに補間された図１２Ａの画像を示す。図１３Ａは、計算がサイズ８×８の非重複ブロックで行なわれ、補間が適用されない場合に、周波数空間で（量子化無しで）２ＤＤＣＴ係数｛Ａｋ,ｊ｝を閾値処理することによって圧縮率Ｃ＝４．１に圧縮されたテスト画像「鳥」の１２８×１２８画素フラグメントを示す。各ブロックで変換係数を切り捨てるための閾値は、そのブロックの最大変換係数からの特定の百分率フラクションとして定義される。図１３Ｂは、計算が１６×１６サイズの個々の非重複ブロックで行なわれる場合に、同じ圧縮率４．１に圧縮された図１３Ｂと同じフラグメントを示す。図１３Ｃは、計算が３２×３２のブロックで行なわれる場合に、図１３Ｂと同じ比４．１に圧縮された同じフラグメントを示す。図１３Ｄは、計算がサイズ６４×６４のブロックで行なわれる場合に、図１３Ｃと同じ比４．１に圧縮された同じフラグメントを示す。図１４Ａは、周波数空間で２ＤＤＣＴ係数｛Ａｋ，ｊ｝を閾値処理することによって圧縮率Ｃ＝３．３に圧縮されたテスト画像「レナ」の１９２×１９２画素フラグメントを示す。計算は原データセットと同じ分解能グリッドに対してサイズ８×８の非重複ブロックで行なわれる（すなわち補間は使用されない）。圧縮は各ブロックで変換係数を閾値処理することによって行なわれ、閾値はブロックの最高変換係数からの固定フラクションとして選択されるが、残りの変換係数のその後の量子化は行なわれない。図１４Ｂは、サイズ１６×１６の非重複ブロックで同じ圧縮率３．３に圧縮された図１４Ａと同じフラグメントを示す。図１４Ｃは、サイズ３２×３２の非重複ブロックで圧縮率３．３に圧縮された図１４Ａと同じフラグメントを示す。図１４Ｄは、サイズ６４×６４の非重複ブロックで圧縮率３．３に圧縮された図１４Ａと同じフラグメントを示す。図１５Ａは、閾値処理（量子化無し）によって圧縮率Ｃ＝３．３に圧縮された５１２×５１２分解能テスト画像「胡椒」の１２８×１２８画素のフラグメントを示す。計算はサイズ８×８の非重複ブロックで、原データセットの分解能を変更するグリッド点間の補間無しに行なわれる。図１５Ｂは、サイズ１６×１６の非重複ブロックで圧縮率３．３に圧縮された同じフラグメントを示す。図１５Ｃは、サイズ３２×３２の非重複ブロックで圧縮率３．３に圧縮された図１５Ａと同じフラグメントを示す。図１５Ｄは、サイズ６４×６４の非重複ブロックで圧縮率３．３に圧縮された同じフラグメントを示す。図１６Ａは、図１３に示したテスト画像「鳥」のフラグメントの異なる圧縮率Ｃにおけるピーク信号対雑音比（ＰＳＮＲ）のプロットを示す。実線、鎖線、点鎖線、および３点鎖線はそれぞれ、計算がサイズ８×８、１６×１６、３２×３２、および６４×６４画素の非重複ブロックで行なわれた場合のＰＳＮＲを示す。圧縮は各ブロックで変換係数を閾値処理することによって行なわれ、閾値は各ブロックで最高の変換係数から固定フラクションとして選択されるが、残りの変換係数のその後の量子化は行なわれない。図１６Ｂは、周波数領域で三角形ゾーンを実現してゾーン圧縮を使用した場合の、図１６Ａと同じブロックサイズに対して計算された、同じフラグメントの異なる圧縮率におけるＰＳＮＲを示す（それは全てのブロックで所定の値を超える指数（ｋ＋ｊ）の和を持つ変換係数Ａｋｊを切り捨てることに対応する）。図１７Ａは、圧縮が閾値処理の方法によって行なわれるときの図１４に示した画像「レナ」のフラグメントの異なる圧縮率ＣにおけるＰＳＮＲを示す。実線、鎖線、点鎖線、および３点鎖線で示す曲線はそれぞれ、ブロックサイズ８×８、１６×１６、３２×３２、および６４×６４画素を使用した計算に対応する。図１７Ｂは、ゾーン圧縮を使用した場合の図１７Ａと同じプロットを示す。図１８Ａは、圧縮が閾値処理の方法によって行なわれるときの図１５に示した画像「胡椒」のフラグメントの異なる圧縮率ＣにおけるＰＳＮＲを示す。実線、鎖線、点鎖線、および３点鎖線で示す曲線はそれぞれ、ブロックサイズ８×８、１６×１６、３２×３２、および６４×６４画素を使用した計算に対応する。図１８Ｂは、ゾーン圧縮を使用した場合の図１７Ａと同じプロットを示す。図１９Ａは、重複しないブロックで、原画像より３×３倍高い密度の高分解能グリッドを使用した、図１９Ｄに示す原テスト画像「レナ」のフラグメントのＣＥＤＣＴ補間の結果を示す。ブロックサイズはここでは８×８画素であり、圧縮率はＣ＝１である（すなわちデータセットは圧縮されない）。図１９Ｂは、ブロックサイズ１６×１６の場合の図１９Ａと同じものを示す。図１９Ｃは、３２×３２画素のブロックのより高い分解能グリッドへの補間に対応する。図１９Ｄは、図１９Ａないし１９Ｃに用いられた原テスト画像フラグメントを示す。図２０Ａ，２０Ｂ，２０Ｃは、図１９の場合と同様の補間の例、すなわちテスト画像「胡椒」のフラグメントに対して計算された、データセットの圧縮無しで、非重複ブロックの補間である。図２０Ｄは、テスト画像「胡椒」の原フラグメントを示す。図２１Ａ，２１Ｂおよび２１Ｃは、３×３倍高い分解能グリッドへの補間が、非重複ブロックを用いて、中程度の圧縮を適用して行なわれた場合の図１９Ａ、１９Ｂ、および１９Ｃにそれぞれ示された画像の類似物である。これらの図の圧縮率は、全てのブロックサイズでＣ＝３．１に対応する。図２２Ａ，２２Ｂ，２２Ｃは、今は（わずか）１画素だけ隣接ブロックと重複する様々なサイズのブロックで、同様の率Ｃ＝３．３への圧縮が行なわれた場合の、同じフラグメントの同じ３×３倍高い分解能グリッドへの補間の結果を示す。ブロックアーチファクトの低減は全てのブロックサイズで明らかである。図２２Ｄは、テスト画像の原フラグメントを示す。図２３Ａ，２３Ｂ，２３Ｃおよび２３Ｄは、Ｃ＝９への圧縮（閾値処理による）を使用し、それぞれブロックサイズ８×８、１６×１６、３２×３２、および６４×６４で隣接ブロックとＳ=３画素だけ重複して行なわれた、鳥の画像の３×３倍高い分解能グリッドへの補間の結果を示す。図２４Ａおよび２４Ｂは、計算が（図２２Ａ、２２Ｂ、および２２Ｃで使用したように）ブロック間でＳ＝３画素の重複を使用して様々なサイズのブロックで行なわれた場合の、閾値処理およびゾーン圧縮技術をそれぞれ使用した異なる圧縮率のＰＳＮＲのプロットを示す。図２５は、基本領域Ｆ、ＳＵ（３）の基本ウェイトω１およびω２、ならびにＦにおける点ｚ（ｓ，ｍ）有限随伴位数Ｎ＝１１のグリッドＦ（Ｎ）のグラフである。図２６Ａおよび２６Ｂは、非回転画像およびそれに対応する回転画像をそれぞれ示す。

Claims

画像データセットを処理する方法であって、
前記画像データセットの少なくとも１つのブロックを定義するステップと、
前記少なくとも１つのブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップと、
前記ＤＯＦＴ係数を保存するステップと、
第１の異なる空間分解能を定義するステップと、
前記保存されたＤＯＦＴ係数および前記第１の異なる空間分解能を使用し、前記少なくとも１つのブロックを表わす離散軌道関数変換（ＣＥＤＯＦＴ）の少なくとも１つの連続拡張を使用して第１の処理済み画像データセットを計算するステップと、
第２の異なる空間分解能を定義するステップと、
前記保存されたＤＯＦＴ係数および前記第２の異なる空間分解能を使用し、前記少なくとも１つのブロックを表わす離散軌道関数変換（ＣＥＤＯＦＴ）の少なくとも１つの連続拡張を使用して第２の処理済み画像データセットを計算するステップと、を含む方法。
前記画像データセットが非矩形グリッドを含む、請求項１に記載の方法。
前記異なる空間分解能の少なくとも１つが矩形グリッドを含む、請求項２に記載の方法。
前記ＤＯＦＴが離散コサイン変換（ＤＣＴ）である、請求項１に記載の方法。
前記保存された変換係数を量子化して圧縮をもたらすステップをさらに含み、異なる空間分解能を定義する前記ステップおよび処理済み画像データセットを計算する前記ステップが、前記画像データセットの復元の一環として実行される、請求項１に記載の方法。
カラーフィルタアレイパターンの画素を有するＣＣＤを使用して前記画像データセットを取得するステップをさらに含み、
前記ＤＯＦＴ係数を計算する前記ステップが、前記各色に前記画素を使用して前記色の各々に対するＤＯＦＴ係数を得るように、前記ＣＣＤの前記色の各々に対して別々に行なわれ、
前記処理が前記カラーフィルタアレイからカラー画像データセットへの変換を実行するように、前記異なる空間分解能が前記色の各々に対して同じである、請求項５に記載の方法。
カラーフィルタアレイパターンの画素を有するＣＣＤを使用して前記画像データセットを取得するステップをさらに含み、
前記ＤＯＦＴ係数を計算する前記ステップが、前記各色に前記画素を使用して前記色の各々に対するＤＯＦＴ係数を得るように、前記ＣＣＤの前記色の各々に対して別々に行なわれ、
前記処理が前記カラーフィルタアレイからカラー画像データセットへの変換を実行するように、前記異なる空間分解能が前記色の各々に対して同じである、請求項１に記載の方法。
前記変換係数を量子化して圧縮をもたらすステップをさらに含み、異なる空間分解能を定義する前記ステップおよび処理済み画像データセットを計算する前記ステップが、前記画像データセットの復元の一環として実行される、請求項７に記載の方法。
画像データセットを処理する方法であって、
少なくとも１グリッド点で重複する、前記画像データセットの少なくとも２つのブロックを定義するステップと、
前記ブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップと、
前記ＤＯＦＴ係数を使用して前記ブロックの各々を表わす離散軌道関数変換（ＣＥＤＯＦＴ）の連続拡張を決定するステップと、
異なる空間分解能を定義するステップと、
前記少なくとも１つのＣＥＤＯＦＴおよび前記異なる空間分解能を使用して処理済画像データセットを計算するステップと、を含む方法。
前記画像データセットが非矩形グリッドを含む、請求項９に記載の方法。
前記異なる空間分解能が矩形グリッドを含む、請求項１０に記載の方法。
前記ＤＯＦＴが離散コサイン変換（ＤＣＴ）である、請求項９に記載の方法。
前記変換係数を量子化して圧縮をもたらすステップをさらに含み、異なる空間分解能を定義する前記ステップおよび処理済み画像データセットを計算する前記ステップが、前記画像データセットの復元の一環として実行される、請求項９に記載の方法。
圧縮画像データが第１場所に保存され、異なる空間分解能を定義する前記ステップが所望のズームおよび回転値の少なくとも１つを繰返し指定するステップを含み、前記処理済み画像データセットが少なくとも１つの第２場所に保存される、請求項１３に記載の方法。
カラーフィルタアレイパターンの画素を有するＣＣＤを使用して前記画像データセットを取得するステップをさらに含み、
前記ＤＯＦＴ係数を計算する前記ステップが、前記各色に前記画素を使用して前記色の各々に対するＤＯＦＴ係数を得るように、前記ＣＣＤの前記色の各々に対して別々に行なわれ、
前記処理が前記カラーフィルタアレイからカラー画像データセットへの変換を実行するように、前記異なる空間分解能が前記色の各々に対して同じである、請求項９に記載の方法。
前記変換係数を量子化して圧縮をもたらすステップをさらに含み、異なる空間分解能を定義する前記ステップおよび処理済み画像データセットを計算する前記ステップが、前記画像データセットの復元の一環として実行される、請求項１５に記載の方法。
圧縮画像データが第１場所に保存され、異なる空間分解能を定義する前記ステップが所望のズームおよび回転値の少なくとも１つを繰返し指定するステップを含み、前記処理済み画像データセットが少なくとも１つの第２場所に保存される、請求項１６に記載の方法。
画像データセットを圧縮および復元するための方法であって、
圧縮される画像データセットを提供し、圧縮率を定義するステップと、
１５画素より大きいブロックサイズおよび２以上のグリッド点のブロック重複を選択するステップと、
前記ブロックサイズおよび前記定義された圧縮率を使用して前記画像データセットを圧縮して、圧縮画像データセットを得るステップと、
前記圧縮画像データセットを復元し、前記ブロック重複部またはその付近でグリッド点補間を実行して復元画像データセットを得るステップと、を含む方法。
前記ブロックサイズが１６画素より大きい、請求項１８に記載の方法。
前記ブロックサイズが３２画素より大きい、請求項１８に記載の方法。
前記ブロックサイズが６４画素より大きい、請求項１８に記載の方法。
前記圧縮ステップが、
前記ブロックサイズを有する前記画像データセットの各ブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップを含み、前記復元ステップが、
前記ＤＯＦＴ係数を使用して前記画像データセットの前記ブロックを表わす離散軌道関数変換（ＣＥＤＯＦＴ）の少なくとも１つの連続拡張を決定するステップと、
異なる空間分解能を定義するステップと、
前記少なくとも１つのＣＥＤＯＦＴおよび前記異なる空間分解能を使用して復元画像データセットを計算するステップと、を含む請求項１８に記載の方法。
画像データセットを圧縮および復元するための方法であって、
画像データセットが離散コサイン変換および１６のブロックサイズを使用して圧縮および復元されるときに目立つブロックアーチファクトを生じる、圧縮される画像データセットを提供し、圧縮率を定義するステップと、
１６より適切に大きいブロックサイズを選択するステップと、
前記適切に大きいブロックサイズおよび前記定義された圧縮率を使用して前記画像データセットを圧縮して、圧縮画像データセットを得るステップと、
前記圧縮画像データセットを復元して目立つブロックアーチファクトを持たない復元画像データセットを得るステップと、を含む方法。
前記適切に大きいブロックサイズが３２画素より大きい、請求項２３に記載の方法。
前記適切に大きいブロックサイズが６４画素より大きい、請求項２３に記載の方法。
前記適切に大きいブロックサイズが１２８画素より大きい、請求項２３に記載の方法。
前記圧縮ステップが
前記適切に大きいブロックサイズを有する前記画像データセットの各ブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップを含み、前記復元ステップが、
前記ＤＯＦＴ係数を使用して前記画像データセットの前記ブロックを表わす離散軌道関数変換（ＣＥＤＯＦＴ）の少なくとも１つの連続拡張を決定するステップと、
異なる空間分解能を定義するステップと、
前記少なくとも１つのＣＥＤＯＦＴおよび前記異なる空間分解能を使用して復元画像データセットを計算するステップと、を含む請求項２３に記載の方法。
ビデオを生成および再生する方法であって、
時間次元および少なくとも２つの空間次元を有する画像データセットを提供するステップと、
時間次元に少なくとも１つのグリッド点の重複を持つ前記画像データセットの少なくとも２つのブロックを定義するステップと、
前記ブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップと、
前記ＤＯＦＴ係数を使用してビデオデータを生成するステップと、
異なる時間フレームレートを有するビデオ再生のために異なる空間分解能を定義するステップと、
前記ビデオデータの前記ＤＯＦＴ係数を使用して、前記ブロックの各々を表わす離散軌道関数変換（ＣＥＤＯＦＴ）の連続拡張を決定するステップと、
前記少なくとも１つのＣＥＤＯＦＴおよび前記異なる空間分解能を使用して、再生ビデオ画像ストリームを生成するステップと、を含む方法。
前記画像データセットがオリジナルソースビデオストリームであり、前記ビデオデータが圧縮されて記録され、前記記録されたビデオデータを読み出すときに、前記ＣＥＤＯＦＴを決定する前記ステップが実行される、請求項２８に記載の方法。
前記異なる空間分解能が時間次元および空間次元の両方に対して異なる、請求項２９に記載の方法。
インタレース変換が実行される、請求項３０に記載の方法。
画像データセットを処理する方法であって、
非矩形グリッドを有するデータセットを提供するステップと、
前記画像データセットの少なくとも１つのブロックを定義するステップと、
前記少なくとも１つのブロックを表わす順離散軌道関数変換（ＤＯＦＴ）係数を計算するステップと、
前記ＤＯＦＴ係数を使用して前記少なくとも１つのブロックを表わす離散軌道関数変換（ＣＥＤＯＦＴ）の少なくとも１つの連続拡張を決定するステップと、
異なる空間分解能を定義するステップと、
前記少なくとも１つのＣＥＤＯＦＴおよび前記異なる空間分解能を使用して、処理済画像データセットを計算するステップと、を含む方法。