JP2009055623A - ディジタル画像および音声データを無損失に復号化するためのシステムおよび方法 - Google Patents

Abstract

【課題】ディジタル画像および音声データを無損失に復号化するためのシステムおよび方法を提供すること。
【解決手段】画像を表す信号を無損失復号化するための方法が請求されている。損失圧縮データファイルおよび残差圧縮データファイルが受信される。損失圧縮データファイルがＤＣ係数とＡＣ係数とに分離され、別個に復号化され、ＤＣ値とＡＣ値を決定する（１３０）。ＤＣ値およびＡＣ値は逆量子化されて、損失解凍データを生成する（１４６）。損失解凍周波数データは残差解凍データと結合されて、無損失データファイルを生成し、この場合無損失データファイルは実質的にオリジナル画像と同じである。
【選択図】 図１１

Description

本発明は、画像処理と、圧縮および解凍に関する。より具体的には、本発明は、周波数ドメインにおけるディジタル画像および音声情報の無損失復号化に関する。

ディジタルピクチャ処理は、ディジタル信号処理の一般原理において重要な地位を占めている。人間の視覚認知の重要性は、ディジタルピクチャ処理の分野における多くの関心および発達を促進してきた。フィルムや動画を写すのに使用されるような、ビデオ信号の送受信の分野において、画像圧縮技術に対して種々の改良がなされている。現在提案されているビデオシステムの多くはディジタル符号化技術を利用している。この分野の態様は、画像符号化、画像復元、および画像特徴選択を含んでいる。画像符号化は、必要な帯域を最小化できる程度のビットを利用して、ディジタル通信チャネルのピクチャを効率的に送信すると同時に、一定の制限内に歪みを維持しようとするものである。画像復元は、オブジェクトの正確な画像を復元しようとするものである。通信チャネル上で送信されている符号化画像は種々の要因によって歪みが生じていた。劣化の原因は元々、オブジェクトから画像を作成する際に生じていた。特徴選択とはピクチャの特定の属性の選択のことである。このような属性はより広い意味で、認識、分類、および決定において必要とされる。

デジタルカメラなどでのビデオのディジタル符号化は、改良された画像圧縮技術に恩恵を受けている分野である。ディジタル画像圧縮は一般的に、無損失方法および損失方法の２つのカテゴリに分類することができる。無損失画像は情報の損失なく復元される。損失方法は、圧縮比、圧縮アルゴリズムの品質、およびアルゴリズムの実現によっては、一部の情報について復元不可能な損失を伴っている。一般的に、損失圧縮アプローチは費用効果的なディジタル映画アプローチに望まれる圧縮比を得ると考えられている。ディジタル映画の品質レベルを得るためには、圧縮アプローチは視覚的に損失のないレベルの性能を提供すべきである。従って、圧縮プロセスの結果として情報の数学的損失はあるが、この損失による画像の歪みは通常の閲覧条件下では閲覧者には知覚されないはずである。

既存のディジタル画像圧縮技術は他のアプリケーション、すなわちテレビシステムに対して開発されてきた。このような技術は目的のアプリケーションにふさわしい設計的な妥協をしてきたが、映画表示に必要な品質要件を満たしていない。

ディジタル映画圧縮技術は、映画ファンがすでに体験している視覚的品質を提供すべきである。理想的には、ディジタル映画の視覚的品質は、高品質の公開版フィルムを超えることを目的とすべきである。同時に、圧縮技術は実用的な、高い符号化効率を有するべきである。ここに定義されているように、符号化効率とは、一定の品質レベルを満たすために、圧縮画像品質に必要なビットレートのことである。さらに、システムおよび符号化技術は異なるフォーマットに対応するための柔軟性を内蔵し、かつ費用効果的な、すなわち小型かつ効率のよい復号化または符号化プロセスであるべきである。

多数の使用可能な圧縮技術が相当な圧縮レベルを提供しているが、ビデオ信号の品質低下を招いている。一般的に、圧縮情報を送信するための技術は、圧縮情報が一定のビットレートで送信されることを要する。

ビデオ信号に所望の品質レベルを維持しつつ、相当な圧縮レベルを提供できる圧縮技術は、符号化離散コサイン変換（ＤＣＴ）係数データの適応サイズのブロックおよびサブブロックを利用している。この技術は以下に、適応ブロックサイズによる離散コサイン変換（ＡＢＳＤＣＴ）方法と称される。この技術は、本発明の譲受人に譲渡され、かつ参照してここに組み込まれている、「適応ブロックサイズによる画像圧縮方法およびシステム（Adaptive Block Size Image Compression Method and System）」と題された、米国特許第５，０２１，８９１号（特許文献１）に開示されている。ＤＣＴ技術はまた、本発明の譲受人に譲渡され、かつ参照してここに組み込まれている、「適応ブロックサイズによる画像圧縮方法およびシステム（Adaptive Block Size Image Compression Method and System）」と題された、米国特許第５，１０７，３４５号（特許文献２）に開示されている。さらに、差分カッドツリー変換（Differential Quadtree Transform）技術と組み合わせたＡＢＳＤＣＴ技術の使用は、これもまた本発明の譲受人に譲渡され、かつ参照してここに組み込まれている、「適応ブロックサイズによる画像圧縮方法およびシステム（Adaptive Block Size Image Compression Method and System）」と題された、米国特許第５，４５２，１０４号（特許文献３）に説明されている。これらの特許に開示されているシステムは、画像データの各フレームが他のフレームのコンテンツに関係なく符号化される、「フレーム内」符号化と称されるものを利用している。ＡＢＳＤＣＴ技術を使用すると、取得可能なデータレートは、目に見える画像品質の劣化なしに、毎秒約１５億ビットから毎秒約５０００万ビットに減少することが可能である。

ＡＢＳＤＣＴ技術を使用して、白黒画像、あるいはカラー画像または画像を表す信号のいずれかを圧縮することができる。カラー入力信号はＹＩＱフォーマットであってもよく、Ｙは輝度、すなわち明度サンプルであり、ＩおよびＱは各４：４：４または別のフォーマットの色度、すなわちカラーサンプルである。ＹＵＶ、ＹＣ_ｂＣ_ｒ、またはＲＧＢフォーマットなどの他の既知のフォーマットもまた使用することができる。色に対する目の空間感覚は低いため、多くの研究は、垂直および水平方向における係数４によるカラー成分のサブサンプルが理想的であることを示している。従って、ビデオ信号は４つの輝度成分と２つの色度成分によって表すことができる。

ＡＢＳＤＣＴを使用して、ビデオ信号は一般的に処理用に画素ブロックに分割される。ブロックごとに、輝度および色度成分がブロックインタリーバに渡される。例えば、１６×１６（画素）ブロックがブロックインタリーバに提供されてもよく、これは各１６×１６ブロック内で画像サンプルを配列または編成し、ブロックを生成して、離散コサイン変換（ＤＣＴ）分析用のデータのサブブロックを複合する。ＤＣＴ演算子は、時間／空間サンプル信号を同じ信号の周波数表示に変換するための方法である。周波数表示に変換することによって、ＤＣＴ技術は、量子化器が画像の周波数分布特徴を利用するように設計可能なように、非常に高レベルの圧縮を見込んでいると示されている。好ましい実施形態において、１個の１６×１６ＤＣＴが第１の配列に適用され、４個の８×８ＤＣＴが第２の配列に適用され、１６個の４×４ＤＣＴが第３の配列に適用され、そして６４個の２×２ＤＣＴが第４の配列に使用される。

ＤＣＴ動作はビデオソースに固有の空間冗長性を減少させる。ＤＣＴが実行された後、ビデオ信号エネルギーの多くは少数のＤＣＴ係数に集中しやすい。別の変換である、差分カッドツリー変換（ＤＱＴ）を使用して、ＤＣＴ係数間の冗長性を減少させることができる。

１６×１６ブロックと各サブブロックについて、ＤＣＴ係数値と（ＤＱＴが使用される場合には）ＤＱＴ値を分析して、ブロックやサブブロックを符号化するのに必要なビット数を決定する。そして、符号化に最小のビット数でよいブロックまたはサブブロックの組み合わせが選択されて、画像セグメントを表す。例えば、２個の８×８サブブロックと、６個の４×４サブブロックと、８個の２×２サブブロックが選択されて、画像セグメントを表すことができる。

選択されたブロック、またはサブブロックの組み合わせは、１６×１６ブロックに適切に配列される。ＤＣＴ／ＤＱＴ係数値は、送信用に周波数重み付け、量子化、および符号化（可変長符号化など）を実行してもよい。上記のＡＢＳＤＣＴ技術は極めて良好に機能するが、計算的に集中してしまう。

さらに、ＡＢＳＤＣＴの使用は視覚的には無損失であるが、データが符号化された正確な方法で復元することが望ましいこともある。例えば、修得かつ保存目的は、その固有のドメインに正しく復元できる方法でデータを圧縮することを要する。

従来、画像用の無損失圧縮システムは、符号化される現在の画素の値を推定するプレディクタからなっている。残差画素は、実際の画素と予測画素間の差として得られる。そして残差画素はエントロピー符号化され、記憶または送信される。予測は画素の相関を排除するため、残差画素は、特徴両面指数（ラプラシアン）分布を有する縮小された動的範囲を有する。従って圧縮である。残差の圧縮量は、予測と、後続のエントロピー符号化方法の双方に依拠している。最も一般的に使用されている予測方法は、差分パルス変調（ＤＰＣＭ）と、適応ＤＰＣＭ（ＡＤＰＣＭ）などのこの変形である。

ペルベースの予測に伴う問題は、残差が依然として高エネルギーを有していることである。これは、少数の隣接画素のみが予測プロセスに使用されることに起因する。従って、ペルベースの予測スキームの符号化効率を改善する余地がある。
米国特許第５，０２１，８９１号 米国特許第５，１０７，３４５号 米国特許第５，４５２，１０４号 米国特許出願第０９／４３６，０８５号 米国特許出願第０９／４９４，１９２号 米国特許出願第０９／８９８，２８４号 代理人整理番号第０１０４２１号

本発明の実施形態は、ディジタル画像およびビデオデータを無損失に符号化して圧縮を実行するためのシステムについて説明している。本システムはハイブリッドであり、これは、前記データを損失的に圧縮する部分と、残差データを無損失に圧縮する部分とを有するということを意味している。損失部分については、本システムは適応ブロックサイズによる離散コサイン変換（ＡＢＳＤＣＴ）アルゴリズムを使用している。ＡＢＳＤＣＴシステムは前記データを圧縮して、高い視覚的品質と圧縮比をもたらす。残差画像はＡＢＳＤＣＴシステムから、オリジナル画像と解凍画像との差として得られる。この残差はゴロム・ライス（Ｇｏｌｏｍｂ−Ｒｉｃｅ）符号化アルゴリズムを使用して無損失に符号化される。ＤＣＴ係数の視覚ベースの適応ブロックサイズおよび量子化ゆえに、残差は非常に低いエネルギーを有しており、それによって良好な、全無損失圧縮比を得ることになる。

ＡＢＳＤＣＴシステムは映画品質において高圧縮比を達成する。これはブロックベースであるために、ペルベースのスキームよりもかなり良好に画素の相関を排除する。従って、これが、ここで説明される無損失システムにおいてプレディクタとして使用される。このプレディクタと関連して、無損失符号化システムが追加されてハイブリッド無損失圧縮システムを形成する。本システムは動画像ならびに静止画像をも圧縮できることに注目すべきである。静止画像である場合、ＡＢＳＤＣＴ圧縮データおよびエントロピー符号化残差データのみが圧縮出力として使用される。動きシーケンスについては、フレーム内圧縮とフレーム間圧縮のいずれを使用するかが決定される。例えば、ｆ（ｔ）が時間定数ｔにおける画像フレームを表している場合、Ｆ（ｔ）とＦ（ｔ＋Δｔ）は、時間定数ｔおよびｔ＋Δｔにおける画像フレームのＤＣＴをそれぞれ示している。Δｔは２つの連続するフレーム間の時間間隔に相当することに注目すべきである。

本発明は、データが符号化された正確な方法でデータを復元できるようにする、データを圧縮するための装置および方法において実現される。実施形態は、フレーム内符号化、フレーム間符号化、またはこれら２つのハイブリッドを実行するシステムを備えている。本システムは、離散コサイン変換係数データの適応サイズのブロックおよびサブブロックを利用する品質ベースのシステムである。画像を表す信号を無損失復号化するための方法が特許請求されている。損失圧縮データファイルと残差圧縮データファイルが受信される。損失圧縮データファイルはＤＣ係数とＡＣ係数とに分離され、別個に復号化され、ＤＣ値とＡＣ値を決定する。ＤＣ値とＡＣ値が逆量子化されて、損失解凍データを生成する。残差圧縮データファイルは復号化されて残差解凍データを生成する。損失解凍周波数データが残差解凍データと結合されて無損失データファイルを生成し、この場合無損失データファイルは実質的にオリジナル画像と同じである。

ＡＢＳＤＣＴなどのハイブリッド圧縮システムの使用は、画素またはＤＣＴ値の良好なプレディクタのように作用する。従って、ペルベースの予測よりも高い無損失圧縮比をもたらす。無損失部分については、ハフマン符号と異なり、ゴロム・ライス符号化は、事前の符号生成をまったく必要としない。従って、ハフマン符号化のように、膨大な符号ブックを記憶する必要がない。これは、チップのリアルエステートの効率的使用をもたらす。それゆえに、チップサイズがハードウェア実現において縮小される。さらに、ゴロム・ライス符号化はハフマン符号化よりもかなり簡単に実現できる。また、ゴロム・ライス符号化は、ＤＣＴ係数または残差が当然指数分布を有しているために、ハフマン符号化よりも高い符号化効率を達成している。さらに、圧縮システムの損失部分はブロックの再分割において視覚的に重要な情報を使用しているので、コンテクストのモデリングは残差符号化に固有である。これは、余分な記憶レジスタが、残差符号化用のコンテクストデータを収集するためには必要ないという点で重要である。動き推定が全く使用されないため、システムは実現についても非常に簡素である。

従って、実施形態の態様は、無損失圧縮を効率的に提供するための装置および方法を提供することである。

実施形態の別の態様は、修得かつ保存目的の助けとなる方法で、ディジタル画像および音声情報を無損失に圧縮することである。

本発明の特徴および利点は、図面と関連してなされる以下の詳細な説明からより明らかになるであろう。図面全体において同一の参照番号は同一部分を識別している。

ディジタル信号のディジタル送信を容易にし、かつ相当の利益を享受するために、一般的に信号圧縮の複数の形態を採用することが必要である。生じた画像の高圧縮を得るためには、画像の高品質が維持されることもまた重要である。さらに、計算効率がコンパクトなハードウェアの実現に望まれ、これは多数のアプリケーションにおいて重要である。

本発明の一実施形態を詳細に説明する前に、本発明は、その適用において以下に説明および図示される構成要素の構成および配置の詳細に限定されないことを理解すべきである。本発明は他の実施形態も可能であり、種々の方法で実行される。また、ここで使用されている表現および専門用語は説明目的のためであり、限定とみなされるべきではない。

一実施形態の態様において用いられる画像圧縮は、本出願の譲受人に譲渡され、かつ参照してここに組み込まれている、１９９９年１１月８日に出願された、「一定の感度分散に基づく適応ブロックサイズによるＤＣＴ画像圧縮（Constant Sensitive Variance Based Adaptive Block Size DCT Image Compression）」という、同時係属の米国特許出願第０９／４３６，０８５号（特許文献４）に開示されるような離散コサイン変換（ＤＣＴ）技術に基づいている。ＤＣＴを利用する画像圧縮／解凍システムは、本出願の譲受人に譲渡され、かつ参照してここに組み込まれている、２０００年１月２８日に出願された、「品質ベースの画像圧縮（Quality Based Image Compression）」という、同時係属の米国特許出願第０９／４９４，１９２号（特許文献５）に説明されている。一般的に、ディジタルドメインで処理される画像は、Ｎ×Ｎサイズの非重複ブロックアレイに分割された画素データからなる。二次元ＤＣＴが各ブロックで実行されてもよい。二次元ＤＣＴは以下の関係によって定義される。

ここで、
ｘ（ｍ，ｎ）はＮ×Ｍブロック内の位置（ｍ，ｎ）の画素であり、
Ｘ（ｋ，ｌ）は対応するＤＣＴ係数である。

画素値は負ではないので、ＤＣＴ成分Ｘ（０，０）は常に正であり、常に最大エネルギーを有する。実際、一般的な画像については、変換エネルギーの大半が成分Ｘ（０，０）付近に集中している。このエネルギー圧縮特徴によって、ＤＣＴ技術は非常に魅力的な圧縮方法となっている。

画像圧縮技術はコントラスト適応符号化を利用して、更なるビットレートの減少を実現する。多くの自然画像が比較的ゆっくり変化する平らな領域と、オブジェクトの境界およびハイコントラストテクスチャなどの込み入った領域とで形成されていることが分かっている。コントラスト適応符号化スキームは、込み入った領域に多数のビットを、またそれほど込み入っていない領域には少数のビットを割り当てることによってこの要因をうまく活用している。

コントラスト適応方法は、フレーム間符号化（時空処理）ではなくフレーム内符号化（空間処理）を利用する。フレーム間符号化は本質的に、多数の複雑な処理回路に加えて多数のフレームバッファを必要とする。多数のアプリケーションにおいて、複雑さの減少は実行に必要である。フレーム内符号化はまた、時空符号化スキームが正常に機能せず、うまく行かない状況において有用である。例えば、毎秒２４個のフレームの動画は、機械的シャッターによる統合時間が比較的短いため、このカテゴリに入る。短い統合時間はより高い時間エリアシング度を許容する。フレーム対フレームの相関の前提は、それが発作性になると、速い動きに対して正常に機能しない。フレーム内符号化はまた、５０Ｈｚおよび６０Ｈｚの電力ライン周波数の双方を伴う場合には、標準化するのがより容易である。現在テレビは５０Ｈｚか６０Ｈｚのいずれかで信号を送信している。ディジタルアプローチであるフレーム内スキームの使用は、フレームレートと空間解像度を交換することによって、５０Ｈｚおよび６０Ｈｚの動作の双方に、または毎秒２４個のフレームの動画にさえも適応可能である。

画像処理目的のため、ＤＣＴ動作は非重複ブロックアレイに分割されている画素データで実行される。ブロックサイズはここではＮ×Ｎサイズとして論じられているが、種々のブロックサイズの使用が想定されていることに注目すべきである。例えば、Ｎ×Ｍブロックサイズを使用することができる（ここでＮおよびＭの両方とも整数であり、ＭはＮより大きくても小さくてもよい）。別の重要な態様は、ブロックが、Ｎ／ｉ×Ｎ／ｉ、Ｎ／ｉ×Ｎ／ｊ、Ｎ／ｉ×Ｍ／ｊなどの（ここでｉおよびｊは整数である）少なくとも１つのサブブロックレベルに分割されることである。さらに、ここで論じられている例示的ブロックサイズは、ＤＣＴ係数の対応するブロックおよびサブブロックを有する１６×１６画素ブロックである。奇数および偶数の値の両方の、他の種々の整数の使用、例えば９×９がさらに想定されている。

図１および２は、構成可能な直列化器の概念を組み込んでいる画像処理システム１００を示している。画像処理システム１００は、受信ビデオ信号を圧縮する符号器１０４を備えている。圧縮信号は送信チャネル、すなわち物理的媒体１０８を使用して送信され、復号化器１１２によって受信される。復号化器１１２は受信した符号化データを画像サンプルに復号化し、その後これは表示されてもよい。

一般的に、画像は処理用に画素ブロックに分割される。カラー信号はＲＢＧ／ＹＣ_１Ｃ_２コンバータ１１６を使用してＲＧＢ空間からＹＣ_１Ｃ_２空間に変換されることが可能であり、この場合、Ｙは輝度すなわち明度成分であり、Ｃ_１およびＣ_２は色度すなわちカラー成分である。色に対する目の空間感度は低いため、多数のシステムがＣ_１およびＣ_２成分を垂直および水平方向における係数４によってサブサンプリングする。しかしながら、サブサンプリングは不要である。４：４：４フォーマットとして既知の最大解像度画像は、「ディジタル映画」をカバーすると言われるような一部のアプリケーションにおいては非常に有用、あるいは必要であろう。２つの可能なＹＣ_１Ｃ_２表示は、双方とも当業界において既知である、ＹＩＱ表示およびＹＵＶ表示である。ＹＣｂＣｒとして知られているＹＵＶ表示の変形を用いることも可能である。これはさらに、奇数および偶数成分に分割されてもよい。従って、実施形態において、表示Ｙ−ｅｖｅｎ、Ｙ−ｏｄｄ、Ｃｂ−ｅｖｅｎ、Ｃｂ−ｏｄｄ、Ｃｒ−ｅｖｅｎ、Ｃｒ−ｏｄｄが使用される。

好ましい実施形態において、偶数および奇数のＹ、Ｃｂ、およびＣｒ成分の各々はサブサンプリングなしで処理される。従って、１６×１６画素ブロックの６つの成分の各々の入力は符号器１０４に提供される。図示目的のために、Ｙ−ｅｖｅｎ成分に対する符号器１０４が示されている。同様の符号器がＹ−ｏｄｄ成分と、偶数および奇数のＣｂおよびＣｒ成分に使用される。符号器１０４はブロックサイズ割当要素１２０を備えており、これはビデオ圧縮用にブロックサイズ割当を実行する。ブロックサイズ割当要素１２０は、ブロックの画像の視覚的特徴に基づいて１６×１６ブロックのブロック分解を決定する。ブロックサイズ割当は各１６×１６ブロックを、１６×１６ブロック内の動きによってカッドツリー方式で、８×８、４×４、および２×２などのより小さいブロックに再分割する。ブロックサイズ割当要素１２０はＰＱＲデータと呼ばれるカッドツリーデータを生成し、その長さは１〜２１ビットの間である。従って、ブロックサイズ割当が、１６×１６ブロックを分割すると決定すると、ＰＱＲデータのＲビットが設定され、４個の分割された８×８ブロックに対応するＱデータの４個のさらなるビットが続く。ブロックサイズ割当が、８×８ブロックのいずれかを再分割すると決定すると、再分割された８×８ブロックごとのＰデータの４個のさらなるビットが追加される。

次に図３を参照すると、ブロックサイズ割当要素１２０の動作の詳細を示している図が示されている。ブロックの分散が、ブロックの再分割を決定する際の基準として使用されている。ステップ２０２で開始し、１６×１６画素ブロックが読み取られる。ステップ２０４において、１６×１６ブロックの分散ｖ１６が計算される。分散は以下のように計算される。

ここでＮ＝１６であり、ｘ_ｉ，ｊはＮ×Ｎブロック内のｉ行目、ｊ列目の画素である。ステップ２０６において、ブロックの平均値が２つの所定値間にある場合には、まず分散閾値Ｔ１６を変形して新たな閾値Ｔ’１６を提供し、次いでブロック分散を新たな閾値Ｔ’１６と比較する。

分散ｖ１６が閾値Ｔ１６以下の場合、ステップ２０８において、１６×１６ブロックの開始アドレスが一時的記憶装置に書き込まれ、ＰＱＲデータのＲビットが０に設定されて、１６×１６ブロックは再分割されないことを示す。そしてアルゴリズムは次の１６×１６画素ブロックを読み取る。分散ｖ１６が閾値Ｔ１６より大きい場合、ステップ２１０において、ＰＱＲデータのＲビットが１に設定されて、１６×１６ブロックが４個の８×８ブロックに分割されることを示す。

４個の８×８ブロック（ｉ＝１：４）は、ステップ２１２に示されているように、順次さらに再分割されると考えられる。８×８ブロックごとに、分散ｖ８_ｉがステップ２１４において計算される。ステップ２１６において、ブロックの平均値が２つの所定値間にある場合にはまず分散閾値Ｔ８を変形して新たな閾値Ｔ’８を提供し、次いでブロック分散をこの新たな閾値と比較する。

分散ｖ８_ｉが閾値Ｔ８以下である場合、ステップ２１８において、８×８ブロックの開始アドレスが一時的記憶装置に書き込まれ、対応するＱビットＱ_ｉが０に設定される。そして次の８×８ブロックが処理される。分散ｖ８_ｉが閾値Ｔ８より大きい場合、ステップ２２０において、対応するＱビットＱ_ｉが１に設定され、８×８ブロックが４個の４×４ブロックに再分割されることを示す。

４個の４×４ブロック（ｊ_ｉ＝１：４）は、ステップ２２２において示されているように、順次さらに再分割されると考えられる。４×４ブロックごとに、分散ｖ４_ｉｊがステップ２２４において計算される。ステップ２２６において、ブロックの平均値が２つの所定値間にある場合、まず分散閾値Ｔ４が変形されて新たな閾値Ｔ’４を提供し、次いでブロック分散がこの新たな閾値と比較される。

分散ｖ４_ｉｊが閾値Ｔ４以下である場合、ステップ２２８において、４×４ブロックのアドレスが書き込まれ、対応するＰビットＰ_ｉｊが０に設定される。そして次の４×４ブロックが処理される。分散ｖ４_ｉｊが閾値Ｔ４より大きい場合、ステップ２３０において、対応するＰビットＰ_ｉｊが１に設定され、４×４ブロックが４個の２×２ブロックに再分割されることを示す。加えて、４個の２×２ブロックのアドレスが一時的記憶装置に書き込まれる。

閾値Ｔ１６、Ｔ８、およびＴ４は所定の定数であってもよい。これは硬判定として知られている。あるいはまた、適応または軟判定が実行されてもよい。例えば、軟判定は２Ｎ×２Ｎブロックの平均画素値によって分散の閾値を変化させる（ここでＮは８、４、または２であってもよい）。従って、平均画素値の関数を閾値として使用することができる。

図示目的のために、以下の例を考える。Ｙ成分の所定の分散閾値を、１６×１６ブロック、８×８ブロック、および４×４ブロックに対してそれぞれ５０、１１００、および８８０とする。すなわち、Ｔ１６＝５０、Ｔ８＝１１００、およびＴ４＝８８０となる。平均値の範囲を８０〜１００とする。１６×１６ブロックに対して計算された分散は６０であるとする。６０はＴ１６より大きいため、平均値９０は８０と１００の間であり、１６×１６ブロックは４個の８×８サブブロックに再分割される。８×８ブロックに対して計算された分散は１１８０、９３５、９８０、および１２１０とする。８×８ブロックのうちの２つはＴ８以上の分散を有しているため、これら２つのブロックはさらに再分割され、合計８個の４×４サブブロックを生成する。最後に、８個の４×４ブロックの分散は６２０、６３０、６７０、６１０、５９０、５２５、９３０、および６９０であり、対応する平均値は９０、１２０、１１０、１１５であるとする。第１の４×４ブロックの平均値は範囲（８０、１００）内にあるため、その閾値は、８８０未満のＴ’４＝２００に低下する。従って、この４×４ブロックは７個の４×４ブロックと同様に再分割される。

同様の手順を使用してブロックサイズを輝度成分Ｙ−ｏｄｄ、およびカラー成分Ｃ_{ｂ−ｅｖｅｎ}、Ｃ_{ｂ−ｏｄｄ}、Ｃ_{ｒ−ｅｖｅｎ}およびＣ_{ｒ−ｏｄｄ}に割り当てることに注目すべきである。カラー成分は水平、垂直、または両方で間引きされてもよい。

さらに、ブロックサイズ割当は、最大ブロック（本例では１６×１６ブロック）がまず評価されるトップダウンアプローチとして説明されているが、ボトムアップアプローチを使用してもよいことに注目すべきである。ボトムアップアプローチはまず最小ブロック（本例では２×２ブロック）を評価する。

図１を再び参照すると、選択ブロックのアドレスに伴うＰＱＲデータがＤＣＴ要素１２４に提供される。ＤＣＴ要素１２４はＰＱＲデータを使用して、適切なサイズの離散コサイン変換を選択ブロックに実行する。選択ブロックのみがＤＣＴ処理を実行する必要がある。

画像処理システム１００もまた、ＤＣＴのＤＣ係数間の冗長性を低下させるためのＤＱＴ要素１２８を備えている。ＤＣ係数は各ＤＣＴブロックの左上角で遭遇する。一般的にＤＣ係数はＡＣ係数と比較される。サイズの相違によって、効率的な可変長符号器を設計することは困難である。従って、ＤＣ係数間の冗長性を低下させることは有利なことである。

ＤＱＴ要素１２８は、一度に２×２ずつ、二次元ＤＣＴをＤＣ係数に実行する。４×４ブロック内の２×２ブロックで開始して、二次元ＤＣＴは４個のＤＣ係数に実行される。この２×２ＤＣＴは４個のＤＣ係数の差分カッドツリー変換、すなわちＤＱＴと称される。次に、８×８ブロック内の３つの隣接するＤＣ係数に伴うＤＱＴのＤＣ係数を使用して、次のレベルのＤＱＴを計算する。最後に、１６×１６ブロック内の４個の８×８ブロックのＤＣ係数を使用して、ＤＱＴを計算する。従って、１６×１６ブロックにおいて、１つの真のＤＣ係数が存在し、残りはＤＣＴおよびＤＱＴに対応するＡＣ係数である。

変換係数（ＤＣＴおよびＤＱＴ双方）が量子化用の量子化器に提供される。好ましい実施形態において、ＤＣＴ係数は周波数重みマスク（ＦＷＭ）および量子化スケール係数を使用して量子化される。ＦＷＭは入力されたＤＣＴ係数のブロックと同一次元の周波数重みのテーブルである。周波数重みは異なる重みを異なるＤＣＴ係数に適用する。重みは、人間の視覚または光学システムが敏感な周波数コンテンツを有する入力サンプルを強調し、かつ視覚または光学システムが敏感ではない周波数コンテンツを有するサンプルを強調しないように設計されている。重みはまた見える距離などの要因に基づいて設計されてもよい。

重みは経験上のデータに基づいて選択される。８×８ＤＣＴ係数に対する重みマスクを設計するための方法は、参照してここに組み込まれている、１９９４年の国際標準機構（International Standards Organization）による、ＩＳＯ／ＩＥＣ ＪＴＣ１ ＣＤ１０９１８の、「連続トーンの静止画像のディジタル圧縮および符号化―パート１：要件および指針（Digital compression and encoding of continuous-tone still images - Part 1: Requirement and guideline）に開示されている。一般的に、２つのＦＷＭが設計され、１つは輝度成分用で、もう１つは色度成分用である。ブロックサイズ２×２と４×４のＦＷＭテーブルは間引きによって得られ、１６×１６のＦＷＭテーブルは８×８ブロックの補間によって得られる。スケール係数は量子化係数の品質およびビットレートを制御する。

従って、各ＤＣＴ係数は以下の関係に従って量子化される。

ここでＤＣＴ（ｉ，ｊ）は入力ＤＣＴ係数であり、ｆｗｍ（ｉ，ｊ）は周波数重みマスクであり、ｑはスケール係数であり、ＤＣＴｑ（ｉ，ｊ）は量子化係数である。ＤＣＴ係数の符号によって大括弧内の第１の項は切り上げまたは切り捨てられることに注目すべきである。ＤＱＴ係数はまた適切な重みマスクを使用して量子化される。しかしながら、複数のテーブルまたはマスクが、Ｙ、Ｃｂ、およびＣｒ成分の各々に使用および適用されてもよい。

そしてＡＣ値はＤＣ値から分離されて（１３０）、別個に処理される。ＤＣ要素については、各スライスの第１のＤＣ成分値が符号化される。そして各スライスの各後続のＤＣ成分値は、これと、これに続くＤＣ成分値間の差として表され、符号化される（１３４）。無損失符号化について、各スライスの最初のＤＣ成分値と差は、図１０および１２に関して説明されているように、ゴロム・ライスを使用する符号化である（１３８）。連続するＤＣ成分値間の差についてゴロム・ライス符号化を使用することは、ＤＣ成分値の差分が両面指数分布を有する傾向がある点において好都合である。そしてデータはバッファ１４２を使用して一時的に記憶され、次いで送信チャネル１０８を介して復号化器１１２に転送または送信されてもよい。

図１２はＤＣ成分値を符号化するプロセスを示している。プロセスは、静止画像、ビデオ画像（動画または高画質テレビなどであるが、これらに限定されない）、および音声に等しく適用可能である。データの所与のスライスについて（８０４）、スライスの第１のＤＣ成分値が検索される（８０８）。そして第１のＤＣ成分値は符号化される（８１２）。ＡＣ成分値と異なり、ＤＣ成分値は量子化される必要がない。実施形態において、１６×１６ブロックの単一のＤＣ値は、ブロックサイズ割当のブレークダウンに関係なく使用される。８×８や４×４などの任意の固定サイズのブロックや、ブロックサイズ割当によって定義されているような任意の可変ブロックサイズを使用してもよいことが意図されている。そして所与のスライスの第２の、すなわち次のＤＣ成分値が検索される（８１６）。そして第２のＤＣ成分値は第１のＤＣ成分値と比較され、差すなわち残差は符号化される（８２０）。従って、第２のＤＣ成分値は、第１の値との差として表されることのみを必要としている。このプロセスは、スライスのＤＣ成分値ごとに反復される。従って、スライスの終わり（最終ブロック、従って最終ＤＣ値）に達したか否かの問い合わせがなされる（８２４）。もし達していなければ（８２８）、スライスの次のＤＣ値が検索され（８１６）、プロセスが反復する。もし達していれば（８３２）、次のスライスが検索されて（８０４）、フレームの全スライス、およびファイルの全フレームが処理されるまでプロセスは反復する。

ＤＣ成分値の無損失符号化の目的は、低分散を有する傾向のある残差値を生成することである。ＤＣＴを使用する際に、ＤＣ係数成分値は最大画素エネルギーを提供する。従って、ＤＣ成分値を量子化せずに、残差の分散は減少する。

ＡＣ要素について、データブロックおよび周波数重みマスクは量子化器１４６、すなわちスケール係数要素によってスケーリングされる。ＤＣＴ係数の量子化は多数の係数を、圧縮をもたらすゼロに減少させる。好ましい実施形態において、平均ビットレートに対応する３２個のスケール係数がある。ＭＰＥＧ２などの他の圧縮方法と異なり、平均ビットレートは、目標ビットレートおよびバッファ状態ではなく、処理画像の品質に基づいて制御される。

さらに圧縮を増大させるために、量子化係数は走査直列化器１５０に提供される。直列化器１５０は量子化係数のブロックを走査して、量子化係数の直列化ストリームを生成する。ジグザグ走査、列走査、あるいは行走査が用いられてもよい。ジグザグ以外のパターンのみならず多数の異なるジグザグ走査パターンもまた選択されてもよい。好ましい技術は、８×８ブロックサイズをジグザグ走査に用いている。量子化係数のジグザグ走査はゼロ値の大きなランに遭遇する確率を高める。このゼロランは本質的に確率が低く、ハフマン符号を使用して効率的に符号化されてもよい。

直列化かつ量子化ＡＣ係数のストリームが可変長符号器１５４に提供される。ＡＣ成分値はハフマン符号化およびゴロム・ライス符号化のいずれかを使用して符号化されてもよい。ＤＣ成分値に対して、ゴロム・ライス符号化が利用される。ランレングス符号器はゼロ間の係数を非ゼロ係数から分離し、図１０に関して詳細に説明されている。実施形態において、ゴロム・ライス符号化が利用される。ゴロム・ライス符号化は、指数分布を有する負でない整数を符号化する際に効率的である。ゴロム符号の使用は、より短い長さ符号を指数分布変数に提供する際の圧縮により最適である。

ゴロム符号化ランレングスにおいて、ゴロム符号は、負でない整数ｍによってパラメータ化される。例えば、パラメータｍとすると、正の整数ｎのゴロム符号化は、変形バイナリ符号によって表される余りが続く単項式におけるｎ／ｍの商によって表され、これは余りが２^{［ｌｏｇ２ｍ］}−ｍ未満の場合には［ｌｏｇ_２ｍ］ビット長であり、そうでない場合は［ｌｏｇ_２ｍ］ビット長である。ゴロム・ライス符号化は、パラメータｍがｍ＝２^ｋとして表されるゴロム符号化の特殊な場合である。このような場合、ｎ／ｍの商は整数ｎのバイナリ表示をｋビットだけ右にシフトすることによって得られ、ｎ／ｍの余りはｎの最小ビットｋによって表される。従って、ゴロム・ライス符号は２の連結である。ゴロム・ライス符号化を使用して、正および負の整数の両方を、以下の式によって与えられる両面幾何学（指数）分布によって符号化することができる。

（１）において、αはｘの確率の減少を特徴付けるパラメータであり、ｃは正規化定数である。ｐ_α（ｘ）は単調なので、整数値のシーケンスは以下の式を満足させるはずである。

図４、５、６、および７、８、９に示されているように、量子化ＤＣＴ係数マトリクスのゼロランおよび振幅の双方とも指数分布を有している。これらの図面に示されている分布は実画像からのデータに基づいている。図４は、ゼロランレングス対相対周波数のＹ成分分布４００を示している。同様に、図５および６は、ゼロランレングス対相対周波数４１０と４２０のＣ_ｂおよびＣ_ｒ成分分布をそれぞれ示している。図７は、振幅サイズ対相対周波数のＹ成分分布５００を示している。同様に、図８および９は、振幅サイズ対相対周波数５１０と５２０のＣｂおよびＣｒ成分分布をそれぞれ示している。図７、８、および９においてプロットがＤＣＴ係数のサイズの分布を表していることに注目すべきである。各サイズは係数値の範囲を表している。例えば、４のサイズ値は、全１６個の値である、｛−１５、−１４、・・・−８、８、・・・１４、１５｝という範囲を有している。同様に、１０のサイズ値は、全１０２４個の値である、｛−１０２３、−１０２２、・・・、−５１２、５１２、・・・、１０２２、１０２３｝という範囲を有している。図４、５、６、７、８、および９から、ランレングスおよび振幅サイズの双方が指数分布を有していることが分かる。振幅の実際の分布は以下の式（３）に適合するように示されている。

（３）において、Ｘ_ｋ，ｌは、それぞれ垂直および水平次元における周波数ｋおよびｌに対応するＤＣＴ係数を表しており、平均

、分散

である。従って、説明されているようにゴロム・ライス符号化を使用することは、ＤＣＴにおけるデータを処理する際により最適である。

以下は画像データの圧縮に関して説明されているが、実施形態は、音声データを圧縮する実施形態にも同様に適用可能である。画像データを圧縮する際に、画像またはビデオ信号は、例えば、線形または対数復号化画素値を有するＲＧＢ、ＹＩＱ、ＹＵＶ、またはＹＣｂＣｒ成分のいずれかであってもよい。

図１０は、ゼロおよび非ゼロ係数を符号化するプロセス６００を示している。ＤＣＴマトリクスが走査されると、ゼロおよび非ゼロ係数は別個に処理されて分離される（６０４）。ゼロデータについて、ゼロランの長さが決定される（６０８）。ランレングスは正の整数であることに注目すべきである。例えば、ランレングスがｎであると分かると、ゴロムパラメータｍが決定される（６１２）。実施形態において、ゴロムパラメータはランレングスの関数として決定される。別の実施形態において、ゴロムパラメータ（ｍ）は以下の式（４）によって決定される。

任意に、ランレングスの長さおよび関連ゴロムパラメータはカウンタすなわちレジスタによってカウントされる（６１６）。ゼロｎのランレングスを符号化するために、商が符号化される（６２０）。実施形態において、商はゼロのランレングスおよびゴロムパラメータの関数として決定される。別の実施形態において、商（Ｑ）が以下の式（５）によって決定される。

実施形態において、商Ｑは単項式の符号によって符号化され、これはＱ＋１ビットを要する。次に、余りが符号化される（６２４）。実施形態において、余りはランレングスと商の関数として符号化される。別の実施形態において、余り（Ｒ）は以下の式（６）を使用して決定される。

実施形態において、余りＲはｍビットのバイナリコードで符号化される。商Ｑおよび余りＲが決定された後、ＱおよびＲに対する符号が連結され（６２８）、ゼロｎのランレングスに対する全符号を表す。

非ゼロ係数もまたゴロム・ライスを使用して符号化される。係数振幅は正または負であるため、符号ビットを使用し、所与の振幅の絶対値を符号化することが必要である。非ゼロ係数の振幅をｘとすると、振幅は、振幅の絶対値と符号の関数として表されてもよい。従って、振幅は以下の式（７）を使用してｙと表されてもよい。

従って、非ゼロ係数の値は任意に、カウンタすなわちレジスタによってカウントされる（６３２）。そして、振幅がゼロ以上であるか否かが判断される（６３６）。そうであれば、値は所与の値の２倍に符号化される（６４０）。そうでなければ、値は絶対値の２倍未満に符号化される（６４４）。他のマッピングスキームもまた用いてもよいことが意図されている。重要なことは、値の符号を消去するための余分なビットが不要であることである。

式（７）によって表されるように振幅を符号化することは、偶数である正の値ｘおよび負の値が奇数になることをもたらす。さらに、このマッピングは、（２）のようなｘの確率割当を保存する。式（７）に示されているような符号化の利点は、正および負の数字を表すための符号ビットの使用を回避できることである。マッピングが実行された後、ｙはゼロランに対して実行されたのと同様に符号化される。手順は、全係数が現在のブロックにおいて走査されるまで継続される。

本発明の実施形態は、式（１）〜（７）の関数として係数およびランレングスの値を決定するが、正確な式（１）〜（７）は使用する必要がないことを認識することが重要である。画像および音声データのより効率的な圧縮を許容するのはゴロム・ライス符号およびＤＣＴ係数の指数分布の利用である。

符号化後のゼロランは非ゼロ振幅から消去可能であるため、固定長の特殊語頭符号を使用して最初のゼロランを発生させることが必要であろう。非ゼロ振幅に遭遇した後にブロックにおける全ゼロに遭遇することは共通である。このような場合、ゴロム・ライス符号よりもむしろエンドオブブロック（ＥＯＢ）符号と称する符号を使用することがより効率的であろう。任意に、ＥＯＢ符号はまた特殊固定長符号である。

式（１）〜（３）によると、ＤＣＴ係数マトリクスにおける振幅またはランレングスの確率分布はαまたはλによってパラメータ化される。特定のＤＣＴ係数ブロックが生じている場合には符号化効率が改善されるであろうことを意味している。そして対象量を符号化するための適切なゴロム・ライスパラメータが使用されてもよい。実施形態において、カウンタすなわちレジスタを各ランレングスおよび振幅サイズに使用して、それぞれの累積値と、そのような値が生じる対応する回数を計算する。例えば、累算されている要素の累積値と数を記憶するレジスタがそれぞれＲ_ｒｌとＮ_ｒｌである場合、以下の式（６）をゴロム・ライスパラメータとして使用してランレングスを符号化することができる。

同様の手順を振幅について使用することができる。

残差画素が、ＡＢＳＤＣＴ復号化器を使用して最初に圧縮データを解凍し、次いでそれをオリジナルデータから減算することによって生成される。残差の動的範囲が狭いほど、圧縮は大きくなる。圧縮がブロックベースであるため、残差はまたブロック単位で生成される。残差画素が、通常はゼロに集中した両面指数分布を有することは既知の事実である。ゴロム・ライス符号がこのようなデータにより最適であるために、ゴロム・ライス符号化手順を使用して残差データを圧縮する。しかしながら、符号化されるランレングスは存在しないため、特殊符号は必要ない。さらに、ＥＯＢ符号の必要性もない。従って、圧縮データは２つの成分からなる。一つは損失圧縮器からの成分で、もう一つは無損失圧縮器からのものである。

動きシーケンスを符号化する場合、時間相関を利用することによっても恩恵を受ける。時間相関を完全に利用するためには、まず画素変位を動きによって推定し、次いで動き補償予測を実行して残差画素を得る。ＡＢＳＤＣＴが適応ブロックサイズによる符号化を実行すると、ブロックサイズ情報が、動きによる変位の基準として代替的に使用されてもよい。さらなる簡略化として、シーンチェンジ検出は使用されない。その代わり、シーケンスにおけるフレームごとに、フレーム内圧縮データが最初に得られる。そして現在および前のフレームＤＣＴ間の差がブロック単位で生成される。ＤＣＴドメインにおけるこれらの残差はハフマンおよびゴロム・ライス符号化手順の双方を使用して符号化される。そして最終圧縮出力は、フレームあたり最小ビット数を使用する出力に対応している。

図１３はハイブリッド無損失符号化装置９００を示している。図１４はこのような装置上で稼動してもよいプロセスを示している。オリジナルディジタル情報９０４は記憶装置上に存在し、あるいは送信される。図１３の要素の多くは図１および２に関してより詳細に説明されている。データのフレームは、ブロックサイズ割当要素９１２と、ＤＣＴ／ＤＱＴ変換要素９１６と、量子化器９２０と、直列化器９２１とを備えている圧縮器９０８に送られる。ＤＣＴ／ＤＱＴがデータに対して実行された後、データは周波数ドメインに変換される。１つの出力９２２において、データは量子化器９２０によって量子化され、出力９２４に転送され、これは記憶および／またはスイッチングを備えていてもよい。上記の処理のすべてはフレーム内である。

量子化器の出力はまた解凍器９２８に転送される。別の実施形態において、ハフマン直列化器９２１などの直列化器の出力は解凍器に転送される。任意に、直列化器９２１の出力はまた、解凍器９２８の前に逆直列化器（図示せず）を通過してもよい。解凍器９２８は、ＢＳＡによって定義されているようなＰＱＲデータの情報に伴って、逆量子化器９３２およびＩＤＱＴ／ＩＤＣＴ９３６を通過する圧縮器のプロセスを実行する。解凍器９４０の結果は減算器９４４に供給され、そこでオリジナルと比較される。解凍データとオリジナルとの比較の結果９４８は画素残差ファイルである。つまり、結果９４８は、圧縮済みおよび未圧縮のデータが経験した損失を示している。従って、オリジナルデータは結果９４８と組み合わさった出力９２２に等しい。そして結果９４８は直列化され（９５２）、ハフマンおよび／またはゴロム・ライス符号化され（９５６）、第２の出力に提供される（９６０）。従って、無損失フレーム間出力は２つのデータセットと、損失かつ高品質画像ファイル（９２２すなわちＡ）と、残差ファイル（９６０すなわちＣ）の組み合わせすなわちハイブリッドである。

フレーム間符号化もまた利用されてもよい。ＤＣＴ／ＤＱＴ９６２の出力（まだ量子化されておらず、従って無損失）は、ＢＳＡの情報に伴って記憶装置９６４に転送される。代替の実施形態において、量子化器９６３の出力（量子化されており、従って損失）は、ＢＳＡの情報に伴って記憶装置９６４に転送される。データに値するフレームの収集において、減算器９６６は記憶されているフレーム９６４と次のフレーム９６８とを比較する。代替の実施形態において、減算器９６６はブロック単位で比較する。差はＤＣＴ残差９７０となり、これは直列化および／またはゴロム・ライス符号化され（９７４）、第３の出力データセット９７６を出力９２４に提供する。従って、ＢおよびＣのフレーム間無損失ファイルがコンパイルされる。従って、いずれかの組み合わせ（Ａ＋ＢまたはＢ＋Ｃ）がサイズの考慮に基づいて選択されてもよい。さらに、純粋なフレーム間出力が編集目的には望ましいであろう。

図１５は、図１３の符号器について説明されたのと同様であるが、逆に動作する無損失復号化器１１００を示している。図１５において、Ａはフレーム間損失圧縮符号化データを表しており、Ｂは、フレーム間残差損失圧縮符号化データを表しており、Ｃはフレーム内損失圧縮符号化データを表しており、Ｄはフレーム内残差損失圧縮符号化データを表している。ＡはＤＣ係数１１０４とＡＣ係数１１０８とに分離される。ＤＣ係数１１０４は解凍されて、その値は図１２、および具体的に参照してここに組み込まれている、２００１年７月２日に出願された、「ゴロム・ライスを使用する無損失フレーム間符号化（Lossless Interframe Encoding Using GOLOMB-RICE）」と題された、同時係属の米国特許出願第０９／８９８，２８４号（特許文献６）に説明されている方法で検索される。より具体的には、ＤＣ係数１１０４はゴロム・ライス復号化器１１１２に転送され、これはゴロム・ライス復号化器の機能を反転し、出力を逆ＤＣ差分パルス変調器（ＩＤＣＤＰＣＭ）１１１６に転送する。ＩＤＣＤＰＣＭ１１１６はＤＣ成分値を決定し、それらを逆離散コサイン変換（ＩＤＣＴ）１１２０に転送する。同様に、ＡＣ係数１１０８は逆直列化器１１２４に転送される。実施形態において、逆直列化器は逆ハフマン直列化器である。直列化器１１２４の出力は逆量子化器１１２８に転送され、その出力はＩＤＣＴ１１２０に転送される。ＩＤＣＴ１１２０は、損失解凍周波数データを生成する逆変換を実行することによって解凍される。

入力Ｂはフレーム間残差損失圧縮符号化データを表しており、これはゴロム・ライス復号化器１１３２に転送される。ゴロム・ライス復号化器１１３２はゴロム・ライス符号器の機能を反転し、その出力を加算器１１３６に転送する。加算器１１３６は残差出力とＩＤＣＴ１１２０の出力とを加算し、無損失フレーム間符号化データを周波数ドメインに生成する。カラー変換器１１４０はこれを最終出力に対するＲＧＢ形態に逆変換する。２００２年７月１１日に出願され、代理人整理番号第０１０４２１号（特許文献７）の、「ディジタル映画保存アプリケーション用のＡＢＳＤＣＴ無損失アルゴリズム（ABSDCT Lossless Algorithm for Digital Cinema Archival Applications）」と題された仮特許出願に説明されているような、カラー変換の種々の変形を利用してもよい。

フレーム間復号化は同様に動作する。入力Ｃは損失フレーム間圧縮符号化データを表しており、これはゴロム・ライス復号化器１１４４に転送される。ゴロム・ライス復号化器１１４４からのデータ出力は、現在のフレームと前のフレームとの間の要素間の差を表す差分ＤＣＴデータである。記憶装置１１４８は前のフレームからのデータを記憶し、加算器１１５２によってＤＣＴ差分に加算されて、ＤＣＴドメインにおいて損失データとなる。そして、ＤＣＴドメインにおける損失データは逆量子化器１１５６に転送されて、その出力はＩＤＣＴ１１６０に転送される。ＩＤＣＴ１１２０は、損失解凍周波数データを生成する逆変換を実行することによって解凍される。逆量子化器１１５６の出力はまた記憶装置１１４８に転送されて、次のデータフレームと比較される前のデータフレームとして作用する。

入力Ｄはフレーム内残差圧縮符号化データを表しており、これはゴロム・ライス復号化器１１６４に転送される。ゴロム・ライス復号化器１１６４はゴロム・ライス符号器の機能を反転し、その出力を加算器１１６８に転送する。加算器１１３６は残差出力とＩＤＣＴ１１６０の出力とを加算し、無損失フレーム内符号化データを周波数ドメインにおいて生成する。カラー変換器１１７２はこれを最終出力用のＲＧＢ形態に逆変換する。

再び図１を参照すると、符号器１０４によって生成された圧縮画像信号は、バッファ１４２を使用して一時的に記憶され、次いで送信チャネル１０８を使用して復号化器１１２に送信されてもよい。送信チャネル１０８は、磁気または光学記憶装置、あるいは有線または無線伝達プロセスまたは装置などの物理的媒体であってもよい。ブロックサイズ割当情報を含んでいるＰＱＲデータもまた復号化器１１２（図２）に提供される。復号化器１１２はバッファ１６４と、可変長復号化器１６８とを含んでおり、これはランレングス値と非ゼロ値を復号化する。可変長復号化器１６８は図１０に示されているのと同様に、しかし逆に動作する。

可変長復号化器１６８の出力は、用いられている走査スキームに従って係数を配列する逆直列化器１７２に提供される。例えば、ジグザグ走査、垂直走査、および水平走査の組み合わせが使用されると、逆直列化器１７２は、用いられている走査タイプの情報によって係数を適切に再配列する。逆直列化器１７２はＰＱＲデータを受信して、複合係数ブロックへの係数の適切な配列を支援する。

複合ブロックは、量子化スケール係数および周波数重みマスクの使用による処理を実行するために、逆量子化器１７４に提供される。

そして、差分カッドツリー変換が適用されていれば、係数ブロックは、ＩＤＣＴ要素１９０が続くＩＤＱＴ要素１８６に提供される。そうでない場合、係数ブロックはＩＤＣＴ要素１９０に直接提供される。ＩＤＱＴ要素１８６およびＩＤＣＴ要素１９０は係数を逆変換し、画素データブロックを生成する。次いで、画素データは補間され、ＲＧＢ形態に変換され、そして更なる表示のために記憶されなければならない。

図１１は、ゴロム・ライス符号化７００用の装置を示している。図１１の装置は好ましくは、図１０に関して説明されているようなプロセスを実現する。判定器７０４はランレングス（ｎ）とゴロムパラメータ（ｍ）を決定する。任意に、カウンタすなわちレジスタ７０８を各ランレングスおよび振幅サイズ値に使用して、それぞれの累積値と、このような値が生じる対応する回数を計算する。符号器７１２は商（Ｑ）をランレングスおよびゴロムパラメータの関数として符号化する。符号器７１２はまた余り（Ｒ）を、ランレングスと、ゴロムパラメータと、商の関数として符号化する。代替の実施形態において、符号器７１２はまた非ゼロデータを、非ゼロデータ値と非ゼロデータ値の符号の関数として符号化する。連結器７１６を使用してＱ値をＲ値と連結する。

例として、ここに開示されている実施形態と関連して説明されている種々の説明的論理ブロック、フローチャート、およびステップがハードウェアまたはソフトウェアにおいて、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理装置、離散ゲートまたはトランジスタ論理、レジスタおよびＦＩＦＯなどの離散ハードウェアコンポーネント、ファームウェア命令を実行するプロセッサ、従来のプログラマブルソフトウェアおよびプロセッサ、またはこれらの組み合わせによって実現または実行されることが可能である。プロセッサはマイクロプロセッサが好都合であるが、別の方法では、プロセッサは従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。ソフトウェアはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、または当業において既知の記憶媒体の形態であってもよい。

好ましい実施形態に関する前述の説明によって、当業者なら誰でも本発明をなし、または使用することができる。これらの実施形態に対する種々の修正は当業者には容易に明らかであり、ここで定義されている一般原理は、本発明の機能を使用せずとも他の実施形態に適用可能である。従って、本発明はここに示されている実施形態に限定されることを意図しておらず、ここに開示されている原理および新規の特徴に矛盾しない最大限の範囲を認めることになる。

本発明の他の特徴および利点は以下の請求項において示される。

画像圧縮／処理システムの符号化部分のブロック図。 画像圧縮／処理システムの復号化部分のブロック図。 分散ベースのブロックサイズ割当に関連する処理工程を示しているフロー図。 ＤＣＴ係数マトリクスにおけるゼロランレングスのＹ成分の指数分布を示す図。 ＤＣＴ係数マトリクスにおけるゼロランレングスのＣ_ｂ成分の指数分布を示す図。 ＤＣＴ係数マトリクスにおけるゼロランレングスのＣ_ｒ成分の指数分布を示す図。 ＤＣＴ係数マトリクスにおける振幅サイズのＹ成分の指数分布を示す図。 ＤＣＴ係数マトリクスにおける振幅サイズのＣ_ｂ成分の指数分布を示す図。 ＤＣＴ係数マトリクスにおける振幅サイズのＣ_ｒ成分の指数分布を示す図。 ゴロム・ライス符号化プロセスを示す図。 ゴロム・ライス符号化用の装置を示す図。 ＤＣ成分値を符号化するプロセスを示す図。 無損失圧縮用の装置を示す図。 ハイブリッド無損失圧縮方法を示す図。 無損失解凍用の装置を示す図。

Claims (8)

1. 画像を表す信号を無損失に復号化する方法であって、
   損失圧縮データファイルを受信することと、
   残差圧縮データファイルを受信することと、
   前記損失圧縮データファイルをＤＣ係数とＡＣ係数とに分離することと、
   前記ＤＣ係数と前記ＡＣ係数とを別々に復号化し、ＤＣ値とＡＣ値とをそれぞれ決定することと、
   前記ＤＣ値と前記ＡＣ値とを逆量子化して、損失解凍データを生成することと、
   前記残差圧縮データファイルを復号化して、残差解凍データを生成することと、
   前記損失解凍周波数データを前記残差解凍データと結合させて、実質的にオリジナル画像と同じである無損失データファイルを生成することと
   を備えた方法。
2. 請求項１に記載の方法において、
   前記損失圧縮データファイルおよび前記残差圧縮データファイルはフレーム内基準で復号化される方法。
3. 請求項１乃至２のうち何れか１項に記載の方法において、
   逆量子化は、離散コサイン変換と離散カッドツリー変換技術の組み合わせを利用する方法。
4. 請求項１乃至３のうち何れか１項に記載の方法において、
   前記無損失データファイルを赤、緑、青のカラー成分に変換すること
   を更に備えた方法。
5. 画像を表す信号を無損失復号化する装置であって、
   損失圧縮データファイルを受信する手段と、
   残差圧縮データファイルを受信する手段と、
   前記損失圧縮データファイルをＤＣ係数とＡＣ係数とに分離する手段と、
   前記ＤＣ係数と前記ＡＣ係数とを別々に符号化し、ＤＣ値とＡＣ値とをそれぞれ決定する手段と、
   前記ＤＣ値と前記ＡＣ値とを逆量子化し、損失解凍データを生成する手段と、
   前記残差圧縮データファイルを復号化し、残差解凍データを生成する手段と、
   前記損失解凍周波数データを前記残差解凍データと結合させて、実質的にオリジナル画像と同じである無損失データファイルを生成する手段と
   を備えた装置。
6. 請求項５に記載の装置において、
   前記損失圧縮データファイルおよび前記残差圧縮データファイルはフレーム内基準またはフレーム外基準で復号化される装置。
7. 請求項５または請求項６に記載の装置において、
   前記逆量子化する手段は、離散コサイン変換と離散カッドツリー変換技術の組み合わせを利用する装置。
8. 請求項５乃至７のうち何れか１項に記載の装置において、
   前記無損失データファイルを赤、緑、青のカラー成分に変換する手段を更に備えた装置。

Images