JP2021177628A - 変換係数処理方法 - Google Patents

Abstract

【課題】変換係数のセットを処理する、方法、ソフトウェアプロダクト、デジタルカメラ及びその他の画像処理システムを提供する。【解決手段】方法は、画像を表す変換係数のブロック毎に、ブロックの係数をシーケンスに配列することと、配列された係数を符号化して、各コードワードが１又は複数の符号化された係数を含むコードワードのシーケンスを生成することと、コードワードのシーケンスを２以上のサブシーケンスに分割することと、を含む。【選択図】なし

Description

本発明は空間ドメイン画像データを周波数ドメインへ変換することで得られる離散コサイン変換（ＤＣＴ）係数等の変換係数処理方法、システム、及びソフトウェアプロダクトに関する。より具体的には、本発明は、特に元の空間ドメイン画像データのダウンスケールされたバージョンの効率的な復号と記憶を容易にするように変換係数を符号化する方法、システム、及びソフトウェアプロダクトに関する。さらに画像データを復号し、それにより画像を生成する方法及びシステムも開示する。

本明細書に記載のいかなる従来技術であってもそれを参照することが、その従来技術が共通の一般的知識の一部を形成することを、どの裁判管轄においても承認又は示唆するものではなく、あるいはその従来技術が当業者によって他の従来技術とともに理解され、他の従来技術と関連すると見なされ、及び／又は他の従来技術と組み合わされると合理的に予測され得ることを承認又は示唆するものではない。

最も専門的な及び一般消費者向けのデジタルカメラは、カラーフィルタアレイ（ＣＦＡ）により入射光を光学的にフィルタリングすることでカラー画像を捕捉する、単一のイメージセンサを用いる。ＣＦＡはイメージセンサの各フォトサイトで３色（通常は赤、緑、青）のうち一つの色の光を捕捉するように構成される。各フォトサイトは単一色についての情報しか持たないので、各フォトサイトに２つの「不足する」カラーチャネルを供給するために補間処理（即ちデモザイク処理）が必要になる。この処理は、３色画像の取得を実行する際に、一般的に画像データ量を３倍に増加させる。それに加えて、画像が目視可能な形でディスプレイに描画されるまでに、通常はホワイトバランス、色変換、ノイズ低減、及びトーンマッピングを含む処理がさらに必要である。

上記処理フローは、記憶及び／又はその後の再生のための処理データの圧縮に先立って、カメラのハードウェア上で直接実行される。ＭＰＥＧやＨ．２６Ｘ標準、及び出願人によって開発された“Ｂｌａｃｋｍａｇｉｃ ＲＡＷ”フォーマットを含む、様々な圧縮技術が開発されている。これらの技術は、入力画像を固定サイズの空間ドメイン画像データブロック（例えばＮｘＮ、ＭｘＮ画素ブロック）に分割して各ブロックの画像データを変換係数のブロックに変換することに基づいている。一つの共通する方法は、離散コサイン変換（ＤＣＴ）を使って対応する空間ドメインブロック（例えばＮｘＮ、ＭｘＮのＤＣＴ係数ブロック）と同じ数の係数を有する対応する周波数ドメインブロックデータを生成することである。ＤＣＴ変換後、各周波数ドメインブロックのデータは量子化されエントロピー符号化されて、空間周波数の圧縮されたブロックを表す一連のコードワードを生成する。全てのブロックのコードワードは全体画像を表すコードワードのシーケンスに連結され、それは記憶されるか又は次に続く復号のために転送される。

プロ仕様のカメラは画像データを”ＲＡＷ”の形で（即ち、デモザイク処理されていないイメージセンサからのデータとして）記憶することも珍しくない。これにより、特定の処理の決定（使用される特定のデモザイク処理アルゴリズム等の）を例えば撮影後の時間まで引き延ばすことができる。しかしこのような場合でも、同様の符号化処理を行うことができる。

撮影後のワークフロー（編集やカラーグレーディング等）のいくつかの態様は、画像がイメージセンサで捕捉されたときのフル解像度で表示されることを必ずしも必要としない。しかしながら、画像は（主として画像データを圧縮するために）必ず符号化された形で記憶されるので、低い解像度の画像のみ必要な場合であっても画像が開かれダウンスケールされて低解像度で表示される前にフル解像度の復号を実行する必要が依然としてある。この問題は最新のデジタルカメラの高解像度画像捕捉機能とともにますます顕著になっている。

ダウンスケーリング（即ち、低解像度画像の生成）の一例は、変換係数のブロックのサイズを符号化中に使用されたブロックサイズより小さく低減することに関わる。このブロックサイズの低減は、通常は復号フェーズ中に、少なくとも何らかの形の解凍が行われたデータに適用される。表示可能な形式にデータをさらに復号するために、サイズが低減されたブロックに逆変換（例えば、逆ＤＣＴ）が実行され、それに応じてサイズが低減された空間データのブロックを生成する。このことが図１に示されており、図１は周波数ドメインブロックのサイズとそれに対応する逆ＤＣＴ変換を適用した後に結果として得られる空間データブロックのサイズ間の対応関係をそれぞれ示している。図１は：
・ＮｘＮ周波数ドメインブロック（３）からフルスケールのＮｘＮ空間ドメインブロック（２）の生成；
・対応するハーフスケールのＮ／２ ｘ Ｎ／２周波数ドメインブロック（５）からハーフスケールのＮ／２ ｘ Ｎ／２空間ドメインブロック（４）の生成；及び
・対応するクオータースケールのＮ／４ ｘ Ｎ／４周波数ドメインブロック（７）からクオータースケールのＮ／４ ｘ Ｎ／４空間ドメインブロック（６）の生成；を示す。

各ケースにおいて、フルスケールのＤＣＴブロック（３）に対してダウンスケールされたＤＣＴブロック（５、７）が示され、スケールを相対的に示している。

米国特許出願第２００４０１１４８１２号には、マトリクス変換形式において、逆ＤＣＴから出力された変換係数のセットからダウンスケールされた画像の画素データを直接生成する、ダウンスケーリングの代替アプローチが記載されている。

本発明は、ＤＣＴ変換前の元の画像データのダウンスケールされたバージョンを記憶および／または生成する目的を含み、変換係数の処理に対し代替のアプローチを用いることを目的とする。

本発明の第１態様によれば、変換係数のセットを処理する方法が提供され、該方法は：
変換係数を複数のブロックに分割すること；及び
ブロックごとに：
ブロックの係数をシーケンスに配列すること；
配列された係数を符号化して各コードワードが１又は複数の符号化された係数を含むコードワードのシーケンスを生成すること；
コードワードのシーケンスを２以上のサブシーケンスに分割することを含む。

変換係数は、画像の個別の空間領域、即ち、符号化される画像に定義された空間ブロックやタイルから、それに対応する分割された変換係数のブロックを生成することにより、複数のブロックに分割できる。各コードワードが１つ又は複数の符号化された変換係数を含む、コードワードのシーケンスを個々のコードワードのサブシーケンス（即ち「サブストリーム」）に分割するアプローチを用いて、本発明は（少なくとも好ましい実施形態において）、符号化された形式の変換係数から、低解像度画像を効率的に生成することを可能にする。上記の従来技術の手法とは異なり、本発明は低解像度の画像を生成するために必ずしも全体画像を復号する必要がない。

さらに、コードワードのシーケンスを個々のサブシーケンスに分割するアプローチを用いることで、元の画像データをそのままシングルパスで符号化できる。一形態において、本発明は、単一のエントロピーエンコーダを使って、余分な演算量を加えることなく実施できる。さらに本発明は、サブブロックの個別のグループを符号化するのではなく、単一のブロックとして係数を符号化することに関連して、圧縮効率を保持する。

好ましくは、各サブシーケンスのコードワードの数、及び各コードワードに含まれる符号化された係数の数は、少なくとも部分的にダウンスケーリング比によって決定される。換言すれば、特定のダウンスケーリング比で低解像度画像を生成するために必要な係数は、個々のサブシーケンス即ち複数のサブシーケンスに割り当てられる。例えば、１／２のダウンスケーリング比に対して、係数の約２５％が第１サブシーケンスに割り当てられ、係数の残り７５％が、エントロピー復号が必要ではない第２サブシーケンスに割り当てられる。したがって、ダウンスケーリング比１／２又はそれより小さい（即ち、１／４、１／８等の）比率で画像を生成するダウンスケーリングプロセスは第２サブシーケンスを復号する必要がない。

いくつかの実施形態において、ブロックの係数のシーケンスの配列は、並べ替え領域とジグザグ配列領域を含む修正ジグザク配列である。修正ジグザク配列（ジグザグはエントロピー符号化に使われる標準的配列）を使用することで基本的には係数をより効率的にグループ化する。係数はジグザグパターンの配列に従って連続的に符号化され、かつ選択されたダウンスケーリング比に対応する（変換係数の）サブブロックを定義する係数が一緒に符号化されるように、修正ジグザグパターンは変換係数のシーケンスへの配置を有利に行う。これにより、復号中にダウンスケールされた画像を生成する必要のない係数を復号することが少なくなるという利点がある。さらに、このことは、不要の復号オペレーション（エントロピー復号及び逆ＤＣＴオペレーション等）を実行するために費やされるパフォーマンスのボトルネックを削減もしくは除去する。

いくつかの実施形態によれば、各ブロックはＮｘＮサイズであり、ジグザグ配列領域は各ブロックの対角線及び対角線の下の係数を含む。

本発明の第２態様によれば、本発明の第１態様の実施形態を用いて生成された、符号化された画像ファイルを復号する方法が提供される。該方法は：
画像解像度を選択すること；
選択された解像度で画像を生成するのに適した１又は複数のサブシーケンスを選択すること；及び
選択されたサブシーケンスを復号すること；を含む。

本発明の第３態様によれば、本発明の第１態様の実施形態を実行することにより、プロセッサーによって実行されるときに該プロセッサーに変換係数のセットを処理させる命令を含むコンピュータソフトウェアプロダクトが提供される。

本発明の第４態様によれば、画像データのフレームを記憶する方法が提供され、該方法は：
画像データのフレームを変換係数のセットに変換すること；本発明の第１態様の実施形態を使用して変換係数を処理すること；及びサブシーケンスの選択されたものを記憶することを含む。

サブシーケンスの全て（又はサブシーケンスの全てより少ない数）を記憶することができる。

好ましくは、記憶するために選択されるサブシーケンスはダウンスケーリング比に基づいて選択される。換言すれば、復号時望ましい比率のダウンスケールされた画像を生成する係数のみを含むサブシーケンスが、記憶のために選択される。復号時に生成される他のサブシーケンスは廃棄されてもよい。

さらに本発明は、プロセッサーによって実行されるときに該プロセッサーに本発明のこの態様に従った方法を実行させる命令を含むコンピュータソフトウェアを提供する。

本発明の第５態様において、変換係数を処理する方法が提供され、前記変換係数は複数のブロックに配置され、各ブロックは画像の空間領域を表し、該方法は：
ブロックごとに：
ブロックの係数を係数のシーケンスに配列すること；
配列された係数のシーケンスを符号化して、各コードワードが１又は複数の符号化された係数を含む、コードワードのシーケンスを生成すること；及び
コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することを含む。

各サブシーケンスの係数の数は少なくとも部分的にダウンスケーリング比によって決定される。

コードワードのシーケンスを２以上のサブシーケンスに分割することは、第１ダウンスケーリング比に基づいて変換係数の第１サブブロックを定義すること、及び、コードワードの第１サブシーケンスが、コードワードの第１サブシーケンスを復号することで変換係数の第１サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードをコードワードの第１サブシーケンスに割り当てることを含む。

コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは、さらに、第２ダウンスケーリング比に基づいて変換係数の第２サブブロックを定義すること、及び、コードワードの第２サブシーケンスとコードワードの第１サブシーケンスの組合せが、コードワードの前記組合せを復号することで変換係数の第２サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードのうち第１サブシーケンスに存在しないコードワードをコードワードの第２サブシーケンスに割り当てることを含む。

該方法は、対応のダウンスケーリング比に基づいて変換係数の第１サブブロックを定義すること、及びコードワードのシーケンスを分割して変換係数の第１サブブロックを復号するのに必要なコードワードを含むコードワードの第１サブシーケンスを形成すること、をさらに含む。該方法は、対応のダウンスケーリング比に基づいて変換係数の第２サブブロックを定義すること、及び、コードワードのシーケンスを分割して、コードワードの第１サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第２サブブロックを復号するのに必要なコードワードを含むコードワードの第２サブシーケンスを形成すること、をさらに含む。該方法は、対応のダウンスケーリング比に基づいて変換係数の第３サブブロックを定義すること、及び、コードワードのシーケンスを分割して、コードワードの第１及び第２サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第３サブブロックを復号するのに必要なコードワードを含むコードワードの第３サブシーケンスを形成すること，をさらに含む。これらの実施形態のいずれにおいても、該方法は、コードワードのシーケンスを分割して、コードワードの第１及び第２サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第３サブブロックを復号するのに必要なコードワードを含む、コードワードの第３サブシーケンスを形成することを含む。上記いずれの方法を実施しても、コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは、ブロックに対応する残りのコードワードをコードワードのうち少なくともさらに１つのサブシーケンスに割り当てることをさらに含む。

本発明の第５態様の上記実施形態の全てにおいて、変換係数のブロックは、ＮがＭに等しくても等しくなくてもよいＭｘＮ変換係数のアレイを含み；コードワードの前記サブシーケンスの少なくとも１つは、１／Ｄが該サブブロックのダウンスケーリング比であるＮ／Ｄ ｘ Ｎ／Ｄ変換係数のアレイを含む変換係数のサブブロックを表す。

いくつかの実施形態では、コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは：
１／Ｄがサブブロックのダウンスケーリング比である、Ｎ／Ｄ ｘ Ｎ／Ｄ変換係数を含む変換係数のサブブロックを再生するのに十分なコードワードを含むコードワードのサブシーケンスを生成することを含む。

各ブロックの係数の前記係数のシーケンスへの配列は、並べ替え領域とジグザグ配列領域とを含む修正ジグザグ配列となり得る。この場合、各ブロックがＮｘＮサイズであれば、ジグザグ配列領域は各ブロックの対角線及び対角線の下の係数を含むことが好ましい。

上記いずれの実施形態であってもその方法は、複数のブロックに対する対応のサブシーケンスを共通のサブシーケンスに配置することをさらに含む。この場合、該方法は１又は複数の前記共通サブシーケンスを含む画像ファイルを記憶することを含んでもよい。該方法は前記画像ファイルに複数の共通のサブシーケンスを記憶することをさらに含み、それぞれの共通のサブシーケンスに対応する少なくとも１つの予め定めたダウンスケーリング比でダウンスケールされた画像の生成を可能にする。

本発明の第６態様において、本発明の第５態様の実施形態に従った方法を用いて生成された符号化画像を復号する方法が提供される。この方法は：
画像解像度を選択すること；
選択された画像解像度で画像を生成するのに適した１又は複数のコードワードのサブシーケンスを選択すること；及び
選択されたサブシーケンスを復号することを含んでもよい。

画像の空間領域を表すブロックごとに、該方法は、サブシーケンスの全てより少ないサブシーケンスを復号して復号前のブロックより少ない変換係数を有する変換係数のサブブロックを生成する。

本発明のさらなる態様において、本発明の第１又は第５態様の実施形態に従った方法によって生成された符号化された画像データからダウンスケールされた画像を生成する方法が提供される。該方法は：
画像解像度を選択すること；
画像の空間領域を表すブロックごとに：
コードワードのサブシーケンスの全てより少ないサブシーケンスを復号して復号前のブロックより少ない変換係数を有する変換係数のサブブロックを生成すること；
選択された画像解像度に対応する空間ドメイン画像データを生成するサイズの逆変換を使って変換係数のサブブロックに逆変換を実行すること；
サブブロックごとに空間ドメイン画像を処理して選択された画像解像度でダウンスケールされた画像を生成すること；を含む。

変換係数のサブブロックは、選択された画像解像度に対応する数の係数を有する。
上記実施形態では、該方法は、逆変換を実行する前に変換係数のサブブロックを再配列することを含み、再配列された変換係数のサブブロックが、ジグザグパターンであってもよい。

本発明のさらなる態様は、プロセッサーによって実行されるときに該プロセッサーに本明細書に開示される方法の実施形態を実行させる命令を含むコンピュータソフトウェアプロダクトに関する。

本発明のさらなる態様は、画像データのフレームを記憶する方法に関し、該方法は：
画像データのフレームを変換係数のセットに変換すること；
上記第１又は第５のいずれかの態様の実施形態に従った符号化方法を実行すること；及び
１又は複数のコードワードのサブシーケンスを記憶することを含む。

コードワードの１又は複数のサブシーケンスは、好ましくは前記コードワードのサブシーケンスのうち選択されたサブシーケンスの検索を容易にするように記憶される。しかし、いくつかの実施形態においては、全てのサブシーケンスがフル解像度で復号されるように記憶されることも可能である。

文脈からそれ以外の意味を必要とする場合を除き、ここに使用する用語である“ｃｏｍｐｒｉｓｅ”、及びその用語の“ｃｏｍｐｒｉｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｄ”等の変化形は、さらなる付加や、コンポーネント、整数又はステップを除外することを意図しない。

本発明のさらなる態様、及び先行するパラグラフに記載された態様のさらなる実施形態は、実施例を通して及び添付する図面を参照して提供される以下の説明から明らかになるだろう。

周波数ドメイン（ＤＣＴドメイン）の画像のダウンスケーリングを行う従来技術のアプローチを示すブロックダイアグラムである。 デジタルカメラの概略図である。 本発明の実施形態に従った方法の符号化フェーズのフローチャートであある。 本発明の実施形態で使用可能な８ｘ８及び１２ｘ１２ＤＣＴ係数マトリクスの修正ジグザグパターンの一例である。 本発明の実施形態で使用可能な８ｘ８及び１２ｘ１２ＤＣＴ係数マトリクスの修正ジグザグパターンの一例である。 ８ｘ８及び１２ｘ１２ＤＣＴ係数マトリクスの修正ジグザグパターンの一例を示し、本発明の実施形態でそれらがいかに使用されるかを示す。 ８ｘ８及び１２ｘ１２ＤＣＴ係数マトリクスの修正ジグザグパターンの一例を示し、本発明の実施形態でそれらがいかに使用されるかを示す。 様々なサブシーケンスの生成の手法を示すブロックダイアグラムである。 本明細書に記載の方法を用いて、単一の空間ブロック及びシリーズの空間ブロックをそれぞれ符号化するプロセスの概略図である。 本明細書に記載の方法を用いて、単一の空間ブロック及びシリーズの空間ブロックをそれぞれ符号化するプロセスの概略図である。 本発明の実施形態に従った方法の復号フェーズのフローチャートである。 本明細書に記載の方法を用いて、フル解像度画像、低解像度画像、及び中間解像度画像のそれぞれを生成する画像データの復号処理を表す概略図である。 本明細書に記載の方法を用いて、フル解像度画像、低解像度画像、及び中間解像度画像のそれぞれを生成する画像データの復号処理を表す概略図である。 本明細書に記載の方法を用いて、フル解像度画像、低解像度画像、及び中間解像度画像のそれぞれを生成する画像データの復号処理を表す概略図である。 本発明の実施形態に従って配列された変換係数の２つのブロックを示す図である。

具体的な実施例を参照して本発明の実施形態をこれから説明するが、本発明の範囲はそのような実施例に限定されると考慮されるべきではない。

図２は本発明に従った方法を実施可能なカメラ１０の概略図である。しかし、当業者は、本発明に従った方法（符号化及び復号オペレーションを含む）が汎用及び専用のコンピュータハードウェア上で動作するソフトウェアにより実現できることを理解するだろう。例えば、本発明に従った方法は、ビデオや画像の編集ソフトウェアに容易に組み込むことができる。

カメラ１０は受光した光を画像データに変換するように構成された画像捕捉システム１２を含む。本実施例では、画像捕捉システム１２はイメージセンサ１２Ａ（例えばＣＣＤ又はＣＭＯＳ画像センシングチップ等）及び関連する光学フィルタ１２Ｂ（例えばＩＲカットフィルタ又は光学ローパスフィルタ）を含む。光学システム１４、例えばレンズがイメージセンサ上に画像を形成するために提供される。通常イメージセンサは、（モノクロカメラでなければ）カラーフィルタの空間アレイとしてカラーフィルタアレイ（ＣＦＡ）を含み、それはイメージセンサチップの前方に配置されてカラー画像の捕捉を可能にする。ＣＦＡのフィルタは単一のイメージセンサのフォトサイトと空間的に相互に関係づけられ、各フォトサイトは対応する、スペクトル選択されたフィルタを有する。本実施例で使用するＣＦＡはレッド、グリーン、ブルーのカラーフィルタが交互に配列されたベイヤーＣＦＡだが、本発明の技術はいかなる特定の光学システムやＣＦＡの使用にも限定されず、モノクロの撮像システムにも用いることができる。

画像捕捉システム１２により生成された画像データはイメージセンサ１２Ａの各フォトサイトが受光した光のレベルに対応する画素値のアレイを含む。画像データは画像処理サブシステム１８へ送られる。画像処理サブシステム１８はＡＳＩＣ又はＦＰＧＡ又は関連するソフトウェアを備えたマイクロプロセッサー等の１又は複数のデータプロセッサーを含み、様々な画像処理タスクを実行するように構成される。ワーキングメモリ２０は画像処理や他のタスクを実行中にデータやソフトウェア等を一時的に記憶できるように設けられる。

画像処理サブシステム１８はさらにビデオエンコードシステム２２を含む。ビデオエンコードシステム２２は、通常、プロセッサー（又はＦＰＧＡ又はＡＳＩＣ）に１又は複数のビデオコーデックを実行させるように構成されたソフトウェアを供給することにより動作する。このシステムは、本発明に従った方法を含め、画像データを符号化し任意のフォーマットに圧縮するために使用することができる。

画像処理サブシステム１８はさらにフォーマット変換システム２４を有し、フォーマット変換システム２４は、画像データを、ビデオ送信システム２６を介して送信することにさらに適した、あるいは下流で処理するためにより都合の良い、（Ｙ’ＣｂＣｒ等の）フォーマットに変換する。フォーマット変換システム２４は、ビデオ送信システム２６へ送られる前に画像を前記ビデオ送信フォーマットの１つにフォーマット化して送信を可能にするするために設けられる。このことは画像データを元のフォーマットからビデオ送信システム２６の適切なビデオ送信フォーマット（の１つ）へコード変換することを含んでもよい。

ビデオ送信システムは、少なくともビデオ出力ポートを有するビデオインターフェイスを介して（外部ビデオレコーダ又はレコーダ／モニタ等へ）ビデオ出力データを送信（及びオプションとして受信）することができる。ビデオインターフェイスは双方向であってもよく従ってビデオ入力ポートを含むこともできる。一例としてビデオインターフェィスはＳＤＩインターフェイスであり、もしくは他の同様のインターフェイスであってもよい。

カメラは、メモリコントロールサブシステム２８の形でデータ記憶システムを有し、それはビデオデータ（及び他の任意のデータ）をローカル不揮発性メモリ３０に永続記憶させることを制御するように構成される。ローカルメモリ３０としてメモリカードまたは着脱式ハードドライブのような着脱式メモリを使用しても良い。しかし一般的には、メモリコントロールサブシステム２８は、ローカルメモリ３０との間で制御信号を送受信し、メモリ３０へのビデオデータの記憶とその検索を制御し，さらに記憶のためにデータを符号化又はフォーマット化するために配置される。メモリ３０はシリアルＡＴＡプロトコルに従って動作するソリッドステートドライブとすることができ、その場合、メモリコントロールサブシステムは、ＳＡＴＡドライブの動作を制御し、ＳＡＴＡドライブのデータの読出しと書き込みを管理する。

画像データの符号化と復号に関わる態様を含む本発明の実施形態は、多様なデバイス上で実行され、それらは例えば：
画像又はビデオを処理又は表示し、以下に限定されないが、画像／ビデオ再生、非線形編集システムなどの画像／ビデオ編集、画像／ビデオカラー修正、コンピュータゲーム、コンピュータゲーム作成、ＡＲ及びＶＲシステムを含むソフトウェアを実行する、（例えば、ラップトップ、デスクトップコンピュータ、サーバー又はクラウドコンピューティングプラットホーム等の）コンピューティングシステムであり；
ビデオトランスコーダ、カメラ、ビデオ記憶装置、ビデオスイッチ等のビデオ処理ハードウェアである。

本発明の実施形態に従った画像データの処理方法が図３のフローチャートに示される。該方法は、ステップ４０で空間ドメイン画像データをビデオ符号化しステム２２等の画像バッファに取り込むことによりスタートする。画像データは画像フレームを表す一連の画素値を含む。各画素値は所定のビット深度で表される。画素値のビット深度は、受光した光レベルがイメージセンサのダイナミックレンジ内で表される場合の精度を決定する。

空間ドメイン画像データは様々なフォーマットで配置される。例えば、空間ドメイン画像データは：
例えばイメージセンサから読み出される配列に並べられたビットストリームに配置され；
同一のＣＦＡフィルタカラーの画素（即ち、同一カラーの画素）に対応する画素値がまとめてグループ化される、カラープレーンに分離され；
デモザイク処理され、及びフル解像度のカラープレーン画像に配置され；
カラースペースのＹＣｂＣｒ系の要素等のカラースペースの定義に準拠するかしないかに関わらず、１又は複数の輝度画像及びクロミナンス画像に処理される。

本実施例において、入力バッファ４０に入る画像データは、出願人の公開された米国特許出願第２０１８／０３６７７７５号に記載されるＢｌａｃｋｍａｇｉｃ ＲＡＷフォーマットである。Ｂｌａｃｋｍａｇｉｃ ＲＡＷの場合、画像データはイメージセンサ１２Ａのフル解像度の輝度画像と２つの低解像度のクロミナンス画像を表す画像データを含む。当業者は、他のＲＡＷフォーマット等の他のフォーマットの画像データ及びＲＧＢ又はＹＵＶデータについても本発明の方法を実施できることを理解するだろう。

ステップ５０では、輝度画像及びクロミナンス画像の画像データが離散コサイン変換（ＤＣＴ）を使って変換（ステップ５０）される。そのような変換は輝度画像と２つのクロミナンス画像のそれぞれを適切な空間サイズ（８ｘ８等）のブロックに分割することに関わる。ほとんどの場合、空間ドメインブロックは以下のサイズから選択されたサイズを有するが、他のサイズも使うことができる：
８ｘ８画素；１２ｘ１２画素；４ｘ８画素；及び６ｘ１２画素。

使用される特定のブロックのサイズと形は、イメージセンサのサイズ；画像の予測される周波数成分；画像を処理するデバイスの処理の特性（例えば、処理及び／又は記憶容量）；処理スピードの要求；所望の画質；等の要件の範囲に応じて選択される。

各ブロックはその後ＤＣＴ等の適切な変換技術を使って周波数ドメイン表現に変換される。各ブロックのＤＣＴを演算する前に、その数値はゼロを中心とする範囲を確保するためにシフトされてもよい。ＤＣＴを適用することで、ブロックの基本的な強度レベルを定義する、大抵比較的大きな左上隅入力（即ちＤＣ係数）を有するブロックを生成する。ブロックの残りの係数はＡＣ係数として知られる。

ＤＣＴブロックは次に適切な量子化マトリクスを参照して量子化される（ステップ６０）。量子化動作は、ブロック内の各ＤＣＴ係数を割り当てられた定数値で除算しその結果を最も近い整数値に丸める。量子化された係数のブロックは通常その大きさにおいて量子化前の係数のブロックより小さい。通常、高い周波数の係数の多くはゼロに丸められる（即ち、量子化マトリクスの割り当てられた定数値によって除算された後、ゼロが入力された係数に対し最も近い整数となる）。

量子化の後、各ブロックの量子化された係数は指定された配列で配置される（ステップ７０）。好ましい実施形態によれば、修正ジグザグ配列が使われる。８ｘ８ブロック及び１２／１２ブロックの修正ジグザグ配列の一例が図４Ａ及び４Ｂにそれぞれ示されている。両方の図において、ジグザグ配列は左上隅のＤＣ係数（１）から始まり、数字で示される配列の係数を通って進む。ジグザグ配列の視覚化を支援するために、配列の経路を図４Ａ、４Ｂの実線で示す。

従来技術のジグザクパターン（図４Ｃの８ｘ８ブロック及び図４Ｄの１２ｘ１２ブロックで示される）はＤＣ係数で始まり、その後、反対方向の対角線の経路に沿った連続する隣接の一連の係数に沿って進行する。最初の対角線の経路はＤＣ係数に水平に隣接する係数から始まる。パターンが係数マトリクスのエッジに達すると、係数マトリクスのエッジにある最も近い隣接する係数へと進み、その後向きを変え係数の次の対角線に沿って連続する係数を進む。

従来技術のジグザクパターン（図４Ｃ及び図４Ｄ）とは異なり、修正ジグザグパターン（図４Ａ及び図４Ｂ）は以下のうちの一方又は両方が生じると途切れる。

ジグザグパターンが非隣接係数へ進む；
ジグザグパターンが係数マトリクスのエッジではない係数で進行方向を変える。

こうして、図４Ａ及び図４Ｂの修正ジグザグパターンは一連のサブブロックを生成する。該ジグザグパターンはＤＣ係数で共通の原点を有する係数の一連のスクエアを横切るように出現する。ネスト化されたスクエアはそのサイズを２ｘ２スクエアから４ｘ４スクエアに、その後８ｘ８スクエア等に増加させる。この実施例の各サブブロックは、連続するスクエア間のこれらの変換係数、即ち、前のサブブロックに既に割り当てられたものを除いた、スクエア内のすべての係数を含む。そのようなネスト化されたスクエアの様々の数が定義される。ジグザクパターンの不連続は、これにより、（図４Ａ、４Ｂの係数４乃至５、１６乃至１７、及び図４Ｂの係数６４乃至６５の点線の矢印で示されるように）ジグザクに新たなスクエアを開始するジャンプとなり、あるいは（図４Ａ、４Ｂの係数５乃至６、１７乃至１８、２０乃至２１等の破線の矢印で示されるように）同じ対角線の経路に沿って存在するがジグザクパターンの前のスクエア内に既に出現した係数をスキップする不連続となる。

例えば、図５のブロック６５のサブシーケンスＳ２に対応するサブブロックのように他形状のサブブロックの形も可能であり；画像を分割するために使われるブロックが四角形（即ち、ブロックがＭｘＮかつＭ≠Ｎのサイズを有する）の実施形態では、サブブロックも同じ形を有するのが好ましい。

図４Ａ及び４Ｂから明らかなように、修正ジグザグ配列は並べ替え領域と標準ジグザグ配列を有する領域を含む。図４Ａに示される８ｘ８ブロックのケースでは、ブロックの左下（係数３６）と右上（係数３０）の間に伸びる係数の対角線とその下にある対角線は標準ジグザグ配列され、ブロックの残りは並べ替え領域によって構成される。並べ替え領域は、上記のネスト化されたスクエアの係数、及び同じ対角線に存在するそれらを囲むいずれの係数も含む。

ステップ８０では、配列された係数のシーケンス内の各係数が符号化される。ハフマン符号化が好ましいが、他の符号化技術を使ってもよい。ハフマン符号化の前にランレングス符号化を係数シーケンスに適用してもよい。ランレングス符号化は、同じ値の複数の入力を、回数（即ち同じ値の繰り返し回数）とその値自体とを記憶することで圧縮比率を向上できる。ランレングス符号化の実施を高周波ＡＣ係数の量子化から結果として生じるゼロランに限定することが望ましい。さらに、ランレングス符号化は記憶を必要とするデータ量を増やすことがあるので（即ち繰り返される値のロングランがない場合）、それを符号化プロセスから除外することが適切な場合がある。

配列された係数のシーケンスをハフマン符号化することは、入力された各非ゼロ係数に固有のコードワードを割り当てることに関わる。ゼロ値の係数のランは、通常、次が非ゼロ係数の（又はブロックの終わりのコードワードによって）示される。ハフマン符号化により生成されるコードワードは各係数の発生の確率に従って可変長となる。結果として得られる符号は、一意復号可能であるとともに瞬時復号可能（即ち、接頭符号）である。

配列されたシーケンスの各非ゼロ係数へコードワードを割り当てることによって配列されたコードワードのストリームをもたらす。

ＲＡＷ画像データを効率よく符号化するにはハフマン符号化が適していることが分かっている。

ステップ９０では、このコードワードのシリアルストリームが（ビデオ符号化システム２２で実行する）ストリームデマルチプレクサによって多数の分離されたサブストリームに分割される。ストリームデマルチプレクシング機能は、ハフマンエンコーダや出力バッファ等のエンコーダの他の機能ユニットに統合されてもよい。

別の実施形態では、係数は、符号化の前にストリームデマルチプレクサによって分離サブストリームに分割される（図３のステップ８０と９０の順序が入れ替わる）。この実施形態によれば、ストリームデマルチプレクサが、別々に処理及び／又は符号化されるサブシーケンスに、係数を分離する。そのような実施形態では複数の係数のサブシーケンスを符号化するために多数のエンコーダを必要とする。しかし、エンコーダの数は、比較的短いサブシーケンスがエンコーダを共用するとともに、少なくとも１つの比較的長いサブシーケンスが専用のエンコーダを有すれば、デマルチプレクサによって生成されるサブシーケンスの全数にマッチする数のエンコーダを必要としない。

通常、ストリームデマルチプレクサは、１又は複数のダウンスケーリング比を参照することで個々のサブシーケンスを構成するよう動作する。ダウンスケーリング比は画像のダウンスケールされたバージョンを生成するうえで復号効率の向上を容易にするように選択されることが好ましい。

ブロック内の変換係数がどのように異なるサブシーケンスに対応付けできるかについて、３つの実施例が図５に示される。３つの実施例を以下に示す：
実施例４５は、８ｘ８変換係数ブロックを有する画像の３つのサブシーケンスを定義し；
実施例６５は、８ｘ８変換係数ブロックを有する画像の４つのサブシーケンスを定義し；及び
実施例５５は、１２ｘ１２変換係数ブロックを有する画像の４つのサブシーケンスを定義する。

しかし、他のブロックサイズやサブシーケンスの数も本発明の他の実施形態で使うことができる。

最初に８ｘ８ブロック（４５）のケースを説明する。この実施例では、第１サブシーケンス（Ｓ０）が、第１ＤＣＴ係数（即ちＤＣ係数）と予め決定されたダウンスケーリング比に対応するブロックサイズを生成するのに必要な数のＡＣ係数を符号化する。係数の８ｘ８ブロックに対する１／４のダウンスケーリング比は、サブシーケンスＳ０において係数の２ｘ２サブブロックが符号化されなければならないことを意味し、従って最小３個のＡＣ係数とＤＣ係数がサブシーケンスＳ０に必要となる。

次のサブシーケンス（Ｓ１）は低いダウンスケーリング比（例えば、ダウンスケーリング比１／２）に対応し、ダウンスケーリング比に対応するサイズを有するサブブロックを生成するために必要とされる数の追加のＡＣ ＤＣＴ係数を符号化するコードワードを含む。１／２にダウンスケールされた画像を生成するのに適したサブブロックを生成するために、４ｘ４係数サブブロックがＳ１に符号化される。この実施例では、Ｓ０のコードワードが１２個の係数を符号化し、Ｓ０のコードワードと組み合わされる場合、必要とされる１６個の係数を復号できる。

残りの４８個の係数は第３サブシーケンスＳ２に割り当てられる。図５はさらに１２ｘ１２ブロック（５５）に適用されるサブシーケンス構成方法を示す。この場合、サブシーケンスＳ０は、ＤＣＴ係数の２ｘ２ブロックとなるように、１／６のダウンスケーリング比に対応するブロックサイズを生成ための十分な係数を符号化する。Ｓ１は、Ｓ０と組み合わされると、１／３のダウンスケーリング比に対応するブロックサイズの生成が可能となる十分な係数を符号化し、ＤＣＴ係数の４ｘ４ブロックとなり；Ｓ２は、Ｓ０及びＳ１と組み合わされると、２／３のダウンスケーリング比に対応するブロックサイズを復号できる十分な係数を符号化し、ＤＣＴ係数の８ｘ８ブロックとなる。Ｓ３は係数の１２ｘ１２ブロックを生成するために必要な残りの係数の全てを含みフル解像度画像の再生を可能にする。

図５は、４つのサブシーケンスを生成する８ｘ８ブロック（６５）に適用される別のサブシーケンスの構成方法をさらに示す。この実施例では、サブシーケンスＳ０及びＳ１はブロック４５の実施例の通りである。この場合、サブシーケンスＳ２には、Ｓ０及びＳ１と組合わされると、８ｘ８係数ブロックの主対角線より上の少なくとも全てのＤＣＴ係数を再現できるまで十分な係数が割り当てられる。従って、Ｓ２は１６個の係数を含み、サブシーケンスＳ３は３２個の係数を含む。

このサブシーケンス割り当て方法は、偶数のコードワードを多く備えたサブシーケンスを有利に生成し、処理効率を最大にすることができる。この方法は、最も大きいサブシーケンス（即ちサブストリームＳ３）が各ブロックの係数の半分を超えないことを保証するので、リアルタイムで実施する場合に処理速度を２倍にできる。

図５に関連して説明されるサブシーケンスは、ＤＣＴ係数（それらは任意の適切な変換から生じるが）に関して説明されている。しかし、図３の実施形態のステップ９０によって生成されたサブシーケンスは、実際にはコードワードのシーケンスを含む。

以下に例示するように、ランレングス符号化を実施することは、次のサブシーケンスに該当するものとして指定された変換係数を、前のサブシーケンスが符号化することを意味する。したがって、所定のサブシーケンスは、（すべての前の（通常低周波成分の）サブシーケンスと組み合わされる場合には）、予め定めたサイズの変換係数ブロックを再現するのに（コードワードまたは符号化がまだなされていない場合はＤＣＴ係数のうちいずれかの）十分なデータを含む。そのサイズは特定のダウンスケーリング比に対応するのが好ましい。符号化される所定のブロックについて、適切な符号化スキームが、前のサブシーケンスの符号化の効率を落とすことなく、サブシーケンスのコンテンツ全体をより小さな番号のサブシーケンスに符号化できる場合、該サブシーケンスを空にできる。例えば、サブブロック全体に広がるのに十分な長さのゼロ値係数のランが存在すると、ランレングス符号化により、そのサブブロックは、前のサブシーケンスに出現するシンボルに効果的に符号化されて、そのブロックについてサブシーケンスは効果的に空になる。ＥＯＢマーカーは、最後に符号化された非ゼロ係数を含む同じサブシーケンスに割り当てることができる。その結果、後のサブシーケンスを復号するには、常にすべての前のサブシーケンスを復号する必要があるので、空のサブシーケンス即ち「欠落した」係数は、復号中に問題を生じない。

図３に戻って、ストリームデマルチプレクサによって生成されたサブシーケンスは出力バッファに記憶される（ステップ９５）。各サブシーケンスは通常不揮発性メモリの指定されたブロックに記憶され、デコーダが、解像度が低減された特定の復号に必要となる特別に符号化されたサブシーケンスのみを読み取って復号できるようにする。サブシーケンスの数、開始位置、アドレスオフセット、及び符号化された係数のポインタなどのストリーム特性も、ＤＣＴや量子化マトリクス、ブロックサイズや復号フェーズで必要な他の情報などその他のメタデータとともに、符号化されたブロックのフレームヘッダーに記憶される。

ランレングス符号化、エントロピー符号化、およびブロックの終わり（ＥＯＢ）マーカーの位置を組み合わせることにより、例示された符号化方法は、圧縮効率を維持しながら、広範囲のダウンスケーリング比を管理するのに適している。それに加えて、フルブロックサイズと標準ジグザグ配列が使用されているかのようにランレングス符号化を実行できる。この点、ランレングスで符号化された値は、ほとんど例外なくランが開始するサブシーケンスに含まれるが、長さは次の高次のサブシーケンスに、あるいは複数のサブシーケンスにさえまたがって伸びることがある。

符号化方法の効率は、フル画像で実行した場合と同じ圧縮率を達成するという事実からも生じるが、解像度が低減された部分的な復号を目に見えて高速で行うことを可能にする。

図６Ａ及び６Ｂは、図３の方法の態様の理解をさらに助けるために提供される。最初に、画像の画素の単一ブロックについて代表的方法の工程を示す、図６Ａを参照する。画像９００は空間ブロック（例えば９０１）に分割される。これはその後ＤＣＴ９０５を使用して周波数ドメインに変換され、画像９００内のブロック９０１を表す複数のＤＣＴ係数を含むブロック９１０を生成する。ブロック９１０はブロック９０１（画素単位）と（係数単位で）同じサイズを持つ。ＤＣＴ係数は図３のステップ６０に示されるように量子化される。該ＤＣＴ係数は、ステップ８０でエントロピー符号化を実行するエンコーダにシリアルに読み込まれる。係数のシリアルストリームが符号化ステージに読み込まれる配列は、ステップ７００で設定される。好ましくは、係数の配列が、ＤＣＴブロック９００の各サブブロックＳ０、Ｓ１、Ｓ２内にある係数がそれぞれ切れ目なく連続し、最も好ましくは、図４Ａ又は４Ｂに示されるジグザグパターンに沿って形成されることである。シリアルに符号化されたストリーム９１５は、（前から後へ）ＥＳ０、ＥＳ１、ＥＳ２の順に流れるコードワードを含む（ここで留意すべきは、図６Ａ及び６Ｂでは、コードワードのストリームは、右端のコードワード（図６ＡのＥＳ０）が最初に処理されるように先入れ先出しで右に移動するキューとして表される）。ステップ９０（図３）で、このシーケンスは（ＥＳ０を最初に）デマルチプレクサ９２０へ送られ、そこでシリアルに符号化されたストリームは３つのサブシーケンスである、ストリーム０、ストリーム１、ストリーム２に分割される。次に、各サブシーケンスのコードワードは（後続のブロックから対応するサブシーケンスのコードワードが続くように）個別にバッファリングされ、必要に応じて個別に処理できるように、その後の処理または記憶のために送られる。

図６Ｂは、いくつかのブロック１０００（ブロック１…ブロックＮ）の同じ処理を示すことにより、図６Ａを拡張する。ブロック１…Ｎは、同じ画像内の異なる空間ブロック、または異なる画像内の空間ブロックを表してもよい。例えば、連続的に処理されたブロックは、Ｙ、Ｃｂ、Ｃｒ成分画像のセット内の各画像からの、あるいは他の任意のカラー符号化スキームの成分画像からのブロックを表してもよい。ＤＣＴ係数の各ブロックは、配列ステップ７０によってサブブロックに配置された各ブロックの係数を有し、ブロックｉは：ＤＣ係数を含む２ｘ２ブロックからなる係数Ｓ^ｉ０のサブブロック；次の１２個の係数を持ち、ブロックＳ^ｉ０と組み合わせると４ｘ４アレイを完成させるサブブロックＳ^ｉ１；及び８ｘ８ブロックを完成させる残り４８個の係数のサブブロックを有する。ブロック１…Ｎは、シリアルに配置されたコードワード１０１０のシーケンスを生成するように符号化される。図６Ａのようにブロック１が最初に符号化され、それに続いてブロック２からブロックＮまで符号化され、その結果、シリアルに配置されたコードワード１０１０のシーケンスは、（最初から最後までを通して）ＥＳ^１０、ＥＳ^１１、ＥＳ^１２、ＥＳ^２０、ＥＳ^２１、ＥＳ^２２、…ＥＳ^ｉ０、ＥＳ^ｉ１、ＥＳ^ｉ２、ＥＳ^Ｎ０、ＥＳ^Ｎ１、ＥＳ^Ｎ２のように符号化されたサブブロックを有する。ここで、上付き文字はブロック番号を示し、最後の数字はサブブロック番号を表す。上記のように、図６Ｂでは、コードワードのシーケンスは、キュー（ＥＳ^１０）内の最初のコードワードが最初に処理されるように、マルチプレクサに向かって（すなわち、右および下へ）移動する先入れ先出しキューとして示されている。次に、コードワード１０１０のシーケンスは、逆多重化されて、３つのサブシーケンス（ブロック内の配列された係数の３つのサブブロックに対応する）に形成される。サブシーケンス０は、Ｓ０のサブブロックＳ^１０、Ｓ^２０…Ｓ^ｉ０…Ｓ^Ｎ０の各係数を表すコードワードを含む。サブシーケンス１は、サブシーケンス０に加えて、Ｓ１のサブブロックＳ^１１、Ｓ^２１…Ｓ^ｉ１…Ｓ^Ｎ１の各係数を表すために必要なコードワードを含む。ストリーム３は、サブシーケンス１と０に加えて、Ｓ２のサブブロックＳ^１２、Ｓ^２２…Ｓ^ｉ２…Ｓ^Ｎ２の各係数を表すために必要なコードワードを含む。

本発明のいくつかの実施形態は、より低い解像度の画像（選択されたサブシーケンスのみを記憶することによって達成される）を記憶することに適用され、それにより、より多くの画像またはより長いビデオシーケンスを同じメモリ容量に記憶することができる。

本発明の実施形態に従った方法の復号フェーズ１１０が図７のフローチャートによって示されている。復号は、本明細書に記載の符号化フェーズ中に生成された符号化画像ファイルに対して実行される。

ステップ５１０で、復号される画像の解像度が選択される。この選択は、ユーザーが、画像を生成する際の解像度を選択するアクティブな選択の場合もあれば、あるいは、例えば低解像度のモニタに表示するために画像を復号することなど、あるダウンストリームプロセスが単にある解像度の画像の使用を必要とする、または許可するという意味で、パッシブな選択の場合もある。上記のように、所望の解像度で画像を生成するために必要とされる画像データのみが復号されるという点で、画像データは向上した復号を容易に行うように符号化され記憶されている。例えば、画像データは、１／２のダウンスケーリング比で復号でき、８ｘ８のブロックサイズに対しては、単に４ｘ４のより小さいサイズのブロックを復号すれば済む。同様に、１／２のスケール比率で１２ｘ１２のブロックサイズを復号する場合には、単に６ｘ６の縮減されたブロックサイズを復号すれば済む。

一般的に、ｋ／Ｎの任意の固定整数比をダウンスケーリング比として使用できる。ここで、Ｎは画像データの符号化に使用されるブロックサイズであり、ｋは１．．．Ｎの範囲の整数を示す。

解像度を選択後、選択された解像度を達成するために必要なサブシーケンスがアクセスされ（例えば、メモリから読みだされ）、ストリームマルチプレクサを介して送られて（ステップ５２０）、選択された解像度の画像を復号できるコードワードのシリアルストリームが生成される。例えば、８ｘ８ブロックを使用して符号化された画像４５（図５）を１／２のダウンスケーリング比で復号するために、サブシーケンスＳ０とＳ１が選択される。上記のように、これらのサブシーケンスは、４ｘ４サブブロックの、まとめて１６個の符号化された係数を含む。

同様に、８ｘ８ブロックを１／４のスケール比率で復号するためには、サブシーケンスＳ０（２ｘ２グリッドに４つの符号化されたシンボルを含む）のみが選択される必要がある。

ステップ５３０で、検索されたサブシーケンスがエントロピー復号される。ハフマン符号化されたデータの復号は、コードブックを参照することにより、通常ワード単位で行われる。これが必要であるのは、個々のビットレベルで復号することによってのみ、それぞれが固有のコードワードを符号アルファベットの他のワードから区別できるためである。符号化スキームのこれらの特性のため、通常、符号化されたビットストリーム内の任意の場所で復号を開始することはできない。符号化されたビットストリーム自体は、前のブロックが完全に復号されない限り、復号を開始する場所や次のブロックに移動するタイミングに関する情報を提供しない。従って、復号開始ポイントは、通常は画像メタデータから検索され、それによってその後逐次復号を開始する。

追加の復号開始ポイントなど、符号化されたストリームについての追加情報を（メタデータまたはストリーム自体のいずれかに）記憶することは技術的に実現可能だが、これは符号化されたビットストリームのサイズを増大させることになりかねず、したがって圧縮効率に悪影響を及ぼす。

ハフマン符号化の前にデータに適用されたランレングス符号化は、復号ステップ中に反転される。エントロピー復号５３０は、それぞれが量子化されたＤＣＴ係数のマトリクスを含む、低減された解像度のＤＣＴブロックの集合を生成する。

ステップ５３５で、各ブロックの量子化されたＤＣＴ係数は、符号化中に非標準のジグザグパターンが使用された場合、上記ステップ７０を実行する前の元の配列に再配列（即ち、「デジグザグ」）される。

その後、逆量子化（ステップ５４０）が量子化されたＤＣＴ係数の各ブロックに対して実行される。逆量子化は、符号化フェーズの量子化ステップ（ステップ６０）を、できる限り逆に実行することに関わる。これは、量子化（ステップ６０）で使用するために選択された同じ量子化マトリクスを参照して実行される。このように生成された、逆量子化されたＤＣＴブロックは、元のＤＣＴ係数マトリクス、つまりＤＣＴステップ（ステップ５０）中に生成されたマトリクスに（厳密に同じではないが）非常に近い。そして、そのＤＣＴ係数マトリクスは、周波数ドメインの元の画像ファイルの表現である。

復号後、ＤＣＴ係数マトリクスは逆ＤＣＴが適用される（ステップ５５０）。このプロセスは、最初にマトリクスの２次元逆ＤＣＴを実行し、結果を整数値に丸め、該整数値をシフトさせて元のデータ範囲を復元することにより進行する。

逆ＤＣＴに続いて、逆ＤＣＴ中に生成されたデータから画像が再生される（ステップ５６０）。上記のように、この復号された画像は、上記ステップ５１０で選択されたスケール比率で解像度が低下している。しかしながら、この画像は必要な変換係数のみを復号することで生成されている。換言すれば、選択された解像度で画像を生成するために必要とされないサブシーケンスの係数は復号されない。画像が、所望のダウンスケーリング比に正確に対応するサブシーケンスで表現されない場合でも、本発明の実施形態は従来の画像復号をしのぐ利点を提供できる。従来のスキームでは、画像全体を復号する必要があるが、本発明の実施形態では、所望の変換係数の数（及びパターン）を復号するために必要なコードワードのサブシーケンスのみを復号すればよい。

一連の３つの例が図８Ａから８Ｃに示されており、それらは、フル解像度の画像の生成（図８Ａ）、低解像度の画像の生成（図８Ｂ）、及び中間解像度の画像の生成（図８Ｃ）を行う、実施形態を示す。

生成される画像は、８ｘ８画素ブロックを使用して符号化され、Ｎブロックの画素が作成された。空間ドメインの画素ブロックを符号化中に、８ｘ８ＤＣＴを使用して周波数領域のブロックに変換され、結果として得られた係数ブロックは、その係数が図４Ａの修正ジグザグパターンに従って配列された。図４Ａに配置されたサブブロックは符号化され、上記のように符号化データの対応するサブシーケンス（ストリーム０、ストリーム１、ストリーム２）に配置され、右に移動するコードワードのキューとして示される。符号化されたデータの３つのサブシーケンスは、一緒に記憶することも、互いに別々に記憶することもできる。さらに、各サブシーケンスは、異なるデータ送信チャネルを介して受信することも、単一のチャネルでシリアルに受信することもできる。

初めに図８Ａを参照すると、フル解像度の画像が生成される（つまり、選択された解像度がフル解像度である）ためには、符号化されたデータのすべてのサブシーケンス（ストリーム０、ストリーム１、ストリーム２）を処理する必要がある。従って、方法１１００は、３つのサブシーケンス、ストリーム０、ストリーム１、ストリーム２の全てが（例えば、送信チャネルを介して受信されるか、メモリから取得されるか、またはバッファから読み取られるなどして）取得されることから始まる。これらは、（好ましくは、右端のコードワードが最初に処理されるようにキューが右に移動する、図に示されるコードワードのキューとして）ストリームマルチプレクサ１１１０に送られ、コードワードがシリアルに配置されたシーケンス１１２０を生成する。ストリームマルチプレクサ１１１０は、好ましくはＥＳ^１０、ＥＳ^１１、ＥＳ^１２、ＥＳ^２０、ＥＳ^２１、ＥＳ^２２、…ＥＳ^ｉ０、ＥＳ^ｉ１、ＥＳ^ｉ２、ＥＳ^Ｎ０、ＥＳ^Ｎ１、ＥＳ^Ｎ２のように（最初から最後まで配列された）コードワードのシリアルシーケンスを出力する。ここで、上付き文字はブロック番号を表し、最後の数字はサブブロック番号を表す。前述のように、このシーケンスは、最初にＥＳ^１０が処理されるように、ストリームマルチプレクサから遠ざかるキューとして図８Ａから８Ｃに示されている。

次に、コードワードのシーケンスは、ＤＣＴ係数の複数のブロック１１４０に復号１１３０される。係数のブロックは、フル解像度の画像が生成されるようにサイズ設定され、このことは、符号化するときの画素アレイのサイズに一致するＤＣＴブロックを必要とする。ＤＣＴブロック１１４０は、符号化中に選択された配列のＤＣＴ係数を含む。この例では、それらは図４の修正ジグザグ配列４５に従って配置されている。その後、それらは逆変換を適用できる配列に配置される。次に、逆ＤＣＴ１１５０が各ブロック１１４０に適用されて、対応する８ｘ８画素ブロック１１５５を作成する。そして、再現された画素ブロック１１５５が組み立てられ、フル解像度１１６０の最終画像に処理することができる。

次に、図８Ａと同様の図であるが、低解像度の画像の再現が望まれる状況について図８Ｂを参照する。低解像度の画像が生成されるため、符号化されたデータの全てのサブシーケンスよりも少ない処理で済む。この実施例では、１／４解像度の画像が生成されることを想定しており、したがって、方法１２００は、サブシーケンスのストリーム０のみを（例えば、送信チャネルを介して受信されるか、メモリから取得されるか、バッファから読み取られるなどして）取得することで開始する。コードワードは、ストリームマルチプレクサ１１１０に送られ、コードワードがシリアルに配置されたシーケンス１１２０を生成する。しかしながら、この実施例では実際には多重化が行われないことを考えると、ストリームマルチプレクサ１１１０は省いてもよい。結果として生じるコードワード１２２０のストリームは、その後１１３０で復号されて、図４ＡのＳ０ブロックと同じサイズ、即ち２ｘ２の一連のＤＣＴブロック１２４０を作成する。ＤＣＴ係数は、必要に応じ標準的配列に再配置され、逆ＤＣＴが各ブロック１２４０に適用されて、対応する２ｘ２画素ブロック１２５５を作成する。ＤＣＴ係数のブロック１２４０は、フル解像度ブロックのサイズの１／４であるため、各２ｘ２画素のサブ画像１２５５を生成するには単に２ｘ２の逆ＤＣＴを適用すれば済む。その後、再現された画素ブロック１１５５は、組み立てられて元の１／４解像度の最終画像１２６０に処理される。

次に、図１１、１２と同様の図であるが、中間解像度の画像の再現が望まれる状況について図８Ｃを参照する。中間解像度の画像が生成されるため、符号化されたデータの全てのサブシーケンスよりも少ない処理で済む。この実施例では、１／２解像度の画像が生成されることを想定しており、したがって、方法１３００は、サブシーケンスのストリーム０とストリーム１の２つのみを（例えば、送信チャネルを介して受信されるか、メモリから取得されるか、バッファから読み取られるなどして）取得することで開始する。コードワードは、ストリームマルチプレクサ１１１０に送られ、コードワードがシリアルに配置されたシーケンス１３２０を生成する。１／２解像度画像を生成する上で必要がないので、ストリーム２を（例えば読み取ったり受信したりして）取得する必要がない。結果として生じるコードワード１３２０のストリームは、その後１１３０で復号されて、図４Ａの組み合わされたＳ０＋Ｓ１ブロックと同じサイズ、即ち４ｘ４の一連のＤＣＴブロック１３４０を生成する。次に、逆ＤＣＴが各ブロック１３４０に適用されて、対応する４ｘ４画素ブロック１３５５を生成する。ＤＣＴ係数のブロック１３４０は、フル解像度ブロックのサイズの１／２であるため、各４ｘ４画素のサブ画像１３５５を生成するには単に４ｘ４の逆ＤＣＴを適用すれば済む。その後、再現された画素ブロック１３５５は、組み立てられて元の１／２解像度の最終画像１３６０に処理される。

図４Ｃ及び４Ｄは、標準的なジグザグパターンを使用する実施形態を示す。図４Ｃ及び４Ｄでは、ブロック４００Ｃ及び４００Ｄは、ブロックの係数の番号付けおよび図示された経路に示されるように、標準のジグザグパターンを使用してステップ７０で配列される。これらは、図３に示すように、ステップ８０で符号化され、その後ストリームデマルチプレクサによっていくつかのストリームに逆多重化される。図４Ｃのブロック４００Ｃは、次の３つのサブシーケンスに分割される：
サブストリームＳ０−係数１から５を表すコードワード；
サブストリームＳ１−係数６から２５を表すコードワード；
サブストリームＳ２−係数２６から６４を表すコードワード。

符号化されたデータストリームを逆多重化するためにこれらのサブシーケンスを選択することにより、画像のバージョンを以下の解像度で適宜復号できる：
サブストリームＳ０のみにアクセスして復号することによる、最大１／４までのダウンスケーリング比；
さらにサブストリームＳ１にアクセスして復号することによる、最大１／２までのダウンスケーリング比；
さらにサブストリームＳ２にアクセスして復号することによる、フル解像度までのダウンスケーリング比。

図４Ｄのブロック４００Ｄは、以下に示す４つのサブシーケンスに分割される：
サブストリームＳ０−係数１から５を表すコードワード；
サブストリームＳ１−係数６から２５を表すコードワード；
サブストリームＳ２−係数２６から１０４を表すコードワード；
サブストリームＳ３−係数１０５から１１４を表すコードワード。

符号化されたデータストリームを逆多重化するためにこれらのサブシーケンスを選択することにより、画像のバージョンを以下の解像度で適宜復号できる：
サブストリームＳ０のみにアクセスして復号することによる、フル解像度の最大１／６までのダウンスケーリング比；
さらにサブストリームＳ１にアクセスして復号することによる、フル解像度の最大１／３までのダウンスケーリング比；
さらにサブストリームＳ２にアクセスして復号することによる、フル解像度の最大２／３までのダウンスケーリング比；
さらにサブストリームＳ２にアクセスして復号することによる、フル解像度までのダウンスケーリング比。

この実施例では、ＤＣＴ係数に従来のジグザグ配列を使用しているが、データを、個別にアクセスされ復号される３つのサブシーケンスに分割することにより、この実施形態は、ダウンスケーリングの前の符号化されたストリームの全てをアクセスして復号する必要がある標準復号プロセスよりもより経済的に、符号化された画像の低解像度バージョンを生成することを可能にする。

本発明の実施形態に従った符号化方法の実施例を、図９を参照して説明する。第１のブロック５０５および第２のブロック５２０は、それぞれ８ｘ８サイズで示されている。各ブロック５０５及び５２０は、左上隅にＤＣ係数「ｄｃ０」を含み、ブロックの残りを構成する６３個のＡＣ係数「ａｃ１」…「ａｃ６３」を含む。ＡＣ係数は、上記の修正されたジグザグ配列で配列される；即ち、対角５２５（ａｃ２８−ａｃ３５）とそれより下のエレメントは標準のジグザグ配列であり、残りのエレメントは並べ替えられている。ブロック５０５及び５２０は、同じ画像内の異なる空間ブロックまたは異なる画像内の空間ブロック、例えば、関連する彩度画像および輝度画像内の対応する空間ブロックを表してもよい。

８ｘ８マトリクスのエレメントの並べ替えは、図４Ａで説明される以下の配列図によって定義される。

上記のように、ハフマン符号化は係数を符号化するために展開され、非ゼロの各係数にはバイナリコードワードが割り当てられる。ゼロ値の係数のランは、通常、次の非ゼロの係数のコードワードによって（またはブロックの終わりのコードワードによって）示される。

図示の実施形態では、図４に示す８ｘ８のブロックジェネレータ４５を使用して３つのサブシーケンスが生成される。ブロック５０５のエレメントａｃ１に割り当てられたコードワードはＹ０＿ａｃ１＿ｃｗと命名され、ブロック５２０に割り当てられたコードワードはＹ１＿ａｃ１＿ｃｗと命名される。２つのブロック５０５及び５２０の他のエレメントは、同様に命名される。ゼロ値のパディングは、各ブロック、ブロック群、または各サブシーケンスの終わりなど、出力の適切なポイントに挿入できる。

３つのサブシーケンスは任意の配列で出力できる。

係数のすべてが非ゼロのシナリオでは、ストリームマルチプレクサによって生成される各サブシーケンスの内容は以下のようになる：
サブストリーム０：Ｙ０＿ｄｃ０＿ｃｗ，Ｙ０＿ａｃ１＿ｃｗ，Ｙ０＿ａｃ２＿ｃｗ，Ｙ０＿ａｃ３＿ｃｗ，Ｙ１＿ｄｃ０＿ｃｗ，Ｙ１＿ａｃ１＿ｃｗ，Ｙ１＿ａｃ２＿ｃｗ，Ｙ１＿ａｃ３＿ｃｗ
サブストリーム１：Ｙ０＿ａｃ４＿ｃｗ，Ｙ０＿ａｃ５＿ｃｗ，Ｙ０＿ａｃ６＿ｃｗ，Ｙ０＿ａｃ７＿ｃｗ，Ｙ０＿ａｃ８＿ｃｗ，Ｙ０＿ａｃ９＿ｃｗ，Ｙ０＿ａｃ１０＿ｃｗ，Ｙ０＿ａｃ１１＿ｃｗ，Ｙ０＿ａｃ１２＿ｃｗ，Ｙ０＿ａｃ１３＿ｃｗ，Ｙ０＿ａｃ１４＿ｃｗ，Ｙ０＿ａｃ１５＿ｃｗ，Ｙ１＿ａｃ４＿ｃｗ，Ｙ１＿ａｃ５＿ｃｗ，Ｙ１＿ａｃ６＿ｃｗ，Ｙ１＿ａｃ７＿ｃｗ，Ｙ１＿ａｃ８＿ｃｗ，Ｙ１＿ａｃ９＿ｃｗ，Ｙ１＿ａｃ１０＿ｃｗ，Ｙ１＿ａｃ１１＿ｃｗ，Ｙ１＿ａｃ１２＿ｃｗ，Ｙ１＿ａｃ１３＿ｃｗ，Ｙ１＿ａｃ１４＿ｃｗ，Ｙ１＿ａｃ１５＿ｃｗ
サブストリーム２：Ｙ０＿ａｃ１６＿ｃｗ，Ｙ０＿ａｃ１７＿ｃｗ，Ｙ０＿ａｃ１８＿ｃｗ，…Ｙ０＿ａｃ６２＿ｃｗ，Ｙ０＿ａｃ６３＿ｃｗ，Ｙ１＿ａｃ１６＿ｃｗ，Ｙ１＿ａｃ１７＿ｃｗ，Ｙ１＿ａｃ１８＿ｃｗ，…Ｙ１＿ａｃ６２＿ｃｗ，Ｙ１＿ａｃ６３＿ｃｗ

上記のように、サブシーケンスは任意の配列で出力することができ、従って、圧縮されたデータストリームまたはファイルは、例えば、サブストリーム０、次にサブストリーム１、次にサブストリーム２を含むことができる。

実施例のシナリオでは、ブロックＹ０（５０５）のａｃ２、ａｃ３、ａｃ４、ａｃ５を除く係数のすべてが非ゼロの場合、標準のハフマン符号化に従って、ゼロ係数にはコードワードが割り当てられないが、これらゼロ係数は代わりにゼロラン情報を含むａｃ６のコードワードで示される。各サブシーケンスのデータコンテンツを以下に示す：
サブストリーム０：Ｙ０＿ｄｃ０＿ｃｗ，Ｙ０＿ａｃ１＿ｃｗ，Ｙ０＿ａｃ６＿ｃｗ，Ｙ１＿ｄｃ０＿ｃｗ，Ｙ１＿ａｃ１＿ｃｗ，Ｙ１＿ａｃ２＿ｃｗ，Ｙ１＿ａｃ３＿ｃｗ
サブストリーム１：Ｙ０＿ａｃ７＿ｃｗ，Ｙ０＿ａｃ８＿ｃｗ，Ｙ０＿ａｃ９＿ｃｗ，Ｙ０＿ａｃ１０＿ｃｗ，Ｙ０＿ａｃ１１＿ｃｗ，Ｙ０＿ａｃ１２＿ｃｗ，Ｙ０＿ａｃ１３＿ｃｗ，Ｙ０＿ａｃ１４＿ｃｗ，Ｙ０＿ａｃ１５＿ｃｗ，Ｙ１＿ａｃ４＿ｃｗ，Ｙ１＿ａｃ５＿ｃｗ，Ｙ１＿ａｃ６＿ｃｗ，Ｙ１＿ａｃ７＿ｃｗ，Ｙ１＿ａｃ８＿ｃｗ，Ｙ１＿ａｃ９＿ｃｗ，Ｙ１＿ａｃ１０＿ｃｗ，Ｙ１＿ａｃ１１＿ｃｗ，Ｙ１＿ａｃ１２＿ｃｗ，Ｙ１＿ａｃ１３＿ｃｗ，Ｙ１＿ａｃ１４＿ｃｗ，Ｙ１＿ａｃ１５＿ｃｗ
サブストリーム２：Ｙ０＿ａｃ１６＿ｃｗ，Ｙ０＿ａｃ１７＿ｃｗ，Ｙ０＿ａｃ１８＿ｃｗ，…Ｙ０＿ａｃ６２＿ｃｗ，Ｙ０＿ａｃ６３＿ｃｗ，Ｙ１＿ａｃ１６＿ｃｗ，Ｙ１＿ａｃ１７＿ｃｗ，Ｙ１＿ａｃ１８＿ｃｗ，…Ｙ１＿ａｃ６２＿ｃｗ，Ｙ１＿ａｃ６３＿ｃｗ

このシナリオでは、コードワードＹ０＿ａｃ６＿ｃｗがサブストリームＳ０に「プロモート」されている。これには、復号時に、デコーダがサブストリームＳ０のデータのみを使用してＤＣＴブロックＹ０の最初の４つの係数を復号できるという利点がある。

圧縮されたデータストリーム又はファイルは、この場合、サブストリームＳ０、その後のサブストリームＳ１、その後のサブストリームＳ２で構成される。

本発明の様々な態様および実施形態は、以下の項に定義される：
項１．変換係数のセットを処理する方法であって、前記変換係数は複数のブロックに配置され、各ブロックは画像の空間領域を表し；
ブロックごとに：
ブロックの係数を係数のシーケンスに配列すること；
配列された係数のシーケンスを符号化して、各コードワードが１又は複数の符号化された係数を含む、コードワードのシーケンスを生成すること；
コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割すること；を含む方法。
項２．各サブシーケンスの係数の数は、少なくとも部分的にダウンスケーリング比によって決定される、項１に記載の方法。
項３．コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは：
第１のダウンスケーリング比に基づいて変換係数の第１サブブロックを定義すること、及び、コードワードの第１サブシーケンスが、コードワードの第１サブシーケンスを復号することで変換係数の第１サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードの第１サブシーケンスにコードワードを割り当てることを含む、項１又は２のいずれかに記載の方法。
項４．コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは、：
第２のダウンスケーリング比に基づいて変換係数の第２サブブロックを定義すること、及び、コードワードの第２サブシーケンスとコードワードの第１サブシーケンスの組合せが、コードワードの前記組合せを復号することで変換係数の第２サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードの第１サブシーケンスに存在しないコードワードをコードワードの第２サブシーケンスに割り当てることをさらに含む、項３に記載の方法。
項５．対応のダウンスケーリング比に基づいて変換係数の第１サブブロックを定義すること、及びコードワードのシーケンスを分割して変換係数の第１サブブロックを復号するのに必要なコードワードを含むコードワードの第１サブシーケンスを形成することをさらに含む、項１又は２のいずれかに記載の方法。
項６．対応のダウンスケーリング比に基づいて変換係数の第２サブブロックを定義すること、及び、コードワードのシーケンスを分割して、コードワードの第１サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第２サブブロックを復号するのに必要なコードワードを含む、コードワードの第２サブシーケンスを形成すること、をさらに含む、項５に記載の方法。
項７．対応のダウンスケーリング比に基づいて変換係数の第３サブブロックを定義すること、及び、コードワードのシーケンスを分割して、コードワードの第１及び第２サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第３サブブロックを復号するのに必要なコードワードを含むコードワードの第３サブシーケンスを形成すること，をさらに含む、項６に記載の方法。
項８．コードワードのシーケンスを分割して、コードワードの第１及び第２サブシーケンスに含まれるコードワードと組み合わされるとき、変換係数の第３サブブロックを復号するのに必要なコードワードを含むコードワードの第３サブシーケンスを形成することを含む、項５乃至７のいずれかに記載の方法。
項９．コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは、ブロックに対応する残りのコードワードをコードワードの少なくともさらに１つのサブシーケンスに割り当てることをさらに含む、項３乃至８のいずれかに記載の方法。
項１０．変換係数のブロックは、ＮがＭに等しいか又は等しくないＭｘＮ変換係数のアレイを含み；コードワードの前記サブシーケンスの少なくとも１つは、１／Ｄがサブブロックのダウンスケーリング比であるＮ／Ｄ ｘ Ｎ／Ｄ変換係数のアレイを含む変換係数のサブブロックを表す、項１乃至９のいずれかに記載の方法。
項１１．コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは：
１／Ｄがサブブロックのダウンスケーリング比である、Ｎ／Ｄ ｘ Ｎ／Ｄ変換係数を含む変換係数のサブブロックを再生するのに十分なコードワードを含むコードワードのサブシーケンスを生成することを含む、項１０に記載の方法。
項１２．各ブロックの係数の前記係数のシーケンスへの配列は、並び替え領域とジグザク配列領域とを含む修正ジグザグ配列である、先行する項のいずれかに記載の方法。
項１３．各ブロックはＮｘＮサイズであり、ジグザグ配列領域は各ブロックの対角線及び対角線の下の係数を含む、項３に記載の方法。
項１４．複数のブロックに対して、対応するサブシーケンスを共通のサブシーケンスへ配置することをさらに含む、任意の先行する項に記載の方法。
項１５．１又は複数の前記共通のサブシーケンスを含む画像ファイルを記憶することを含む、項１４に記載の方法。
項１６．該方法は、前記画像ファイルの複数の共通のサブシーケンスを記憶することを含み、それぞれの共通のサブシーケンスに対応する少なくとも１つの予め定めたダウンスケーリング比でダウンスケールされた画像の生成を可能にする、項１５に記載の方法。
項１７．先行する項のいずれかに記載の方法を使って生成された符号化された画像を復号する方法であって、該方法は：
画像解像度を選択すること；
選択された画像解像度で画像を生成するのに適した１又は複数のコードワードのサブシーケンスを選択すること；
選択されサブシーケンスを復号すること；を含む方法。
項１８．画像の空間領域を表すブロックごとに、該方法は：
全てのサブシーケンスよりも少ないサブシーケンスを復号して符号化前のブロックよりも少ない変換係数を有する変換係数のサブブロックを生成することを含む、項１７に記載の方法。
項１９．項１乃至１７のいずれかに記載の方法により生成された、符号化された画像データからダウンスケールされた画像を生成する方法であって；
画像解像度を選択すること；
画像の空間領域を表すブロックごとに：
コードワードの全てのサブシーケンスよりも少ないサブシーケンスを復号して符号化前のブロックよりも少ない変換係数を有する変換係数のサブブロックを生成すること；
選択された画像解像度に対応する空間ドメイン画像データを生成するサイズの逆変換を使って変換係数のサブブロックに逆変換を実行すること；
各サブブロックの空間ドメイン画像データを処理して、選択された画像解像度でダウンスケールされた画像を生成すること；を含む方法。
項２０．変換係数のサブブロックは選択された画像解像度に対応する数の係数を有する、項１８又は１９のいずれかに記載の方法。
項２１．逆変換を実行する前に変換係数のサブブロックを再配列することを含み、再配列された変換係数のサブブロックがジグザグパターンである項１９又は２０のいずれかに記載の方法。
項２２．項１乃至１６のいずれかに記載の方法を使用して、プロセッサーによって実行されるときプロセッサーに変換係数のセットを処理させる命令、を含むコンピュータソフトウェアプロダクト。
項２３．項１７乃至２１のいずれかに記載の方法を使用して、プロセッサーによって実行されるときプロセッサーに画像を処理させる命令、を含むコンピュータソフトウェアプロダクト。
項２４．画像データのフレームを変換係数のセットに変換すること；
項１乃至１６のいずれかの方法を実行すること；及び
１又は複数のコードワードのサブシーケンスを記憶すること；を含む、画像データのフレームを記憶する方法。
項２５．１又は複数のコードワードのサブシーケンスは、前記コードワードのサブシーケンスから選択されたサブシーケンスの検索を容易にするように記憶される、項２４のいずれかに記載の方法。
項２６．画像処理システムとデータ記憶媒体を有するカメラで、画像データのフレームのシーケンスを捕捉すること；
複数の画像データのフレームについて、画像処理システムが項２４又は２５に記載の方法を実行すること；を含む動画を記録する方法。
項２７．項１乃至２１、２４又は２５のいずれかに記載の方法を実行するように構成された画像処理システムを含むカメラ。
項２８．項１乃至２１、２４又は２５のいずれかに記載の方法を実行するように構成された画像処理システム。

説明された本発明の実施形態は、複数のサブシーケンスを生成することによって、エントロピー符号化されたＤＣＴ係数の形式で圧縮画像データを記憶する新規方法を提供する。この方法は、様々なＤＣＴブロックサイズ、望ましいダウンスケーリング比に応じた、およびエントロピー符号化の様々な方法と組み合わされた、様々の係数のグルーピングに適用される。

本明細書で開示され限定された発明は、テキストや図面に記載され又はそこから明白な、個々の特徴の２つ以上の全ての代替されうる組み合わせに及ぶことが理解されるだろう。これらの異なる組み合わせの全てが本発明の様々の代替されうる態様を構成する。

Claims (20)

1. 変換係数のセットを処理する方法であって、前記変換係数は複数のブロックに配置され、各ブロックは画像の空間領域を表し；
   ブロックごとに：
   ブロックの係数を係数のシーケンスに配列すること；
   配列された係数のシーケンスを符号化して、各コードワードが１又は複数の符号化された係数を含む、コードワードのシーケンスを生成すること；及び
   コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割すること；
   を含む方法。
2. 各サブシーケンスの係数の数は、少なくとも部分的にダウンスケーリング比によって決定される、請求項１に記載の方法。
3. コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは：
   第１のダウンスケーリング比に基づいて変換係数の第１サブブロックを定義すること；及び
   コードワードの第１サブシーケンスが、コードワードの第１サブシーケンスを復号することで変換係数の第１サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードの第１サブシーケンスにコードワードを割り当てること
   を含む、請求項１に記載の方法。
4. 第２のダウンスケーリング比に基づいて変換係数の第２サブブロックを定義すること；及び
   コードワードの第２サブシーケンスとコードワードの第１サブシーケンスの組合せが、コードワードの前記組合せを復号することで変換係数の第２サブブロックを再現するのに必要な全てのコードワードを含むまで、コードワードの第１サブシーケンスに存在しないコードワードをコードワードの第２サブシーケンスに割り当てること
   をさらに含む、請求項３に記載の方法。
5. コードワードのシーケンスを２以上のコードワードのサブシーケンスに分割することは、ブロックに対応する残りのコードワードをコードワードの少なくともさらに１つのサブシーケンスに割り当てることをさらに含む、請求項３に記載の方法。
6. 変換係数のブロックは、ＮがＭに等しいか又は等しくないＭｘＮ変換係数のアレイを含み；コードワードの前記サブシーケンスの少なくとも１つは、１／Ｄがサブブロックのダウンスケーリング比であるＮ／Ｄ ｘ Ｎ／Ｄ変換係数のアレイを含む変換係数のサブブロックを表す、請求項１乃至４のいずれかに記載の方法。
7. 各ブロックの係数の前記係数のシーケンスへの配列は、並び替え領域とジグザク配列領域とを含む修正ジグザグ配列である、請求項１乃至４のいずれかに記載の方法。
8. 複数のブロックに対して、対応するサブシーケンスを共通のサブシーケンスへ配置することをさらに含む、請求項１乃至４のいずれかに記載の方法。
9. 画像ファイルの複数の共通のサブシーケンスを記憶することをさらに含み、それぞれの共通のサブシーケンスに対応する少なくとも１つの予め定めたダウンスケーリング比でダウンスケールされた画像の生成を可能にする、請求項８に記載の方法。
10. 請求項１乃至４のいずれかに記載の方法を使って生成された、符号化された画像を復号する方法であって：
    画像解像度を選択すること；
    選択された画像解像度で画像を生成するのに適した１又は複数のコードワードのサブシーケンスを選択すること；及び
    選択されたサブシーケンスを復号すること；
    を含む方法。
11. 画像の空間領域を表すブロックごとに：
    全てのサブシーケンスよりも少ないサブシーケンスを復号して符号化前のブロックよりも少ない変換係数を有する変換係数のサブブロックを生成することを含む、請求項１０に記載の方法。
12. 請求項１乃至４のいずれかに記載の方法を使って処理された変換係数のセットを表す符号化された画像データからダウンスケールされた画像を生成する方法であって；
    画像解像度を選択すること；
    画像の空間領域を表すブロックごとに：
    コードワードの全てのサブシーケンスよりも少ないサブシーケンスを復号して符号化前のブロックよりも少ない変換係数を有する変換係数のサブブロックを生成すること；
    選択された画像解像度に対応する空間ドメイン画像データを生成するサイズの逆変換を使って変換係数のサブブロックに逆変換を実行すること；及び
    各サブブロックの空間ドメイン画像データを処理して、選択された画像解像度でダウンスケールされた画像を生成すること；
    を含む方法。
13. 変換係数のサブブロックは選択された画像解像度に対応する数の係数を有する、請求項１２に記載の方法。
14. 再配列された変換係数のサブブロックがジグザグパターンであるように、逆変換を実行する前に変換係数のサブブロックを再配列することをさらに含む、請求項１２に記載の方法。
15. 画像データのフレームを変換係数のセットに変換すること；
    請求項１乃至４のいずれかに記載の方法を実行すること；及び
    １又は複数のコードワードのサブシーケンスを記憶すること；
    を含む、画像データのフレームを記憶する方法。
16. １又は複数のコードワードのサブシーケンスは、前記コードワードのサブシーケンスから選択されたサブシーケンスの検索を容易にするように記憶される、請求項１２に記載の方法。
17. 画像処理システムとデータ記憶媒体を有するカメラで、画像データのフレームのシーケンスを捕捉すること；及び
    複数の画像データのフレームについて、画像処理システムが請求項１５又は請求項１６に記載の方法を実行すること；
    を含む、動画を記録する方法。
18. 請求項１乃至４のいずれかに記載の方法を実行するように構成された画像処理システムを含むカメラ。
19. 請求項１乃至４のいずれかに記載の方法を実行するように構成された画像処理システム。
20. プロセッサーによって実行されるときに該プロセッサーに請求項１乃至４のいずれかに記載の方法を実行させる命令を含むコンピュータソフトウェアプロダクト。

Images