JP2003333598A - イメージおよびビデオ符号化のための２−ｄ変換 - Google Patents

Abstract

(57)【要約】 【課題】 計算効率のよい、イメージおよびビデオ符号
化に使用するような変換の実装を提供すること。 【解決手段】 本発明の変換実装は、ある範囲制限の制
約に従って構築される１次元変換および２次元変換のセ
ットを提供する。この制約は、この変換が、スケーリン
グされた整数の実装を有すること、完全またはほぼ完全
な再構築を提供すること、ＤＣＴ近似の基底（DCT-like
basis）を有すること、ｎビット（例えば、ｎは１６ビ
ット）における表現の範囲内の係数に制限されること、
ノルムに類似する基底関数を有すること、および、範囲
のオーバーフローに対して十分なヘッドルームを提供す
ること、を含むことができる。この変換のセットは、整
数行列乗算演算を使用した効率的計算処理のための、ｎ
ビット整数範囲内の実装を有するこの手順により、構築
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、信号をデジタル方
式でエンコードしたり、処理したりするための技術に関
する。より詳細には、本発明は、イメージおよびビデオ
などの信号のエンコードおよびデコードにおける、計算
効率のよい変換のクラスの構築および使用に関する。

【０００２】

【従来の技術】変換符号化は、多数のオーディオ、イメ
ージおよびビデオ圧縮システムにおいて使用される圧縮
技術である。圧縮されていないデジタル・イメージおよ
びビデオは通常、２次元グリッド内に配列されたイメー
ジまたはビデオ・フレームにおける位置の画素または色
のサンプルとして表現され、あるいは取り込まれる。例
えば、イメージ用の通常のフォーマットは、グリッドと
して配列された２４ビットのカラー画素サンプルのスト
リームからなる。各サンプルは、中でもＲＧＢまたはＹ
ＩＱなど、色空間内のグリッド内でピクセル位置での色
成分を表現する集まりである。様々なイメージおよびビ
デオ・システムは、サンプリングについて様々な異なる
色、空間および時間分解能を備えることができる。

【０００３】圧縮されていないデジタル・イメージおよ
びビデオ信号は、かなりの格納容量および伝送容量を消
費する可能性がある。変換符号化は、これは、信号の空
間領域表現を周波数領域（または、変換領域などの他
の）表現に変換すること、および次いで、変換領域表現
の、一般に知覚困難なある周波数成分の分解能を低減す
ることによって、デジタル・イメージおよびビデオの量
的なサイズを低減する。このことは、一般に、空間領域
におけるイメージまたはビデオの色または空間の分解能
の低減に比較して、ずっと少ないデジタル信号について
の劣化を生じさせる。

【０００４】具体的には、通常の変換符号化技術は、圧
縮されていないデジタル・イメージのピクセルを、固定
サイズの２次元ブロックで、場合によっては他のブロッ
クと重なりあう各ブロックに分割する。空間周波数解析
を行う線形変換が各ブロックに適用され、これはブロッ
ク内で間隔のあいたサンプルを、周波数（または変換）
係数のセットに変換し、これは一般に、ブロック空間の
全面にわたって対応する周波数帯域におけるデジタル信
号の強度を表現している。圧縮のため、変換係数を選択
的に量子化することができ（すなわち、分解能を低減
し、これは、係数値の最下位ビットをドロップするこ
と、またはそうでない場合は、より高い分解能数セット
における値をより低い分解能にマップすることなどによ
って行う）、その後、圧縮データ・ストリームにエント
ロピー符号化または可変長符号化することができる。デ
コードでは、変換係数は逆方向変換されて、元々の、色
／空間サンプリングされた、イメージ／ビデオ信号をほ
ぼ再構築する。

【０００５】中でもＭＰＥＧおよびＷｉｎｄｏｗｓ（登
録商標）Ｍｅｄｉａなど、多数のイメージおよびビデオ
圧縮システムは、離散コサイン変換（ＤＣＴ）に基づい
た変換を利用する。ＤＣＴは、ほぼ最適なデータ圧縮を
結果として生じる、好ましいエネルギー圧縮特性を有す
ることが知られている。これらの圧縮システムでは、逆
ＤＣＴ（ＩＤＣＴ）が、個々のイメージ・ブロックを再
構築するために、圧縮システムのエンコーダおよびデコ
ーダにおける再構築ループにおいて使用される（例え
ば、非特許文献１参照）。

【０００６】非特許文献１において定義されたＩＤＣＴ
変換の欠点は、変換の計算が６４ビット浮動小数点数の
行列乗算を要件とする変換の計算であり、これは計算処
理的に費用のかかるものである。このことは、ＩＤＣＴ
が、リアル・タイムベースで、あるいは他の同様の時間
制約下で、多量の圧縮データに基づいて実行されている
場合、特にストリーミング・メディアおよび同様のメデ
ィア再生アプリケーションにおいて、イメージまたはビ
デオ圧縮システムのパフォーマンスが制限される可能性
がある。

【０００７】

【非特許文献１】"IEEE Standard Specification for t
he Implementations of 8x8 Inverse Discrete Cosine
Transform", IEEE Std. 1180-1990, December 6, 1990

【０００８】

【発明が解決しようとする課題】本発明の目的は、イメ
ージおよびビデオなどの信号のエンコードおよびデコー
ドにおいて、１および２次元変換のクラス、このような
変換の構築において、効率良く計算する方法、この方法
を適用した装置、および記憶媒体を提供することにあ
る。

【０００９】本明細書では、１および２次元変換のクラ
ス、このような変換を構築するための技術、および、こ
のような変換を利用したメディア符号化／復号システム
が、記載される。

【００１０】

【課題を解決するための手段】記載した変換は、計算効
率（computational efficiency）を得るために、整数を
使用した行列乗算演算に基づいた実装（implementation
s）を備えている。通常の一般的な目的およびグラフィ
ックス・プロセッサでは、整数を使用した行列乗算演算
を、浮動小数点数を使用した場合よりも、はるかに高速
に実行することができる。さらに、いくつかの３２ビッ
ト・プロセッサは、同時に２つの１６ビット整数を使用
した乗算演算を提供する。典型的な実装では、記載した
変換は、１６ビット整数行列乗算を使用して実行され
る。整数の行列乗算を使用した記載した変換の実装は、
メディア符号化／復号システムにおける符号化および復
号化のパフォーマンスの速度を早める。

【００１１】記載した変換を、本明細書に記載した構築
手順を介して生成することができる。この構築手順は、
ある制約を受ける変換係数のセットの選択に基づく変換
クラスの変換を生成する。この制約は、この変換が、ス
ケーリングされた整数の実装を有すること、完全または
ほぼ完全な再構築を提供すること、ＤＣＴ近似の基底
（DCT like Basis）を有すること、ｎビット（例えば、
ｎは１６ビット）における表現の範囲内の係数に制限さ
れること、ノルム（norm）において近い基底関数（basi
s functions）を有すること、および、その範囲からの
オーバーフローに備えて十分なヘッドルームを提供する
こと、を含むことができる。

【００１２】記載した構築手順を使用すると、１次元に
おける４および８点の成分を備えた変換のセットは、２
次元における８×８、８×４、４×８および４×４ブロ
ック変換を生じさせる。１６ビット行列乗算を使用した
実装を可能にする変換に基づく圧縮システムは、より計
算効率のよいエンコーディングおよびデコーディングを
提供することができる。

【００１３】本発明の追加の特徴および利点は、添付の
図面を参照して進行する以下の実施形態の詳細な説明か
ら、明らかになるであろう。

【００１４】

【発明の実施の形態】以下の記載は、計算効率のための
１および２次元変換のクラス、ある基準に従うこのよう
な変換を構築するための技術、および信号処理における
このような変換の使用、および詳細には、このような変
換に基づいたメディア圧縮システムを対象とする。変換
の例示的応用例は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗ
ｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）ファ
イル・フォーマットの変形形態を使用するエンコーダお
よびデコーダなど、イメージまたはビデオのエンコーダ
およびデコータにおけるものである。しかし、本明細書
に記載したように構築された変換はこのフォーマットに
限定されず、他のメディア符号化フォーマットに適用す
ることができる。したがって、これらの変換を、汎用の
イメージまたはビデオのエンコーダおよびデコーダに関
連して記載するが、別法として、様々なタイプのメディ
ア信号エンコーダおよびデコーダに組み込むことができ
る。

【００１５】Ｉ．汎用ビデオ・エンコーダおよびデコー
ダ 図１は汎用ビデオ・エンコーダ（１００）のブロック図
であり、図２は汎用ビデオ・デコーダ（２００）のブロ
ック図である。

【００１６】エンコーダおよびデコーダ内の複数のモジ
ュールの間で示される関係は、エンコーダおよびデコー
ダにおける情報の主要な流れを示し、他の関係は、簡単
にするために図示しない。特に、図１および２は、通
常、ビデオ・シーケンス、フレーム、マクロブロック、
ブロックなどのために使用されるエンコーダ設定、モー
ド、テーブルなどを示す副情報を図示しない。このよう
な副情報が、通常は、副情報のエントロピー符号化の
後、出力ビットストリームにおいて送信される。出力ビ
ットストリームのフォーマットを、Ｗｉｎｄｏｗｓ（登
録商標）ＭｅｄｉａＶｉｄｅｏフォーマットまたは別の
フォーマットにすることができる。

【００１７】エンコーダ（１００）およびデコーダ（２
００）はブロック・ベースであり、４：２：０マクロブ
ロック・フォーマットを使用し、各マクロブロックは、
４つのルミナンス８×８ルミナンス・ブロック（時とし
て、１つの１６×１６マクロブロックとして処理され
る）および２つの８×８クロミナンス・ブロックを含
む。別法として、エンコーダ（１００）およびデコーダ
（２００）はオブジェクト・ベースであり、異なるマク
ロブロックまたはブロック・フォーマットを使用し、あ
るいは、８×８ブロックおよび１６×１６マクロブロッ
クとは異なるサイズまたは構成のピクセルのセットにお
いてオペレーションを実行する。

【００１８】実装および所望の圧縮のタイプに応じて、
エンコーダまたはデコーダのモジュールを追加したり、
省略したり、多数のモジュールに分割にしたり、他のモ
ジュールと結合したり、かつ／または同様のモジュール
で置き換えたりすることができる。代替実施形態では、
異なるモジュールおよび／または他のモジュールの構成
を有するエンコーダまたはデコーダは、記載した技術の
うち１つまたは複数を実行する。

【００１９】Ａ．ビデオ・エンコーダ 図１は、汎用ビデオ・エンコーダ・システム（１００）
のブロック図である。エンコーダ・システム（１００）
は、カレント・フレーム（１０５）を含むビデオ・フレ
ームのシーケンスを受信し、圧縮されたビデオ情報（１
９５）を出力として生じさせる。ビデオ・エンコーダの
特定の実施形態は、通常、汎用エンコーダ（１００）の
変形形態（variation）または補足バージョン（supplem
ented version）を使用する。

【００２０】エンコーダ・システム（１００）は、予測
フレームおよびキー・フレームを圧縮する。説明のた
め、図１は、エンコーダ・システム（１００）を通過す
るキー・フレームのパス、および、前方向予測フレーム
のパスを示す。エンコーダ・システム（１００）のコン
ポーネントの多くは、キー・フレームおよび予測フレー
ムの両方を圧縮するために使用される。これらのコンポ
ーネントによって実行される厳密なオペレーションは、
圧縮中の情報のタイプに応じて変わる可能性がある。

【００２１】予測フレーム（ｐフレーム、双方向予測で
はｂフレーム、またはインター・コード化フレーム（in
ter-coded frame）とも呼ばれる）は、１つまたは複数
の他のフレームからの予測（または差異）の期間に対し
て表現される。予測残差は、予測されたものと元のフレ
ームの間の差異である。対照的に、キー・フレーム（ｉ
フレーム、イントラ・コード化フレーム（intra-coded
frame）とも呼ばれる）は、他のフレームに関係なく圧
縮される。

【００２２】カレント・フレーム（１０５）が前方向予
測フレームであった場合、動き予測器（１１０）は、フ
レーム・ストア（１２０）においてバッファリングされ
ている、再構築された先のフレーム（１２５）である、
参照フレームを考慮して、カレント・フレーム（１０
５）のマクロブロックまたは他のピクセルのセットの動
きを予測する。代替実施形態では、参照フレームは後の
フレームであり、あるいはカレント・フレームは双方向
予測される。動き予測器（１１０）は、副情報として動
きベクトルなどの動き情報（１１５）を出力する。動き
補償器（１３０）は、動き情報（１１５）を、再構築さ
れた先のフレーム（１２５）に加えて、動き補償された
カレント・フレーム（１３５）を形成する。しかし、予
測はめったに完全ではなく、動き補償されたカレント・
フレーム（１３５）と元のカレント・フレーム（１０
５）の間の差異は、予測残差（１４５）である。別法と
して、動き予測器および動き補償器は、別のタイプの動
き予測／補償を適用する。

【００２３】周波数変換器（１６０）は、空間領域ビデ
オ情報を周波数領域（すなわち、スペクトル）データに
変換する。ブロック−ベースのビデオ・フレームでは、
周波数変換器（１６０）は、以下のセクションで記載す
る、離散コサイン変換［「ＤＣＴ」］に類似した特性を
有する変換を適用する。いくつかの実施形態では、周波
数変換器（１６０）は周波数変換を、キー・フレームに
ついての空間予測残差のブロックに適用する。周波数変
換器（１６０）は、８×８、８×４、４×８または他の
サイズの周波数変換を適用することができる。

【００２４】次いで、量子化器（１７０）がスペクトル
・データ係数のブロックを量子化する。量子化器は、一
様なスカラー量子化を、フレーム毎のベースで、あるい
は他のベースで変わるステップ・サイズを使用してスペ
クトル・データに適用する。別法として、量子化器は別
のタイプの量子化をスペクトル・データ係数に適用し、
これは例えば、非一様、ベクトル、または非適応量子化
であり、あるいは空間領域データを、周波数変換を使用
しないエンコーダ・システムにおいて直接量子化する。
適応量子化に加えて、エンコーダ（１００）はフレーム
・ドロップ、適応フィルタリング、またはレート・コン
トロールのための他の技術を使用することができる。

【００２５】再構築されたカレント・フレームが、後続
の動き予測／補償のために必要とされるとき、逆量子化
器（１７６）は逆量子化を、量子化されたスペクトル・
データ係数上で実行する。次いで、逆周波数変換器（１
６６）は、周波数変換器（１６０）のオペレーションの
逆を実行し、再構築された予測残差（予測フレームのも
の）、または再構築されたキー・フレームを生じさせ
る。カレント・フレーム（１０５）がキー・フレームで
あった場合、再構築されたキー・フレームが、再構築さ
れたカレント・フレーム（図示せず）として採用され
る。カレント・フレーム（１０５）が予測フレームであ
った場合、再構築された予測残差が、動き補償されたカ
レント・フレーム（１３５）に追加されて、再構築され
たカレント・フレームが形成される。フレーム・ストア
（１２０）は、再構築されたカレント・フレームを、次
のフレームの予測において使用するためにバッファリン
グする。いくつかの実施形態では、エンコーダは、デブ
ロッキング・フィルタを再構築されたフレームに適用し
て、フレームのブロックにおける不連続性を適応的に平
滑化する。

【００２６】エントロピー符号器（１８０）は、量子化
器（１７０）の出力ならびにある副情報（例えば、動き
情報（１１５）、量子化ステップ・サイズ）を圧縮す
る。通常のエントロピー符号化技術には、算術符号化、
差分符号化、ハフマン符号化、ラン・レングス符号化、
ＬＺ符号化、辞書型符号化、および上記の組合せが含ま
れる。エントロピー符号器（１８０）は通常、異なる種
類の情報（例えば、ＤＣ係数、ＡＣ係数、異なる種類の
副情報）について異なる符号化技術を使用し、特定の符
号化技術内の複数のコード・テーブルの中から選択する
ことができる。

【００２７】エントロピー符号器（１８０）は、圧縮さ
れたビデオ情報（１９５）をバッファ（１９０）に入れ
る。バッファ・レベル・インディケータ（標識）が、ビ
ットレート適応化モジュールにフィードバックされる。
圧縮されたビデオ情報（１９５）は、バッファ（１９
０）から、一定の、あるいは相対的に一定のビットレー
ドで消耗され、そのビットレートでの後続のストリーミ
ングに備えてに格納される。別法として、エンコーダ・
システム（１００）は、圧縮されたビデオ情報を、圧縮
のすぐ後に続いてストリームする。

【００２８】バッファ（１９０）の前または後に、圧縮
されたビデオ情報（１９５）を、ネットワークを介して
伝送するためにチャネル符号化することができる。チャ
ネル符号化は、誤り検出および訂正データを、圧縮され
たビデオ情報（１９５）に適用することができる。

【００２９】Ｂ．ビデオ・デコーダ 図２は、汎用ビデオ・デコーダ・システム（２００）の
ブロック図である。デコーダ・システム（２００）は、
圧縮されたビデオ・フレームのシーケンスについての情
報（２９５）を受信し、再構築されたフレーム（２０
５）を含む出力を生じさせる。ビデオ・デコーダの特定
の実施形態は、通常、汎用デコーダ（２００）の変形形
態または補足バージョンを使用する。

【００３０】デコーダ・システム（２００）は、予測フ
レームおよびキー・フレームを圧縮解除する。説明のた
め、図２は、デコーダ・システム（２００）を通過する
キー・フレームのパス、および、前方向予測フレームの
パスを示す。デコーダ・システム（２００）のコンポー
ネントの多くは、キー・フレームおよび予測フレームの
両方を圧縮解除するために使用される。これらのコンポ
ーネントによって実行される厳密なオペレーションは、
圧縮解除中の情報のタイプに応じて変わる可能性があ
る。

【００３１】バッファ（２９０）は、圧縮されたビデオ
・シーケンスについての情報（２９５）を受信し、受信
された情報をエントロピー復号器（２８０）で使用可能
にする。バッファ（２９０）は通常、情報を、経時的に
かなり一定であるレートで受信し、帯域幅または伝送に
おける短期の変化を平滑化するためのジッタ・バッファ
を含む。バッファ（２９０）は、再生バッファおよび他
のバッファも含むことができる。別法として、バッファ
（２９０）は情報を、変化するレートで受信する。バッ
ファ（２９０）の前または後に、圧縮されたビデオ情報
をチャネル・デコードし、誤り検出および訂正のために
処理することができる。

【００３２】エントロピー復号器（２８０）は、通常
は、エンコーダにおいて実行されたエントロピー符号化
の逆を適用して、エントロピー符号化された量子化デー
タ、ならびに、エントロピー符号化された副情報（例え
ば、動き情報、量子化ステップ・サイズ）をエントロピ
ー復号する。エントロピー復号技術には、算術復号、差
分復号、ハフマン復号、ラン・レングス復号、ＬＺ復
号、辞書型復号、および上記の組合せが含まれる。エン
トロピー復号器（２８０）はしばしば、異なる種類の情
報（例えば、ＤＣ係数、ＡＣ係数、異なる種類の副情
報）について異なる符号化技術を使用し、特定の復号技
術内の複数のコード・テーブルの中から選択することが
できる。

【００３３】再構築されるフレーム（２０５）が前方向
予測フレームであった場合、動き補償器（２３０）は動
き情報（２１５）を参照フレーム（２２５）に適用し
て、再構築されるフレーム（２０５）の予測（２３５）
を形成する。例えば、動き補償器（２３０）はマクロブ
ロック動きベクトルを使用して、参照フレーム（２２
５）におけるマクロブロックを発見する。フレーム・バ
ッファ（２２０）は、先の再構築されたフレームを、参
照フレームとして使用するために格納する。別法とし
て、動き補償器は別のタイプの動き補償を適用する。動
き補償器による予測はめったに完全ではなく、そのため
デコーダ（２００）はまた予測残差をも再構築する。

【００３４】デコーダが、再構築されたフレームを後続
の動き補償のために必要とするとき、フレーム・ストア
（２２０）は、再構築されたフレームを、次のフレーム
の予測において使用するためにバッファリングする。い
くつかの実施形態では、エンコーダは、デブロッキング
・フィルタを再構築されたフレームに適用して、フレー
ムのブロック内の不連続性を適応的に平滑化する。

【００３５】逆量子化器（２７０）は、エントロピー復
号されたデータを逆量子化する。一般には、逆量子化器
は一様なスカラー逆量子化を、フレーム毎のベースで、
あるいは他のベースで変わるステップ・サイズを使用し
て、エントロピー復号されたデータに適用する。別法と
して、逆量子化器は別のタイプの逆量子化をデータに適
用し、これは例えば、非一様、ベクトル、または非適応
逆量子化であり、あるいは空間領域データを、逆周波数
変換を使用しないデコーダ・システムにおいて直接逆量
子化する。

【００３６】逆周波数変換器（２６０）は、量子化され
た周波数領域を空間領域ビデオ情報に変換する。ブロッ
ク−ベースのビデオ・フレームに対して、逆周波数変換
器（２６０）は、以下のセクションで記載する逆方向変
換を適用する。いくつかの実施形態では、逆周波数変換
器（２６０）は逆周波数変換を、キー・フレームの空間
予測残差のブロックに適用する。逆周波数変換器（２６
０）は、８×８、８×４、４×８または他のサイズの逆
周波数変換を適用することができる。

【００３７】ＩＩ．変換の概観 図３は、図１および２のビデオ・エンコーダ１００およ
びデコーダ２００において使用された２次元変換３００
および逆方向変換３１０を例示する。変換３００および
逆方向変換３１０は、以下に記載するようなある制約を
受けて構築された変換のクラスに基づいている。

【００３８】２次元変換３００は、メディア・コンテン
ツの空間的に関係付けられたサンプルとして表現された
メディア・コンテンツの２次元（ｎ×ｍ）ブロック３２
０を、変換領域ブロックに変換する。例えば、ブロック
は、一様に間隔のあいたグリッド位置に配列されたカラ
ー・サンプル（ピクセル）のアレイとして表現すること
ができるような、デジタル・イメージまたはデジタル・
ビデオ・フレームの一部であるとすることができる。こ
れは、メディア・コンテンツの空間領域表現と呼ばれ
る。この変換ブロックもまたｎ×ｍサンプルからなり、
本明細書では、メディア・コンテンツの変換領域表現と
称する。

【００３９】逆方向変換３２０は、サンプルのブロック
を変換領域から、元の、あるいは空間領域に戻すように
変換する。

【００４０】ＩＩＩ．変換ベースの符号化 一般に、例えば、上述したビデオ・エンコーダおよびデ
コーダにおけるような、メディア・コンテンツの変換ベ
ースの符号化４００は、変換３００（図３）および逆方
向変換３１０（図３）を量子化と共に利用して、メディ
ア・コンテンツを圧縮された形式でエンコードする。変
換ベースの符号化は最初に変換ステージ４１０内の変換
３００を、変換領域に変換するためにメディア・コンテ
ンツの入力ブロックに適用する。次いで、変換ベースの
符号化は、量子化ステージ４２０で、ある変換領域サン
プル（例えば、メディア・コンテンツについてより少な
い知覚可能な劣化を生じさせる変換領域サンプル）の量
子化を実行する（すなわち、分解能を低減する）。量子
化された変換領域サンプルを使用して、圧縮された形式
のメディア・コンテンツを生成することができる。

【００４１】変換ベースの符号化４００はまた、逆量子
化ステージ４３０および逆方向変換ステージ４４０も有
する。逆量子化ステージ４３０で、変換ベースの符号化
は、量子化された変換領域サンプルを、それらの元の分
解能に戻すようにマップし、逆方向変換３１０の準備を
する。変換ベースの符号化は、逆方向変換ステージにお
いて、逆方向変換を逆量子化された領域サンプルにおい
て実行して、次いでメディア・コンテンツ・ブロックを
再構築する。

【００４２】変換ベースの符号化４００を、ビデオ・エ
ンコーダおよびデコーダにおける様々な点で実行するこ
とができる。例えば、ビデオ・エンコーダは、また、差
分符号化およびインター・フレーム符号化技術において
使用するために、逆量子化および逆方向変換ステージを
有する再構築ループを含むこともできる。

【００４３】ＩＶ．計算効率のよい逆方向変換の実装 このとき、図５を参照すると、変換３００および逆方向
変換３１０（図３）は、好ましくは、前−乗算変換行列
（Ｔ）による（変換３００のための空間領域サンプル
の、かつ、逆方向変換のための変換領域サンプルの）２
次元データ・ブロックの前−乗算５１０、および、後−
乗算変換行列（Ｔ’）による後−乗算５３０として実装
される。前−乗算変換行列（Ｔ）の行は変換の基底関数
を表し、これが前−乗算５１０におけるデータ・ブロッ
クの列に適用される。同様に、後−乗算変換行列
（Ｔ’）の列は、後−乗算５３０におけるデータ・ブロ
ックの行に適用される変換基底関数（transform basis
functions）である。

【００４４】計算効率のため、変換行列（Ｔおよび
Ｔ’）およびデータ・ブロックは、コンピュータまたは
グラフィックス・プロセッサの整数乗算演算を使用して
その行列乗算が実行されることを可能にする範囲内の整
数値から構成される。例えば、１６ビット整数乗算演算
を提供する多数の現在のプロセッサでは、好ましくは、
１６ビット整数乗算演算を使用してその行列が実行され
ることを可能にする範囲内の整数から構成される。別法
として、行列は、他のサイズの整数の整数乗算演算を提
供するプロセッサのための、より小さい、あるいはより
大きい範囲における整数から構成されることも可能であ
る。

【００４５】整数から構成される変換基底関数によるデ
ータ・ブロックの前−乗算および後−乗算は、結果とし
て生じるデータ・ブロック値をより大きい範囲において
生じさせる。実装５００は、基底関数乗算によるこの拡
大を、それぞれ前乗算および後乗算の後にスケーリング
演算５２０、５４０を使用して補償する。計算効率のた
め、スケーリング演算５２０、５４０は、シフト演算
（実際には、２のべき乗による除算）であることが好ま
しく、これは値をいくつかのビット位置Ｓ_１およびＳ_２
だけそれぞれシフトさせる。

【００４６】例示した実装５００では、データ・ブロッ
ク内の値は、前−乗算５１０の入力、スケーリング５２
０、後−乗算５３０、スケーリング５４０および出力で
の、それぞれＡ〜Ｅとして表されたビット・サイズを有
する整数である。例えば、前−乗算ステージ５１０の入
力でのデータ・ブロックの値は、サイズがＡビットであ
る整数である。

【００４７】この変換の設計において基礎をなす原理
は、順方向変換および逆方向変換において、後者が、制
約された精度の整数の演算という態様で実装され、（有
効な量子化および逆量子化に従う）対応する順方向変換
プロセスによって生成されている入力データについての
有意味の結果を生成するように保証されている、そのよ
うな逆方向変換と順方向変換のペアとしてのその実装５
００である。

【００４８】Ｖ．変換の構築 計算効率のよい変換は、以下に記載するある制約に従
う、変換基底関数のための係数値（すなわち、前−乗算
行列Ｔおよび後−乗算行列Ｔ’における値）を選択する
ことによって構築される。この構築技術は、範囲が制限
された、直交（orthogonal）または双直交変換（bi-ort
hogonal transforms）を生じさせることができる。

【００４９】制約。 スケーリングされる整数の実装。この変換係数は、２の
べき乗によるスケーリングを可能とする、整数である。
これにより、標準のコンピュータにおける実装が容易に
なる。

【００５０】完全な再構築。量子化（例えば、図４にお
ける量子化および逆量子化ステージ４２０、４３０）が
ない場合、逆方向変換は元の空間領域データを、変換に
よって生成された変換領域データから、完全に再構築す
る。データを圧縮するために使用される変換のための主
要な要件は、量子化および丸めがない場合に、順方向お
よび逆方向変換が完全な再構築ペアを形成することであ
る。これは、正規直交性（orthonormality）または双正
規直交性（biorthonormality）を通じて保証されること
ができる。前者の場合、順方向および逆方向変換は等し
いが、後者ではこれらは異なる。

【００５１】ＤＣＴ近似の基底（DCT like Basis）。変
換および逆方向変換は、ＤＣＴに類似した特性を有す
る。よい符号化パフォーマンスのために、変換がＤＣＴ
を厳密に近似することが好ましい。ＤＣＴは、ほぼ最適
なデータ圧縮を結果として生じる好ましいエネルギー圧
縮特性を有することが知られている。ＤＣＴのＤＣ基底
関数は定数値である。これは、「ゼロ番目」の基底の変
換係数が定数値を有するように制約する。

【００５２】範囲。データ値および変換係数の範囲は、
（例えば、１６ビット整数演算において）ターゲット・
コンピュータまたはグラフィックス・プロセッサにおけ
る計算効率のよい整数乗算演算を使用した実装を可能に
する。好ましい実装では、これらの値は、逆方向変換の
１６ビット実装を可能にする範囲に制約される。この実
装では、１６ビット整数演算は、１６ビット累算器、お
よび、符号付きモジュロまたは基数２^１６へのロールオ
ーバ演算（rollover arithmetic）、すなわち、［−３
２７６８．．．３２７６７］のデータ範囲を有する累算
器、により実行することができる整数の算術演算であ
る。２個の１６ビット数の乗算の結果は、積の保存され
ている下位１６ビットのみとなる。別法として、この範
囲は、別のビット・サイズの整数演算をサポートする他
のターゲット・プラットフォームについて変えることが
できる。

【００５３】変換基底関数による、データ・ブロック内
のサンプルについての乗算は、範囲に拡張をもたらし、
その範囲は、変換基底関数内のサンプル（点）の数によ
って変わる。ビデオ圧縮システムでは、８×８、４×
８、８×４および４×４点の２次元（Ｎ×Ｍ点）変換が
一般に使用される。４および８点変換の間で、８点変換
は、より厳しい制約を整数変換係数の範囲に課す。これ
は、Ｎ＞Ｍであるとき、Ｎ点変換に関連付けられた拡張
は、Ｍ点変換に関連付けられたものより大きいからであ
る。ＤＣ値は、Ｎ点変換では

【００５４】

【数２５】

【００５５】として拡張する。したがって、８点変換が
より厳しい制約を提示するので、最初に８点変換を考察
する。

【００５６】例えば、ビデオ圧縮システムにおける空間
領域データ・ブロック・サンプルの共通範囲は［−２５
５．．．２５５］であり、これは９ビットの分解能であ
る。［−２５５ ２５５］の範囲に対応するこのような
９ビット入力では、８×８変換は、範囲［−２０４７
２０４７］内の値を取ることができ、１２ビットの精度
を必要とする。実際には、各８点変換は１．５ビットの
拡張の結果となる。２次元の８×８変換では、８点変換
が、前−乗算ステージ５１０（図５）での行変換および
後−乗算ステージ５３０（図５）での列変換により、２
度適用され、結果として生じる変換領域サンプルが３ビ
ットだけ（１２ビットの分解能に）拡張される。

【００５７】より詳細に図５を参照すると、例示的実施
において入力Ａで逆方向変換のために入力された変換領
域データ・ブロックは、１２ビットの範囲を有するのに
対して、出力Ｅで再構築された空間領域データ・ブロッ
クは９ビットの範囲を有する。２つの逆方向変換演算
（前−乗算５１０および後−乗算５３０）は、｜Ｔ｜^２
のスケーリングまたは範囲の拡張を引き起こし、これは
ｓ_１およびｓ_２ビットの２つのシフトによってそれぞれ
補償される。これには、変換によって引き起こされた範
囲の拡張が、補償のスケーリングにほぼ等しいか、また
は｜Ｔ｜^２≒２^{（ ｓ１＋ｓ２）}であることが必要とされ
る。変換行列（Ｔ）が正規化された行列である（ただ
し、Ｔ_１＝Ｔ／｜Ｔ｜）と仮定すると、前−乗算の後に
結果として生じるデータ・ブロック（Ｂ＝Ｔ・Ａ）の動
的範囲（dynamic range）は約１０．５ビットである。
したがって、結果として生じるデータ・ブロック（Ｂ）
は、１０．５＋ｌｏｇ_２（｜Ｔ｜）ビットの範囲を有す
る。同様に、後−乗算データ・ブロック（Ｄ＝Ｃ・
Ｔ’）は９＋２・ｌｏｇ_２（｜Ｔ｜）−ｓ_１ビットの範
囲を有する。１６ビット整数演算を使用した、計算効率
のよい逆方向変換の実装のために、以下の比較式が必要
とされる（ｌｏｇ_２（｜Ｔ｜）をＬによって示す）。 １０．５＋Ｌ＜＝１６ （１） ９＋２Ｌ−ｓ_１＜＝１６ （２） ２Ｌ≒ｓ_１＋ｓ_２ （３）

【００５８】したがって、続いて（９＋ｍ＜＝１６）と
なり、すなわち、ｍ＝６、かつＬ＜＝５．５または｜Ｔ
｜＜＝２０４８である。

【００５９】さらに、逆方向変換のＤＣ基底関数が［ｄ
ｄｄｄｄｄｄｄ］によって与えられるようにすることに
より、範囲制約は、８ｄ^２＜＝２０４８またはｄ＜＝１
６であることを必要とする。

【００６０】基底関数のノルム。変換のための基底関数
のそれぞれはノルムにおいて非常に近い。

【００６１】一般的な直交（orthogonal）および双直交
（biorthogonal）整数変換では、個々の基底関数に対応
する変換行列Ｔの個々の行は、個々のノルムを有するこ
とができるようにされる。この柔軟性の背後にある考え
は、複数のノルムの間の不適合の影響を、量子化および
逆量子化中に順方向および逆方向変換について取り消す
ことができるということである。実際には、正規化は２
つの難点を提示する。すなわち、（１）正規化により、
特にデコーダ側に複雑さが追加されること、および、
（２）正規化乗数が小さい整数でない限り、短い整数
（short integer）（１６ビット）実装については正規
化が不可能となることである。

【００６２】すべての基底関数のノルムが一致している
ことが必要とされる場合、追加の再正規化は不要であ
る。いかなる正規化項も、逆量子化の中に要因としてお
り込むことができる。量子化値による効果は、このプロ
セスにおいて、少し変えることができる（すなわち、あ
る量子化点（ＱＰ）のレート−歪み点は、例えば正規化
された完全精度変換を使用して計算されたその元の値か
ら、離れているが、レート−歪み（Ｒ−Ｄ）曲線に沿っ
て、動かすことができる）。

【００６３】４および８点変換について言えば、同じ論
理が当てはまる。４点か８点かにかかわらず、すべての
基底関数のノルムが一致しており、正規化を取り出すこ
とができるように、同様であることが必要とされる可能
性がある。実際には、適切に小さい整数の基数につい
て、すべての基底関数のすべてのノルムが一致している
という制約を受ける変換係数のセットを発見することは
不可能である。ここでの制約は、基底関数がノルムにお
いて非常に近いことを許容することによって、ささやか
な柔軟性を可能とする。

【００６４】ヘッドルーム。１つの実装では、順方向変
換への有効な入力（空間領域データ・ブロック）の範囲
は９ビットであるが、量子化（図４のステージ４２０）
の後に再構築されたデータ・ブロックが、＋２５５ない
し−２５５の範囲を上回るかあるいは下回るようにオー
バーフローする可能性がある。短い整数（short intege
r）の実装は、このことを考慮に入れて、このような状
況のために十分なヘッドルームを残すことが必要とされ
る。

【００６５】要約すると、本明細書に記載した構築技術
は、以下の制約を受ける変換を生じさせる。すなわち、
（１）スケーリングされた整数の実装、（２）正規直交
性または完全な再構築、（３）エネルギー圧縮について
のＤＣＴ近似の基底、および（４）整数ベースの実装の
ための制限された制約（例えば、１６ビット整数演算に
おける）である。所与の範囲制限では、上の制約のすべ
てを満たすことは困難である。特定の例として、これら
の制約の最初の３つを満たし、ならびに１６ビットに制
限された範囲にある、変換を構築することは可能ではな
い。以下に記載する構築プロセスは、効率的な、範囲制
限された、変換を、これらの制約のうち１つまたは複数
をわずかに緩和すること（例えば、例示した変換の実装
において、正規直交性の制約を緩和すること）によっ
て、生み出す。例示した変換の実装では、変換のペアが
直交（orthogonal）であることのみが必要とされるが、
そのノルムをわずかに異なるようにすることができる。
この追加の柔軟性により、変換のための探索空間が拡大
され、これにより、他の制約を満たす効率的な範囲制限
された変換の構築が実現可能となる。以下でさらに論じ
るように、ノルムにおけるわずかな不一致の影響を、量
子化ステージ中に再正規化することによって取り消すこ
とができる。この再正規化は、量子化ステージにおいて
実装されているので、結果として複雑さの増大は、エン
コーダのみがこうむることになる。これにより、圧縮能
率を維持しつつ、システム全体の複雑さが、かなり低減
する。

【００６６】構築。図６を参照すると、これらの制約に
従う計算効率のよい変換を構築するプロセス６００は、
図５の変換の実装５００についての前−乗算および後−
乗算の変換行列（ＴおよびＴ’）のための直交変換係数
のセットを生じさせる。この例示的な計算効率のよい変
換の実装を生成するための、この構築手順において使用
された許容差のしきい値のいくつかは任意であり、これ
らをさらに緩和して、さらなる解に達するようにするこ
とができる。しかし、緩和されたしきい値により、この
ような代替変換の実装は、さらに悪い符号化パフォーマ
ンスを有する可能性がある。

【００６７】この手順６００を使用して構築された計算
効率のよい変換の例示的セットは、４および８点の基底
関数を使用した２次元変換を含む。４および８点の基底
関数に基づいて、８×８、４×８、８×４および４×４
変換のための変換行列が生成される。しかし、この制約
プロセスを別法として、他の数の点またはブロック・デ
ィメンションを有する基底関数による変換を生じさせる
ように変更することができる。

【００６８】構築プロセス６００の第１のステップ６１
０は、ＤＣ基底関数に属する一定の乗数を発見すること
である。４および８点の基底関数では、一定の乗数がそ
れぞれｄ_４およびｄ_８と示される。上で論じたノルム制
約により、これらの一定の乗数は、ｄ_８≦１６の場合
に、

【００６９】

【数２６】

【００７０】として関係付けられる。このノルム制約を
約１％以内で満たす整数のペア｛ｄ_４，ｄ_８｝は、
｛７，５｝、｛１０，７｝、｛１７，１２｝および｛２
０，１４｝のみである。８点変換では、ＤＣ基底の２乗
ノルムは

【００７１】

【数２７】

【００７２】である。したがって、これらの整数ペアを
有するＤＣ基底について許容可能な８点２乗ノルムは、
２００、３９２、１１５２および１５６８である。

【００７３】構築プロセス６００の第２のステップ６２
０は、変換の奇数基底関数（odd basis functions）
（奇数の「周波数」とも呼ばれる）を決定することであ
る。上で論じた「ＤＣＴ近似の基底」の制約にしたがっ
て、変換は、ＤＣＴ変換に類似した特性を有するべきで
あり、これは８点ＤＣＴ変換では、以下の奇数基底関数
を有する。

【００７４】

【数２８】

【００７５】４つの定数値が、８点ＤＣＴのこれらの奇
数基底関数を決定する。基数の構造により、定数Ｃ１、
Ｃ２、Ｃ３およびＣ４を使用して一意の絶対係数を置き
換えて、以下の基底を与えることができる。

【００７６】

【数２９】

【００７７】構築は、以下の条件を使用して、空間｛Ｃ
_１，Ｃ_２，Ｃ_３，Ｃ_４｝上を探索することによって進行
する。

【００７８】１．基底の直交性。偶数周波数項を有する
奇数項の直交性は、所与の偶数周波数の相補的構造に事
実上含まれている。したがって、この条件は、減少し
て、奇数基底関数の直交性になる。

【００７９】２．ＤＣＴ近似の基底。ベクトル［Ｃ_１
Ｃ_２ Ｃ_３ Ｃ_４］は、対応するＤＣＴ係数ベクトル
［０．４９０４ ０．４１５７ ０．２７７８ ０．０
９７５］と「十分」に相関する。相関は、複数のベクト
ルの間の角度のコサインによって測定され、可能な限り
１に近くなることが望ましい。相関についての他の測定
も使用することができる。

【００８０】３．奇数の基数のノルムがＤＣノルムに密
接に適合する。これを以下のように表すことができる。

【００８１】

【数３０】

【００８２】ノルムの５％の許容差（条件３）および
０．９９の許容可能な相関「コサイン」（条件２）内
で、８点奇数基底関数のための制約を満たす整数係数の
セットはただ１つしかない。このセットは［１６ １５
９ ４］であり、５７８のノルムを有し、これは明確
に所望の５７６に非常に近い。この相関は、好ましい
０．９９８４である。

【００８３】構築プロセス６００の第３のステップ６３
０は、変換のための偶数基底関数（even basis functio
ns）または偶数周波数を決定することである。再度、Ｄ
ＣＴ近似の基底の制約によれば、偶数基底関数は、ＤＣ
Ｔ変換のものに十分相関するべきである。８点ＤＣＴ変
換では、偶数基底関数は以下のようになる。

【００８４】

【数３１】

【００８５】周波数２および６におけるノルム制約は、

【００８６】

【数３２】

【００８７】によって与えられる。整数ペア｛１６，
６｝はこのノルム制約を約１％以内まで満たす。

【００８８】結果として生じる（ステップ２および３で
決定された整数係数を使用する）８点変換行列は、以下
のようになる。

【００８９】

【数３３】

【００９０】構築プロセス６００の第４のステップ６４
０は、４点変換を生成する。上（ステップ６１０〜６３
０）で論じたように生成された８点変換では、ＤＣ基底
関数の一定の乗数はｄ_８＝１２である。したがって、４
点変換のための一定の乗数はｄ_４＝１７である。ＤＣＴ
近似の基底では、これはＤ_１およびＤ_２という係数を、
生成される以下の基底関数において残す。

【００９１】

【数３４】

【００９２】上の基底関数による行列は、いかなる選択
のＤ_１およびＤ_２についても本質的に直交している。し
かし、ＤＣＴ近似の変換の制約によれば、これらの係数
が、

【００９３】

【数３５】

【００９４】に等しいＤＣＴ回転因子（すなわち、Ｄ_１
／Ｄ_２の比率）によって関係付けられる。さらに、これ
らの係数はノルム制約Ｄ１^２＋Ｄ２^２≒５７８に従う。
直交性、ＤＣＴ近似の基底およびノルム制約を約１％以
内まで満たす整数のペアは、整数ペア｛２２，１０｝で
ある。これは、４点変換について以下の基底関数を生じ
る。

【００９５】

【数３６】

【００９６】ＶＩ．変換の実装（続き） 図５に戻ると、上の構築プロセス６００を使用して生成
された変換行列は本質的に変換を定義する。２次元変換
では、基底関数が各ディメンションにおいてサンプル・
データ・ブロックに適用される。例示した変換の実装５
００では、基底関数が前−乗算５１０においてサンプル
・データ・ブロックの行に適用され、次いで後−乗算５
３０でサンプル・データ・ブロックの列に適用される。
この変換が直交するように構築されるので、一致した変
換行列が、順方向３００および逆方向３１０の変換につ
いて使用される。非ユニタリ・ノルムを有する変換基底
関数なので、例示した実装は、また、スケーリング・ス
テージ５２０および５４０を逆変換で含んで、変換によ
って導入された範囲の拡張を補償する。このような範囲
制限された実装を、順方向変換のために使用することも
できるが、ビデオ符号化においては、順方向変換におけ
る範囲制限はしばしば冗長である。エンコード・プロセ
スはデコードより低速であり、かつエンコーダで使用可
能な計算リソースはしばしばデコーダのものより桁違い
に高いので、エンコーダをより高い精度（例えば、３２
ビット）の整数または倍精度浮動小数点で、実装するこ
とができる。したがって、以下の考察ではまず、上で記
載した変換行列を使用した逆方向変換の例示的実装を考
察する。

【００９７】逆方向変換の実装。 先に記載したような変換の実装５００では、前−乗算ス
テージ５１０において、適切なサイズの変換行列（例え
ば、８×８データ・ブロックでは上の行列Ｔ_８）による
行列乗算を実行することによって、変換領域データ・ブ
ロックの行（以下の考察ではＤと示す）が逆方向変換さ
れる。後−乗算ステージ５３０において、同じくこの変
換行列による行列乗算を実行することによって、変換領
域データ・ブロックの列が逆方向変換される。この順序
付けを逆にすることができるが、これは不適合の結果と
なる可能性が高い。前−乗算および後−乗算ステージの
ための変換行列は、上に記載したように構築された変換
行列である。

【００９８】スケーリング・ステージ５２０および５４
０では、例示的変換の実装におけるスケーリングが、上
で論じた、スケーリングされた整数の実装の制約（すな
わち、スケーリングは、標準システムおよびグラフィッ
クス・プロセッサの計算を容易にするために、２のべき
乗による）に従って、決定される。したがって、スケー
リングは、変換行列の基底関数の２乗ノルムに最も近い
２のべき乗となるように選択される。

【００９９】より詳細には、逆方向変換のための標準的
な公式を以下のように表すことができる。

【０１００】

【数３７】

【０１０１】ただし、Ｄは、逆方向変換への入力（Ａ）
での変換領域データ・ブロックを示す。以下の考察で
は、Ｄ_１は、変換の実装５００の第１の乗算ステージ５
１０から出力されたデータ・ブロックを表し、Ｒは、行
および列関連の逆方向変換の後の、再構築された出力を
表す。分母ｓはスケーリング係数である。Ｄ、Ｄ_１およ
びＲは、同形の８×８、８×４または４×８行列であ
る。表記法において、行列およびスカラーを含む演算
は、行列におけるエントリ関連の演算である。同様に、
行列引数を有するスカラー演算は、行列におけるエント
リ関連のスカラー演算である。

【０１０２】分母ｓは、基底関数の２乗ノルムに最も近
い２のべき乗となるように選択される。８×８の逆方向
変換では、１次元の８点基底関数の２乗ノルムの値は
｛１１５２，１１５６，１１６８｝である。したがっ
て、分母が１０２４となるように選択され（すなわち、
ｓ＝１０２４）、これはこれらの２乗ノルム値に最も近
い２のべき乗である。実際のノルムとこの分母の間の比
率（すなわち、ノルム／ｓ≒１．１２）は１に近いの
で、標準ＩＤＣＴについて使用された量子化パラメータ
と、例示した変換の実装について使用されたものの間に
密接な対応がある。すべての残りの正規化（本質的に
は、１０２４／基底関数の２乗ノルムによる）が、以下
に記載する順方向変換プロセスで実行されるので、誤り
が付加されることはない。

【０１０３】上の範囲制約の考察によれば、逆方向変換
の入力での変換領域データ・ブロックＤは、例示した実
装において１２ビットの範囲を有する。（正規化のた
め、順方向変換から生じた変換領域データ・ブロックが
実際には±２０４８／１．１２に減らされる。）標準的
な中間行列（１次元における逆方向変換の後のもの）
は、以下のようになる。

【０１０４】

【数３８】

【０１０５】これは１０．５ビットよりわずかに低い範
囲を有する。

【０１０６】１つの逆方向変換の実装５００では、スケ
ーリング・ステージ５２０および５４０はそれぞれ、デ
ータ・ブロック値を５ビット位置だけ切り捨てるか、あ
るいはシフトすること（実際には、３２による除算）が
でき、これは同時に（１０２４による除算について）１
０ビット位置だけシフトする。これは、乗算ステージ５
１０および５３０での範囲制約を１６ビット範囲内に維
持する。

【０１０７】代替実装は、第２の後−乗算ステージのた
めの演算精度を保持し、これは、第１のスケーリング・
ステージ５２０でのスケーリングまたは丸めの量を減ら
すことによって行う。第１の乗算ステージの後の結果の
データ・ブロックＤ_１は、１０．５ビットの範囲を使用
し、８点変換は範囲を４ビットにより拡張するので、ス
ケーリングの多くとも１ビット少ないものを第１のスケ
ーリング・ステージで許容して、両方の乗算ステージで
１６ビット範囲制約内に残るようにすることができる。
したがって、代替実装は、第１のスケーリング・ステー
ジ５２０で４ビットだけ、第２のスケーリング・ステー
ジ５４０で６ビットだけシフトすることができる。この
変換の標準的な表現は、このとき、以下の通りである。

【０１０８】

【数３９】

【０１０９】この代替実装は、追加の精度のビットがＤ
_１で保持されることを可能にする。この同じスケーリン
グを４点変換のために使用することができ、これは、４
点変換行列における最大乗数が、どうにか、なお、使用
可能なヘッドルーム（４．５ビット）内であるからであ
る。

【０１１０】第２の追加の精度のビットを中間データ・
ブロックＤ_１で保持するために、さらなる代替実装は変
換行列を次のように分解する。

【０１１１】

【数４０】

【０１１２】ここで、奇数成分行列

【０１１３】

【数４１】

【０１１４】および

【０１１５】

【数４２】

【０１１６】は０、１および−１のみをエントリとして
有することが許容される。Ｔ_８のエントリの大部分は偶
数であるので、

【０１１７】

【数４３】

【０１１８】はスパース（sparse）行列である。同様
に、

【０１１９】

【数４４】

【０１２０】は、

【０１２１】

【数４５】

【０１２２】に非常に相関された構造を有する。このさ
らなる代替逆方向変換の実装の標準的な表現が、このと
き以下のように定義される。

【０１２３】

【数４６】

【０１２４】第１のスケーリング・ステージ５２０はこ
のとき３ビットのみ下にシフトし、第２の乗算ステージ
５３０のための余分の精度を保持する。偶数成分はＴ_８
の範囲の半分を有するので、また、奇数成分

【０１２５】

【数４７】

【０１２６】は、０、１および−１のエントリを有する
ように制限されるので、変換の第２のステージにおいて
結果として生じる分子は、１６ビットに制限された範囲
である。この方法には、精度Ｄ_１での余分の精度のビッ
トのために受ける、計算上の小さい不利がある。それに
もかかわらず、この変換行列の分解は、結果として改善
された演算精度をごくわずかなコストでもたらす。

【０１２７】他の代替実装では、変換Ｔをより一般に成
分変換行列Ｔ_ａおよびＴ_ｂに分解することができ、これ
らが変換基底Ｔに、Ｔ＝２^ｘ・Ｔ_ａ＋Ｔ_ｂとして関係付
けられる。この変換の計算は以下の通りである。

【０１２８】

【数４８】

【０１２９】次いでこれを以下のように定義することが
できる。

【０１３０】

【数４９】

【０１３１】この計算を、行列乗算およびシフト演算を
使用して、以下のように実装することができる。 （Ｄ・Ｔ_ａ＋（（Ｄ・Ｔ_ｂ）＞＞ｘ））＞＞（ｙ−ｘ）

【０１３２】変換Ｔ_８の特定の代替実装に戻ると、８点
変換の奇数および偶数成分が以下のように示される。

【０１３３】

【数５０】

【０１３４】

【数５１】

【０１３５】が２つの独立したゼロでない列のみを有す
ることに留意されたい。

【０１３６】

【数５２】

【０１３７】による後乗算は、以下のように２つの加算
（および否定）のみと同等である。

【０１３８】

【数５３】

【０１３９】ただし、以下の通りである。

【０１４０】

【数５４】

【０１４１】４点逆方向変換の偶数および奇数成分は、
以下の通りである。

【０１４２】

【数５５】

【０１４３】このさらなる代替実装では、８×８逆方向
変換のための行関連または前−乗算ステージ５１０およ
び第１のスケーリング・ステージ５２０は、以下の演算
を実行する。 Ｄ_１＝（Ｄ・Ｔ_８＋４）＞＞３

【０１４４】この逆方向変換の実装における列関連また
は後−乗算ステージ５３０およびスケーリング・ステー
ジ５４０は、最初に、Ｔ_８の奇数成分を見て８つの要素
の２つの共通の行を計算することによって定義される。
これらは右に１ビットだけシフトされ、次いで、この結
果が６ビットだけ下に丸められる前に、偶数成分の積に
加算される（あるいはそれから減算される）。したがっ
て、これらのステージにおいて実行される演算は以下の
ように表現される。

【０１４５】

【数５６】

【０１４６】さらなる代替実装における４×８逆方向変
換（本明細書で使用される規定によれば、これは４列お
よび８行を有するアレイを指す）では、行関連または前
−乗算ステージ５１０およびスケーリング・ステージ５
２０は、以下のように定義される４点演算を実行する。 Ｄ_１＝（Ｄ・Ｔ_４＋４）＞＞３

【０１４７】この変換の第２の部分では、列関連または
後−乗算ステージ５３０およびスケーリング・ステージ
５４０は、上に記載した８×８逆方向変換のためのもの
に等しい。

【０１４８】８×４逆方向変換では、さらなる代替実装
は、行関連ステージ５１０およびスケーリング・ステー
ジ５２０において、４行／８列の変換領域データ上で、
以下に従って演算する。 Ｄ_１＝（Ｄ・Ｔ_８＋４）＞＞３

【０１４９】列関連ステージ５３０およびスケーリング
・ステージ５４０のための４点逆方向変換は、以下のよ
うに定義される。

【０１５０】

【数５７】

【０１５１】４×４逆方向変換では、４×４逆方向変換
のステージ５１０、５３０が、４×８逆方向変換の行関
連ステージ５１０および８×４逆方向変換の列関連ステ
ージ５３０それぞれについて上に記載したように、実装
される。

【０１５２】順方向変換の実装。 スケーリング・ステージを含む図５に例示したような、
範囲制限された実装を順方向変換にも適用することがで
きるが、ビデオ符号化においては、このような手順はし
ばしば冗長である。エンコード・プロセスはデコードよ
り低速であり、かつエンコーダで使用可能な計算リソー
スはしばしばデコーダのものより桁違いに高いので、エ
ンコーダをより高い精度（例えば、３２ビット）の整数
または倍精度浮動小数点で実装することができる。すな
わち、順方向変換の実装において、スケーリング・ステ
ージ５２０、５４０を省略することができる。

【０１５３】図７に示す、好ましい順方向変換の実装で
は、再正規化ステージ７４０が順方向変換側で（行関連
および列関連乗算７１０および７３０の後に）実行され
て、再構築において、変換自体が最低量の誤りをもたら
すように保証される。これにより、基底関数のノルムに
おけるわずかな差異を補償し、使用可能な計算リソース
がより少ない可能性のあるデコーダでの計算の負担を減
らす。別法として、十分な計算リソースをデコードで設
けているシステムでは、補償（変換データのスケーリン
グ）をデコーダで実行することができる。

【０１５４】以下の考察では、記号

【０１５５】

【数５８】

【０１５６】は、等しいサイズの行列の要素関連の積を
示す。元の２−Ｄ信号（サンプル・データ・ブロック）
をＸと示し、その変換をＹと示す（Ｘ_１は、行関連の変
換のすぐ後のブロックを示す）。行列ＸおよびＹは同じ
サイズであり、８×８、８×４および４×８の場合を包
含する。以下のスケーリング係数が使用される。

【０１５７】

【数５９】

【０１５８】８×８順方向変換では、ステージ７１０、
７３０および７４０における処理が以下のように記載さ
れる。

【０１５９】

【数６０】

【０１６０】４×８順方向変換では、ステージが以下を
実行する。

【０１６１】

【数６１】

【０１６２】他方では、８×４順方向変換は、上の４×
８順方向変換についての転置された変換である。

【０１６３】４×４順方向変換は、以下のようにスケー
リングを実装する。

【０１６４】

【数６２】

【０１６５】ＶＩＩ．適切なコンピューティング環境 上に記載した変換を、イメージおよびビデオ信号処理が
実行される様々なデバイスのいずれかにおいて実行する
ことができ、これには、他の実施例の中でも、コンピュ
ータ、イメージおよびビデオ記録、送信および受信装
置、ポータブル・ビデオ・プレイヤー、テレビ会議およ
びその他が含まれる。イメージおよびビデオ符号化技術
をハードウェアの回路において、ならびに、図８に示す
ような、コンピュータまたは他のコンピューティング環
境内で実行するイメージおよびビデオ処理ソフトウェア
にも実装することができる。

【０１６６】図８は、記載した実施形態を実装すること
ができる、適切なコンピューティング環境（８００）の
汎用の実施例を例示している。本発明は、多様な汎用ま
たは専用コンピューティング環境において実装できるの
で、コンピューティング環境（８００）は、本発明の使
用または機能性の範囲についていかなる限定も示唆する
ように意図されたものではない。

【０１６７】図８を参照すると、コンピューティング環
境（８００）は、少なくとも１つの処理装置（８１０）
およびメモリ（８２０）を含む。図８では、この最も基
本的な構成（８３０）が破線内に含まれる。処理装置
（８１０）はコンピュータ実行可能命令を実行し、従っ
て、現実の、あるいは仮想プロセッサにすることができ
る。多重処理システムでは、多重処理装置がコンピュー
タ実行可能命令を実行して処理能力を高める。メモリ
（８２０）は、揮発性メモリ（例えば、レジスタ、キャ
ッシュ、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、
ＥＥＰＲＯＭ、フラッシュ・メモリなど）、またはこの
２つのある組合せにすることができる。メモリ（８２
０）は、記載したイメージおよび／またはビデオ・エン
コーダ／デコーダおよび変換を実装するソフトウェア
（８８０）を格納する。

【０１６８】コンピューティング環境は追加の機能を有
することができる。例えば、コンピューティング環境
（８００）は、記憶装置（８４０）、１つまたは複数の
入力デバイス（８５０）、１つまたは複数の出力デバイ
ス（８６０）、および１つまたは複数の通信接続（８７
０）を含む。バス、コントローラまたはネットワークな
どの相互接続メカニズム（図示せず）は、コンピューテ
ィング環境（８００）のコンポーネントを相互接続す
る。通常、オペレーティング・システム・ソフトウェア
（図示せず）が、コンピューティング環境（８００）に
おいて実行する他のソフトウェアのためのオペレーティ
ング環境を提供し、コンピューティング環境（８００）
のコンポーネントのアクティビティを調整する。

【０１６９】記憶装置（８４０）はリムーバブルまたは
非リムーバブルにすることができ、これには、磁気ディ
スク、磁気テープまたはカセット、ＣＤ−ＲＯＭ、ＣＤ
−ＲＷ、ＤＶＤ、または、情報を格納するために使用す
ることができ、かつコンピューティング環境（８００）
内でアクセスすることができる他のいずれかの媒体が含
まれる。記憶装置（８４０）は、量子化行列を生成かつ
圧縮するオーディオ・エンコーダを実装するソフトウェ
ア（８８０）のための命令を格納する。

【０１７０】入力デバイス（８５０）は、キーボード、
マウス、ペンまたはトラック・ボールなどのタッチ入力
デバイス、音声入力デバイス、走査デバイス、または、
入力をコンピューティング環境（８００）に提供する別
のデバイスにすることができる。オーディオについて
は、入力デバイス（８５０）をサウンド・カード、また
は、アナログまたはデジタル形式におけるオーディオ入
力を受け入れる類似のデバイス、またはオーディオ・サ
ンプルをコンピューティング環境に提供するＣＤ−ＲＯ
Ｍリーダにすることができる。出力デバイス（８６０）
は、ディスプレイ、プリンタ、スピーカ、ＣＤライタ、
または、コンピューティング環境（８００）からの出力
を提供する別のデバイスにすることができる。

【０１７１】通信接続（８７０）は、通信媒体を介して
別のコンピューティング・エンティティへの通信を可能
にする。通信媒体は、コンピュータ実行可能命令、圧縮
されたオーディオまたはビデオ情報、または変調された
データ信号における他のデータなどの情報を搬送する。
変調されたデータ信号は、信号中に情報をエンコードす
るような方法で設定された、あるいは変更された１つま
たは複数の特性を有する信号である。例として、限定し
ないが、通信媒体には、電気、光学、ＲＦ、赤外線、音
響または他の搬送波により実装されるワイヤードまたは
ワイヤレス技術が含まれる。

【０１７２】本明細書の変換および符号化／復号技術
を、一般にコンピュータ可読媒体内に記述することがで
きる。コンピュータ可読媒体は、コンピューティング環
境内でアクセスすることができるいずれかの使用可能な
媒体である。例として、限定しないが、コンピューティ
ング環境（８００）では、コンピュータ可読媒体は、メ
モリ（８２０）、記憶装置（８４０）、通信媒体、およ
び上記のいずれかの組合せを含む。

【０１７３】本明細書の変換および符号化／復号技術
を、ターゲットの、実際の、あるいは仮想のプロセッサ
上のコンピューティング環境において実行される、プロ
グラム・モジュールに含まれるような、一般にコンピュ
ータ実行可能命令に関連して記述することができる。一
般に、プログラム・モジュールには、ルーチン、プログ
ラム、ライブラリ、オブジェクト、クラス、コンポーネ
ント、データ構造など、特定のタスクを実行するか、あ
るいは特定の抽象データ型を実装するものが含まれる。
プログラム・モジュールの機能性を、様々な実施形態に
おいて望まれるように、複数のプログラム・モジュール
の間で結合あるいは分割することができる。プログラム
・モジュールのためのコンピュータ実行可能命令を、ロ
ーカルまたは分散コンピューティング環境内で実行する
ことができる。

【０１７４】説明のため、詳細な説明では、「決定す
る」、「生成する」、「調整する」および「適用する」
のような用語を使用して、コンピューティング環境にお
けるコンピュータ・オペレーションを記載した。これら
の用語は、コンピュータによって実行されるオペレーシ
ョンについての高レベルの抽象であり、人間によって実
行される動作と混同されるべきではない。これらの用語
に対応する実際のコンピュータ・オペレーションは、実
装に応じて変わる。

【０１７５】ＶＩＩＩ．拡張 上に記載した変換およびそれらの実装を、以下のものを
含む、様々な方法で拡張することができる。

【０１７６】変換の実装の変形形態には、オルタネート
・ラウンディング（alternate rounding）、「バタフラ
イ（butterfly）」実装および双直交公式化（biorthgon
al formulations）が含めることができる。

【０１７７】さらに、上に記載した構築プロセスの後に
続いて、異なるビット範囲制約を受けて、異なる係数範
囲を有する変換の変形形態を生成することができる。

【０１７８】構築手順において使用された制約のしきい
値のパラメータを変更して、より大きいセットの制約変
換を生じさせることができる。

【０１７９】変換セットを拡張して、さらなるブロック
・サイズ（例えば、４×４および他のブロック・サイズ
の変換）を含むようにすることができる。同様に、生成
された変換セットは必ずしも、上に例示した実装におけ
るサイズ（すなわち、８×８、８×４および４×８変
換）を含まない可能性がある。変換を他のサイズのブロ
ック、およびより高い（２より高い）次元まで拡張する
ことができる。

【０１８０】ビット深度の選択は可変パラメータであ
り、（生のピクセル値の８ビット分解能、および中間結
果についての１６ビットを使用した）例示した実施例に
ついて任意に変更することができる。

【０１８１】順方向変換の実装を、逆方向変換の実装を
範囲制限するために記載した手順を使用することなどに
よって、範囲制限することもできる。

【０１８２】上に記載した構築プロセスの後に続いて、
他の非ＤＣＴ基底関数に近似する変換を生成することが
できる。例えば、構築プロセスは、スケールされた整
数、完全な再構築および範囲制限における制約を満たし
ながら、ＦＦＴ、ウェーブレット、または他のオーバー
ラップ変換を近似する変換を生成することができる。

【０１８３】本発明の原理を、記載した実施形態を参照
して記載かつ例示したが、記載した実施形態の構成およ
び詳細を、このような原理から逸脱することなく修正で
きることは理解されよう。本明細書に記載したプログラ
ム、プロセスまたは方法は、そうでないと指示されない
限り、いずれかの特定のタイプのコンピューティング環
境に関係付けられず、あるいは限定されないことを理解
されたい。様々なタイプの汎用または専用コンピューテ
ィング環境は、本明細書に記載した技術によるオペレー
ションと共に使用することができ、あるいはこれを実行
することができる。ソフトウェアにおいて示した記載の
実施形態の要素をハードウェアにおいて実施することが
でき、その逆も可能である。

【０１８４】変換符号化技術を本明細書のところどころ
で、単一の統合されたシステムの一部として記載する
が、これらの技術を他の技術と組み合わせて別々に、潜
在的に適用することができる。代替実施形態では、エン
コーダまたはデコーダ以外の信号処理ツールがこれらの
技術の１つまたは複数を実装する。

【０１８５】記載した変換および変換符号化の実施形態
は、様々な技術を実行する。これらの技術のためのオペ
レーションを通常、提示のために特定の一連の順序で記
載するが、この記載の方法は、特定の順序が必要とされ
ない限り、オペレーションの順序における重要でない再
配列を包含することを理解されたい。例えば、順次に記
載したオペレーションを、いくつかの場合では、再配列
あるいは同時に実行することができる。さらに、簡単に
するため、流れ図では通常、特定の技術を他の技術と共
に使用することができる様々な方法を図示していない。

【０１８６】本発明の原理を適用することができる多数
の可能な実施形態に鑑みて、本発明として、特許請求の
範囲およびその同等物の範囲および趣旨内に入る可能性
のあるこのようなすべての実施形態を請求する。

【図面の簡単な説明】

【図１】本明細書に記載した変換のクラスに基づくビデ
オ・エンコーダのブロック図である。

【図２】本明細書に記載した変換のクラスに基づくビデ
オ・デコーダのブロック図である。

【図３】２次元変換を例示するブロック図である。

【図４】図１および２のビデオ・エンコーダおよびデコ
ーダによる、本明細書に記載した変換のクラスを使用し
た変換符号化を例示するデータ流れ図である。

【図５】本明細書に記載した変換のクラスについての逆
方向変換の実装のブロック図である。

【図６】本明細書に記載した変換のクラスのうち１つを
構築するためのプロセスの流れ図である。

【図７】本明細書に記載した変換のクラスについての順
方向変換の実装のブロック図である。

【図８】図１および２の、記載した変換のクラスに基づ
くビデオ・エンコーダ／デコーダのための適切なコンピ
ューティング環境のブロック図である。

【符号の説明】

１００ 汎用ビデオ・エンコーダ １０５ カレント・フレーム １１０ 動き予測器 １１５、２１５ 動き情報 １２０、２２０ フレーム・ストア １２５、２２５ 参照フレーム １３０、２３０ 動き補償器 １３５ 動き補償されたカレント・フレーム １４５ 予測残差 １６０ 周波数変換器 １６６、２６０ 逆周波数変換器 １７０ 量子化器 １７６、２７０ 逆量子化器 １８０ エントロピー符号器 １９０、２９０ バッファ １９５、２９５ 圧縮されたビデオ情報 ２００ 汎用ビデオ・デコーダ ２０５ 再構築されたフレーム ２３５ 予測フレーム ２４５ 再構築された残差 ２８０ エントロピー復号器 Ｔ 前−乗算変換行列 Ｔ’ 後−乗算変換行列 Ｓ_１ シフトさせるビット位置 Ｓ_２ シフトさせるビット位置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 スリドハー スリニバサン アメリカ合衆国 98109 ワシントン州 シアトル オーロラ アベニュー ノース 1504 ナンバー509 (72)発明者 シャンカー レグナザン アメリカ合衆国 98007 ワシントン州 ベルビュー ノースイースト 42 プレイ ス 14628 ナンバーエヌ210 Ｆターム(参考） 5C059 KK11 MA05 MA14 MA21 MA23 MA24 MC11 MC38 ME02 ME05 ME11 PP05 PP06 PP07 UA02 UA05 UA11 5J064 AA02 BA09 BA16 BC09 BC16 BD03 BD04

Claims (50)

【特許請求の範囲】
1. 【請求項１】 メディア・データをエンコードする方法
   であって、 前記メディア・データの２次元ブロックについて、前記
   ブロックの順方向変換を実行して、前記ブロックを変換
   領域に変換すること、 前記変換領域ブロックを量子化すること、 前記変換領域ブロックを逆量子化すること、および、 前記変換領域ブロックの逆方向変換を実行して、再構築
   されたブロックを生じさせることを備え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
   合する整数から構成された変換行列を乗じる一連の行列
   乗算として実装され、前記制約は、スケーリングされた
   整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
   制約および整数範囲制限の制約を備えることを特徴とす
   る方法。
2. 【請求項２】 前記順方向変換もまた、同じく前記ある
   制約に前記予め定めた許容差内で適合する整数から構成
   された変換行列を乗じる一連の行列乗算として実装され
   ていることを特徴とする請求項１に記載の方法。
3. 【請求項３】 前記制約はまた、前記変換の基底関数が
   ノルム（norm）において近いという制約、および、十分
   なヘッドルームがあるという制約も備えることを特徴と
   する請求項１に記載の方法。
4. 【請求項４】 量子化時に、基底関数のノルム（norm
   s）における不一致を補償することをさらに備えること
   を特徴とする請求項３に記載の方法。
5. 【請求項５】 逆量子化時に、基底関数のノルム（norm
   s）における不一致を補償することをさらに備えること
   を特徴とする請求項３に記載の方法。
6. 【請求項６】 量子化時に部分的に、かつ逆量子化時に
   部分的に、基底関数のノルム（norms）における不一致
   を補償することをさらに備えることを特徴とする請求項
   ３に記載の方法。
7. 【請求項７】 メディア・データの変換符号化を提供す
   るメディア・システムであって、 前記メディア・データの２次元ブロックについて、前記
   ブロックの順方向変換を実行し、前記ブロックを変換領
   域に変換するように動作する順方向変換ステージと、 前記変換領域ブロックを量子化するように動作する量子
   化ステージと、 前記変換領域ブロックを逆量子化するように動作する逆
   量子化ステージと、 前記変換領域ブロックの逆方向変換を実行して、再構築
   されたブロックを生じさせる逆方向変換ステージとを備
   え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
   合する整数から構成された変換行列を乗じる一連の行列
   乗算として実装され、前記制約は、スケーリングされた
   整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
   制約および整数範囲制限の制約を備えることを特徴とす
   るメディア・システム。
8. 【請求項８】 メディア・データをエンコードする方法
   を実行するコンピュータ・システム上での実行に作用す
   る、格納されている、コンピュータ実行可能プログラム
   命令を有するコンピュータ可読記憶媒体であって、前記
   方法は、 前記メディア・データの２次元ブロックについて、前記
   ブロックの順方向変換を実行して、前記ブロックを変換
   領域に変換すること、前記変換領域ブロックを量子化す
   ること、 前記変換領域ブロックを逆量子化すること、および、 前記変換領域ブロックの逆方向変換を実行して、再構築
   されたブロックを生じさせることを備え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
   合する整数から構成された変換行列を乗じる一連の行列
   乗算として実装され、前記制約は、スケーリングされた
   整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
   制約および整数範囲制限の制約を備えることを特徴とす
   るコンピュータ可読記憶媒体。
9. 【請求項９】 量子化され、変換領域値のブロックとし
   てエンコードされたメディア・データをデコードする方
   法であって、 前記変換領域ブロックを逆量子化すること、および、 前記変換領域ブロックの逆方向変換を実行して、再構築
   されたブロックを生じさせることを備え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
   合する整数から構成された変換行列を乗じる一連の行列
   乗算として実装され、前記制約は、スケーリングされた
   整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
   制約および整数範囲制限の制約を備えることを特徴とす
   る方法。
10. 【請求項１０】 前記制約はまた、ノルムにおいて近い
    という制約および十分なヘッドルームの制約も備えるこ
    とを特徴とする請求項９に記載の方法。
11. 【請求項１１】 前記エンコードされたメディア・デー
    タ・ブロックは、ノルムの不一致が量子化において補償
    されることを特徴とする請求項１０に記載の方法。
12. 【請求項１２】 前記変換の基底関数のノルムにおける
    不一致を逆量子化において補償することをさらに備える
    ことを特徴とする請求項１０に記載の方法。
13. 【請求項１３】 量子化時に部分的に、かつ逆量子化時
    に部分的に、前記変換の基底関数のノルムにおける不一
    致を補償することを備えることを特徴とする請求項１０
    に記載の方法。
14. 【請求項１４】 量子化された変換領域値のブロックと
    してエンコードされたデータをデコードするためのメデ
    ィア・デコーダであって、 前記変換領域ブロックを逆量子化するための逆量子化ス
    テージと、 前記変換領域ブロックの逆方向変換を実行して、再構築
    されたブロックを生じさせる逆方向変換ステージとを備
    え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
    合する整数から構成された変換行列を乗じる一連の行列
    乗算として実装され、前記制約は、スケーリングされた
    整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
    制約および整数範囲制限の制約を備えることを特徴とす
    るメディア・デコーダ。
15. 【請求項１５】 量子化され、変換領域値のブロックと
    してエンコードされたメディア・データをデコードする
    方法を実行するコンピュータ・システム上での実行に作
    用する、格納されている、コンピュータ実行可能プログ
    ラム命令を有するコンピュータ可読記憶媒体であって、
    前記方法は、 前記変換領域ブロックを逆量子化すること、および、 前記変換領域ブロックの逆方向変換を実行して、再構築
    されたブロックを生じさせることを備え、 前記逆方向変換は、ある制約に予め定めた許容差内で適
    合する整数から構成された変換行列を乗じる一連の行列
    乗算として実装され、前記制約は、スケーリングされた
    整数の制約、完全な再構築の制約、ＤＣＴ近似の基底の
    制約および整数範囲制限の制約を備えることを特徴とす
    るコンピュータ可読記憶媒体。
16. 【請求項１６】 イメージ・データの２次元ブロック
    で、当該ブロックの少なくとも１つのディメンションは
    ８点である、２次元ブロックを空間領域表現と変換領域
    表現との間で変換する方法であって、 【数１】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの少なくとも１つ
    の行列乗算を実行すること、および、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    方法。
17. 【請求項１７】 前記イメージ・データ・ブロックは８
    ×８ブロックであり、前記少なくとも１つの行列乗算を
    実行することは、前記変換行列を使用して、前記イメー
    ジ・データ・ブロックの行関連および列関連の行列乗算
    を実行することを備えることを特徴とする請求項１６に
    記載の方法。
18. 【請求項１８】 前記スケーリングすることは、各前記
    行関連および列関連の行列乗算の後に、２のべき乗によ
    る除算を実施するエントリ関連のシフト演算を備えるこ
    とを特徴とする請求項１７に記載の方法。
19. 【請求項１９】 第１の前記行列乗算の後の前記エント
    リ関連のシフト演算は、第２の前記行列乗算の後よりも
    少ないビット位置によるシフトであることを特徴とする
    請求項１８に記載の方法。
20. 【請求項２０】 前記エントリ関連のシフト演算は、各
    前記行列乗算の後のビット位置に等しい数によるシフト
    であることを特徴とする請求項１８に記載の方法。
21. 【請求項２１】 イメージ・データの２次元ブロック
    で、当該ブロックの少なくとも１つのディメンションは
    ８点である２次元ブロックを空間領域表現と変換領域表
    現との間で変換する方法をコンピュータ上で実行するた
    めの、格納されているコンピュータ実行可能プログラム
    命令を有するコンピュータ可読記憶媒体であって、前記
    方法は、 【数２】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの少なくとも１つ
    の行列乗算を実行すること、および、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    コンピュータ可読記憶媒体。
22. 【請求項２２】 イメージ・データの２次元ブロック
    で、ブロックの少なくとも１つのディメンションは４点
    である２次元ブロックを空間領域表現と変換領域表現と
    の間で変換する方法であって、 【数３】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの少なくとも１つ
    の行列乗算を実行すること、および、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    方法。
23. 【請求項２３】 前記イメージ・データ・ブロックは４
    ×４ブロックであり、前記少なくとも１つの行列乗算を
    実行することは、前記変換行列を使用して前記イメージ
    ・データ・ブロックの行関連および列関連の行列乗算を
    実行することを備えることを特徴とする請求項２２に記
    載の方法。
24. 【請求項２４】 前記スケーリングすることは、各前記
    行関連および列関連の行列乗算の後に、２のべき乗によ
    る除算を実施するエントリ関連のシフト演算を備えるこ
    とを特徴とする請求項２３に記載の方法。
25. 【請求項２５】 前記行列乗算の第１番目のものの後の
    前記エントリ関連のシフト演算は、前記行列乗算の第２
    番目のものの後よりも少ないビット位置によるシフトで
    あることを特徴とする請求項２３に記載の方法。
26. 【請求項２６】 前記エントリ関連のシフト演算は、各
    前記行列乗算の後のビット位置に等しい数によるシフト
    であることを特徴とする請求項２３に記載の方法。
27. 【請求項２７】 イメージ・データの２次元ブロック
    で、当該ブロックの少なくとも１つのディメンションは
    ４点である２次元ブロックを空間領域表現と変換領域表
    現との間で変換する方法をコンピュータ・システム上で
    実行するための、格納されているコンピュータ実行可能
    プログラム命令を有するコンピュータ可読記憶媒体であ
    って、前記方法は、 【数４】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの少なくとも１つ
    の行列乗算を実行すること、および、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    コンピュータ可読記憶媒体。
28. 【請求項２８】 イメージ・データの２次元ブロック
    で、当該ブロックのディメンションは４および８点であ
    る２次元ブロックを空間領域表現と変換領域表現との間
    で変換する方法であって、 【数５】 【数６】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの行関連および列
    関連の行列乗算を実行すること、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    方法。
29. 【請求項２９】 前記データ・ブロックは４×８点のデ
    ィメンションを有し、前記行列乗算を実行する動作は、
    前記データ・ブロックをＸで表し、前記結果として生じ
    る行列の積をＹとして、関係式Ｙ＝（Ｔ_８・Ｘ・
    Ｔ’_４）に従って実行されることを特徴とする請求項２
    ８に記載の方法。
30. 【請求項３０】 前記データ・ブロックは８×４点のデ
    ィメンションを有し、前記行列乗算を実行する動作は、
    前記データ・ブロックをＸで表し、前記結果として生じ
    る行列の積をＹとして、関係式Ｙ＝（Ｔ_４・Ｘ・
    Ｔ’_８）に従って実行されることを特徴とする請求項２
    ８に記載の方法。
31. 【請求項３１】 イメージ・データの２次元ブロック
    で、当該ブロックのディメンションは４および８点であ
    る２次元ブロックを空間領域表現と変換領域表現との間
    で変換する方法をコンピュータ・システム上で実行する
    ための、格納されているコンピュータ実行可能プログラ
    ム命令を有するコンピュータ可読記憶媒体であって、前
    記方法は、 【数７】 【数８】 の形式の整数変換係数から構成される変換行列を使用し
    て、前記イメージ・データ・ブロックの行関連および列
    関連の行列乗算を実行すること、および、 結果として生じる行列の積を、ビット範囲制限内に残る
    ようにスケーリングすることを備えることを特徴とする
    コンピュータ可読記憶媒体。
32. 【請求項３２】 非整数係数の基底関数を有する第２の
    変換を近似する変換であって、ディメンションｎおよび
    ｍを有した整数値からなるデータ・ブロックの、整数係
    数から構成される変換行列を使用した、行列乗算として
    実装された変換を利用した２次元メディア・データの変
    換符号器であって、前記変換行列は構築プロセスに従っ
    て構築され、前記構築プロセスは、 ｎおよびｍ点のＤＣ基底関数のそれぞれのノルムが一致
    するという制約に対してある許容差内にある、前記ｎお
    よびｍ点のＤＣ基底関数で、整数値の制限範囲内の変換
    領域データを生じさせることになる前記基底関数に属す
    る一定の乗数を決定すること、 奇数基底関数それぞれが直交すること、前記第２の変換
    の対応する基底関数の一定の乗数に十分に相関するこ
    と、および、前記ＤＣ基底関数にノルムにおいて一致す
    る、という制約に対して前記許容差内にある、ｎまたは
    ｍ点のうち大きい方の前記奇数基底関数に属する一定の
    乗数のセットを決定すること、 偶数基底関数それぞれが直交すること、前記第２の変換
    の対応する基底関数の一定の乗数に十分に相関するこ
    と、および、前記ＤＣおよび奇数基底関数それぞれにノ
    ルムにおいて一致する、という制約に対して前記許容差
    内にある前記ｎまたはｍ点のうち大きい方の前記偶数基
    底関数の一定の乗数のセットを決定すること、および、 基底関数それぞれが直交すること、前記第２の変換の対
    応する基底関数の一定の乗数に十分に相関すること、お
    よび、前記ｎおよびｍ点のうち大きい方の基底関数それ
    ぞれにノルムにおいて一致する、という制約に対して前
    記許容差内にあるｎまたはｍ点のうち小さい方の基底関
    数の乗数のセットを決定することを備えることを特徴と
    する変換符号器。
33. 【請求項３３】 前記第２の変換はＤＣＴ変換であるこ
    とを特徴とする請求項３２に記載の変換符号器。
34. 【請求項３４】 前記第２の変換は、ＤＣＴ、ＦＦＴ、
    ウェーブレットまたはオーバーラップ変換のうちの１つ
    であることを特徴とする請求項３２に記載の変換符号
    器。
35. 【請求項３５】 前記ディメンションｎおよびｍは等し
    いことを特徴とする請求項３２に記載の変換符号器。
36. 【請求項３６】 前記ディメンンションｎおよびｍは４
    および８であることを特徴とする請求項３２に記載の変
    換符号器。
37. 【請求項３７】 整数係数から構成される変換行列を使
    用した、ディメンションｎおよびｍを有し、整数値から
    成るデータ・ブロックの行列乗算として実装された変換
    を利用した２次元メディア・データのための変換デコー
    ダであって、前記変換行列は構築プロセスに従って構築
    され、前記構築プロセスは、 ｎおよびｍ点のＤＣ基底関数のノルムが適合すること、
    および、基底関数が整数値の制限範囲内の変換領域デー
    タを生じさせるという制約に対してある許容差内にあ
    る、前記ｎおよびｍ点のＤＣ基底関数に属する一定の乗
    数を決定すること、 奇数基底関数それぞれが直交すること、対応するＤＣＴ
    基底関数の一定の乗数に十分に相関すること、および、
    前記ＤＣ基底関数とノルムにおいて適合する、という制
    約に対して前記許容差内にある、ｎまたはｍ点のうち大
    きい方の奇数基底関数に属する一定の乗数のセットを決
    定すること、 偶数基底関数それぞれが直交すること、対応するＤＣＴ
    基底関数の一定の乗数に十分に相関すること、および、
    前記ＤＣおよび奇数基底関数とノルムにおいて適合す
    る、という制約に対して前記許容差内にある前記ｎまた
    はｍ点のうち大きい方の偶数基底関数に属する一定の乗
    数のセットを決定すること、および、 基底関数それぞれが直交すること、対応するＤＣＴ基底
    関数の一定の乗数に十分に相関すること、および、前記
    ｎおよびｍ点のうち大きい方の基底関数とノルムにおい
    て適合する、という制約に対して前記許容差内にあるｎ
    またはｍ点のうち小さい方の基底関数に属する乗数のセ
    ットを決定することを備えることを特徴とする変換デコ
    ーダ。
38. 【請求項３８】 前記ディメンションｎおよびｍは等し
    いことを特徴とする請求項３７に記載の変換デコーダ。
39. 【請求項３９】 前記ディメンションｎおよびｍは４お
    よび８であることを特徴とする請求項３７に記載の変換
    デコーダ。
40. 【請求項４０】 メディア・コンテンツを表現するデー
    タ・ブロックを変換符号化する方法であって、 不一致だがなおほぼ等しいノルムを有する変換基底関数
    のセットを備える変換を前記データ・ブロックに適用し
    て、前記メディア・コンテンツを表現する変換領域デー
    タ・ブロックを生じさせること、および、 前記不一致のノルムを補償するために、前記各変換基底
    関数のためのスケーリング係数に従って前記変換領域デ
    ータ・ブロックにおける値をスケーリングすることを備
    えることを特徴とする方法。
41. 【請求項４１】 前記不一致のノルムを補償するために
    スケーリングすることは、デコードでの計算負荷を削減
    するように、エンコードにおいて実行されることを特徴
    とする請求項４０に記載の方法。
42. 【請求項４２】 前記不一致のノルムを補償するために
    スケーリングすることは、エンコードでの計算負荷を削
    減するように、デコードにおいて実行されることを特徴
    とする請求項４０に記載の方法。
43. 【請求項４３】 前記変換を適用して、前記メディア・
    コンテンツを表現する変換領域データ・ブロックを生じ
    させることは、 【数９】 の行列を使用した行列乗算を備え、 スケーリングすることは、 【数１０】 とした場合に、 【数１１】 の行列を使用した成分関連の積を実行することを備える
    ことを特徴とする請求項４０に記載の方法。
44. 【請求項４４】 前記変換を適用して、前記メディア・
    コンテンツを表現する変換領域データ・ブロックを生じ
    させることは、 【数１２】 【数１３】 の行列を使用した行列乗算を備え、 スケーリングすることは、 【数１４】 とした場合に、 【数１５】 の行列を使用した成分関連の積を計算することを備える
    ことを特徴とする請求項４０に記載の方法。
45. 【請求項４５】 前記変換を適用して、前記メディア・
    コンテンツを表現する変換領域データ・ブロックを生じ
    させることは、 【数１６】 の行列を使用した行列乗算を備え、 スケーリングすることは、 【数１７】 とした場合に 【数１８】 の行列を使用した成分関連の積を計算することを備える
    ことを特徴とする請求項４０に記載の方法。
46. 【請求項４６】 メディア・コンテンツを表現するデー
    タ・ブロックを変換符号化する方法を達成するコンピュ
    ータ・システム上で実行する、格納されているコンピュ
    ータ実行可能プログラム命令を有するコンピュータ可読
    記憶媒体であって、前記方法は、 ノルムに対して不一致であるがなおほぼ等しい変換基底
    関数のセットを備える変換を前記データ・ブロックに適
    用して、前記メディア・コンテンツを表現する変換領域
    データ・ブロックを生じさせること、および、 前記各変換基底関数のためのスケーリング係数に従って
    前記変換領域データ・ブロックにおける値をスケーリン
    グして、前記不一致のノルムを補償することを備えるこ
    とを特徴とするコンピュータ可読記憶媒体。
47. 【請求項４７】 メディア・コンテンツを表現するデー
    タ・ブロックＤを変換符号化する方法であって、 前記メディア・ブロックの空間領域表現と変換領域表現
    との間で変換であって、Ｔを変換基底関数の行列とし、
    前記変換の結果をＲとすると 【数１９】 として前記変換の結果が前記データ・ブロックＤに関係
    付けられる変換をする前記データ・ブロックの変換を計
    算することを備え、 前記計算することは、 前記データ・ブロックの行列乗算を、前記変換基底関数
    行列にＴ＝２^ｘ・Ｔ_ａ＋Ｔ_ｂとして関係付けられた変換
    副成分行列（Ｔ_ａおよびＴ_ｂ）の第１および第２の変換
    副成分行列のそれぞれを使用して実行すること、 前記データ・ブロックおよび第２の副成分行列の積を、
    ｘビット位置だけシフトすること、 前記データ・ブロックおよび第１の副成分行列の積と、
    前記データ・ブロックおよび第２の副成分行列の積がｘ
    ビットだけシフトされた結果を合計すること、 前記合計された結果をｙビット位置だけシフトして前記
    結果Ｒを生じさせることを備え、それにより前記変換の
    ヘッドルームが拡張されることを特徴とする方法。
48. 【請求項４８】 前記変換基底関数行列は、 【数２０】 であり、前記変換副成分行列は、 【数２１】 であることを特徴とする請求項４７に記載の方法。
49. 【請求項４９】 前記変換基底関数行列は、 【数２２】 であり、前記変換副成分行列は、 【数２３】 であることを特徴とする請求項４７に記載の方法。
50. 【請求項５０】 メディア・コンテンツを表現するデー
    タ・ブロックＤを変換符号化する方法をコンピュータ・
    システム上で実行する、格納されているコンピュータ実
    行可能プログラム命令を有するコンピュータ可読記憶媒
    体であって、前記方法は、 前記メディア・ブロックの空間および変換領域表現の間
    で変換するための変換であって、Ｔを変換基底関数の行
    列とし、前記変換の結果をＲとすると、 【数２４】 として前記変換の結果がデータ・ブロックＤに関係付け
    られる変換をする前記データ・ブロックの変換を計算す
    ることを備え、前記計算することは、 前記データ・ブロックの行列乗算を、前記変換基底関数
    行列にＴ＝２^ｘ・Ｔ_ａ＋Ｔ_ｂとして関係付けられた前記
    変換副成分行列（Ｔ_ａおよびＴ_ｂ）の第１および第２の
    変換副成分行列のそれぞれを使用して実行すること、前
    記データ・ブロックおよび第２の副成分行列の積を、ｘ
    ビット位置だけシフトすること、 前記データ・ブロックおよび第１の副成分行列の積と、
    前記データ・ブロックおよび第２の副成分行列の積がｘ
    ビットだけシフトされた結果を合計すること、および、 前記合計された結果をｙビット位置だけシフトして前記
    結果Ｒを生じさせることを備え、それにより前記変換の
    ヘッドルームが拡張されることを特徴とするコンピュー
    タ可読記憶媒体。