JP2004520771A

JP2004520771A - ドリフト補正を備えたビデオトランスコーダ

Info

Publication number: JP2004520771A
Application number: JP2002590678A
Authority: JP
Inventors: ヴェトロ、アンソニー; スン、ハイファン; イン、ペン; リュー、ベデ; プーン、トミー、シー
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-05-11
Filing date: 2002-04-30
Publication date: 2004-07-08
Anticipated expiration: 2022-04-30
Also published as: JP4163006B2; WO2002093937A3; CN1516975A; US20020176495A1; EP1386494A2; WO2002093937A2; US7088780B2; CN1240226C

Abstract

部分的に復号化された入力ビットストリームのマクロブロックのドリフトを補償するための方法。マクロブロックはイントラモード・マクロブロックおよびインターモード・マクロブロックを含み、各マクロブロックはＤＣＴ係数と、少なくとも１つの動きベクトルとを含む。部分的に復号化された入力ビットストリームにおいてドリフトの推定値が測定される。推定されたドリフトはイントラ・リフレッシュレートに変換される。インターモード・マクロブロックのモードが、リフレッシュレートにしたがってインターモード・マクロブロックにマッピングされる。変更された各マクロブロックのためのＤＣＴ係数および動きベクトルが、変更された各マクロブロックのためのマッピングにしたがって変更される。
【選択図】図７

Description

【０００１】
［技術分野］
本発明は包括的に、ビットストリームをトランスコードする分野に関し、詳細にはビデオビットストリームをトランスコードしながらドリフトを低減することに関する。
【０００２】
［背景技術］
映像を圧縮することは、少ない記憶装置、ネットワークおよびプロセッサリソースを用いて、視覚情報を格納し、伝送し、処理することを可能にする。最も幅広く用いられている映像圧縮標準規格には、動画の記憶および検索のためのＭＰＥＧ−１と、デジタルテレビのためのＭＰＥＧ−２と、テレビ会議のためのＨ．２６３とが含まれる。ＩＳＯ／ＩＥＣ１１１７２−２：１９９３， ”ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ − ＣｏｄｉｎｇｏｆＭｏｖｉｎｇＰｉｃｔｕｒｅｓａｎｄＡｓｓｏｃｉａｔｅｄＡｕｄｉｏｆｏｒＤｉｇｉｔａｌＳｔｏｒａｇｅＭｅｄｉａｕｐｔｏａｂｏｕｔ１．５Ｍｂｉｔ／ｓ − Ｐａｒｔ２：Ｖｉｄｅｏ”，Ｄ．ＬｅＧａｌｌ， ”ＭＰＥＧ：ＡＶｉｄｅｏＣｏｍｐｒｅｓｓｉｏｎＳｔａｎｄａｒｄｆｏｒＭｕｌｔｉｍｅｄｉａＡｐｐｌｉｃａｔｉｏｎｓ，” ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ，Ｖｏｌ．３４，Ｎｏ．４，ｐｐ．４６−５８，１９９１，ＩＳＯ／ＩＥＣ１３８１８−２：１９９６， ”ＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ − ＧｅｎｅｒｉｃＣｏｄｉｎｇｏｆＭｏｖｉｎｇＰｉｃｔｕｒｅｓａｎｄＡｓｓｏｃｉａｔｅｄＡｕｄｉｏＩｎｆｏｒｍａｔｉｏｎ − Ｐａｒｔ２：Ｖｉｄｅｏ”，１９９４，ＩＴＵ−ＴＳＧＸＶ，ＤＲＡＦＴＨ．２６３， ”ＶｉｄｅｏＣｏｄｉｎｇｆｏｒＬｏｗＢｉｔｒａｔｅＣｏｍｍｕｎｉｃａｔｉｏｎ”，１９９６，ＩＴＵ−ＴＳＧＸＶＩ，ＤＲＡＦＴ１３Ｈ．２６３＋Ｑ１５−Ａ−６０ｒｅｖ．０， ”ＶｉｄｅｏＣｏｄｉｎｇｆｏｒＬｏｗＢｉｔｒａｔｅＣｏｍｍｕｎｉｃａｔｉｏｎ，” １９９７を参照されたい。
【０００３】
これらの標準規格は、主に画像あるいはフレームの空間的圧縮と、フレームのシーケンスの空間的および時間的圧縮とを取り扱う比較的低い水準の仕様である。共通の特徴として、これらの標準規格はフレーム毎に圧縮を実行する。これらの標準規格を用いる場合、幅広い応用形態に対して高い圧縮比を達成することができる。
【０００４】
マルチメディアの応用形態のためのＭＰＥＧ−４のような、より新しい映像符号化標準規格によれば、任意の形状の物体が個別の映像物体面（ＶＯＰ）として符号化および復号化されることができる。ＩＳＯ／ＩＥＣ１４４９６−２：１９９９， ”Ｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ − ｃｏｄｉｎｇｏｆａｕｄｉｏ／ｖｉｓｕａｌｏｂｊｅｃｔｓ，Ｐａｒｔ２：Ｖｉｓｕａｌ”を参照されたい。その物体には映像、音声、自然、合成、基本形状（プリミティブ）、複合物あるいはその組み合わせを用いることができる。また、無線チャネルのような誤りを生じやすいチャネルにおいて誤りに耐え得る伝送を可能にするために、この標準規格には数多くの誤り回復機能が組み込まれている。
【０００５】
新たに現れたＭＰＥＧ−４標準規格は、双方向テレビのようなマルチメディアの応用形態を可能にすることが意図されており、その規格では自然物および合成物が統合され、アクセスに汎用性がある。映像伝送に関して言えば、これらの圧縮標準規格はネットワーク上の帯域幅の量を低減するために必要とされる。ネットワークには無線あるいはインターネットを用いることができる。いずれの場合でも、ネットワークの容量は制限されており、逼迫したリソースの競合は最小限に抑えられるべきである。
【０００６】
装置がコンテンツを確実に（ｒｏｂｕｓｔｌｙ）伝送し、かつコンテンツの品質を利用可能なネットワークリソースに適合させることができるようにするシステムおよび方法を得るために多大な努力が払われている。コンテンツが符号化されるとき、時折、より低いビットレートあるいは解像度でネットワークを通して伝送できるようにする前に、ビットストリームをさらに復号化する必要がある。
【０００７】
図１に示されるように、これはトランスコーダ１００によって成し遂げることができる。最も簡単な実装形態では、トランスコーダ１００はカスケード接続されたデコーダ１１０とエンコーダ１２０とを含む。圧縮された入力ビットストリーム１０１は入力ビットレートＲ_ｉｎで完全に復号化され、その後出力ビットレートＲ_ｏｕｔ１０２で符号化されて、出力ビットストリーム１０３が生成される。通常、出力レートは入力レートより低い。実際には、復号化されたビットストリームを符号化することが非常に複雑であることに起因して、トランスコーダで完全な復号化および完全な符号化は行われない。
【０００８】
ＭＰＥＧ−２トランスコーディングに関する初期の研究は、Ｓｕｎ等による「ＡｒｃｈｉｔｅｃｔｕｒｅｓｆｏｒＭＰＥＧｃｏｍｐｒｅｓｓｅｄｂｉｔｓｔｒｅａｍｓｃａｌｉｎｇ」（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，Ａｐｒｉｌ１９９６）によって発表されている。そこでは、複雑さおよびアーキテクチャが異なる４つのレート低減方法が記載された。
【０００９】
図２は開ループアーキテクチャと呼ばれる第１の例による方法２００を示す。このアーキテクチャでは、入力ビットストリーム２１０の一部だけが復号化される。より具体的には、入力ビットストリームのマクロブロックが可変長復号化（ＶＬＤ）され（２１０）、細かい量子化器Ｑ_１で逆量子化されて（２２０）、離散コサイン変換（ＤＣＴ）係数が生成される。所望の出力ビットレート２０２が与えられるとき、ＤＣＴブロックは量子化器２３０のうちのより粗いレベルの量子化器Ｑ_２によって再量子化される。その後、これらの再量子化されたブロックは可変長符号化（ＶＬＣ）され（２４０）、低ビットレートで新たな出力ビットストリーム２０３が形成される、この方式は図１に示される方式よりも著しく簡単である。なぜなら、動きベクトルが再利用され、逆ＤＣＴ操作が必要とされないためである。ここでのＱ_１およびＱ_２の選択はビットストリームのレート特性に厳密に依存することに留意されたい。おそらくビットストリームの空間特性のような他の要因は考慮されない。
【００１０】
図３は第２の例による方法３００を示す。その方法は閉ループアーキテクチャと呼ばれる。この方法では、入力ビデオストリームが再び部分的に復号化される。すなわち、入力ビットストリームのマクロブロックが可変長復号化（ＶＬＤ）され（３１０）、Ｑ_１で逆量子化されて（３２０）、離散コサイン変換（ＤＣＴ）係数が生成される（３２１）。上記の第１の例による方法とは対照的に、入力されるＤＣＴ係数３２１に補正ＤＣＴ係数３３２が加算され（３３０）、再量子化によって生成される不一致が補償される。この補正は、最終的に復号化のために用いられることになる基準フレームの品質を高める。補正が加算された後、新たなレートを満足するために新たに形成されたブロックがＱ_２で再量子化され（３４０）、上記のように可変長符号化される（３５０）。再びＱ_１およびＱ_２はレートに基づくことに留意されたい。
【００１１】
補正成分３３２を得るために、再量子化されたＤＣＴ係数が逆量子化され（３６０）、元の部分的に復号化されたＤＣＴ係数から減算される（３７０）。この係数は逆ＤＣＴ（ＩＤＣＴ）３６５を通して空間領域に変換され、フレームメモリ３８０に格納される。その後、入力される各ブロックに関連する動きベクトル３８１を用いて、たとえば動き補償２９０において対応する差分ブロックが呼び出される。その後、対応するブロックはＤＣＴ３３２を通して変換され、補正成分が生成される。図３に示される方法の導出は、Ａｓｓｕｎｃａｏ等による「Ａｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｖｉｄｅｏｔｒａｎｓｃｏｄｅｒｆｏｒｄｙｎａｍｉｃｂｉｔ−ｒａｔｅｒｅｄｕｃｔｉｏｎｏｆＭＰＥＧ−２ｂｉｔｓｔｒｅａｍｓ（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ｐｐ．９５３−９５７，１９９８）に記載される。
【００１２】
Ａｓｓｕｎｃａｏ等は同じタスクを達成するための別の方法も記載した。その別の方法では、ドリフト補償のために周波数領域において動作する動き補償（ＭＣ）ループが用いられた。周波数領域においてＭＣブロックを高速に計算するために近似的な行列が導出された。ラグランジュの最適化を用いて、トランスコーディングのための最良の量子化スケールが計算された。その別の方法はＩＤＣＴ／ＤＣＴ構成要素を不要にした。
【００１３】
従来技術の圧縮標準規格によれば、テクスチャ情報を符号化するために割り当てられるビット数は量子化パラメータ（ＱＰ）によって制御された。上記の方法は、元のビットストリームに含まれる情報に基づいてＱＰを変更することにより、テクスチャビットのビットレートが低減される点で類似である。ある効率的な実装形態の場合、その情報は通常、圧縮された領域から直に抽出され、マクロブロックの動きあるいはＤＣＴブロックの残留エネルギーに関連する指標を含むことができる。上記の方法はビットレート低減を得るためにのみ適用することができる。
【００１４】
ビットレートを低減する他に、他のタイプのビットストリームの変換も実行することができる。たとえば、オブジェクトに基づいた変換が、２０００年２月１４日に出願の「Ｏｂｊｅｃｔ−ＢａｓｅｄＢｉｔｓｔｒｅａｍＴｒａｎｓｃｏｄｅｒ」というタイトルのＶｅｔｒｏ等による米国特許出願第０９／５０４，３２３号に記載されている。空間解像度に関する変換が、ＳｈａｎａｂｌｅｈおよびＧｈａｎｂａｒｉによる「Ｈｅｔｅｒｏｇｅｎｅｏｕｓｖｉｄｅｏｔｒａｎｓｃｏｄｉｎｇｔｏｌｏｗｅｒｓｐａｔｉｏ−ｔｅｍｐｏｒａｌｒｅｓｏｌｕｔｉｏｎｓ，ａｎｄｄｉｆｆｅｒｅｎｔｃｏｄｉｎｇｆｏｒｍａｔｓ」（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＭｕｌｔｉｍｅｄｉａ，Ｊｕｎｅ２０００）に記載されている。
【００１５】
これらの方法は、品質を低下させる低い空間解像度でビットストリームを生成するか、あるいは非常に複雑な処理により達成されることに留意されたい。また、再構成されたマクロブロックが形成される手段に対して適当な考慮がなされていない。これは品質および複雑さの両方に影響を与えるようになり、２倍以外の低減率を考慮する際に特に重要である。さらに、これらの方法はアーキテクチャの細部を全く規定しない。留意点のほとんどが２倍だけ動きベクトルをスケーリングする種々の手段に費やされる。
【００１６】
図４は低い空間解像度で入力ビットストリームを出力ビットストリーム４０２トランスコードするための方法４００の詳細を示す。この方法は図１に示される方法を拡張したものであるが、デコーダ１１０およびエンコーダ１２０の細部が示されており、復号化処理と符号化処理との間にダウンサンプリングブロック４１０が存在する。デコーダ１１０はビットストリームの空間符号化を実行する。ダウンサンプラは、部分的にマクロブロックからなるグループの空間解像度を低減する。デコーダ内の動き補償４２０は最大解像度動きベクトルｍｖ_ｆ４２１を利用し、一方、エンコーダ内の動き補償４３０は低解像度動きベクトルｍｖ_ｒ４３１を利用する。低解像度動きベクトルは、ダウンサンプリングされた空間領域フレームｙ_ｎ ^ｌ４０３から推定されるか、あるいは最大解像度動きベクトルからマッピングされるかのいずれかである。トランスコーダ４００の更に細かい部分が以下に記載される。
【００１７】
図５は低い空間解像度で入力ビットストリーム５０１から出力ビットストリーム５０２にトランスコードするための開ループ方法５００の詳細を示す。この方法では、ビデオビットストリームが再び部分的に復号化される。すなわち入力ビットストリームのマクロブロックが可変長復号化（ＶＬＤ）され（５１０）、逆量子化されて（５２０）、離散コサイン変換（ＤＣＴ）係数が生成される。これらのステップは既知である。
【００１８】
その後、ＤＣＴマクロブロックは、１６×１６（２^４×２^４）マクロブロックにおいてそれぞれ８×８（２^３×２^３）輝度ブロックの高周波係数をマスキングし、４つの４×４ＤＣＴブロックを生成することにより、２分の１にダウンサンプリングされる（５３０）。１９９３年１１月１６日にＮｇに付与された米国特許第５，２６２，８５４号「Ｌｏｗ−ｒｅｓｏｌｕｔｉｏｎＨＤＴＶｒｅｃｅｉｖｅｒｓ」を参照されたい。言い換えると、ダウンサンプリングによって、ブロック、たとえば４つのブロックのグループが、より小さなサイズの４つのブロックのグループになる。
【００１９】
トランスコーダにおいてダウンサンプリングを実行することにより、トランスコーダは、仕様に準拠した１６×１６マクロブロックを再形成するために付加的なステップを行わなければならない。付加的なステップは空間領域に変換し、その後再びＤＣＴ領域に変換することを含む。ダウンサンプリングの後、同じ量子化レベルを用いてブロックが再量子化され（５４０）、その後、可変長符号化される（５５０）。解像度を低減されたブロックにおいてレート制御を実行するための方法は記載されていない。
【００２０】
最大動きベクトル５５９から低減された動きベクトル５６１への動きベクトルマッピング（５６０）を実行するために、フレームに基づく動きベクトルのために適したいくつかの方法が従来技術において記載されてきた。フレームに基づく４つの動きベクトル、すなわち１つのグループにおいて各マクロブロックに対して１つの動きベクトルから、新たに形成された１６×１６マクロブロックに対して１つの動きベクトルにマッピングするために、簡単な平均化あるいはメディアンフィルタを適用することができる。これは４：１マッピングと呼ばれる。
【００２１】
しかしながら、ＭＰＥＧ−４およびＨ．２６３のようなある特定の圧縮標準規格は、８×８ブロック当たり１つの動きベクトルを可能にする進んだ予測モードに対応する。この場合に、各動きベクトルは元の解像度における１６×１６マクロブロックから解像度を低減されたマクロブロックにおける８×８ブロックにマッピングされる。これは１：１マッピングと呼ばれる。
【００２２】
図６は、４つの１６×１６マクロブロックの１つのグループ６０１から、１つの１６×１６マクロブロック６０２あるいは４つの８×８マクロブロック６０３のいずれかへの動きベクトルの実現可能なマッピング６００を示す。４つの動きベクトルを符号化するためにはさらに多くのビットが用いられるので、１：１マッピングを常に用いるのは効率が悪い。また、一般に、インターレース画像のためのフィールドに基づく動きベクトルへの拡張は重要である。ダウンサンプリングされたＤＣＴ係数とマッピングされた動きベクトルとが与えられるとき、データに対して可変長符号化が行われ、周知のように、解像度が低減されたビットストリームを形成することができる。
【００２３】
空間解像度を低減するための従来技術の方法の問題点を解消する、ビットストリームをトランスコードするための方法を提供することが望ましい。さらに、トランスコーダにおいて複雑さと品質との間のバランスをとることが望ましい。さらに、ドリフトを補償し、トランスコーディング中にさらに良好なアップサンプリング技術を提供することが望ましい。
【００２４】
［発明の開示］
部分的に復号化された入力ビットストリームのマクロブロックのドリフトを補償する方法が提供される。そのマクロブロックはイントラ（フレーム内予測）モードおよびインター（フレーム間予測）モード・マクロブロックを含み、各マクロブロックはＤＣＴ係数と、少なくとも１つの動きベクトルとを含む。ドリフトの推定値は、部分的に復号化された入力ビットストリームにおいて測定される。推定されたドリフトはイントラ・リフレッシュレートに変換される。インターモード・マクロブロックのモードが、そのリフレッシュレートにしたがってインターモード・マクロブロックにマッピングされる。変更された各マクロブロックのためのＤＣＴ係数および動きベクトルが、変更された各マクロブロックのためのマッピングにしたがって変更される。
【００２５】
［発明を実施するための最良の形態］
序論
本発明は、デジタルビデオ信号の圧縮されたビットストリームを、ドリフトを最小限に抑えた、低減された空間解像度にトランスコードするためのシステムおよび方法を提供する。最初に、本発明にしたがってトランスコーダを用いることができるコンテンツを配信するためのいくつかの応用形態が記載される。次に、低空間解像度のビットストリームを生成するための基本的な方法の解析が与えられる。この解析に基づいて、基本的な方法に対するいくつかの代替形態および各代替形態に関連する対応するアーキテクチャが記載される。
【００２６】
図９に示される第１の代替形態は開ループアーキテクチャを利用する。一方、図１０および図１１Ａ、Ｂに示される他の３つの代替形態は、ダウンサンプリング、再量子化および動きベクトルの打切りによって被るドリフトを補償する手段を提供する閉ループアーキテクチャに対応する。閉ループアーキテクチャのうちの１つは低減された解像度においてこの補償を実行し、一方、他のアーキテクチャは、より良好な品質を得るために、ＤＣＴ領域の元の解像度においてこの補償を実行する。
【００２７】
以下にさらに詳細に記載されるように、図９の開ループアーキテクチャはあまり複雑ではない。再構成ループ、ＤＣＴ／ＩＤＣＴブロック、フレーム記憶装置は存在せず、低画像解像度およびビットレートの場合に適度な品質を有する。このアーキテクチャはインターネットの応用形態およびソフトウエアの実装形態のために適している。図１０の第１の閉ループアーキテクチャもあまり複雑ではない。それは、再構成ループ、ＩＤＣＴ／ＤＣＴブロックおよびフレーム記憶装置を含む。ここでは、低減された解像度領域においてドリフトを補償して品質を改善することができる。図１１Ａの第２の閉ループアーキテクチャはあまり複雑ではない。それは、再構成ループ、ＩＤＣＴ／ＤＣＴブロックおよびフレーム記憶装置を含む。元の解像度領域においてドリフトを補償して品質を改善することができ、それには低減された解像度のフレームのアップサンプリングを必要とする。第３の閉ループアーキテクチャは、低減された解像度領域において得られる補正信号を用いる。
【００２８】
本発明によるアーキテクチャを支援するために、本発明を用いなければ、低減された解像度において「混在する」モードのマクロブロックのグループを有することになるブロックを処理するためのいくつかの付加的な技術も開示される。
【００２９】
ダウンサンプリングされることになるブロックのグループがイントラモードおよびインターモードの両方において符号化されるブロックを含むとき、そのダウンサンプリングされることになるブロック、たとえば４ブロックからなるグループは「混在する」ブロックと見なされる。ＭＰＥＧ標準規格では、Ｉフレームはイントラモードにしたがって符号化されるマクロブロックのみを含み、Ｐフレームはイントラモードおよびインターモードで符号化されるブロックを含むことができる。これらのモードは特にダウンサンプリング中に配慮される必要があり、配慮されない場合には出力の品質が劣化し得ることになる。
【００３０】
またドリフト補償のための方法およびＤＣＴに基づくデータをアップサンプリングするための方法も記載される。これらの方法は、アップサンプリング後の動作が、適当に、かつ付加的な変換ステップを用いることなく実行できるように、第２および第３の閉ループアーキテクチャの場合に有用である。
【００３１】
低減された空間解像度のトランスコーディングのための応用形態
本発明が主に目的とする応用形態は、無線電話、ページャおよび個人情報端末のような低解像度ディスプレイを備える装置へのデジタルテレビ（ＤＴＶ）放送およびインターネットコンテンツの配信である。
【００３２】
ＭＰＥＧ−２は現在、ＤＴＶ放送およびＤＶＤ記録のための圧縮フォーマットとして用いられており、ＭＰＥＧ−１コンテンツはインターネット上で利用可能である。
【００３３】
ＭＰＥＧ−４は移動体ネットワーク上の映像伝送のための圧縮フォーマットとして採用されているので、本発明は、ＭＰＥＧ−１／２コンテンツを低解像度のＭＰＥＧ−４コンテンツにトランスコードするための方法を取り扱う。
【００３４】
図７は本発明を用いるマルチメディアコンテンツ配信システム７００の第１の例を示す。システム７００は、外部ネットワーク７０３を介してクライアント７０２に接続される適応サーバ７０１を含む。１つの特徴として、クライアントは小型のディスプレイを有するか、あるいは低ビットレートのチャネルによって接続される。それゆえ、クライアント７０２に配信される全てのコンテンツの解像度は低減される必要がある。
【００３５】
入力源マルチメディアコンテンツ７０４がデータベース７１０に格納される。そのコンテンツに対して、特徴抽出および指標作成プロセス７２０が実施される。データベースサーバ７４０によって、クライアント７０２は、データベース７１０のコンテンツをブラウジングし、かつ特定のコンテンツを要求できるようになる。サーチエンジン７３０は、マルチメディアコンテンツの位置を特定するために用いることができる。所望のコンテンツの位置が特定された後、データベースサーバ７４０は本発明にしたがってマルチメディアコンテンツをトランスコーダ７５０に転送する。
【００３６】
トランスコーダ７５０はネットワークおよびクライアントの特性を読み取る。コンテンツの空間解像度がクライアントのディスプレイ特性よりも高い場合には、本発明による方法を用いて、クライアントのディスプレイ特性と一致するようにクライアントの解像度が低減される。また、ネットワークチャネル上のビットレートがコンテンツのビットレートより低い場合にも、本発明を用いることができる。
【００３７】
図８はコンテンツ配信システム８００の第２の例を示す。システム８００はローカル「ホーム」ネットワーク８０１と、外部ネットワーク７０３と、放送ネットワーク８０３と、図７の場合に示されるような適応サーバ７０１とを含む。この応用形態では、高品質入力源コンテンツ８０４は、放送ネットワーク８０３、たとえばケーブル、地上放送あるいは衛星を介してホームネットワーク８０１に接続されるクライアント８０５に移送することができる。そのコンテンツはセットトップボックスあるいはゲートウエイ８０２によって受信され、ローカルメモリあるいはハードディスクドライブ（ＨＤＤ）８３０に格納される。受信されたコンテンツはホーム内のクライアント８０５に配信することができる。さらに、そのコンテンツは、最大解像度のコンテンツを復号化／表示するための能力を持たない全てのクライアントに適応させるためにトランスコードすることができる（８５０）。これは、ハイビジョンテレビ（ＨＤＴＶ）ビットストリームが、標準解像度のテレビ用の映像として受信される場合に相当することができる。それゆえ、そのコンテンツはホーム内のクライアントの能力を満足するようにトランスコードされることになる。
【００３８】
さらに、低解像度の外部クライアント８０６が外部ネットワーク８０２を介してＨＤＤ８３０上に格納されるコンテンツへのアクセスを望む場合には、トランスコーダ８５０を用いて、このクライアントに低解像度のマルチメディアコンテンツを配信することもできる。
【００３９】
基本的な方法の解析
複雑さと品質とを変更することができるトランスコーダを設計するために、図４の方法によって生成される信号がさらに説明され、解析される。式中の表記に関しては、小文字の変数が空間領域の信号を示し、一方、大文字の変数がＤＣＴ領域内の等価な信号を示す。変数に付される下付き文字は時間を示し、一方、１に等しい上付き文字はドリフトを有する信号を示し、一方、２に等しい上付き文字はドリフトのない信号を示す。ドリフトは、再量子化、動きベクトルの打切りあるいはダウンサンプリングのような損失のあるプロセスを通して導入される。ドリフトを補償するための方法が以下に記載される。
【００４０】
Ｉフレーム
Ｉフレームのための動き補償された予測は存在しない、すなわち、
【００４１】
【数１】

【００４２】
であるので、その信号はダウンサンプリングされる（４１０）。
【００４３】
【数２】

【００４４】
その際、エンコーダ１２０では以下の式が成り立つ。
【００４５】
【数３】

【００４６】
信号ｇ_ｎ ^２に対してＤＣＴ４４０が行われ、その後、量子化パラメータＱ_２で量子化される（４５０）。量子化された信号ｃ_ｏｕｔは可変長符号化され（４６０）、トランスコードされたビットストリーム４０２に書き込まれる。エンコーダにおける動き補償ループの一部として、ｃ_ｏｕｔは逆量子化され（４７０）、ＩＤＣＴにかけられる（４８０）。低減された解像度基準信号ｙ_ｎ ^２４８１は、将来のフレーム予測のための基準信号としてフレームバッファに格納される（４９０）。
【００４７】
Ｐフレーム
Ｐフレームの場合には、恒等式
【００４８】
【数４】

【００４９】
によって再構成された最大解像度画像が生成される。Ｉフレームの場合のように、その後、この信号は式（２）を用いてダウンコンバートされる。その後、低減された解像度の残留信号が以下の式から生成される。
【００５０】
【数５】

【００５１】
その式は同じく以下の式で表される。
【００５２】
【数６】

【００５３】
式（６）によって与えられる信号は、本発明によって記載されるアーキテクチャが近似する基準信号を表す。この基準信号を生成することは非常に複雑であるため、複雑さを著しく低減しながら、その特性（ｑｕａｌｉｔｙ）を近似することが望ましいことに特に留意されたい。
【００５４】
開ループアーキテクチャ
以下の式、
【００５５】
【数７】

【００５６】
を用いて近似すると、式（６）の低減された解像度の残留信号は以下のように表される。
【００５７】
【数８】

【００５８】
上記の式は図９に示されるようなトランスコーダ９００のための開ループアーキテクチャを示唆する。
【００５９】
トランスコーダ９００では、入力されるビットストリーム９０１信号が可変長符号化され（９１０）、逆量子化されたＤＣＴ係数９１１と、最大解像度動きベクトルｍｖ_ｆ９０２とが生成される。最大解像度動きベクトルはＭＶマッピングによって低減された解像度の動きベクトルｍｖ_ｒ９０３にマッピングされる（９２０）。量子化されたＤＣＴ係数９１１は量子化器Ｑ_１で逆量子化され（９３０）、信号Ｅ_ｎ ^１が生成される（９３１）。その後、この信号は、以下にさらに詳細に記載されるようにブロックグループプロセッサ（ａｇｒｏｕｐｏｆｂｌｏｃｋｓｐｒｏｃｅｓｓｏｒ）１３００に入力される。プロセッサ１３００の出力はダウンサンプリングされ（９５０）、信号Ｇ_ｎ ^２が生成される（９５１）。ダウンサンプリングの後、その信号は量子化器Ｑ_２９６０で量子化される。最後に、低減された解像度の再量子化されたＤＣＴ係数および動きベクトルが可変長符号化され（９７０）、トランスコードされた出力ビットストリームに書き込まれる（９０２）。
【００６０】
ブロックグループプロセッサ１３００の詳細および好ましい実施形態が以下に記載されるが、簡単に述べると、ブロックグループプロセッサの目的は、マクロブロックの選択されたグループを予備処理して、ダウンサンプリングプロセス９５０が、そのサブブロックが種々の符号化モード、たとえばインター・ブロックおよびイントラ・ブロックの両方を有するマクロブロックのグループを生成しないことを確実にすることである。マクロブロックにおける混在符号化モードに対応する既知の映像符号化標準規格は存在しない。
【００６１】
低減された解像度におけるドリフト補償
式（７ｂ）によって与えられる近似のみを与えるとき、式（６）の低減された解像度の残留信号は以下のように表される。
【００６２】
【数９】

【００６３】
上記の式は、低減された解像度におけるドリフトを補償する、図１０に示される閉ループアーキテクチャ１０００を示唆する。
【００６４】
このアーキテクチャでは、入力される信号１００１は可変長復号化され（１０１０）、量子化されたＤＣＴ係数１０１１と、最大解像度動きベクトルｍｖ_ｆ１０１２とが生成される。最大解像度動きベクトル１０１２はＭＶマッピングによってマッピングされ（１０２０）、１組の低減された解像度の動きベクトルｍｖ_ｒ１０２１が生成される。量子化されたＤＣＴ係数は量子化器Ｑ_１で逆量子化され（１０３０）、信号Ｅ_ｎ ^１１０３１が生成される。その後、この信号はブロックグループプロセッサ１３００において処理され、ダウンサンプリングされる（１０５０）。ダウンサンプリングされた（１０５０）後、低減された解像度のドリフト補償信号１０５１がＤＣＴ領域の低解像度残留信号１０５２に加算される（１０６０）。
【００６５】
信号１０６１は空間量子化器Ｑ_２で量子化される（１０７０）。最後に、低減された解像度の再量子化されたＤＣＴ係数１０７１および動きベクトル１０２１が可変長符号化され（１０８０）、トランスコードされた出力ビットストリーム１００２が生成される。
【００６６】
低減された解像度のドリフト補償信号が生成される基準フレームが再量子化器残留信号Ｇ_ｎ ^２１０７１の逆量子化１０９０によって得られ、それはその後、ダウンサンプリングされた残留信号Ｇ_ｎ ^１１０５２から減算される（１０９２）。この差分信号はＩＤＣＴ１０９４にかけられ、その後、フレーム記憶装置１０９１に格納される以前のマクロブロックの低解像度予測成分１０９６に加算される（１０９５）。この新たな信号は差（ｙ_ｎ−１ ^１−ｙ_ｎ−１ ^２）１０９７を表しており、現在のブロックのための低解像度動き補償のための基準として用いられる。
【００６７】
格納された基準信号が与えられるとき、低解像度動き補償１０９８が実行され、その予測がＤＣＴ１０９９にかけられる。このＤＣＴ領域信号は低減された解像度のドリフト補償信号１０５１である。この動作は、その１組の低解像度の動きベクトルｍｖ_ｒ１０２１を用いてマクロブロック毎に実行される。
【００６８】
元の解像度においてドリフト補償する第１の方法
以下の近似の場合に、
【００６９】
【数１０】

【００７０】
式（６）の低減された解像度の残留信号は以下のように表される。
【００７１】
【数１１】

【００７２】
上記の式は、元の解像度のビットストリームにおけるドリフトを補償する、図１１に示される閉ループアーキテクチャ１１００を示唆する。
【００７３】
このアーキテクチャでは、入力される信号１００１が可変長復号化され（１１１０）、量子化されたＤＣＴ係数１１１１と、最大解像度動きベクトルｍｖ_ｆ１１１２とが生成される。量子化されたＤＣＴ係数１１１１は量子化器Ｑ_１で逆量子化され（１１３０）、信号Ｅ_ｎ ^１１１３１が生成される。その後、この信号はブロックグループプロセッサ１３００において処理される。ブロックグループプロセッサ１３００の後、元の解像度のドリフト補償信号１１５１が、ＤＣＴ領域の残留信号１１４１に加算される（１１６０）。その後、信号１１６２がダウンサンプリングされ（１１５０）、量子化器Ｑ_２で量子化される（１１７０）。最後に、低減された解像度の再量子化されたＤＣＴ係数１１７１および動きベクトル１１２１が可変長符号化され（１１８０）、トランスコードされたビットストリームに書き込まれる（１１０２）。
【００７４】
元の解像度のドリフト補償信号１１５１が生成される基準フレームが、再量子化器残留信号Ｇ_ｎ ^２１１７１の逆量子化１１９０によって生成され、その後アップサンプリングされる（１１９１）。ここで、アップサンプリングされた後、そのアップサンプリングされた信号は、元の解像度の残留信号１１６１から減算される（１１９２）。この基準信号はＩＤＣＴ１１９４にかけられ、以前のマクロブロックの元の解像度の予測成分１１９６に加算される（１１９５）。この新たな信号は差（ｘ_ｎ−１ ^１−ｘ_ｎ−１ ^２）１１９７を表しており、元の解像度の現在のマクロブロックの動き補償のための基準として用いられる。
【００７５】
フレームバッファ１１８１に格納される基準信号が与えられるとき、元の解像度の動き補償１１９８が実行され、その予測がＤＣＴ１１９９にかけられる。このＤＣＴ領域信号は元の解像度のドリフト補償信号１１５１である。この動作はその１組の元の解像度の動きベクトルｍｖ_ｆ１１２１を用いてマクロブロック毎に実行される。
【００７６】
元の解像度においてドリフト補償する第２の方法
図１１Ｂは図１１Ａの閉ループアーキテクチャの別の実施形態を示す。ここでは、再量子化器残留信号Ｇ_ｎ ^２１１７２の逆量子化１１９０の出力が、アップサンプリングする（１１９１）前に、低減された解像度の信号から減算される（１１９２）。
【００７７】
元の解像度におけるドリフト補償アーキテクチャはいずれもドリフト補償信号１１５１を生成する際に動きベクトル近似を用いない。これはアップサンプリング１１９１を用いることにより達成される。２つの別形態のアーキテクチャは主に、差分信号を生成するために用いられる信号の選択において異なる。第１の方法では、差分信号は再量子化および解像度変換に起因する誤差を表し、一方、第２の方法の差分信号は再量子化に起因する誤差のみを考慮する。
【００７８】
アップサンプリングされた信号はトランスコードされたビットストリームを将来に復号化することを考慮に入れないので、ドリフト補償信号において連続してダウンサンプリングおよびアップサンプリングすることにより測定されるあらゆる誤差を排除するのに適している。しかしながら、アップサンプリングは依然として２つの理由のために、すなわちさらに近似することを避けるために最大解像度動きベクトル１１２１を利用するためと、ドリフト補償信号が元の解像度にあり、ダウンサンプリング１１５０前に入力される残留信号１１６１に加算する（１１６０）ことができるようにするためとに用いられる。
【００７９】
混在ブロックプロセッサ（ＭｉｘｅｄＢｌｏｃｋＰｒｏｃｅｓｓｏｒ）
ブロックグループプロセッサ１３００の目的は、選択されたマクロブロックを予備処理して、ダウンサンプリングプロセスが、そのサブブロックが種々の符号化モード、たとえばインター・ブロックおよびイントラ・ブロックを有するマクロブロックを生成しないようにすることである。マクロブロックにおける混在符号化モードに対応する既知の映像符号化標準規格は存在しない。
【００８０】
図１２は、トランスコード１２０３の後に、低減された解像度のブロックのグループ１２０２に導くことができるマクロブロックのグループ１２０１の一例を示す。ここでは、３つのインターモード・ブロックと、１つのイントラモード・ブロックとが存在する。イントラモード・ブロックの場合の動きベクトル（ＭＶ）は０であることに留意されたい。ブロックの特定のグループが混在するグループであるが否かを判定することは、マクロブロックモードに依存する。ブロックグループプロセッサ１３００は、低減された解像度において１つのマクロブロック１２０２を形成する、４つのマクロブロックからなるグループ１２０１を考慮する。言い換えると、輝度成分の場合、ＭＢ（０）１２１０が低減された解像度のマクロブロック１２０２のサブブロックｂ（０）１２２０に対応し、同様に、ＭＢ（１）１２１１がｂ（１）１２２１に対応し、ＭＢ（ｋ）１２１２がｂ（２）１２２２に対応し、ＭＢ（ｋ＋１）１２１３がｂ（３）１２２３に対応する。ただし、ｋは元の解像度の行当たりのマクロブロックの数である。色差成分は輝度モードと矛盾しない類似の態様で取り扱われる。
【００８１】
ＭＢモードのグループは、ブロックグループプロセッサ１３００が特定のＭＢを処理することになるか否かを決定する。そのブロックのグループは、そのグループが少なくとも１つのイントラモード・ブロックと、少なくとも１つのインターモード・ブロックとを含む場合に処理される。１つのマクロブロックが選択された後、そのＤＣＴ係数および動きベクトルデータが変更処理にかけられる。
【００８２】
図１３はブロックグループプロセッサ１３００の構成要素を示す。混在ブロック１３０１からなる選択されたブロックの場合、ブロックグループプロセッサはモードマッピング１３１０と、動きベクトル変更１３２０と、ＤＣＴ係数変更１３３０とを実行し、非混在出力ブロック１３０２を生成する。ブロックのグループ１３０１が特定されたなら、全てのマクロブロックが同じになるようにマクロブロックのモードが変更される。これは、低減された解像度のブロック内の各サブブロックのモードを一致させるために予め指定された方式にしたがって行われる。
【００８３】
選択されたモードマッピングにしたがって、その後ＭＶデータが変更１３２０にかけられる。対応するモードマッピングと一致する実現可能な変更が図１４Ａ〜Ｃの場合に以下に詳述される。最後に、新たなＭＢモードおよびＭＶデータの両方が与えられるとき、その対応するＤＣＴ係数もそのマッピングと一致するように変更される（１３３０）。
【００８４】
図１４Ａに示されるブロックグループプロセッサの第１の実施形態では、ブロックのグループ１３０１のＭＢモードが、モードマッピング１３１０によってインターモードになるように変更される。それゆえ、イントラ・ブロックのためのＭＶデータは動きベクトル処理によって０にリセットされ、イントラ・ブロックに対応するＤＣＴ係数もＤＣＴ処理１３３０によって０にリセットされる。このようにして、変更されたそのようなサブブロックが、基準フレーム内の対応するブロックからのデータで繰り返される。
【００８５】
図１４Ｂに示されるブロックグループプロセッサの第２の実施形態では、混在するブロックからなるグループのＭＢモードが、マッピング１３１０によってインター・モードになるように変更される。しかしながら、第１の好ましい実施形態とは対照的に、イントラＭＢのためのＭＶデータが予測される。その予測は、テクスチャおよび動きデータの両方を含むことができる、隣接するブロック内のデータに基づく。この予測された動きベクトルに基づいて、変更されたブロックのための新たな残留信号が計算される。最後のステップ１３２０はインターＤＣＴ係数をイントラＤＣＴ係数にリセットする。
【００８６】
図１４Ｃに示される第３の実施形態では、ブロックのグループのＭＢモードはイントラ・モードに変更される（１３１０）。この場合に、低減された解像度のマクロブロックに関連する動き情報は存在せず、それゆえ全ての関連する動きベクトルデータが０にリセットされる（１３２０）。隣接するブロックの動きベクトルがこのブロックの動きから予測されるので、これはトランスコーダにおいて実行する必要がある。デコーダにおいて適当な再構成を確保するために、ブロックのグループのためのＭＶデータがトランスコーダにおいて０にリセットされなければならない。最後のステップ１３３０は、上記のようにインターＤＣＴ係数を置き換えるためにイントラＤＣＴ係数を生成する。
【００８７】
上記の第２および第３の実施形態を実施するために、最大解像度に再構成する復号化ループを用いることができることに留意されたい。この再構成されたデータは、イントラモードとインターモードとの間、あるいはインターモードとイントラモードとの間でＤＣＴ係数を変換するための基準として用いられることができる。しかしながら、そのような復号化ループを用いることは必ずしも必要ではない。他の実装形態は、ドリフト補償ループにおいて変換を実行することができる。
【００８８】
フレームのシーケンスがわずかな動きと低レベルの細部とを含む場合、図１４Ａの複雑でない方式を用いることができる。他の場合には、図１４ｂあるいは図１４ｃのいずれかの同等に複雑な方式が用いられることになる。図１４ｃの方式は最良の品質を提供する。
【００８９】
ブロック処理を用いるドリフト補償
ブロックグループプロセッサ１３００は、ドリフトを制御するか、あるいは最小限に抑えるために用いることもできることに留意されたい。イントラ符号化されたブロックはドリフトの影響を受けにくいので、インター符号化されたブロックのイントラ符号化されたブロックへの変換はドリフトの影響を低減する。
【００９０】
図１４Ｃの第１のステップ１３５０として、圧縮されたビットストリームにおいてドリフトの量が測定される。閉ループアーキテクチャでは、ドリフトは、１０９２および１１９２によって生成される差分信号のエネルギーにしたがって、あるいは１０９１および１１９１に格納されるドリフト補償信号によって測定することができる。信号のエネルギーを計算する方法はよく知られている。計算されるエネルギーは、再量子化、ダウンサンプリングおよび動きベクトルの打切りを含む種々の近似を説明する。
【００９１】
開ループアーキテクチャにも適用することができる、ドリフトを計算するための別の方法は、打ち切られた動きベクトルによって被る誤差を推定する。元の解像度における半画素動きベクトルによって、解像度が低減される際に大きな再構成誤差が生じることが知られている。最大画素動きベクトルは依然として半画素位置に正確にマッピングされることができるので、最大画素動きベクトルはそのような誤差の影響を受けにくい。この場合に、ドリフトを測定するための１つの可能性は、半画素動きベクトルのパーセンテージを記録することである。しかしながら、動きベクトル近似の影響はコンテンツの複雑さに依存するので、別の可能性は、測定されたドリフトが、半画素動きベクトルを有するブロックに関連付けられる残留成分の関数になることである。
【００９２】
差分信号のエネルギーおよび動きベクトルデータを用いてドリフトを測定する方法は組み合わせて用いられることができ、フレーム内の小領域上で考慮することもできる。フレーム内の小領域を考慮することは、ドリフト補償方法によって最も利益を受けるマクロブロックの位置を特定することができるので有利である。これらの方法を組み合わせて用いるために、差分信号のエネルギー、あるいは元の解像度の半画素動きベクトルを有するマクロブロックのためのドリフト補償信号によってドリフトが測定される。
【００９３】
第２のステップとして、ドリフトの測定された値が、ブロックグループプロセッサ１３００への入力として用いられる「イントラ・リフレッシュレート」１３５１に変換される。イントラ符号化されたブロックのパーセンテージを制御することは、従来技術において誤り回復伝送のための映像符号化の場合に考慮されてきた。たとえば、Ｓｔｕｈｌｍｕｌｌｅｒ等による「ＡｎａｌｙｓｉｓｏｆＶｉｄｅｏＴｒａｎｓｍｉｓｓｉｏｎｏｖｅｒＬｏｓｓｙＣｈａｎｎｅｌｓ」（ＪｏｕｒｎａｌｏｆＳｅｌｅｃｔｅｄＡｒｅａｏｆＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０００）を参照されたい。その研究では、受信機からエンコーダへの戻りチャネルが、伝送チャネルによって被られる損失の量を伝達するものと想定され、イントラ符号化されたブロックの符号化がデータ源から直に実行されて、予測符号化方式において失われたデータに起因する誤り伝搬を防ぐ。
【００９４】
対照的に、本発明は既に符号化された映像の場合の圧縮された領域において新たなイントラ・ブロックを生成し、インター・ブロックからイントラ・ブロックへの変換がブロックグループプロセッサ１３００によって行われる。
【００９５】
ドリフトがドリフト量の閾値を超える場合には、図１４ｃのブロックグループプロセッサ１３００が呼び出され、インターモード・ブロックがイントラモード・ブロックに変換される。この場合に、その変換は固定され、予め指定されたイントラ・リフレッシュレートで実行される。別法では、変換は、測定されたドリフト量に比例するイントラ・リフレッシュレートでなされることができる。また、イントラ・リフレッシュレートと、イントラ・ブロックおよびインター・ブロックを符号化するために用いられる量子化器との間の適当なトレードオフを得るために、信号のレート歪み特性も考慮することができる。
【００９６】
本発明は圧縮された領域において新たなイントラ・ブロックを生成し、この形態のドリフト補償は解像度低減を用いるトランスコーダ、あるいは用いないトランスコーダのいずれにおいても実行されることができることに留意されたい。
【００９７】
ダウンサンプリング
本発明によるトランスコーダはあらゆるダウンサンプリング方法を用いることができる。しかしながら、好ましいダウンサンプリング方法は、１９９８年１１月１０日にＳｕｎ等に付与された「Ｍｅｔｈｏｄａｎｄａｐｐａｒａｔｕｓｆｏｒｄｏｗｎ−ｃｏｎｖｅｒｔｉｎｇａｄｉｇｉｔａｌｓｉｇｎａｌ」というタイトルの米国特許第５，８８５，１５１号による方法であり、その特許は参照により本明細書に援用される。
【００９８】
このダウンサンプリング方法の概念が図１５Ａに示される。１つのグループが４つの２^Ｎ×２^ＮＤＣＴブロック１５０１を含む。すなわち、そのグループのサイズは２^Ｎ＋１×２^Ｎ＋１である。１つの２^Ｎ×２^ＮＤＣＴブロック１５１１を生成するために、ブロックのグループに「周波数合成」あるいはフィルタリング１５１０が適用される。この合成されたブロックから、ダウンサンプリングされたＤＣＴブロック１５１２を抽出することができる。
【００９９】
この演算は、２Ｄ演算を用いるＤＣＴ領域の場合に記載されてきたが、分離可能な１Ｄフィルタを用いて実行されることもできる。また、その演算は空間領域において完全に実行されることができる。参照して本明細書に援用される、Ｖｅｔｒｏ等による１９９８年３月６日出願の「Ｔｈｒｅｅｌａｙｅｒｓｃａｌａｂｌｅｄｅｃｏｄｅｒａｎｄｍｅｔｈｏｄｏｆｄｅｃｏｄｉｎｇ」というタイトルの米国特許出願第０９／０３５，９６９号に記載される方法を用いて、等価空間領域フィルタを導出することができる。
【０１００】
本発明によるトランスコーダにおいてダウンサンプリング方法を用いる主な利点は、マクロブロック内のサブブロックの正確な大きさが、たとえば４つの８×８ＤＣＴブロックから直に求められ、１つの８×８ブロックを形成することができることである。一方、ダウンサンプリングのための別の従来技術の方法は、１つのマクロブロックの出力されるサブブロックの必要とされる大きさに等しくない大きさにおいてダウンサンプリングされたデータを生成し、たとえば４つの８×８ＤＣＴブロックから４つの４×４ＤＣＴブロックが得られる。その後、１つの８×８ＤＣＴブロックを構成するために付加的なステップが必要とされる。
【０１０１】
上記のフィルタはアップサンプリングを必要とする図１１に示されるアーキテクチャを効率的に実装するために有用な構成要素である。より一般的には、ここで導出されるフィルタは、解像度低減あるいはドリフト補償を行うか、行わないかにかかわらず、アップサンプリングされたＤＣＴデータデータにおいて算術演算を必要とする任意のシステムに適用されることができる。
【０１０２】
アップサンプリング
本発明において従来技術のアンプサンプリングの任意の手段を用いることができる。しかしながら、上記のＶｅｔｒｏ等による「Ｔｈｒｅｅｌａｙｅｒｓｃａｌａｂｌｅｄｅｃｏｄｅｒａｎｄｍｅｔｈｏｄｏｆｄｅｃｏｄｉｎｇ」という米国特許出願では、最適なアップサンプリング方法がダウンサンプリングの方法に依存することを述べている。それゆえ、ダウンサンプリングフィルタｘ_ｄに対応するアップサンプリングフィルタｘ_ｕを用いることが好ましい。ただし、２つのフィルタ間の関係は以下の式によって与えられる。
【０１０３】
【数１２】

【０１０４】
上記の式から導出されるフィルタには関連する２つの問題がある。第１に、ＤＣＴフィルタは逆にすることができないので、そのフィルタは空間領域においてのみ適用することができる。しかし、対応する空間領域フィルタが導出され、その後ＤＣＴ領域に変換されることができるので、これは大きな問題ではない。
【０１０５】
しかしながら、第２の問題は、このようにして得られるアップサンプリングフィルタが図１５Ｂに示されるプロセスに対応するというものである。このプロセスでは、たとえば２^Ｎ×２^Ｎブロック１５０２がアップサンプリングされ（１５２０）、１つの２^Ｎ＋１×２^Ｎ＋１ブロック１５３０が生成される。アップサンプリングが空間領域において完全に実行される場合には、問題は生じない。しかしながら、アップサンプリングがＤＣＴ領域において実行される場合には、２^Ｎ＋１×２^Ｎ＋１ＤＣＴブロックを有し、すなわち１つのＤＣ成分を取り扱う。これは、アップサンプリングされたＤＣＴブロックが標準的なＭＢフォーマット、すなわちＮが４の場合に４つの２^Ｎ×２^ＮＤＣＴブロックであることを必要とする演算の場合に適していない。すなわち、アップサンプリングされたブロックは元のブロックと同じフォーマットあるいは次元を有し、実際に元のブロックより多くのブロックが存在する。
【０１０６】
ＤＣＴ領域におけるアップサンプリングの上記の方法は、本発明に記載されるトランスコーダにおいて用いるのに適していない。図１１Ａでは、アップサンプリングされたＤＣＴデータが、混在ブロックプロセッサ１３００からのＤＣＴ出力データから減算される。２つのブロックの２つのＤＣＴデータは同じフォーマットを持たなければならない。それゆえ、図１５Ｃに示されるアップサンプリングを実行できるフィルタが必要とされる。ここでは、１つの２^Ｎ×２^Ｎブロック１５０２がアップサンプリングされて（１５４０）、４つの２^Ｎ×２^Ｎブロック１５５０が生成される。そのようなフィルタはこれまで考えられたことがなく、既知の従来技術においては存在しないので、１Ｄの場合の式が以下において導出される。
【０１０７】
以下の式の表記に関しては、下付き文字の変数は空間領域信号を指示し、一方、上付き文字の変数はＤＣＴ領域における等価な信号を表す。
【０１０８】
図１６に示されるように、Ｃ１６０１はＤＣＴ領域においてアップサンプリングされることになるＤＣＴブロックを表し、ｃ１６０２は空間領域における等価なブロックを表す。２つのブロックはＮ−ｐｔＤＣＴおよびＩＤＣＴ１６０３の定義を通して互いに関連付けられる。ＲａｏおよびＹｉｐによる「ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：Ａｌｇｏｒｉｔｈｍｓ，ＡｄｖａｎｔａｇｅｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ」（Ａｃａｄｅｍｉｃ，Ｂｏｓｔｏｎ，１９９０）を参照されたい。便宜上、その式が以下にも与えられる。
【０１０９】
ＤＣＴ定義は以下の通りである。
【０１１０】
【数１３】

【０１１１】
ＩＤＣＴ定義は以下の通りである。
【０１１２】
【数１４】

【０１１３】
ただし、以下の条件が成り立つ。
【０１１４】
【数１５】

【０１１５】
上記の式が与えられるとき、ブロックＥ１６１０はＸ_ｕ１６１１でＣをフィルタリングすることに基づくアップサンプリングされたＤＣＴブロックを表し、ｅは、式（１２）によって与えられるｘ_ｕ１６２１でｃをフィルタリングすることに基づくアップサンプリングされた空間領域ブロックを表す。ｅおよびＥは２Ｎ−ｐｔＤＣＴ／ＩＤＣＴ１６３０を通して関係付けられることに留意されたい。フィルタリングされた入力の入力−出力関係は以下の式によって与えられる。
【０１１６】
【数１６】

【０１１７】
図１６に示されるように、所望のＤＣＴブロックはＡ１６１１およびＢ１６１２によって示される。この導出の目的は、ＣからＡおよびＢをそれぞれ直に計算するために用いることができるフィルタＸ_ｃａ１６４１およびＸ_ｃｂ１６４２を導出することである。
【０１１８】
最初のステップとして、式（１４）が式（１６ｂ）に代入される。その結果として得られる式はＤＣＴ入力Ｃの関数としての空間領域出力ｅであり、それは以下の式によって与えられる。
【０１１９】
【数１７】

【０１２０】
式（１７）を用いてＣに関してＡおよびＢを表すために、ａ、ｂおよびｅの間の空間領域の関係が以下の式によって与えられる。
【０１２１】
【数１８】

【０１２２】
ただし、上記の式におけるｉは空間領域指数を表す。ａのためのＤＣＴ領域の式が以下に与えられる。
【０１２３】
【数１９】

【０１２４】
式（１７）〜（１９）を用いて、以下の式が与えられる。
【０１２５】
【数２０】

【０１２６】
その式は以下の式と等価である。
【０１２７】
【数２１】

【０１２８】
ただし、以下の式が成り立つ。
【０１２９】
【数２２】

【０１３０】
同様に、以下の式が与えられる。
【０１３１】
【数２３】

【０１３２】
その式は以下の式と等価である。
【０１３３】
【数２４】

【０１３４】
ただし、以下の式が成り立つ。
【０１３５】
【数２５】

【０１３６】
その後、上記のフィルタを用いて、所与の大きさの１つのブロックをより大きな数のブロックにアップサンプリングすることができ、そのブロックはそれぞれもとのブロックと同じ次元を有する。より一般的には、ここで導出されたフィルタは、アップサンプリングされたＤＣＴデータにおいて算術演算を必要とする任意のシステムに適用されることができる。
【０１３７】
式（２２）および（２５）によって与えられるフィルタを実装するために、各式がフィルタタップのｋ×ｑの行列を与えることに留意されたい。ただし、ｋは出力画素の指数であり、ｑは入力画素の指数である。１Ｄデータの場合、出力画素は行列の乗算として計算される。２Ｄデータの場合、２つのステップが行われる。第１に、そのデータが第１の方向、たとえば水平方向にアップサンプリングされる。その後、水平方向にアップサンプリングされたデータが第２の方向、たとえば垂直方向にアップサンプリングされる。アップサンプリングするための方向の順序は結果に影響を及ぼすことなく逆にすることができる。
【０１３８】
水平方向のアップサンプリングの場合、１つのブロック内の各行は独立して演算され、Ｎ次元の入力ベクトルとして取り扱われる。各入力ベクトルは式（２１）および（２４）にしたがってフィルタリングされる。このプロセスの出力は２つの標準的なＤＣＴブロックになるであろう。
【０１３９】
垂直方向のアップサンプリングの場合、１つのブロック内の各列は独立して演算され、再びＮ次元の入力ベクトルとして取り扱われる。水平方向のアップサンプリングの場合のように、各入力ベクトルは式（２１）および（２４）にしたがってフィルタリングされる。このプロセスの出力は、図１５Ｃに示されるような４つの標準的なＤＣＴブロックになるであろう。
【０１４０】
構文変換
本発明によるトランスコーダの上記の応用形態の場合に述べられたように、本発明のための重要な応用形態のうちの１つはＭＰＥＧ−２からＭＰＥＧ−４への変換である。これまで主に、より低い空間解像度にトランスコードする際のドリフト補償と、より低い空間解像度への変換を支援する付加的な技術とのために用いられるアーキテクチャに焦点が当てられた。
【０１４１】
しかしながら、標準的な符号化方式間の構文変換は別の重要な課題である。これは既に係属中の特許出願によって記載されているものと考えているので、この部分においてさらに詳細には与えない。
【０１４２】
本発明は好ましい実施形態の例を用いて記載されてきたが、本発明の精神および範囲内で種々の他の適合形態および変更形態が実施できることは理解されたい。それゆえ、併記の特許請求の範囲の目的は、本発明の真の精神および範囲に入るような全てのそのような変形および変更を網羅することである。
【図面の簡単な説明】
【図１】従来のカスケード接続されたトランスコーダのブロック図である。
【図２】ビットレートを低減するための従来技術の開ループトランスコーダのブロック図である。
【図３】ビットレートを低減するための従来技術の閉ループトランスコーダのブロック図である。
【図４】空間解像度を低減するための従来のカスケード接続されたトランスコーダのブロック図である。
【図５】空間解像度を低減するための従来技術の開ループトランスコーダのブロック図である。
【図６】従来技術の動きベクトルマッピングのブロック図である。
【図７】本発明による、ビットストリームを低減された空間解像度にトランスコードする第１の応用形態のブロック図である。
【図８】本発明による、ビットストリームを低減された空間解像度にトランスコードする第２の応用形態のブロック図である。
【図９】本発明による、空間解像度を低減するための開ループトランスコーダのブロック図である。
【図１０】本発明による、低減された解像度におけるドリフト補償を有する、空間解像度を低減するための第１の閉ループトランスコーダのブロック図である。
【図１１Ａ】本発明による、元の解像度におけるドリフト補償を有する、空間解像度を低減するための第２の閉ループトランスコーダのブロック図である。
【図１１Ｂ】本発明による、元の解像度におけるドリフト補償を有する、空間解像度を低減するための第３の閉ループトランスコーダのブロック図である。
【図１２】マクロブロックモードと、ＤＣＴ係数と、対応する動きベクトルデータとを含むマクロブロックのグループの一例を示す図である。
【図１３】本発明によるブロックグループプロセッサのブロック図である。
【図１４Ａ】本発明によるブロックグループ処理のための第１の方法のブロック図である。
【図１４Ｂ】本発明によるブロックグループ処理のための第２の方法のブロック図である。
【図１４Ｃ】本発明によるブロックグループ処理のための第３の方法のブロック図である。
【図１５Ａ】ＤＣＴあるいは空間領域におけるダウンサンプリングの従来技術の概念を示す図である。
【図１５Ｂ】ＤＣＴあるいは空間領域における従来技術のアップサンプリングのブロック図である。
【図１５Ｃ】本発明によるＤＣＴ領域におけるアップサンプリングのブロック図である。
【図１６】本発明によるＤＣＴ領域におけるアップサンプリングの図である。

Claims

部分的に復号化された入力ビットストリームのマクロブロックにおいてドリフトを補償するための方法であって、前記マクロブロックはイントラモードおよびインターモードのマクロブロックを含み、前記マクロブロックはそれぞれＤＣＴ係数と動きベクトルとを含み、前記方法は、
前記部分的に復号化された入力ビットストリームにおいてドリフトの推定値を測定すること、
ドリフトの前記推定値をイントラ・リフレッシュレートに変換すること、
前記リフレッシュレートにしたがってインターモード・マクロブロックのモードをインターモード・マクロブロックにマッピングすること、および、
ドリフトを補償するために、変更された各マクロブロックのためのマッピングにしたがって前記変更された各マクロブロックのための前記ＤＣＴ係数と前記動きベクトルとを変更すること
を含む方法。
量子化の前後に前記ＤＣＴ係数から差分信号を生成すること、および、
前記ドリフトの前記推定値を決定するために前記差分信号のエネルギーを測定すること
をさらに含む請求項１に記載の方法。
ダウンサンプリングされた各マクロブロックのための最大解像度ドリフト補償信号を生成すること、および、
前記ドリフトの推定値を決定するために前記最大解像度ドリフト補償信号のエネルギーを測定すること
をさらに含む請求項１に記載の方法。
打ち切られた動きベクトルの誤差を測定することをさらに含む請求項１に記載の方法。
ダウンサンプリングされた各マクロブロックのための最大解像度ドリフト補償信号を生成すること、
前記ドリフトの推定値を決定するために前記最大解像度ドリフト補償信号のエネルギーを測定すること、および、
打ち切られた動きベクトルの誤差を測定すること
をさらに含む請求項１に記載の方法。
所定の閾値にしたがって変換することをさらに含む請求項１に記載の方法。
前記変換は、前記ドリフトの前記推定値に比例する請求項１に記載の方法。
前記変換は、前記マクロブロックのレート歪み特性に依存する請求項１に記載の方法。
部分的に復号化された入力ビットストリームのマクロブロックにおいてドリフトを補償するための装置であって、前記マクロブロックはイントラモードおよびインターモード・マクロブロックを含み、前記マクロブロックはそれぞれＤＣＴ係数と動きベクトルとを含み、前記装置は、
前記部分的に復号化された入力ビットストリームにおいてドリフトの推定値を測定するための手段と、
ドリフトの前記推定値をイントラ・リフレッシュレートに変換するための手段と、
前記リフレッシュレートにしたがってインターモード・マクロブロックのモードをインターモード・マクロブロックにマッピングするための手段と、
ドリフトを補償するために、変更された各マクロブロックのためのマッピングにしたがって前記変更された各マクロブロックのための前記ＤＣＴ係数と前記動きベクトルとを変更するための手段と
を含む装置。