JP2003061091A - 圧縮ビットストリームをアップサンプリングする方法および装置 - Google Patents

圧縮ビットストリームをアップサンプリングする方法および装置

Info

Publication number
JP2003061091A
JP2003061091A JP2002135820A JP2002135820A JP2003061091A JP 2003061091 A JP2003061091 A JP 2003061091A JP 2002135820 A JP2002135820 A JP 2002135820A JP 2002135820 A JP2002135820 A JP 2002135820A JP 2003061091 A JP2003061091 A JP 2003061091A
Authority
JP
Japan
Prior art keywords
dct
macroblock
block
upsampled
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002135820A
Other languages
English (en)
Other versions
JP4209134B2 (ja
Inventor
Vetro Anthony
アンソニー・ヴェトロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2003061091A publication Critical patent/JP2003061091A/ja
Application granted granted Critical
Publication of JP4209134B2 publication Critical patent/JP4209134B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 （修正有） 【課題】空間解像度の低下の問題、トランスコーダーに
おける複雑性と画質との間の均衡に関する問題及びトラ
ンスコーディング中に於けるアップサンプリングの問題
を解決する。 【解決手段】 方法は、圧縮ビットストリームをアップ
サンプリングする。圧縮ビットストリームは、部分的に
復号化されることによりマクロブロックをもたらす。各
マクロブロックは、マクロブロックの所定次元に従うＤ
ＣＴ係数を有する。各マクロブロックのＤＣＴ係数にＤ
ＣＴフィルタが適用されることにより、各マクロブロッ
クのアップサンプリングされたマクロブロックがもたら
され、各フィルタにより１つのアップサンプリングされ
たマクロブロックが生成される。生成されたアップサン
プリングされたマクロブロックの各々は、所定次元を有
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、概してビットス
トリームをトランスコードする技術分野に関し、特に、
ビデオビットストリームをトランスコードしている間に
アップサンプリングを行うことに関する。
【０００２】
【従来の技術】ビデオ圧縮は、視覚情報を、記憶域、ネ
ットワークおよびプロセッサリソースをより少ないリソ
ースで格納し、送信し、処理することを可能にする。最
も広く使用されるビデオ圧縮規格には、動画の格納およ
び検索のためのＭＰＥＧ−１と、デジタルテレビのため
のＭＰＥＧ−２と、ビデオ会議のためのＨ．２６３と、
がある。ＩＳＯ／ＩＥＣ １１１７２−２：１９９３、
「Information Technology-Coding of Moving Pictures
and Associated Audio for Digital Storage Media up
to about 1.5 Mbits/s-Part2:Video」、D.LeGallによ
る「MPEG:A VideoCompression Standard for Multimedi
a Applications」、Communications of the ACM、Ｖｏ
ｌ．３４、Ｎｏ．４、ｐｐ．４６〜５８、１９９１、Ｉ
ＳＯ／ＩＥＣ １３８１８−２：１９９６、「Informat
ion Technology-Generic Coding ofMoving Pictures an
d Associated Audio Information-Part2:Video」、１９
９４、ＩＴＵ−Ｔ ＳＧ ＸＶ、ＤＲＡＦＴ Ｈ．２６
３、「Video Coding for Low Bitrate Communicatio
n」、１９９６、ＩＴＵ−Ｔ ＳＧ ＸＶＩ、ＤＲＡＦ
Ｔ１３ Ｈ．２６３＋Ｑ１５−Ａ−６０ｒｅｖ．０、
「Video Coding for Low Bitrate Communication」、１
９９７を参照のこと。
【０００３】これら規格は、本来、画像またはフレーム
の空間的圧縮と、フレームのシーケンスの空間的および
時間的圧縮とを扱う比較的低レベルの仕様である。共通
の特徴として、これら規格は、フレームベース毎で圧縮
を実行する。これら規格により、多種多様のアプリケー
ションに対して高圧縮率を達成することができる。
【０００４】マルチメディアアプリケーションのための
ＭＰＥＧ−４等、より新しいビデオ符号化規格（ＩＳＯ
／ＩＥＣ １４４９６−２：１９９９、「Information
technology-coding of audio/visual objects、Part2:Vi
sual」参照）では、任意形状オブジェクトを、別個のビ
デオオブジェクトプレーン（video object plane（ＶＯ
Ｐ））として符号化および復号化することが可能であ
る。オブジェクトは、視覚、音声、自然、合成、基本、
複合またはそれらの組合せとすることができる。また、
この規格には、無線チャネル等のエラーを起しやすいチ
ャネルに亙る頑強な送信を可能にするために、非常に多
くのエラー回復機能が組込まれている。
【０００５】新しいＭＰＥＧ−４規格は、自然材料と合
成材料とが統合されアクセスがユニバーサルであるイン
タラクティブテレビ等、マルチメディアアプリケーショ
ンを可能にすることが意図されている。ビデオ送信のコ
ンテキストでは、これら圧縮規格は、ネットワーク上で
帯域幅の量を低減するために必要とされる。ネットワー
クは、無線であってもインタネットであってもよい。い
ずれの場合も、ネットワークは容量が制限されており、
乏しいリソースに対する競合は最小限にされなければな
らない。
【０００６】装置が、コンテンツを強固に送信し、コン
テンツの品質を、利用可能なネットワークリソースに適
合させることができるようにする、システムおよび方法
に対し、非常に多くの努力がなされてきた。コンテンツ
が符号化される場合、時に、ビットストリームを、低い
ビットレートまたは解像度でネットワークによって送信
することができるようになる前に、更に復号化すること
が必要な場合がある。
【０００７】これは、図１に示すように、トランスコー
ダ１００によって達成することができる。最も単純な実
現では、トランスコーダ１００は、カスケード接続され
たデコーダ１１０とエンコーダ１２０とを有する。圧縮
入力ビットストリーム１０１は、入力ビットレートＲin
で完全に復号化され出力ビットレートＲout１０２で符
号化されて、出力ビットストリーム１０３をもたらす。
通常、出力レートは入力レートより低い。実際には、ト
ランスコーダにおける完全な復号化および完全な符号化
は、復号化されたビットストリームを符号化することが
非常に複雑であるため行われない。
【０００８】ＭＰＥＧ−２トランスコーディングに対す
る初期の研究は、Ｓｕｎ等により、「Architectures fo
r MPEG compressed bitstream scaling」、IEEE Transa
ctionson Circuits and Systems for Video Technolog
y、April 1996において発表されている。そこでは、種々
の複雑性およびアーキテクチャによるレート低減の４つ
の方法が述べられている。
【０００９】図２は、開ループアーキテクチャと呼ばれ
る第１の方法例２００を示す。このアーキテクチャで
は、入力ビットストリーム２０１は部分的にしか復号化
されない。より詳細には、入力ビットストリームのマク
ロブロックは、可変長復号化（variable-length decode
d）（ＶＬＤ）され２１０、精細な量子化器Ｑ1によって
逆量子化される２２０ことにより、離散コサイン変換
（discrete cosine transform）（ＤＣＴ）係数をもた
らす。所望の出力ビットレート２０２が与えられると、
ＤＣＴブロックは、量子化器２３０のより粗いレベルの
量子化器Ｑ2によって再量子化される。そして、これら
再量子化されたブロックは、可変長符号化（variable-l
ength code）（ＶＬＣ）され２４０、より低いレートの
新たな出力ビットストリーム２０３が形成される。この
方式は、動きベクトルが再使用され逆ＤＣＴ操作が必要
でないため、図１に示す方式よりずっと単純である。な
お、ここでＱ1およびＱ2の選択は、厳密にビットストリ
ームのレート特性によって決まる。おそらくはビットス
トリームの空間特性等、他の要素は考慮されない。
【００１０】図３は、第２の方法例３００を示す。この
方法は、閉ループアーキテクチャと呼ばれる。この方法
では、入力ビデオビットストリームは、同様に部分的に
復号化され、すなわち、入力ビットストリームのマクロ
ブロックは、可変長復号化（ＶＬＤ）され３１０、Ｑ1
によって逆量子化される３２０ことにより、離散コサイ
ン変換（ＤＣＴ）係数３２１をもたらす。上述した第１
の方法例とは対照的に、入力ＤＣＴ係数３２１に対し補
正ＤＣＴ係数３３２が加算される３３０ことにより、再
量子化によってもたらされる不一致が補償される。この
補正により、最終的に復号化に使用される参照フレーム
の品質が向上する。補正が加算された後、新たに形成さ
れたブロックは、Ｑ2によって再量子化される３４０こ
とにより新たなレートを満足し、上述したように可変長
符号化される３５０。なお、この場合も、Ｑ1およびＱ2
はレートに基づく。
【００１１】補正成分３３２を取得するため、再量子化
されたＤＣＴ係数は、逆量子化され３６０、元の部分的
に復号化されたＤＣＴ係数から減算される３７０。この
差分は、逆ＤＣＴ（ＩＤＣＴ）３６５を介して空間領域
に変換され、フレームメモリ３８０に格納される。そし
て、動き補償３９０等において、対応する差分ブロック
を回復させるために、各入力ブロックに関連する動きベ
クトル３８１が使用される。そして、対応ブロックがＤ
ＣＴ３３２を介して変換されることにより、補正成分が
もたらされる。図３に示す方法の派生は、Assuncao等に
よる「A frequency domain video transcoder for dyna
mic bit-rate reduction of MPEG-2 bitstreams」、IEEE
Transactions on Circuits and Systems for Video Tec
hnology、ｐｐ．９５３〜９５７、１９９８に述べられ
ている。
【００１２】また、Assunca等は、同じタスクに対する
代替方法も述べている。代替方法では、彼らは、ドリフ
ト補償のために周波数領域で動作する動き補償（motion
compensation）（ＭＣ）ループを使用した。周波数領
域におけるＭＣブロックの高速計算のために、近似行列
が導出された。トランスコーディングに対し最適な量子
化器スケールを計算するために、ラグランジュ最適化が
使用された。その代替方法により、ＩＤＣＴ／ＤＣＴコ
ンポーネントが不要となった。
【００１３】従来技術による圧縮規格よると、テクスチ
ャ情報を符号化するために割付けられるビットの数は、
量子化パラメータ（ＱＰ）によって制御される。上記方
法は、元のビットストリームに含まれる情報に基づいて
ＱＰを変更することによりテクスチャビットのレートが
低減する、という点で類似している。効率的な実現のた
めに、情報は、通常圧縮領域から直接抽出され、ＤＣＴ
ブロックのマクロブロックかまたはＤＣＴブロックの残
差エネルギの動きに関連する基準を含むことができる。
上述した方法は、ビットレート低減に対してのみ適用可
能である。
【００１４】ビットレート低減のほかに、他のタイプの
ビットストリームの変換もまた実行することができる。
例えば、オブジェクトベースの変換が、Vetro等により
２０００年２月１４日に出願された米国特許出願第０９
／５０４，３２３号、「Object-Based Bitstream Trans
coder」に述べられている。空間解像度に対する変換
は、ShanablehおよびGhanbariより「Heterogeneous vid
eo transcoding to lower spatio-temporal resolution
s,and different encoding formats」、ＩＥＥＥTransa
ction on Multimedia、June 2000において述べられてい
る。
【００１５】なお、これら方法は、品質が十分でない低
減された空間解像度低減でビットストリームをもたらす
か、または非常に複雑に達成される、ということが留意
されなければならない。また、再構成されるマクロブロ
ックが形成される際に用いられる手段に対し、適当な考
慮がなされてこなかった。これは、品質と複雑性との両
方に対して悪影響を与える可能性があり、２以外の低減
ファクタを考慮する場合に特に重要である。更に、これ
らの方法は、いかなるアーキテクチャ上の詳細も指定し
ない。大抵、ファクタ２により動きベクトルをスケーリ
ングするあらゆる手段が留意される。
【００１６】図４は、入力ビットストリームをより低い
空間解像度の出力ビットストリーム４０２にトランスコ
ードする方法４００の詳細を示す。この方法は、図１に
示す方法の拡張であるが、デコーダ１１０およびエンコ
ーダ１２０の詳細が示されており、復号化プロセスと符
号化プロセスとの間にダウンサンプリングブロック４１
０がある。デコーダ１１０は、ビットストリームの部分
的復号化を実行する。ダウンサンプラは、部分的マクロ
ブロックのグループの空間解像度を低減する。デコーダ
における動き補償４２０は、フル解像度動きベクトルｍ
ｖf４２１を使用し、エンコーダにおける動き補償４３
０は、低解像度動きベクトルｍｖr４３１を使用する。
低解像度動きベクトルは、ダウンサンプリングされた空
間領域フレームｙ1 n４０３から推定されるかまたはフル
解像度動きベクトルからマッピングされる。トランスコ
ーダ４００の更なる詳細については後述する。
【００１７】図５は、入力ビットストリーム５０１をよ
り低い空間解像度の出力ビットストリーム５０２にトラ
ンスコードする開ループ方法５００の詳細を示す。この
方法では、ビデオビットストリームは再び部分的に復号
化され、すなわち、入力ビットストリームのマクロブロ
ックは、可変長復号化（ＶＬＤ）され５１０、逆量子化
される５２０ことにより、離散コサイン変換（ＤＣＴ）
係数をもたらす。これらステップは周知である。
【００１８】そして、ＤＣＴマクロブロックは、１６×
１６（２4×２4）マクロブロックにおいて各８×８（２
3×２3）輝度ブロックの高周波数係数をマスクすること
によってファクタ２でダウンサンプリングされる５３０
ことにより、４つの４×４ＤＣＴブロックをもたらす。
１９９３年１１月１６日にＮｇに発行された米国特許第
５，２６２，８５４号、「Low-resolution HDTV receiv
ers」を参照のこと。言換えれば、ダウンサンプリング
は、例えば４つのブロックのグループを、よりサイズの
小さい４つのブロックのグループにする。
【００１９】トランスコーダにおいてダウンサンプリン
グを実行することにより、トランスコーダは、コンプラ
イアントな１６×１６マクロブロックを再形成する追加
のステップを取らなければならず、それは、空間領域へ
戻す変換と、その後の更なるＤＣＴ領域への変換と、を
含む。ダウンサンプリング後、ブロックは、同じ量子化
レベルを用いて再量子化され５４０、その後、可変長符
号化される５５０。低減された解像度のブロックに対す
るレート制御を実行するいかなる方法も述べられていな
い。
【００２０】完全な動きベクトル５５９から低減された
動きベクトル５６１への動きベクトルマッピング５６０
を実行するために、従来技術では、フレームベースの動
きベクトルに適したいくつかの方法が述べられている。
４つのフレームベースの動きベクトル、すなわち、グル
ープの各マクロブロックに対して１つから、新たに形成
された１６×１６マクロブロックに対して１つの動きベ
クトルにマッピングするために、単純な平均化またはメ
ディアンフィルタを採用することができる。これは、
４：１マッピングと呼ばれる。
【００２１】しかしながら、ＭＰＥＧ−４およびＨ．２
６３等のいくつかの圧縮規格は、８×８ブロックに対し
て１つの動きベクトルを可能にする拡張された予測モー
ドをサポートする。この場合、各動きベクトルは、元の
解像度の１６×１６マクロブロックから低減された解像
度のマクロブロックにおける８×８ブロックへマッピン
グされる。これは、１：１マッピングと呼ばれる。
【００２２】図６は、４つの１６×１６マクロブロック
のグループ６０１から１つの１６×１６マクロブロック
６０２かまたは４つの８×８マクロブロック６０３への
動きベクトルの可能なマッピング６００を示す。通常
１：１マッピングを使用することは、４つの動きベクト
ルを符号化するためにより多くのビットが使用されるた
め、非効率である。また、概して、インタレースされた
画像のフィールドベースの動きベクトルへの拡張は、単
純ではない。ダウンサンプリングされたＤＣＴ係数とマ
ッピングされた動きベクトルとが与えられると、データ
は可変長符号化され、低減された解像度のビットストリ
ームを周知のように形成することができる。
【００２３】
【発明が解決しようとする課題】空間解像度低減のため
の従来技術による方法の問題を解決する、ビットストリ
ームをトランスコードする方法を提供することが望まし
い。更に、トランスコーダにおいて複雑性と品質との間
の均衡を提供することが望ましい。更に、ドリフトを補
償し、トランスコーディング中により適切なアップサン
プリング技術を提供することが望ましい。
【００２４】
【課題を解決するための手段】方法は、圧縮ビットスト
リームをアップサンプリングする。圧縮ビットストリー
ムは、部分的に復号化されることによりマクロブロック
をもたらす。各マクロブロックは、マクロブロックの所
定次元に従うＤＣＴ係数を有する。各マクロブロックの
ＤＣＴ係数にＤＣＴフィルタが適用されることにより、
各マクロブロックに対するアップサンプリングされたマ
クロブロックが生成され、各フィルタによって１つのア
ップサンプリングされたマクロブロックが生成される。
生成されたアップサンプリングされたマクロブロックの
各々は、所定次元を有する。
【００２５】
【発明の実施の形態】概論 この発明は、最小ドリフトで、デジタルビデオ信号の圧
縮ビットストリームを低減された空間解像度にトランス
コードする、システムおよび方法を提供する。まず、こ
の発明によるトランスコーダを使用することができるコ
ンテンツ配信のためのいくつかのアプリケーションを説
明する。次に、より低い空間解像度のビットストリーム
を生成する基本的な方法を分析する。この分析に基づい
て、基本的な方法に対するいくつかの代替例と、各代替
例に関連する対応するアーキテクチャとを説明する。
【００２６】第１の代替例（図９参照）は開ループアー
キテクチャを使用し、他の３つの代替例（図１０および
図１１Ａないし図１１Ｂ）は、ダウンサンプリング、再
量子化および動きベクトル打切りによってもたらされる
ドリフトを補償する手段を提供する閉ループアーキテク
チャに対応する。閉ループアーキテクチャのうちの１つ
は、低減された解像度でこの補償を実行し、他は、より
よい品質のためにＤＣＴ領域において元の解像度でこの
補償を実行する。
【００２７】後により詳細に説明するように、図９の開
ループアーキテクチャは複雑性が低い。再構成ループ
も、ＤＣＴ／ＩＤＣＴブロックも、フレームストアも無
く、その品質は、低ピクチャ解像度およびビットレート
に対しては妥当である。このアーキテクチャは、インタ
ネットアプリケーションおよびソフトウェア実現に対し
て適している。図１０の第１の閉ループアーキテクチャ
もまた、複雑性は中位である。それは、再構成ループ
と、ＩＤＣＴ／ＤＣＴブロックと、フレームストアと、
を含む。ここでは、低減された解像度領域におけるドリ
フト補償により品質を向上させることができる。図１１
Ａの第２の閉ループアーキテクチャは、複雑性が中位で
ある。それは、再構成ループと、ＩＤＣＴ／ＤＣＴブロ
ックと、フレームストアと、を含む。元の解像度領域に
おけるドリフト補償により品質を向上させることがで
き、その品質には、低減された解像度のフレームのアッ
プサンプリングが必要である。第３の閉ループアーキテ
クチャは、低減された解像度領域において取得される補
正信号を使用する。
【００２８】この発明によるアーキテクチャをサポート
するために、本来ならば、低減された解像度で「混合(m
ixed)」モードでのマクロブロックのグループを有する
ことになるブロックを処理する、いくつかの追加の技術
もまた説明する。
【００２９】ダウンサンプリングされる例えば４つのブ
ロックグループ（グループオブブロック、group of blo
cks）は、ダウンサンプリングされるブロックグループ
がイントラモードとインターモードとの両方において符
号化されるブロックを含む場合、「混合(mixed)」ブロ
ックとみなされる。ＭＰＥＧ規格では、Ｉフレームは、
イントラモードに従って符号化されたマクロブロックの
みを含み、Ｐフレームは、イントラモードおよびインタ
ーモードで符号化されたブロックを含むことができる。
これらモードは、特にダウンサンプリング中に考慮され
る必要があり、そうでなければ出力の品質が劣化する可
能性がある。
【００３０】また、ドリフト補償とＤＣＴベースのデー
タのアップサンプリングとのための方法を説明する。こ
れら方法は、アップサンプリング後の動作を適当にかつ
追加の変換ステップ無しに実行することができるよう
に、第２および第３の閉ループアーキテクチャに対して
有用である。
【００３１】低減された空間解像度のトランスコーディ
ングのアプリケーション この発明の主なターゲットアプリケーションは、無線電
話、ページャおよび携帯情報端末等の低解像度ディスプ
レイを有する装置に対するデジタルテレビ（ＤＴＶ）放
送とインタネットコンテンツの配信である。目下、ＤＴ
Ｖ放送およびＤＶＤ記録用の圧縮フォーマットとしてＭ
ＰＥＧ−２が使用されており、インタネットによりＭＰ
ＥＧ−１コンテンツが利用可能である。
【００３２】移動体ネットワークによるビデオ送信用の
圧縮フォーマットとしてＭＰＥＧ−４が採用されてきた
ため、この発明は、ＭＰＥＧ１／２コンテンツをより解
像度の低いＭＰＥＧ−４コンテンツにトランスコードす
る方法を扱う。
【００３３】図７は、この発明を使用するマルチメディ
アコンテンツ配信システム７００の第１の実施例を示
す。システム７００は、外部ネットワーク７０３を介し
てクライアント７０２に接続された適応サーバ７０１を
含む。特性として、クライアントは、小型ディスプレイ
を有するか、または低ビットレートチャネルによって接
続されている。従って、クライアント７０２に配信され
るいかなるコンテンツも解像度を低減する必要がある。
【００３４】入力ソースマルチメディアコンテンツ７０
４がデータベース７１０に格納される。コンテンツに
は、特徴抽出およびインデクシングプロセス７２０が行
われる。データベースサーバ７４０により、クライアン
ト７０２は、データベース７１０のコンテンツをブラウ
ズし、特定のコンテンツに対する要求を行うことができ
る。マルチメディアコンテンツの位置を確定するため
に、検索エンジン７３０を使用することができる。所望
のコンテンツの位置が確定された後、データベースサー
バ７４０は、この発明によるトランスコーダ７５０にマ
ルチメディアコンテンツを転送する。
【００３５】トランスコーダ７５０は、ネットワークお
よびクライアントの特性を読取る。コンテンツの空間解
像度が、クライアントの表示特性より高い場合、この発
明による方法を使用して、コンテンツの解像度を低減す
ることによりクライアントの表示特性に一致させる。ま
た、ネットワークチャネル上のビットレートがコンテン
ツのビットレートより低い場合も、この発明を使用する
ことができる。
【００３６】図８は、コンテンツ配信システム８００の
第２の実施例を示す。システム８００は、ローカル「ホ
ーム」ネットワーク８０１と、外部ネットワーク７０３
と、放送ネットワーク８０３と、図７で説明したような
適応サーバ７０１と、を有する。このアプリケーション
では、高品質入力ソースコンテンツ８０４を、放送ネッ
トワーク８０３、例えばケーブル、地上波または衛星を
介してホームネットワーク８０１に接続されたクライア
ント８０５に転送することができる。コンテンツは、セ
ットトップボックスまたはゲートウェイ８２０によって
受信され、ローカルメモリまたはハードディスクドライ
ブ（ＨＤＤ）８３０に格納される。受信されたコンテン
ツは、ホーム内のクライアント８０５に配信することが
可能である。更に、コンテンツを、フル解像度のコンテ
ンツを復号化／表示する能力を有していないあらゆるク
ライアントに適応するためにトランスコードする８５０
ことができる。これは、高品位テレビ（high-definitio
n）（ＨＤＴＶ）ビットストリームが標準品位テレビセ
ットに対して受信された場合である可能性がある。従っ
て、コンテンツは、ホーム内のクライアントの能力を満
足するようトランスコードされなければならない。
【００３７】更に、ＨＤＤ８３０に格納されるコンテン
ツに対するアクセスが、外部ネットワーク８０２を介し
て低解像度の外部クライアント８０６によって望まれる
場合もまた、トランスコーダ８５０を使用して、このク
ライアントに対し低解像度マルチメディアコンテンツを
配信することができる。
【００３８】基本的な方法の分析 種々の複雑性および品質を有するトランスコーダを設計
するために、図４の方法によって生成される信号を更に
説明し分析する。式における表記法に関し、小文字変数
は、空間領域信号を示し、大文字変数は、ＤＣＴ領域に
おける等価な信号をあらわす。変数の下付き文字は時間
を示し、１に等しい上付き文字はドリフトを有する信号
を示し、２に等しい上付き文字はドリフトのない信号を
示す。ドリフトは、再量子化、動きベクトル打切りまた
はダウンサンプリング等の損失の多いプロセスによって
もたらされる。ドリフト補償の方法については後述す
る。
【００３９】Ｉフレーム Ｉフレームに対する動き補償は無い、すなわち
【数１】 であるため、信号はダウンサンプリングされ４１０、
【数２】 となる。そして、エンコーダ１２０において、
【数３】 となる。
【００４０】信号ｇ2 nは、ＤＣＴ４４０が施され、その
後量子化パラメータＱ2を用いて量子化される４５０。
量子化された信号ｃoutは、可変長符号化され４６０、
トランスコードされたビットストリーム４０２に書込ま
れる。エンコーダにおける動き補償ループの一部とし
て、ｃoutは逆量子化され４７０、ＩＤＣＴ４８０が施
される。低減された解像度の参照信号ｙ2 n４８１は、将
来のフレーム予測のための参照信号としてフレームバッ
ファ４９０に格納される。
【００４１】Ｐフレーム Ｐフレームの場合、恒等式
【数４】 により、再構成されたフル解像度ピクチャがもたらされ
る。Ｉフレームと同様に、この信号はその後、式（２）
によりダウンコンバートされる。そして、
【数５】 に従って、低減された解像度の残差が生成される。それ
は、等価に、
【数６】 として表現される。
【００４２】式（６）によって与えられる信号は、この
発明によって説明するアーキテクチャが近似を求める参
照信号を表す。この参照信号を生成する際の複雑性は高
く、大幅な複雑性の低減を達成する一方で、品質を近似
させることが望ましい、ということが強調されなければ
ならない。
【００４３】開ループアーキテクチャ 近似値
【数７ａ】
【数７ｂ】 が与えられると、式（６）における低減された解像度の
残差信号は、
【数８】 として表される。上記式は、図９に示すトランスコーダ
９００の開ループアーキテクチャを示唆している。
【００４４】トランスコーダ９００では、入力ビットス
トリーム９０１信号は、可変長復号化される９１０こと
により、逆量子化ＤＣＴ係数９１１とフル解像度動きベ
クトルｍｖf９０１とを生成する。フル解像度動きベク
トルは、ＭＶマッピング９２０によって低減された解像
度の動きベクトルｍｖr９０３にマッピングされる。量
子化ＤＣＴ係数９１１は、量子化器Ｑ1９３０を用いて
逆量子化され、信号Ｅ1 n９３１をもたらす。そして、こ
の信号は、後により詳細に説明するようにブロックグル
ーププロセッサ１３００に処理される。プロセッサ１３
００の出力はダウンサンプリングされる９５０ことによ
り信号Ｇ2 n９５１をもたらす。ダウンサンプリング後、
信号は、量子化器Ｑ2９６０によって量子化される。最
後に、低減された解像度の再量子化されたＤＣＴ係数お
よび動きベクトルは、可変長符号化され９７０、トラン
スコードされた出力ビットストリーム９０２に書込まれ
る。
【００４５】ブロックグループプロセッサ１３００の詳
細および好ましい実施の形態を後に説明するが、簡単
に、ブロックグループプロセッサの目的は、マクロブロ
ックの選択されたグループを前処理することにより、ダ
ウンサンプリングプロセス９５０が、サブブロックが異
なる符号化モード、例えばインターブロックとイントラ
ブロックとの両方を有するマクロブロックのグループを
生成しないことを確実にする、ということである。マク
ロブロック内の混合符号化モードは、いかなる既知のビ
デオ符号化規格によってもサポートされていない。
【００４６】低減された解像度でのドリフト補償 式（７ｂ）によって与えられる近似値のみが与えられる
と、式（６）の低減された解像度の残差信号は、
【数９】 として表される。上記式は、低減された解像度でドリフ
トを補償する、図１０に示す閉ループアーキテクチャ１
０００を示唆している。
【００４７】このアーキテクチャでは、入力信号１００
１は、可変長復号化１０１０されることにより、量子化
ＤＣＴ係数１０１１とフル解像度動きベクトルｍｖf１
０１２とをもたらす。フル解像度動きベクトル１０１２
は、ＭＶマッピング１０２０によりマップされることに
より、解像度が低減された動きベクトルｍｖr１０２１
のセットをもたらす。量子化ＤＣＴ係数は、量子化器Ｑ
1によって逆量子化１０３０されることにより、信号Ｅ1
n１０３１をもたらす。そして、この信号は、ブロック
グループプロセッサ１３００によって処理されダウンサ
ンプリング１０５０される。ダウンサンプリング１０５
０後、低減された解像度のドリフト補償信号１０５１
は、ＤＣＴ領域において低解像度残差１０５２に加算１
０６０される。
【００４８】信号１０６１は、空間量子化器Ｑ2１０７
０によって量子化される。最後に、低減された解像度の
再量子化ＤＣＴ係数１０７１と動きベクトル１０２１と
が可変長符号化１０８０されることにより、出力トラン
スコードビットストリーム１００２が生成される。
【００４９】低減された解像度のドリフト補償信号が生
成される元の参照フレームが、再量子化器残差Ｇ2 n１０
７１の逆量子化１０９０によって取得され、それはその
後、ダウンサンプリングされた残差Ｇ1 n１０５２から減
算１０９２される。この差分信号は、ＩＤＣＴ１０９４
によって処理され、フレームストア１０９１に格納され
ている先のマクロブロックの低解像度予測成分１０９６
に加算１０９５される。この新たな信号は、差分（ｙ1
n-1−ｙ2 n-1）１０９７を表し、現ブロックの低解像度
動き補償に対する参照として使用される。
【００５０】格納された参照信号が与えられると、低解
像度動き補償１０９８が実行され、予測値はＤＣＴ１０
９９によって処理される。このＤＣＴ領域信号は、低減
された解像度のドリフト補償信号１０５１である。この
動作は、低解像度動きベクトルｍｖr１０２１のセット
を使用してマクロブロック毎に実行される。
【００５１】元の解像度でのドリフト補償の第１の方法 近似値
【数１０】 の場合、式（６）の低減された解像度の残差信号は、
【数１１】 として表される。上記式は、元の解像度のビットストリ
ームでドリフトを補償する、図１１に示す閉ループアー
キテクチャ１１００を示唆している。
【００５２】このアーキテクチャでは、入力信号１１０
１は、可変長復号化される１１１０ことにより量子化Ｄ
ＣＴ係数１１１１とフル解像度動きベクトルｍｖf１１
１２をもたらす。量子化ＤＣＴ係数１１１１は、量子化
器Ｑ1により逆量子化される１１３０ことにより、信号
Ｅ1 n１１３１をもたらす。そして、この信号は、ブロッ
クグループプロセッサ１３００によって処理される。ブ
ロックグループ処理１３００後、ＤＣＴ領域において残
差１１４１に対し元の解像度のドリフト補償信号１１５
１が加算される１１６０。そして、信号１１６２はダウ
ンサンプリングされ１１５０、量子化器Ｑ2によって量
子化される１１７０。最後に、低減された解像度の再量
子化ＤＣＴ係数１１７１と動きベクトル１１２１とが可
変長符号化され１１８０、トランスコードされたビット
ストリーム１１０２に書込まれる。
【００５３】元の解像度のドリフト補償信号１１５１が
生成される元の参照フレームは、再量子化器残差Ｇ2 n１
１７１の逆量子化１１９０によって生成され、それはそ
の後アップサンプリングされる１１９１。ここで、アッ
プサンプリング後、アップサンプリングされた信号は、
元の解像度の残差１１６１から減算される１１９２。こ
の差分信号は、ＩＤＣＴ１１９４によって処理され、先
のマクロブロックの元の解像度の予測成分１１９６に加
算される１１９５。この新たな信号は、差分（ｘ1 n-1−
ｘ2 n-1）１１９７を表し、元の解像度での現マクロブロ
ックの動き補償のための参照として使用される。
【００５４】フレームバッファ１１８１に格納される参
照信号が与えられると、元の解像度の動き補償１１９８
が実行され、予測値はＤＣＴ１１９９によって処理され
る。このＤＣＴ領域信号は、元の解像度のドリフト補償
信号１１５１である。この動作は、元の解像度の動きベ
クトルｍｖf１１２１のセットを使用してマクロブロッ
ク毎に実行される。
【００５５】元の解像度におけるドリフト補償の第２の
方法 図１１Ｂは、図１１Ａの閉ループアーキテクチャの代替
実施の形態を示す。ここでは、再量子化器残差Ｇ2 n１１
７２の逆量子化１１９０の出力は、アップサンプリング
１１９１前に、低減された解像度の信号から減算される
１１９２。
【００５６】元の解像度におけるドリフト補償の両アー
キテクチャは、ドリフト補償信号１１５１を生成する際
に動きベクトル近似値を使用しない。これは、アップサ
ンプリング１１９１の使用によって達成される。２つの
代替アーキテクチャは、主に、差分信号を生成するため
に使用される信号の選択が異なる。第１の方法では、差
分信号は、再量子化と解像度変換とによる誤差を表す
が、第２の方法での差分信号は、再量子化による誤差の
みを考慮する。
【００５７】トランスコードされたビットストリームの
将来の復号化においてアップサンプリングされた信号が
考慮されないため、ドリフト補償信号における連続した
ダウンサンプリングとアップサンプリングとによって測
定されるいかなる誤差も排除することが妥当である。し
かしながら、２つの理由により、アップサンプリングは
まだ採用される。すなわち、フル解像度動きベクトル１
１２１を利用していかなる更なる近似をも避けるため
と、ドリフト補償信号が元の解像度であり、ダウンサン
プリング１１５０前に入力残差１１６１に加算する１１
６０ことができるようにするためである。
【００５８】混合ブロックプロセッサ ブロックグループプロセッサ１３００の目的は、選択さ
れたマクロブロックを前処理することにより、ダウンサ
ンプリングプロセスは、サブブロックが異なる符号化モ
ード、例えばインターブロックとイントラブロックとを
有するマクロブロックを生成しないことを確実にする、
ということである。マクロブロック内の混合符号化モー
ドは、いかなる既知のビデオ符号化規格によってもサポ
ートされていない。
【００５９】図１２は、トランスコーディング１２０３
後、低減された解像度のブロックグループ１２０２にな
ることができるマクロブロックのグループ１２０１の実
施例を示す。ここでは、３つのインターモードブロック
と１つのイントラモードブロックとがある。なお、イン
トラモードブロックの動きベクトル（ＭＶ）は０であ
る。特定のブロックグループが混合グループであるか否
かを決定することは、マクロブロックモードのみによっ
て決まる。ブロックグループプロセッサ１３００は、低
減された解像度の単一のマクロブロック１２０２を形成
する４つのマクロブロック１２０１のグループを考慮す
る。言い換えれば、輝度成分に対し、ＭＢ（０）１２１
０は、低減された解像度のマクロブロック１２０２のサ
ブブロックｂ（０）１２２０に対応し、同様に、ＭＢ
（１）１２１１はｂ（１）１２２１に対応し、ＭＢ
（ｋ）１２１２はｂ（２）１２２２に対応し、ＭＢ（ｋ
＋１）１２１３はｂ（３）１２２３に対応する。なお、
ｋは、元の解像度の行毎のマクロブロックの番号であ
る。輝度成分は、輝度モードと一貫する同様の方法で処
理される。
【００６０】ＭＢグループモードは、ブロックグループ
プロセッサ１３００が特定のＭＢを処理すべきか否かを
判断する。ブロックグループは、グループが少なくとも
１つのイントラモードブロックと少なくとも１つのイン
ターモードブロックとを有する場合に処理される。マク
ロブロックが選択された後、そのＤＣＴ係数と動きベク
トルデータとに対し変更がなされる。
【００６１】図１３は、ブロックグループプロセッサ１
３００のコンポーネントを示す。選択された混合ブロッ
クグループ１３０１に対し、ブロックグループプロセッ
サは、モードマッピング１３１０と、動きベクトル変更
１３２０と、ＤＣＴ係数変更１３３０と、を実行するこ
とにより、出力非混合ブロック１３０２をもたらす。ブ
ロックグループ１３０１が識別されたとすると、マクロ
ブロックのモードは、すべてのマクロブロックが同じで
あるように変更される。これは、低減された解像度のブ
ロックにおける各サブブロックのモードを一致させるた
めに事前指定された戦略に従って行われる。
【００６２】選択されたモードマッピングにより、ＭＶ
データにはその後、変更がなされる１３２０。対応する
モードマッピングに合致する可能な変更を、図１４Ａな
いし図１４Ｃについて下に詳細に説明する。最後に、新
たなＭＢモードとＭＶデータとが共に与えられると、対
応するＤＣＴ係数もまたマッピングに合致するように変
更される１３３０。
【００６３】図１４Ａに示すブロックグループプロセッ
サの第１実施の形態では、ブロックグループ１３０１の
ＭＢモードは、モードマッピング１３１０によってイン
ターモードに変更される。従って、イントラブロックの
ＭＶデータは、動きベクトル処理によって０にリセット
され、イントラブロックに対応するＤＣＴ係数もまた、
ＤＣＴ処理１３３０によって０にリセットされる。この
ように、変換されたかかるサブブロックは、参照フレー
ムの対応するブロックからのデータを用いて複製され
る。
【００６４】図１４Ｂに示すブロックグループプロセッ
サの第２実施の形態では、混合ブロックグループのＭＢ
モードは、マッピング１３１０によってインターモード
に変更される。しかしながら、第１の好ましい実施の形
態とは対照的に、イントラＭＢのＭＶデータが予測され
る。予測は、テクスチャと動きデータとの両方を含むこ
とができる、近傍ブロックのデータに基づく。この予測
された動きベクトルに基づいて、変更されたブロックの
新たな残差が計算される。最終ステップ１３２０は、イ
ンターＤＣＴ係数をイントラＤＣＴ係数にリセットす
る。
【００６５】図１４Ｃに示す第３の実施の形態では、ブ
ロックグループのＭＢモードは、イントラモードに変更
される１３１０。この場合、低減された解像度のマクロ
ブロックに関連する動き情報は無く、従って、すべての
関連する動きベクトルデータは０にリセットされる１３
２０。これは、近傍ブロックの動きベクトルがこのブロ
ックの動きから予測されるため、トランスコーダで実行
する必要がある。デコーダにおいて適当な再構成を確実
にするために、ブロックグループのＭＶデータは、トラ
ンスコーダにおいてゼロにリセットされなければならな
い。最終ステップ１３３０は、上述したようにインター
ＤＣＴ係数に取って代るためにイントラＤＣＴ係数を生
成する。
【００６６】なお、上述した第２および第３の実施の形
態を実現するために、フル解像度に再構成する復号化ル
ープを使用することができる、ということは留意されな
ければならない。この再構成されたデータを、ＤＣＴ係
数をイントラモードとインターモードかまたはインター
モードとイントラモードとの間で変換するための参照と
して使用することができる。しかしながら、かかる復号
化ループの使用は必要ではない。他の実現では、ドリフ
ト補償ループ内で変換を実行することができる。
【００６７】動きの量がわずかであり詳細が低レベルで
あるフレームのシーケンスの場合、図１４Ａの複雑性の
低い戦略を使用することができる。そうでない場合、図
１４ｂかまたは図１４ｃの等しく複雑な戦略が使用され
るべきである。図１４ｃの戦略は最良の品質を提供す
る。
【００６８】ブロック処理を伴うドリフト補償 ブロックグループプロセッサ１３００を、ドリフトを制
御または最小化するために使用することも可能である、
ということは留意されなければならない。イントラ符号
化されたブロックにはドリフトがもたらされないため、
インター符号化ブロックのイントラ符号化への変換によ
り、ドリフトの悪影響が低減される。
【００６９】図１４Ｃの第１ステップ１３５０として、
圧縮ビットストリームにおけるドリフトの量が測定され
る。閉ループアーキテクチャでは、１０９２および１１
９２によって生成される差分信号かまたは１０９１およ
び１１９１において格納されるドリフト補償信号のエネ
ルギに従って、ドリフトを測定することができる。信号
のエネルギを計算することは、周知の方法である。計算
されるエネルギは、再量子化、ダウンサンプリングおよ
び動きベクトル打切りを含む、あらゆる近似の根拠とな
る。
【００７０】開ループアーキテクチャにも適用可能であ
るドリフトを計算する他の方法は、打切られた動きベク
トルによってもたらされる誤差を推定する。解像度が低
減されると、元の解像度の半画素動きベクトルが大きい
再構成誤差をもたらす、ということは周知である。フル
画素動きベクトルはまだ半画素位置に正確にマッピング
されることが可能であるため、それらにはかかる誤差が
もたらされない。この場合、ドリフトを測定する１つの
可能性は、半画素動きベクトルの割合を記録することで
ある。しかしながら、動きベクトル近似の悪影響は、コ
ンテンツの複雑性によって決まるため、他の可能性は、
測定されたドリフトが、半画素動きベクトルを有するブ
ロックに関連する残差成分の関数である、ということで
ある。
【００７１】ドリフトを測定するために差分信号のエネ
ルギと動きベクトルデータとを使用する方法を、組合せ
て使用することができ、またフレームのサブ領域に亙っ
て考慮することも可能である。フレームのサブ領域を考
慮することは、ドリフト補償方法によって最も利益を得
るマクロブロックの位置を識別することができるため有
利である。これら方法を組合せで使用するために、ドリ
フトは、差分信号のエネルギか、または元の解像度の半
画素動きベクトルを有するマクロブロックに対するドリ
フト補償信号によって測定される。
【００７２】第２のステップとして、ドリフトの測定さ
れた値は、ブロックグループプロセッサ１３００に対す
る入力として使用される「イントラリフレッシュレー
ト」１３５１に変換される。イントラ符号化ブロックの
割合を制御することは、エラー回復力のある送信に対す
るビデオの符号化のための従来技術において考慮されて
きた。例えば、Stuhlmuller等による「Analysis of Vid
eo Transmission over Lossy Channels」、Journal of
Selected Areas of Communications、2000を参照のこ
と。その論文では、受信機からエンコーダへのバックチ
ャネルが、送信チャネルによってもたらされる損失の量
を通信するものと仮定され、イントラ符号化ブロックの
符号化は、予測符号化方式においてデータが喪失するこ
とによる誤差伝播を防止するために、ソースから直接実
行される。
【００７３】対照的に、この発明は、すでに符号化され
たビデオに対し圧縮領域において新たなイントラブロッ
クを生成し、インターモードからイントラモードへの変
換は、ブロックグループプロセッサ１３００によって達
成される。ドリフトがドリフト閾値量を超える場合、イ
ンターモードブロックをイントラモードブロックに変換
するために、図１４ｃのブロックグループプロセッサ１
３００が呼出される。この場合、変換は、一定の事前指
定されたイントラリフレッシュレートで実行される。代
替的に、変換を、測定されたドリフトの量に比例するイ
ントラリフレッシュレートで行うことができる。また、
イントラリフレッシュレートとイントラおよびインター
ブロックを符号化するために使用される量子化器との間
で適当なトレードオフを行うために、信号のレート歪み
特性を考慮することができる。
【００７４】この発明が圧縮領域において新たなイント
ラブロックを生成することは留意されなければならず、
ドリフト補償のこの形態を、解像度低減の有無に関らず
あらゆるトランスコーダで実行することができる。
【００７５】ダウンサンプリング この発明によるトランスコーダにより、あらゆるダウン
ランプリング方法を使用することができる。しかしなが
ら、好ましいダウンサンプリング方法は、引用をもって
開示内容がすべて本明細書内に包含されたものとする、
Ｓｕｎ等に対し１９９８年１１月１０日に発行された米
国特許第５，８５５，１５１号、「Method and apparat
us for down-converting a digital signal」による。
【００７６】このダウンランプリング方法の概念を、図
１５Ａに示す。グループは、４つの２N×２NＤＣＴブロ
ック１５０１を含む。すなわち、グループのサイズは、
２N+ 1×２N+1である。「周波数合成」またはフィルタリ
ング１５１０が、ブロックグループに適用されることに
より、１つの２N×２NＤＣＴブロック１５１１が生成さ
れる。この合成ブロックから、ダウンサンプリングされ
たＤＣＴブロック１５１２を抽出することができる。
【００７７】この動作を、２Ｄ演算を使用してＤＣＴ領
域について説明したが、別個の１Ｄフィルタを使用して
実行することも可能である。また、その演算を、空間領
域において完全に実行することも可能である。等価な空
間領域フィルタを、引用をもって開示内容がすべて本明
細書内に包含されたものとする、Vetro等により１９９
８年３月６日に出願された米国特許出願第０９／０３
５，９６９号、「Threelayer scalable decoder and me
thod of decoding」に述べられている方法を使用するこ
とにより、導出することができる。
【００７８】この発明によるトランスコーダにおいてダ
ウンサンプリング方法を使用する主な利点は、マクロブ
ロックのサブブロックの正確な次元が直接取得される、
例えば、４つの８×８ＤＣＴブロックから１つの８×８
ブロックを形成することができる、ということである。
一方、ダウンサンプリングの代替的な従来技術による方
法は、マクロブロックの出力サブブロックの必要な次元
と等しくない次元のダウンサンプリングされたデータを
もたらし、例えば、４つの８×８ＤＣＴブロックから、
４つの４×４ＤＣＴブロックが取得される。そして、１
つの８×８ＤＣＴブロックを構成するために追加のステ
ップが必要とされる。
【００７９】上記フィルタは、アップサンプリングを必
要とする、図１１に示すアーキテクチャを効率的に実現
するための有用なコンポーネントである。より一般的
に、ここで導出されるフィルタを、解像度低減またはド
リフト補償の有無に関らず、アップサンプリングされた
ＤＣＴデータに対する算術演算を必要とするあらゆるシ
ステムに適用することができる。
【００８０】アップサンプリング 従来技術によるアップサンプリングのあらゆる手段を、
この発明において使用することができる。しかしなが
ら、米国特許出願「Three layer scalable decoder and
method of decoding」（上記参照）において、Vetro等
は、最適なアップサンプリング方法はダウンサンプリン
グの方法によって決まると述べている。従って、ダウン
サンプリングフィルタｘdに対応するアップサンプリン
グフィルタｘuを使用することが好ましく、その場合、
２つのフィルタ間の関係は、
【数１２】 によって与えられる。
【００８１】上記式から導出されるフィルタに関連して
２つの問題がある。第１に、ＤＣＴフィルタは反転可能
でないため、それらフィルタは空間領域フィルタでしか
適用可能でない。しかしながら、対応する空間領域フィ
ルタを導出し、その後ＤＣＴ領域に変換することができ
るため、これは小さい問題である。
【００８２】一方、第２の問題は、このように取得され
るアップサンプリングフィルタが、図１５Ｂに示すプロ
セスに対応する、ということである。このプロセスで
は、例えば、２N×２Nブロック１５０２が１つの２N+1
×２N+1ブロック１５３０にアップサンプリングされる
１５２０。アップサンプリングが空間領域において完全
に実行される場合、問題はない。しかしながら、アップ
サンプリングがＤＣＴ領域で実行される場合、扱うべき
２N+1×２N+1ＤＣＴブロックがあり、すなわち１つのＤ
Ｃ成分がある。これは、アップサンプリングされたＤＣ
Ｔブロックが標準ＭＢフォーマットである、すなわち、
Ｎが４である場合の４つの２N×２NＤＣＴブロックであ
ることを必要とする動作には、適当ではない。すなわ
ち、アップサンプリングされたブロックは、元のブロッ
クと同じフォーマットまたは次元を有し、元のブロック
より非常に多い。
【００８３】ＤＣＴ領域においてアップサンプリングす
る上記方法は、この発明において述べるトランスコーダ
での使用には適していない。図１１Ａにおいて、アップ
サンプリングされたＤＣＴデータは、混合ブロックプロ
セッサ１３００から出力されるＤＣＴデータから減算さ
れる。２つのブロックの２つのＤＣＴデータは、同じフ
ォーマットを有していなければならない。従って、図１
５Ｃに示されているアップサンプリングを実行すること
ができるフィルタが必要である。ここでは、１つの２N
×２Nブロック１５０２が、４つの２N×２Nブロック１
５５０にアップサンプリングされる１５４０。かかるフ
ィルタは、今まで考慮されておらず、周知の従来技術に
おいて存在しないため、１Ｄの場合の式は、以下のよう
に導出される。以下の式における表記法に関して、小文
字の変数は空間領域信号を示し、大文字変数はＤＣＴ領
域における等価な信号を表す。
【００８４】図１６に示すように、Ｃ１６０１は、ＤＣ
Ｔ領域においてアップサンプリングされるＤＣＴブロッ
クを表し、ｃ１６０２は、空間領域における等価なブロ
ックを表す。２つのブロックは、Ｎ−ｐｔＤＣＴおよび
ＩＤＣＴ１６０３の定義を通して互いに関連する。Rao
およびYipによる「Discrete Cosine Transform:Algorit
hms,Advantages and Applications」、Academic、Bosto
n、1990を参照のこと。また便宜上、式を下に示す。
【００８５】ＤＣＴ定義は、
【数１３】 であり、ＩＤＣＴ定義は、
【数１４】 であって、
【数１５】 である。
【００８６】上記式が与えられると、ブロックＥ１６１
０は、Ｘu１６１１でのＣのフィルタリングに基づいて
アップサンプリングされたＤＣＴブロックを表し、ｅ
は、式（１２）で与えられたｘu１６２１でのｃのフィ
ルタリングに基づいてアップサンプリングされた空間領
域ブロックを表す。なお、ｅおよびＥは、２Ｎ−ｐｔＤ
ＣＴ／ＩＤＣＴ１６３０を通して関連する。フィルタリ
ングされた入力の入出力関係は、
【数１６ａ】
【数１６ｂ】 によって与えられる。
【００８７】図１６に示すように、所望のＤＣＴブロッ
クは、Ａ１６１１およびＢ１６１２によって示される。
この導出の目的は、Ｃから直接ＡおよびＢをそれぞれ計
算するために使用することができるフィルタＸca１６４
１およびＸcb１６４２を導出することである。
【００８８】第１のステップとして、式（１４）が式
（１６ｂ）に置換される。結果の表現は、ＤＣＴ入力Ｃ
の関数としての空間領域出力ｅであり、それは、
【数１７】 によって与えられる。式（１７）を使用してＣについて
ＡおよびＢを表すために、ａ、ｂおよびｅ間の空間領域
関係は、
【数１８】 であり、上記ｉは空間領域インデクスを示す。ａに対す
るＤＣＴ領域表現は、
【数１９】 によって与えられる。
【００８９】式（１７）〜（１９）を使用することによ
り、
【数２０】 が得られ、それは、等価に、
【数２１】 として表され、この場合、
【数２２】 となる。
【００９０】同様に、
【数２３】 であり、それは、等価に、
【数２４】 として表され、この場合、
【数２５】 となる。
【００９１】そして、上記フィルタを、所与の次元の１
つのブロックを各々が元のブロックと同じ次元を有する
より多くのブロックにアップサンプリングするために使
用することができる。より一般的には、ここで導出され
るフィルタを、アップサンプリングされたＤＣＴデータ
に対する算術演算を必要とするあらゆるシステムに適用
することができる。
【００９２】式（２２）および（２５）によって与えら
れるフィルタを実現するために、ｋが出力画素のインデ
クスであり、ｑが入力画素のインデクスである場合、各
表現は、フィルタタップのｋ×ｑ行列を提供する。１Ｄ
データの場合、出力画素は、行列乗算として計算され
る。２Ｄデータの場合、２つのステップがとられる。ま
ず、データは、第１の方向、例えば水平にアップサンプ
リングされる。そして、水平にアップサンプリングされ
たデータは、第２の方向、例えば垂直にアップサンプリ
ングされる。アップサンプリングの方向の順序は、結果
にいかなる影響を与えることもなく逆転させることがで
きる。
【００９３】水平アップサンプリングの場合、ブロック
の各行は独立して操作され、Ｎ次元入力ベクトルとして
扱われる。各入力ベクトルは、式（２１）および（２
４）に従ってフィルタリングされる。このプロセスの出
力は、２つの標準ＤＣＴブロックとなる。垂直アップサ
ンプリングの場合、各列は、独立して操作され、この場
合もＮ次元入力ベクトルとして扱われる。水平アップサ
ンプリングと同様に、各入力ベクトルは、式（２１）お
よび（２４）に従ってフィルタリングされる。このプロ
セスの出力は、図１５Ｃに示すように４つの標準ＤＣＴ
ブロックとなる。
【００９４】構文変換この発明によるトランスコーダの
上記アプリケーションについて述べたように、この発明
の重要なアプリケーションのうちの１つは、ＭＰＥＧ−
２からＭＰＥＧ−４への変換である。これまでは、主
に、より低い空間解像度にトランスコードする場合のド
リフト補償に使用されるアーキテクチャと、より低い空
間解像度への変換をサポートする追加の技術と、に対し
て焦点が合せられていた。
【００９５】しかしながら、標準符号化方式間の構文変
換は、別の重要な問題である。これは、すでに係属中の
特許出願によって述べられていると思われるため、この
部分に対しこれ以上詳述しない。
【００９６】この発明を、好ましい実施の形態を用いて
説明したが、他のあらゆる適応および変更を、この発明
の精神および範囲内で行うことが可能である、というこ
とが理解されなければならない。従って、併記の特許請
求の範囲の目的は、この発明の真の精神および範囲内に
あるかかる変形および変更のすべてを包含するというこ
とである。
【図面の簡単な説明】
【図１】 従来技術によるカスケード接続されたトラン
スコーダのブロック図である。
【図２】 ビットレート低減のための従来技術による開
ループトランスコーダのブロック図である。
【図３】 ビットレート低減のための従来技術による閉
ループトランスコーダのブロック図である。
【図４】 空間解像度低減のための従来技術によるカス
ケード接続されたトランスコーダのブロック図である。
【図５】 空間解像度低減のための従来技術による開ル
ープトランスコーダのブロック図である。
【図６】 従来技術による動きベクトルマッピングのブ
ロック図である。
【図７】 この発明によりビットストリームを低減され
た空間解像度にトランスコードする第１のアプリケーシ
ョンのブロック図である。
【図８】 この発明によりビットストリームを低減され
た空間解像度にトランスコードする第２のアプリケーシ
ョンのブロック図である。
【図９】 この発明による空間解像度低減のための開ル
ープトランスコーダのブロック図である。
【図１０】 この発明による低減された解像度における
ドリフト補償を伴う空間解像度低減のための第１の閉ル
ープトランスコーダのブロック図である。
【図１１Ａ】 この発明による元の解像度におけるドリ
フト補償を伴う空間解像度低減のための第２の閉ループ
トランスコーダのブロック図である。
【図１１Ｂ】 この発明による元の解像度におけるドリ
フト補償を伴う空間解像度低減のための第３の閉ループ
トランスコーダのブロック図である。
【図１２】 マクロブロックモードと、ＤＣＴ係数デー
タと、対応する動きベクトルデータと、を含むマクロブ
ロックのグループの実施例である。
【図１３】 この発明によるブロックグループプロセッ
サのブロック図である。
【図１４Ａ】 この発明によるブロックグループ処理の
第１の方法のブロック図である。
【図１４Ｂ】 この発明によるブロックグループ処理の
第２の方法のブロック図である。
【図１４Ｃ】 この発明によるブロックグループ処理の
第３の方法のブロック図である。
【図１５Ａ】 ＤＣＴまたは空間領域におけるダウンサ
ンプリングの従来技術による概念を示す。
【図１５Ｂ】 ＤＣＴまたは空間領域における従来技術
によるアップサンプリングのブロック図である。
【図１５Ｃ】 この発明によるＤＣＴ領域におけるアッ
プサンプリングのブロック図である。
【図１６】 この発明によるＤＣＴ領域におけるアップ
サンプリングの図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 アンソニー・ヴェトロ アメリカ合衆国、ニューヨーク州、ステー トン・アイランド、レジス・ドライブ 113 Ｆターム(参考） 5C059 KK41 LB05 MA00 MA05 MA23 MC11 ME01 NN01 SS10 UA02 UA33 UA38 5J064 AA01 AA02 BA08 BA16 BB01 BB03 BC12 BC16 BC24 BC25 BD02

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 圧縮ビットストリームをアップサンプリ
    ングする方法であって、 該圧縮ビットストリームを部分的に復号化することによ
    り複数のマクロブロックをもたらし、各マクロブロック
    が該マクロブロックの所定次元に従うＤＣＴ係数を有す
    るものであることと、 複数のＤＣＴフィルタを各マクロブロックの該ＤＣＴ係
    数に適用することにより、各マクロブロックの複数のア
    ップサンプリングされたマクロブロックを、各フィルタ
    によって１つのアップサンプリングされたマクロブロッ
    クが生成されるように生成し、各アップサンプリングさ
    れたマクロブロックが前記所定次元を有するものである
    ことと、 を含む方法。
  2. 【請求項２】 前記マクロブロックと各アップサンプリ
    ングされたマクロブロックとは、行および列に配置され
    た２Ｎ個の画素を有する請求項１記載の方法。
  3. 【請求項３】 ２つのＤＣＴフィルタを各マクロブロッ
    クの画素の前記行に適用することにより、２つの水平に
    配置されたアップサンプリングされたマクロブロックを
    生成することと、 前記２つのＤＣＴフィルタを水平に配置されたアップサ
    ンプリングされたマクロブロックの各々の画素の前記列
    に適用することにより、合計４つのアップサンプリング
    されたマクロブロックに対し水平に配置されたアップサ
    ンプリングされたマクロブロックの各々について２つの
    垂直に配置されたアップサンプリングされたブロックを
    生成することと、 を更に含む請求項１記載の方法。
  4. 【請求項４】 前記アップサンプリングされたマクロブ
    ロックの画素は、行列乗算によって確定される請求項３
    記載の方法。
  5. 【請求項５】 各フィルタは、ｋが出力画素のインデク
    スであり、ｑが入力画素のインデクスである場合、フィ
    ルタタップのｋ×ｑ行列の形態である請求項４記載の方
    法。
  6. 【請求項６】 圧縮ビットストリームをアップサンプリ
    ングする装置であって、 該圧縮ビットストリームを部分的に復号化することによ
    り複数のマクロブロックをもたらす手段であって、各マ
    クロブロックが該マクロブロックの所定次元に従うＤＣ
    Ｔ係数を有するものである手段と、 複数のＤＣＴフィルタを各マクロブロックの該ＤＣＴ係
    数に適用することにより、各マクロブロックの複数のア
    ップサンプリングされたマクロブロックを、各フィルタ
    によって１つのアップサンプリングされたマクロブロッ
    クが生成されるように生成する手段であって、各アップ
    サンプリングされたマクロブロックが前記所定次元を有
    するものである手段と、を具備する装置。
JP2002135820A 2001-05-11 2002-05-10 圧縮ビットストリームをアップサンプリングする方法および装置 Expired - Fee Related JP4209134B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/853801 2001-05-11
US09/853,801 US6898241B2 (en) 2001-05-11 2001-05-11 Video transcoder with up-sampling

Publications (2)

Publication Number Publication Date
JP2003061091A true JP2003061091A (ja) 2003-02-28
JP4209134B2 JP4209134B2 (ja) 2009-01-14

Family

ID=25316947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002135820A Expired - Fee Related JP4209134B2 (ja) 2001-05-11 2002-05-10 圧縮ビットストリームをアップサンプリングする方法および装置

Country Status (2)

Country Link
US (1) US6898241B2 (ja)
JP (1) JP4209134B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1429564A4 (en) * 2001-08-28 2012-07-25 Ntt Docomo Inc MOVING IMAGE AND TRANSMISSION SYSTEM, MOVE IMAGE AND TRANSMISSION METHOD, AND CODING DEVICE, DECODING DEVICE, CODING METHOD, DECODING METHOD, AND PROGRAM THEREFOR
US6917713B2 (en) * 2002-05-29 2005-07-12 Koninklijke Philips Electronics N.V. System and method for enhancing videos from drift-free scalable bitstream
US20040131122A1 (en) * 2002-12-09 2004-07-08 Kei Kudo Encoding device and encoding method
US7881546B2 (en) * 2004-09-08 2011-02-01 Inlet Technologies, Inc. Slab-based processing engine for motion video
JP2006232093A (ja) * 2005-02-24 2006-09-07 Honda Motor Co Ltd 車両の燃料充填部構造
US8023569B2 (en) 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US20100271554A1 (en) * 2007-09-10 2010-10-28 Volker Blume Method And Apparatus For Motion Estimation In Video Image Data
US9131007B2 (en) * 2009-05-19 2015-09-08 Vitrual World Computing, Inc. System and method for dynamically transcoding data requests
US8902973B2 (en) * 2011-04-05 2014-12-02 Dialogic Corporation Perceptual processing techniques for video transcoding
CN110418197B (zh) * 2018-05-11 2022-03-08 腾讯科技（深圳）有限公司 一种视频转码方法、装置和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
WO1999057673A2 (en) * 1998-04-30 1999-11-11 Koninklijke Philips Electronics N.V. Transcoding of a data stream
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6310915B1 (en) * 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4

Also Published As

Publication number Publication date
US6898241B2 (en) 2005-05-24
JP4209134B2 (ja) 2009-01-14
US20020181587A1 (en) 2002-12-05

Similar Documents

Publication Publication Date Title
EP1257127B1 (en) Video transcoder with spatial resolution reduction
US7170932B2 (en) Video transcoder with spatial resolution reduction and drift compensation
JP4163006B2 (ja) ドリフト補正を備えたビデオトランスコーダ
US7330509B2 (en) Method for video transcoding with adaptive frame rate control
US6434197B1 (en) Multi-functional transcoder for compressed bit streams
US6081295A (en) Method and apparatus for transcoding bit streams with video data
US7110451B2 (en) Bitstream transcoder
AU2007231799B8 (en) High-performance video transcoding method
US20120076203A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
US20060280372A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
JP2001145113A (ja) 画像情報変換装置及び方法
US20060250520A1 (en) Video coding method and apparatus for reducing mismatch between encoder and decoder
US20050135486A1 (en) Transcoding method, medium, and apparatus
US8243798B2 (en) Methods and apparatus for scalable video bitstreams
JP4209134B2 (ja) 圧縮ビットストリームをアップサンプリングする方法および装置
JP4660408B2 (ja) 符号化方法
JP4318019B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2006132509A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
Li et al. A fast downsizing video transcoder based on H. 264/AVC standard
US20120002720A1 (en) Video encoder with video decoder reuse and method for use therewith
Wu Reducing inverse quantization numbers for video transcoding
JP2003219430A (ja) ビデオ信号のフレームのシーケンスの圧縮されたビットストリームを低減された空間解像度にトランスコードするための方法および閉ループトランスコーダ
Joch H. 26l: analysis and real-time encoding algorithms
Karunaratne Pre-processing and post-processing methods for video compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees