JP2007519274A

JP2007519274A - 過剰ウェーブレット領域におけるビデオ符号化

Info

Publication number: JP2007519274A
Application number: JP2006518429A
Authority: JP
Inventors: チョルイェ，ジョン; デルスハール，ミハエラファン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-06-30
Filing date: 2004-06-28
Publication date: 2007-07-12
Also published as: KR20060024449A; CN1813479A; US20060159173A1; EP1642463A1; WO2005002234A1

Abstract

ビデオフレームをエンコードおよびデコードするためのエンコードおよびデコードの方法および装置が提供される。エンコードの方法（６００）および装置（１１０）は、基本層には動き補償付き離散コサイン変換符号化を用い、高機能層には過剰ウェーブレットドメインにおけるバンド内動き補償付き時間的フィルタ処理を用いる。デコードの方法（７００）および装置（１１８）は基本層には動き補償付き離散コサイン変換符号化を用い、高機能層には過剰ウェーブレットドメインにおける逆動き補償付き時間的フィルタ処理を用いる。

Description

本開示は一般にはビデオ符号化システムに、より詳細には過剰ウェーブレット領域（overcomplete wavelet domain）におけるビデオ符号化に関するものである。

データネットワークを通じたマルチメディアコンテンツのリアルタイムのストリーミングは近年ますます一般的な応用分野となってきた。たとえば、ニュース・オン・デマンド、ネットワークテレビのリアルタイム視聴、テレビ会議といったマルチメディアの利用形態はしばしばビデオ情報のエンド間ストリーミングに依存する。ビデオストリーミングの利用形態は、典型的にはビデオ送信器を含み、該ビデオ送信器がビデオ信号を符号化してネットワークを通じてビデオ受信器に送信し、該ビデオ受信器が該ビデオ信号をリアルタイムで復号し、表示する。

多くのマルチメディアアプリケーションおよびサービスにとって典型的に望ましい特徴としてスケーラブルなビデオ符号化がある。スケーラビリティとは、計算機パワーの強力なプロセッサはビデオストリーム全体を復号できる一方、より計算機パワーの低いプロセッサはビデオストリームのサブセットのみを復号できるようにするものである。スケーラビリティのもう一つの用途は、伝送帯域幅に変動がある環境においてである。そうした環境においては、アクセス帯域幅の高い受信器がビデオストリーム全体を受信して復号できる一方、アクセス帯域幅の低い受信器はビデオストリームのサブセットのみを受信して復号する。

ＭＰＥＧ−２、ＭＰＥＧ−４のような主要なビデオ圧縮規格によっていくつかのビデオスケーラビリティ法が採用されている。これらの規格では時間的、空間的、品質上（たとえば、信号対雑音比すなわち「ＳＮＲ」）のスケーラビリティの種類が定義されている。こうした手法は典型的には基本層（base layer）と高機能層（enhancement layer）とを取り入れている。ビデオストリームの基本層は、一般にそのストリームを復号するために必要とされる最低限のデータを表す。ストリームの高機能層は、受信器によって復号されたときにビデオ信号の表現を向上させる追加情報を表す。

現行の多くのビデオ符号化システムは基本層については動き補償付き予測符号化を、高機能層には離散コサイン変換（DCT: discrete cosine transform）残留符号化使う。これは典型的には「動き補償付き（motion compensated）」ＤＣＴ符号化（MC-DCT）と称される。こうしたシステムでは、時間的な冗長性は動き補償を使って低減され、空間的詳細は動き補償で残ったデータを変換で符号化することによって低減される。しかし、こうしたシステムは典型的には、誤り伝搬（またはドリフト）および真のスケーラビリティの欠如といった問題がある。

この開示は、過剰ウェーブレット領域において動き予測を使う改良された符号化システムを提供する。ある側面では、ハイブリッド三次元（３Ｄ）ウェーブレットビデオ符号化器が基本層には動き補償付きＤＣＴ（ＭＣ−ＤＣＴ）符号化を使い、高機能層には過剰ウェーブレット領域における３Ｄバンド内動き補償付き時間的フィルタ処理（motion compensated temporal filtering）または制約なしの（unconstrained）ＭＣＴＦ（ＵＭＣＴＦ）を使う。

本開示のより完全な理解のため、付属の図面とともに以下の記述を参照する。

以下で論じる図１ないし図７および本特許文書中で記載されるさまざまな実施形態は単に例示のためであって、いかなる仕方でも本発明の範囲を限定するものと解釈するべきではない。当業者は、本発明の原理が好適に構成されたいかなるビデオエンコーダ、ビデオデコーダまたはその他の装置、機器、構造においても実装されうることを理解することであろう。

図１は、本開示のある実施形態に基づくビデオ伝送システム１００の例を示している。図示された実施形態では、システム１００はストリーミングビデオ送信器１０２、ストリーミングビデオ受信器１０４およびデータネットワーク１０６を含む。ビデオ伝送システムの他の実施形態も本開示の範囲から外れることなく使用することができる。

ストリーミングビデオ送信器１０２はストリーミングビデオ受信器１０４にネットワーク１０６を通じてビデオ情報をストリーミングする。ストリーミングビデオ送信器１０２はストリーミングビデオ受信器１０４にオーディオまたはその他の情報もストリーミングしてもよい。ストリーミングビデオ送信器１０２は多様なビデオフレームソースのうちのいずれかを含んでいる。それにはデータネットワークサーバー、テレビ局の送信機、ケーブルテレビネットワークまたはデスクトップパソコンが含まれる。

図示した例では、ストリーミングビデオ送信器１０２はビデオフレームソース１０８、ビデオエンコーダ１１０、エンコーダバッファ１１２およびメモリ１１４を含んでいる。ビデオフレームソース１０８は圧縮されていないビデオフレームのシーケンスを生成するか、あるいは他の仕方で提供することのできる何らかの装置または構造を表す。たとえば、テレビアンテナと受信機ユニット、ビデオデッキ、ビデオカメラまたは「生の」ビデオクリップを保存することのできるディスク記憶装置などである。

圧縮されていないビデオフレームが所与の映像レート（または「ストリーミング速度」）でビデオエンコーダ１１０に入力され、該ビデオエンコーダ１１０によって圧縮される。次いで該ビデオエンコーダ１１０は圧縮されたビデオフレームをエンコーダバッファ１１２に送信する。ビデオエンコーダ１１０が表すのは、ビデオフレームを符号化するためのいかなる好適なエンコーダであってもよい。いくつかの実施形態では、ビデオエンコーダ１１０が表すのは、基本層にはＭＣ−ＤＣＴ符号化を使い、高機能層には過剰ウェーブレット領域における３Ｄバンド内ＭＴＣＦまたはＵＭＣＴＦを使うハイブリッド３Ｄウェーブレットビデオエンコーダである。ビデオエンコーダ１１０の一つの例が図２に示されており、それについてはのちに議論する。

エンコーダバッファ１１２はビデオエンコーダ１１０から圧縮されたビデオフレームを受信し、データネットワーク１０６を通じた送信に備えてビデオフレームをバッファリングする。エンコーダバッファ１１２を表すのは圧縮されたビデオフレームを保存するために好適ないかなるバッファであってもよい。

ストリーミングビデオ受信器１０４は、ストリーミングビデオ送信器１０２によってデータネットワーク１０６を通じてストリーミングされた圧縮されたビデオフレームを受信する。図示した例では、ストリーミングビデオ受信器１０４はデコーダバッファ１１６、ビデオデコーダ１１８、ビデオディスプレイ１２０およびメモリ１２２を含んでいる。利用形態に応じて、ストリーミングビデオ受信器１０４が表すのは、多様なビデオフレーム受信器のうちのいかなるものであってもよい。それにはテレビ受信機、デスクトップパソコンまたはビデオデッキが含まれる。デコーダバッファ１１６はデータネットワーク１０６を通じて受信される圧縮されたビデオフレームを保存する。デコーダバッファ１１６は次にその圧縮されたビデオフレームを必要に応じてビデオデコーダ１１８に送信する。デコーダバッファ１１６が表すのは圧縮されたビデオフレームを保存するためのいかなる好適なバッファであってもよい。

ビデオデコーダ１１８は、ビデオエンコーダ１１０によって圧縮されたビデオフレームの圧縮を解除する。圧縮されたビデオフレームはスケーラブルであり、ビデオデコーダ１１８は圧縮されたビデオフレームの一部分を復号することも、全部を復号することもできる。ビデオデコーダ１１８は次に圧縮解除されたフレームを提示のためにビデオディスプレイ１２０に送る。ビデオデコーダ１１８が表すのはビデオフレームを復号するためのいかなる好適なデコーダであってもよい。いくつかの実施形態では、ビデオデコーダ１１８は基本層にはＭＣ−ＤＣＴ復号を使い、高機能層には過剰ウェーブレット領域における逆３ＤバンドＭＣＴＦまたはＵＭＣＴＦを使うハイブリッド３Ｄウェーブレットビデオデコーダを表す。ビデオデコーダ１１８の一つの例が図４に示されており、それについてはのちに述べる。ビデオディスプレイ１２０が表すのは、ビデオフレームをユーザーに提示するための、テレビ、パソコン画面、プロジェクタのようないかなる好適な装置または構造であってもよい。

いくつかの実施形態においては、ビデオエンコーダ１１０は標準的なＭＰＥＧエンコーダのような、従来式のデータプロセッサによって実行されるソフトウェアプログラムとして実装される。そうした実施形態においては、ビデオエンコーダ１１０はメモリ１１４内に保存された命令のような、複数のコンピュータ実行可能命令を含む。同様に、いくつかの実施形態では、ビデオデコーダ１１８は標準的なＭＰＥＧデコーダのような、従来式のデータプロセッサによって実行されるソフトウェアプログラムとして実装される。そうした実施形態においては、ビデオデコーダ１１８はメモリ１２２内に保存された命令のような、複数のコンピュータ実行可能命令を含む。メモリ１１４、１２２が表すのはそれぞれ揮発性または不揮発性の、単数または複数の、いかなる記憶・検索装置であってもよい。たとえば、固定磁気ディスク、リムーバブル磁気ディスク、ＣＤ、ＤＶＤ、磁気テープまたはビデオディスクである。他の実施形態では、ビデオエンコーダ１１０およびビデオデコーダ１１８はそれぞれハードウェア、ソフトウェア、ファームウェアまたはその組み合わせのいずれを用いて実装されてもよい。

データネットワーク１０６はシステム１００の構成要素間の通信を容易にする。たとえば、ネットワーク１０６はインターネットプロトコル（IP: Internet Protocol）のパケット、フレームリレーのフレーム、非同期転送モード（ATM: Asynchronous Transfer Mode）のセルまたはその他の好適な情報をネットワークアドレスまたは構成要素間で伝達することができる。ネットワーク１０６は、一つもしくは複数の構内ネットワーク（LAN: local area network）、都市圏ネットワーク（MAN: metropolitan area network）、高域ネットワーク（WAN: wide area network）、インターネットのような世界規模ネットワークの全体もしくは一部、または一つもしくは複数の地点における単数もしくは複数の通信システムなどである。ネットワーク１０６は、イーサネット（登録商標）、ＩＰ、Ｘ．２５、フレームリレーまたは他の何らかのパケットデータプロトコルといったいかなる適切な種類の単数または複数のプロトコルに従って動作するものでもよい。

図１はビデオ伝送システム１００の一つの例を示しているが、図１にはさまざまな変更を施すことができる。たとえば、システム１００に含まれるストリーミングビデオ送信器１０２、ストリーミングビデオ受信器１０４およびネットワーク１０６はいくつあってもよい。

図２は、本開示のある実施形態に基づくビデオエンコーダ１１０の例を示す図である。図２に示したビデオエンコーダ１１０は図１に示したビデオ伝送システム１００において使用されうる。本開示の範囲から外れることなく、ビデオ伝送システム１００ではビデオエンコーダ１１０の他の実施形態を使うこともでき、また図２に示したビデオエンコーダ１１０は他のいかなる好適な装置、構造またはシステムにおいて使うこともできる。

図示した例では、ビデオエンコーダ１１０はウェーブレット変換器２０２を含んでいる。ウェーブレット変換器２０２は圧縮されていないビデオフレーム２１４を受信し、該ビデオフレーム２１４を空間領域からウェーブレット領域に変換する。この変換はウェーブレットフィルタ処理を使ってビデオフレーム２１４を複数のバンド２１６ａ〜２１６ｎに空間的に分解するもので、そのビデオフレーム２１４についての各バンド２１６はウェーブレット係数の集合によって表現される。ウェーブレット変換器２０２はビデオフレーム２１４を複数のビデオまたはウェーブレットバンド２１６に分解するいかなる好適な変換を使ってもよい。いくつかの実施形態では、フレーム２１４は、低低（ＬＬ）バンド、低高（ＬＨ）バンド、高低（ＨＬ）バンドおよび高高（ＨＨ）バンドを含む第一分解レベルに分解される。これらのバンドの一つまたは複数がさらに追加的な分解レベルにまで分解されてもよい。ＬＬバンドがさらにＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ、ＬＬＨＨサブバンドに分解されるなどである。

ウェーブレットバンド２１６は、動き補償付きＤＣＴ（ＭＣ−ＤＣＴ）符号化器２０３および複数の動き補償付き時間的フィルタ（ＭＣＴＦ）２０４ａ〜２０４ｍに提供される。ＭＣ−ＤＣＴ符号化器２０３は最低解像度のウェーブレットバンド２１６ａをエンコードする。ＭＣＴＦ２０４は残りのビデオバンド２１６ｂ〜２１６ｎを時間的にフィルタ処理し、フレーム２１４の間の時間相関を除去する。たとえば、ＭＣＴＦ２０４はビデオバンド２１６をフィルタ処理し、ビデオバンド２１６のそれぞれについて高域通過フレームおよび低域通過フレームを生成することができる。この実施形態では、圧縮されるビデオストリームの基本層はＭＣ−ＤＣＴ符号化器２０３によって処理される最低解像度のウェーブレットバンド２１６ａに対応し、ビデオストリームの高機能層はＭＣＴＦ２０４によって処理される残りのウェーブレットバンド２１６ｂ〜２１６ｎに対応する。ビデオエンコーダ１１０のうち基本層を処理する構成要素は「基本層回路」と称することができ、一方、高機能層を処理する構成要素は「高機能層回路」と称することができる。いくつかの構成要素は両方の層を処理することができ、それぞれの層の回路の一部をなすこともある。

いくつかの実施形態では、ＭＣ−ＤＣＴ符号化器２０３およびＭＣＴＦ２０４によって処理されるのはフレームのグループである。具体的な実施形態では、各ＭＣＴＦ２０４は動き推定器および時間的フィルタを含む。ＭＣ−ＤＣＴ符号化器２０３とＭＣＴＦ２０４の動き推定器とは一つまたは複数の動きベクトルを生成する。この動きベクトルは、現在のビデオフレームと参照フレームとの間の動きの量を推定する。ＭＣＴＦ２０４における時間的フィルタはこの情報を使ってビデオフレームのグループを動き方向に時間的にフィルタ処理する。他の実施形態では、ＭＣＴＦ２０４の代わりに制約のない動き補償付き時間的フィルタ（ＵＭＣＴＦ）を使うこともできる。

いくつかの実施形態では、動き推定器における補間フィルタは異なる係数値をもちうる。異なるバンド２１６は時間的相関も異なりうるので、これはＭＣＴＦ２０４の符号化の効率を改善する助けとなりうる。また、ＭＣＴＦ２０４では異なる複数の時間的フィルタを使用することもできる。いくつかの実施形態では、低域バンド２１６には双方向時間的フィルタを用い、高域バンド２１６には前方のみの時間的フィルタを用いる。時間的フィルタは、ゆがみ尺度と複雑さ尺度とのいずれを最小化したいかの意向に基づいて選択されうる。時間的フィルタが表すのはいかなる好適なフィルタであってもよい。たとえば、バンド２１６のそれぞれについて別々に設計された予測および更新ステップを使ことによって効率／複雑さの制約条件を改善または最適化する持ち上げフィルタ（lifting filter）などである。

さらに、ＭＣ−ＤＣＴ符号化器２０３およびＭＣＴＦ２０４によってグループにまとめられて処理されるフレームの数は、バンド２１６のそれぞれについて適応的に決定することができる。いくつかの実施形態では、低域バンド２１６ではグループ化されるフレーム数が多く、高域バンドではグループ化されるフレーム数は少ない。これにより、たとえば、バンド２１６あたりのグループ化されるフレームの数が、フレーム２１４のシーケンスの特性または複雑さもしくは耐性の要求に基づいて変えることができるようになる。また、より高い空間周波数バンド２１６は長期的な時間的フィルタ処理からは省くことができる。具体例として、ＬＬバンド、ＬＨおよびＨＬバンド、ＨＨバンド２１６内のフレームはそれぞれ８フレーム、４フレーム、２フレームのグループとすることができる。これにより最大分解レベルをそれぞれ３、２、１とすることができる。バンド２１６のそれぞれについての時間的分解レベルの数はいかなる好適な基準を使って決めてもよい。たとえば、フレーム内容、目標とするゆがみ測度、または各バンド２１６についての時間的なスケーラビリティの所望レベルなどである。別の具体例としては、各ＬＬバンド、ＬＨおよびＨＬバンド、ＨＨバンド２１６内のフレームをみな８フレームのグループとすることができる。

図２に示したように、ＭＣＴＦ２０４はウェーブレット領域で動作する。従来のエンコーダでは、ウェーブレット係数がシフト不変でないためウェーブレット領域における動きの推定および補償は典型的には非効率であった。この非効率性は低域シフト技術によって克服しうる。例示されている実施形態では、低域シフト器２０６は入力ビデオフレーム２１４を処理し、一つまたは複数の過剰ウェーブレット展開２１８を生成する。ＭＣＴＦ２０４はこの過剰ウェーブレット展開２１８を動き推定の間の参照フレームとして使う。参照フレームとしてこの過剰ウェーブレット展開２１８を使うことによって、ＭＣＴＦ２０４は多様な精度レベルで動き推定をすることができるようになる。具体例として、ＭＣＴＦ２０４はＬＬバンド２１６での動き推定には１／１６画素の精度を採用し、他のバンド２１６での動き推定には１／８画素の精度を採用することができる。

いくつかの実施形態においては、低域シフト器２０６は入力ビデオフレーム２１４の低域バンドをシフトさせることによって過剰ウェーブレット展開２１８を生成する。低域シフト器２０６による過剰ウェーブレット展開２１８の生成が図３のＡ〜Ｃに示されている。この例では、特定の空間位置における同じ分解レベルに対応するシフト量の異なるウェーブレット係数のことを「クロス位相のウェーブレット係数」と称する。図３Ａに示されるように、過剰ウェーブレット展開２１８は次に細かいレベルＬＬバンドのウェーブレット係数をシフトさせることによって生成される。たとえば、ウェーブレット係数３０２はシフトのないＬＬバンドの係数を表している。ウェーブレット係数３０４は（１，０）シフト、すなわち１単位の右へのシフト後のＬＬバンドの係数を表している。ウェーブレット係数３０８は（１，１）シフト、すなわち１単位右、１単位下へのシフト後のＬＬバンドの係数を表している。

図３Ａにおける４組のウェーブレット係数３０２〜３０８が増強または組み合わされて過剰ウェーブレット展開２１８を生成する。図３Ｂはウェーブレット係数３０２〜３０８が増強または組み合わされて過剰ウェーブレット展開２１８を生成しうる様子の一つの例を示している。図３Ｂに示されるように、ウェーブレット係数の２つの組３３０、３３２はインターリーブされて過剰ウェーブレット係数３３４の組を生成する。過剰ウェーブレット係数３３４は図３Ａに示した過剰ウェーブレット展開２１８に対応している。インターリーブは、過剰ウェーブレット展開２１８における新しい座標が元来の空間領域における関連するシフトに対応するように実行される。このインターリーブ技術は各分解レベルにおいて再帰的に使うこともでき、２Ｄ信号にも直接的に拡張することができる。過剰ウェーブレット係数３３４を生成するためにインターリーブを使用することによって、隣り合うウェーブレット係数の間のクロス位相依存性を考慮に入れることができるため、ビデオエンコーダ１１０およびビデオデコーダ１１８におけるサブピクセル精度の動きの推定および補償をより最適に、あるいは最適にすることができうる。図３Ｂは２組のウェーブレット係数３３０、３３２がインターリーブされる様子を示しているが、過剰ウェーブレット係数３３４を形成するためにインターリーブする係数は何組あってもよく、たとえば４組のウェーブレット係数をインターリーブしてもよい。

低域シフト技術の一部は図３Ｃに示したようなウェーブレットブロックの生成に関わる。いくつかの実施形態では、ウェーブレット分解の間、所与のスケールでの係数は（最高周波数帯域での係数を除いて）より微細なスケールにおける同じ配向の係数の組に関係付けることができる。従来の符号化器では、係数を「ウェーブレットツリー」と呼ばれるデータ構造として表現することによってこの関係が利用されている。低域シフト技術では、最低帯域から派生する各ウェーブレットツリーの係数は、図３Ｃに示すようなウェーブレットブロック３５０を形成するよう再配列される。他の係数は同様にグループ化されて追加的なウェーブレットブロック３５２、３５４を形成する。図３Ｃに示した諸ウェーブレットブロックは、そのウェーブレットブロックでのウェーブレット係数と、それらの係数が画像中で空間的に表現するものとの間の直接の関連を与える。具体的な実施形態では、すべてのスケールおよび配向において関係付けられた係数はウェーブレットブロックのそれぞれに含められる。

いくつかの実施形態では、図３Ｃで示したウェーブレットブロックがＭＣＴＦ２０４による動き推定の間に使われる。たとえば、動き推定の間、各ＭＣＴＦ２０４は、現在のウェーブレットブロックと参照フレームにおける参照ウェーブレットブロックとの間の平均差分絶対値（MAD: mean absolute difference）を生成する動きベクトル（d_x,d_y）を見出す。たとえば、図３Ｃにおけるｋ番目のウェーブレットブロックの平均差分絶対値は次のようにして計算できる：
図２に戻ると、ＭＣ−ＤＣＴ符号化器２０３およびＭＣＴＦ２０４はフィルタ処理されたビデオバンドを埋め込み零ブロック符号化（EZBC: Embedded Zero Block Coding）符号化器２０８に与える。ＥＺＢＣ符号化器２０８はフィルタ処理されたビデオバンドを解析し、フィルタ処理されたバンド２１６内およびフィルタ処理されたバンド２１６どうしの間の相関を識別する。ＥＺＢＣ符号化器２０８はこの情報を使ってフィルタ処理されたバンド２１６をエンコードし、圧縮する。具体例として、ＥＺＢＣ符号化器２０８はＭＣＴＦ２０４によって生成された高域フレームおよび低域フレームを圧縮することができる。

ＭＣ−ＤＣＴ符号化器２０３およびＭＣＴＦ２０４は２つの動きベクトルエンコーダ２１０ａ、２１０ｂに動きベクトルを与える。該動きベクトルはビデオエンコーダ１１０に与えられるビデオフレーム２１４のシーケンスにおいて検出された動きを表す。動きベクトルエンコーダ２１０ａはＭＣ−ＤＣＴ符号化器２０３によって生成される動きベクトルをエンコードし、動きベクトルエンコーダ２１０ｂはＭＣＴＦ２０４によって生成される動きベクトルをエンコードする。動きベクトルエンコーダ２１０が表すのは、ＭＣ−ＤＣＴ符号化などのテクスチャーまたはエントロピーに基づく符号化技術のようないかなる好適なエンコード技術を使ういかなる好適な符号化器であってもよい。

合わせると、ＥＺＢＣ符号化器２０８によって生成される圧縮されてフィルタ処理されたバンド２１６と動きベクトルエンコーダ２１０によって生成されるフィルタ処理されたバンド２１６とが入力ビデオフレーム２１４を表している。マルチプレクサ２１２は圧縮されフィルタ処理されたバンド２１６および圧縮された動きベクトルを受信し、それらを単一の出力ビットストリーム２２０に多重化する。次いでビットストリーム２２０はストリーミングビデオ送信器１０２によってデータネットワーク１０６を介してストリーミングビデオ受信器１０４に送信される。

図４は、本開示のある実施形態に基づくビデオデコーダ１１８の一つの例を示している。図４に示したビデオデコーダ１１８は図１に示したビデオ伝送システム１００において使用されうる。本開示の範囲から外れることなく、ビデオ伝送システム１００ではビデオデコーダ１１８の他の実施形態を使うこともでき、また図４に示したビデオデコーダ１１８は他のいかなる好適な装置、構造またはシステムにおいて使うこともできる。

一般に、ビデオデコーダ１１８は図２のビデオエンコーダ１１０によって実行された機能の逆を行い、それによりエンコーダ１１０によってエンコードされたビデオフレーム２１４をデコードする。図示した例では、ビデオデコーダ１１８は、デマルチプレクサ４０２を含んでいる。デマルチプレクサ４０２はビデオエンコーダ１１０によって生成されるビットストリーム２２０を受信する。デマルチプレクサ４０２はビットストリーム２２０を多重化解除し、エンコードされたビデオバンドと、ＭＣ−ＤＣＴ符号化によって生成されたエンコードされた動きベクトルと、ＭＣＴＦによって生成されたエンコードされた動きベクトルとを分離する。

エンコードされたビデオバンドはＥＺＢＣデコーダ４０４に与えられる。ＥＺＢＣデコーダ４０４はＥＺＢＣ符号化器２０８によってエンコードされたビデオバンドをデコードする。たとえば、ＥＺＢＣデコーダ４０４はビデオバンドを復元するためにＥＺＢＣ符号化器２０８によって使われたエンコード技術の逆を行う。具体例として、エンコードされたビデオバンドは圧縮された高域フレームおよび低域フレームを表すものでありえ、ＥＺＢＣデコーダ４０４は高域フレームおよび低域フレームを圧縮解除しうる。同様に、前記動きベクトルは２つの動きベクトルデコーダ４０６ａ、４０６ｂに与えられる。動きベクトルデコーダ４０６は動きベクトルエンコーダ２１０によって使われたエンコード技術の逆を行うことによって動きベクトルをデコードし、復元する。動きベクトルデコーダ４０６が表すのは、テクスチャーまたはエントロピーに基づくデコード技術のようないかなる好適なデコード技術を使ういかなる好適なデコーダであってもよい。

復元されたビデオバンド４１６ａ〜４１６ｎおよび動きベクトルはＤＣＴデコーダ４０７に、および複数の逆動き補償付き時間的フィルタ（逆ＭＣＴＦ）４０８ａ〜４０８ｍに与えられる。ＤＣＴデコーダ４０７は逆ＤＣＴ符号化を行うことによって最低解像度のビデオバンド４１６ａを処理し、復元する。逆ＭＣＴＦ４０８は残りのビデオバンド４１６ｂ〜４１６ｎを処理し、復元する。たとえば、逆ＭＣＴＦ４０８は時間的合成を実行してＭＣＴＦ２０４によってなされた時間的フィルタ処理の効果を逆転させてもよい。逆ＭＣＴＦ４０８はまた、ビデオバンド４１６に動きを再導入するために動き補償を実行してもよい。特に、逆ＭＣＴＦ４０８はＭＣＴＦ２０４によって生成された高域フレームおよび低域フレームを処理してビデオバンド４１６を復元してもよい。他の実施形態では、逆ＭＣＴＦ４０８の代わりに逆ＵＭＣＴＦを使ってもよい。

復元されたビデオバンド４１６は次に逆ウェーブレット変換器４１０に与えられる。逆ウェーブレット変換器４１０はビデオバンド４１６をウェーブレット領域から空間領域に戻す変換をする変換機能を実行する。ビットストリーム２２０に含まれる受信情報量およびビデオデコーダ１１８の処理パワーなどに依存してこの逆ウェーブレット変換器４１０は一つまたは複数の異なる復元されたビデオ信号４１４ａ〜４１４ｃを生成しうる。いくつかの実施形態では、復元されたビデオ信号４１４ａ〜４１４ｃは異なる解像度をもつ。たとえば、第一の復元されたビデオ信号４１４ａは低解像度をもちえ、第二の復元された信号４１４ｂは中程度の解像度をもちえ、第三の復元されたビデオ信号４１４ｃは高解像度をもつなどである。このようにして、システム１００において、異なる処理能力または異なるアクセス帯域幅をもつ異なる種類のストリーミングビデオ受信器１０４を用いることができるのである。

復元されたビデオ信号４１４は低域シフト器４１２に与えられる。上述したように、ビデオエンコーダ１１０は一つまたは複数の過剰ウェーブレット展開２１８を使って入力ビデオフレーム２１４を処理する。ビデオデコーダ１１８は復元されたビデオ信号４１４における以前に復元されたビデオフレームを使って同じ、あるいは近似的に同じ過剰ウェーブレット展開４１８を生成する。過剰ウェーブレット展開４１８は、ビデオバンド４１６のデコードにおいて使うために次に逆ＭＣＴＦ４０８に与えられる。

図２〜図４ではビデオエンコーダ、過剰ウェーブレット展開およびビデオデコーダの例を示したが、図２〜図４へはさまざまな変更をすることができる。たとえば、ビデオエンコーダ１１０に含まれるＭＣＴＦ２０４の数はいくつでもよいし、ビデオデコーダ１１８に含まれる逆ＭＣＴＦ４０８もいくつでもよい。また、ビデオエンコーダ１１０およびビデオデコーダ１１８は他のいかなる過剰ウェーブレット展開を使用してもよい。さらに、ビデオデコーダ１１８における逆ウェーブレット変換器４１０が生成する復元されたビデオ信号４１４は何通りの解像度を有していてもよい。具体例として、ビデオバンド４１６の数をｎとして、ビデオデコーダ１１８は復元ビデオ信号４１４をｎ組生成することができる。

図５のＡおよびＢは、本開示のある実施形態に基づくビデオ情報エンコードの例を示している。特に、図５のＡは、ビデオエンコーダ１１０が空間的スケーラビリティおよび品質上のスケーラビリティの両方に対応している場合のエンコード例を示し、図５のＢはビデオエンコーダ１１０が空間的、時間的、品質上のスケーラビリティに対応している場合のエンコード例を示している。

図５のＡでは、ビデオフレーム５００のグループはビデオエンコーダ１１０によってエンコードされている。フレームのグループ５００は２つの分解レベルに分解されている。ビデオエンコーダ１１０は最低解像度のバンドを識別するが、これは図示した実施例ではＡ₂ ⁰と記したバンドである。このバンドは当該ビデオフレームグループ５００の基本層を表す。次いでビデオエンコーダ１１０内のＭＣ−ＤＣＴ符号化器２０３が、ＭＰＥＧ−２、ＭＰＥＧ−４またはＩＴＵ−ＴＨ．２６ＬといったＭＣ−ＤＣＴに基づくエンコードを使ってＡ₂ ⁰をエンコードする。

グループ５００における残りのバンド（Ａ_j ⁱ，i＝1,2,3, j＝1,2）はビデオフレームグループ５００の高機能層を表す。ビデオエンコーダ１１０におけるＭＣＴＦ２０４がこれらのバンドを過剰ウェーブレット領域においてバンド内ＭＣＴＦまたはＵＭＣＴＦを使ってエンコードする。

ＭＣ−ＤＣＴを使ってエンコードされた基本層は時間的フィルタ処理のために十分な動きベクトルを提供し、これらの動きベクトルはＭＣＴＦ２０４内の時間的フィルタによって必要とされうる。ＭＣ−ＤＣＴ符号化器２０３は第一の分解レベルについてのみ動きベクトルを提供しうるので、高機能層が複数の分解レベルを含む場合には追加的な動きベクトルが必要となる場合がある（図５Ａではそうなっている）。該追加的動きベクトルを生成するため、３Ｄバンド内ＭＣＴＦまたはＵＭＣＴＦが基本層に、および他のバンドに適用される。換言すれば、基本層をＭＣＴＦ２０４によって処理することによって追加的分解レベルのための動きベクトルを生成しうるのである。図２はビデオバンド２１６ａがＭＣ−ＤＣＴ符号化器２０３にのみ与えられるように描いているが、同じビデオバンド２１６ａをＭＣＴＦ２０４にも与えることができる。同様に、図４はビデオバンド４１６ａがＭＣ−ＤＣＴデコーダ４０７にのみ与えられるように描いているが、同じビデオバンド４１６ａをＭＣＴＦ４０８にも与えることができる。

図５のＢでは、別のビデオフレームグループ５５０がビデオエンコーダ１１０によってエンコードされている。ビデオエンコーダ１１０は最低解像度のバンドを識別するが、これは図示した実施例ではＡ₂ ⁰と記したバンドである。このバンドは当該ビデオフレームグループ５５０の基本層を表す。次いでビデオエンコーダ１１０内のＭＣ−ＤＣＴ符号化器２０３が、ＭＣ−ＤＣＴに基づくエンコードを使って他の一つおきのフレームにおいてＡ₂ ⁰をエンコードする。

グループ５５０における残りのバンド（Ａ_j ⁱ，i＝1,2,3, j＝1,2）およびスキップされるＡ₂ ⁰バンドはビデオフレームグループ５００の高機能層を表す。ビデオエンコーダ１１０におけるＭＣＴＦ２０４がこれらのバンドを過剰ウェーブレット領域において３Ｄバンド内ＭＣＴＦまたはＵＭＣＴＦを使ってエンコードする。この実施形態では、高機能層は複数の分解レベルを含んでおり、Ａ₂ ⁰バンドが高機能層の一部としてエンコードされるため、高機能層のための動きベクトルは３Ｄバンド内ＭＣＴＦまたはＵＭＣＴＦの間に生成される。

図５のＡおよびＢはビデオ情報のエンコード例を示しているが、図５のＡおよびＢにはさまざまな変更がなしうる。たとえば、グループ５００、５５０に含まれるフレーム数はいくつでもよい。また、フレームが分解される分解レベルの数もいくつでもよい。

図６は、本開示のある実施形態に基づく、過剰ウェーブレット領域でビデオ情報をエンコードするための例としての方法６００を示す図である。方法６００は図１のシステム１００において動作する図２のビデオエンコーダ１１０に関して記載される。方法６００は他のいかなる好適なシステムにおいても、他のいかなる好適なエンコーダによっても使うことができる。

ステップ６０２において、ビデオエンコーダ１１０はビデオ入力信号を受信する。これはたとえば、ビデオエンコーダ１１０がビデオフレームソース１０８からビデオデータの複数のフレームを受信することを含みうる。

ステップ６０４において、ビデオエンコーダ１１０は各ビデオフレームをバンドに分割する。これはたとえば、ウェーブレット変換器２０２がビデオフレームを処理して該フレームをｎ個の異なるバンド２１６に分解することを含みうる。ウェーブレット変換器２０２は前記フレームを一つまたは複数の分解レベルに分解することができる。

ステップ６０６において、ビデオエンコーダ１１０は前記ビデオフレームの一つまたは複数の過剰ウェーブレット展開を生成する。これはたとえば、低域シフト器２０６が前記ビデオフレームを受信し、前記ビデオフレームの低域バンドを識別し、該低域バンドを異なる量シフトさせ、該低域バンドを合わせて増強して前記過剰ウェーブレット展開を生成することを含みうる。

ステップ６０８において、ビデオエンコーダ１１０はＭＣ−ＤＣＴを使って前記ビデオフレームの基本層を圧縮する。これはたとえば、ＭＣ−ＤＣＴ符号化器２０３が毎フレームの最低解像度のバンド２１６をエンコードすることを含みうる。これはまた、ＭＣ−ＤＣＴ２０３が１つおきのフレームなど当該フレームのサブセットの最低解像度のバンド２１６をエンコードすることを含みうる。

ステップ６１０において、ビデオエンコーダ１１０は３Ｄバンド内ＭＣＴＦまたはＵＭＣＴＦを使って前記ビデオフレームの高機能層を圧縮する。これはたとえば、ＭＣＴＦ２０４がビデオバンド２１６を受信し、該バンド内の動きを推定し、動きベクトルを生成することを含みうる。これはまた、ＭＣＴＦ２０４がステップ６０４において生成された過剰ウェーブレット展開を使って高機能層をエンコードすることを含みうる。

ステップ６１２においてビデオエンコーダ１１０はフィルタ処理されたビデオバンドをエンコードする。これは、ＥＺＢＣ符号化器２０８がフィルタ処理されたビデオバンド２１６をＭＣＴＦ２０４から受信し、該フィルタ処理されたバンド２１６を圧縮することを含みうる。ステップ６１４において、ビデオエンコーダ１１０は動きベクトルをエンコードする。これはたとえば、動きベクトルエンコーダ２１０がＭＣＴＦ２０４によって生成された動きベクトルを受信して該動きベクトルを圧縮することを含みうる。ステップ６１６において、ビデオエンコーダ１１０は出力ビットストリームを生成する。これはたとえば、マルチプレクサ２１２が圧縮されたビデオバンド２１６および圧縮された動きベクトルを受信してそれらを多重化して単一のビットストリーム２２０とすることを含みうる。この時点で、ビデオエンコーダ１１０はいかなる好適な動作をしてもよい。たとえば、該ビットストリームをデータネットワーク１０６を通じて送信するためにバッファに伝達するなどである。

図６は過剰ウェーブレット領域においてビデオ情報をエンコードする方法６００の一つの例を示しているが、図６にはさまざまな変更がなしうる。たとえば、ステップ６０４と６０６など、図６に示されたさまざまなステップはビデオエンコーダ１１０内で並列して実行することもできる。また、ビデオエンコーダ１１０はエンコード工程の間に過剰ウェーブレット展開を複数回生成することもできる。たとえばエンコーダ１１０によって処理される各フレームグループについて一回などである。

図７は、本開示のある実施形態に基づく、過剰ウェーブレット領域でビデオ情報をデコードするための例としての方法７００を示している。方法７００は図１のシステム１００において動作する図４のビデオデコーダ１１８に関して記載される。方法７００は他のいかなる好適なシステムにおいても、他のいかなる好適なデコーダによっても使うことができる。

ステップ７０２において、ビデオデコーダ１１８はビデオビットストリームを受信する。これはたとえば、ビデオデコーダ１１８がデータネットワーク１０６を通じて該ビットストリームを受信することを含みうる。

ステップ７０４において、ビデオデコーダ１１８は、ビットストリーム中のエンコードされたビデオバンドおよびエンコードされた動きベクトルを分離する。これはたとえば、デマルチプレクサ４０２がビデオバンドと動きベクトルとを分離してそれらをビデオデコーダ１１８内の異なる構成要素に送ることを含みうる。

ステップ７０６において、ビデオデコーダ１１８はビデオバンドをデコードする。これはたとえば、ＥＺＢＣデコーダ４０４がビデオバンドに対して、ＥＺＢＣ符号化器２０８によって行われたエンコードを逆転させる逆の操作を実行することを含みうる。ステップ７０８においてビデオデコーダ１１８は前記動きベクトルをデコードする。これはたとえば、動きベクトルデコーダ４０６が動きベクトルに対して、動きベクトルエンコーダ２１０によって行われたエンコードを逆転させる逆の操作を実行することを含みうる。

ステップ７１０において、ビデオデコーダ１１８はビデオフレームの基本層をＭＣ−ＤＣＴを使って圧縮解除する。これはたとえば、ＭＣ−ＤＣＴデコーダ４０７が毎フレームの最低解像度のバンド４１６をデコードすることを含みうる。これはまた、ＭＣ−ＤＣＴデコーダ４０７が１つおきのフレームなど当該フレームのサブセットの最低解像度のバンド４１６をデコードすることを含みうる。

ステップ７１２において、ビデオデコーダ１１８は逆３Ｄバンド内ＭＣＴＦまたはＵＭＣＴＦを使ってビデオフレームの高機能層を（可能であれば）圧縮解除する。これはたとえば、逆ＭＣＴＦ４０８がバンド４１６を受信して動きベクトルを使って元来のビデオフレーム２１４の動きを補償することを含みうる。

ステップ７１４において、ビデオデコーダ１１８は復元されたビデオバンド４１６を変換する。これはたとえば、逆ウェーブレット変換器４１０がビデオバンド４１６をウェーブレット領域から空間領域に変換することを含みうる。これはまた、逆ウェーブレット変換器４１０が一つまたは複数の組の復元された信号４１４を生成することを含みうる。ここで、復元された信号４１４の異なる組は解像度が異なる。

ステップ７１６において、ビデオデコーダ１１８は、復元された信号４１４の復元されたビデオフレームの一つまたは複数の過剰ウェーブレット展開を生成する。これはたとえば、低域シフト器４１２が前記ビデオフレームを受信し、前記ビデオフレームの低域バンドを識別し、前記低域バンドを異なる量シフトさせ、前記低域バンドを増強することを含みうる。次いでこの過剰ウェーブレット展開が追加的なビデオ情報をデコードするのに使うために逆ＭＣＴＦ４０８に与えられる。

図７は過剰ウェーブレット領域におけるビデオ情報をデコードするための方法７００の一つの例を示しているが、図７にはさまざまな変更がなしうる。たとえば、ステップ７０６と７０８など、図７に示されたさまざまなステップはビデオデコーダ１１８内で並列して実行することもできる。また、ビデオデコーダ１１８はデコード工程の間に過剰ウェーブレット展開を複数回生成することもできる。たとえばデコーダ１１８によってデコードされる各フレームグループについて一回などである。

この特許文書において使われてきたある種の語句の定義を述べておくことが有益かもしれない。「含む」および「有する」の語、またその活用形は、限定することのない包含を意味する。「または」の語は包含的である、すなわち「および／または」を意味する。「…に関連付けられた」「それに関連した」「付随する」といった句、またその派生形は、含む、…に含まれる、…と相互につながりがある、包含する、…に包含される、…につながりがある、…とつながりがある、…に関連する、…と関連する、…と連絡がある、…と協働する、インターリーブする、並置する、…に近い、…に結びついている、…と結びついている、有する、…の性質を有する、などといったことを意味しうる。ある種の語句についての定義はこの特許文書の随所で与えられている。通常の技量を有する当業者はそのような定義が、そのように定義された語句のその後の使用のみならず定義に先立つ使用例においても、ほとんどとは言わないまでも多くの場合にあてはまることを理解することであろう。

本開示はある種の実施形態および一般に関連する方法について述べてきたが、当業者にはこれらの実施形態および方法の変更および置換は明らかであろう。したがって、上記の実施例の記述は本開示を定義したり制限したりするものではない。特許請求の範囲において定義される本開示の精神および範囲から外れることなくその他の変更、代替、改変も可能である。

本開示のある実施形態に基づくビデオ伝送システムの例を示す図である。本開示のある実施形態に基づくビデオエンコーダの例を示す図である。Ａ〜Ｃは、本開示のある実施形態に基づく過剰ウェーブレット展開によって生成される参照フレームの例を示す図である。本開示のある実施形態に基づくビデオデコーダの例を示す図である。ＡおよびＢは、本開示のある実施形態に基づくビデオ情報エンコードの例を示す図である。本開示のある実施形態に基づく、過剰ウェーブレット領域でビデオ情報をエンコードするための方法の例を示す図である。本開示のある実施形態に基づく、過剰ウェーブレット領域でビデオ情報をデコードするための方法の例を示す図である。

Claims

ビデオフレームの入力ストリームを圧縮するためのビデオエンコーダであって：
前記入力ストリームに付随する基本層ビデオデータを圧縮してネットワークを通じた送信に好適な圧縮された基本層ビデオデータを生成するよう動作しうる、動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）符号化器を有する基本層回路と、
前記入力ストリームに付随する高機能層ビデオデータを圧縮してネットワークを通じた送信に好適な圧縮された高機能層ビデオデータを生成するよう動作しうる高機能層回路であって、過剰ウェーブレット領域において前記高機能層ビデオデータを処理するよう動作しうる複数の動き補償付き時間的フィルタを有する高機能層回路、
とを有することを特徴とするビデオエンコーダ。
各ビデオフレームを複数のビデオバンドに変換するよう動作しうるウェーブレット変換器と、
一つまたは複数の過剰ウェーブレット展開を生成するよう動作しうる低域シフト器であって、前記動き補償付き時間的フィルタが前記ビデオフレームをフィルタ処理するときに該一つまたは複数の過剰ウェーブレット展開を使うよう動作することができ、前記ＭＣ−ＤＣＴ符号化器と前記動き補償付き時間的フィルタの少なくとも一つとが一つまたは複数の動きベクトルを生成するような低域シフト器と、
前記動き補償付き時間的フィルタによるフィルタ処理ののちに前記ビデオバンドをエンコードするよう動作しうる第一のエンコーダと、
前記動きベクトルをエンコードするよう動作しうる複数の第二のエンコーダと、
前記エンコードされたビデオバンドおよび前記エンコードされた動きベクトルを多重化して出力ビットストリームとするよう動作しうるマルチプレクサ、
とをさらに有することを特徴とする、請求項１記載のビデオエンコーダ。
請求項２記載のビデオエンコーダであって：
前記ＭＣ−ＤＣＴ符号化器がＭＰＥＧ−２エンコーダ、ＭＰＥＧ−４エンコーダおよびＨ．２６Ｌエンコーダのうちの一つを有し、
前記動き補償付き時間的フィルタが制約のない動き補償付き時間的フィルタを有し、
前記第二のエンコーダがエントロピーエンコーダを有する、
ことを特徴とするビデオエンコーダ。
ビデオビットストリームを圧縮解除するためのビデオデコーダであって：
前記ビットストリームに含まれる基本層ビデオデータを圧縮解除して圧縮解除された基本層ビデオデータを生成するよう動作しうる、動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）デコーダを有する基本層回路と、
前記ビットストリームに含まれる高機能層ビデオデータを圧縮解除して圧縮解除された高機能層ビデオデータを生成するよう動作しうる高機能層回路であって、過剰ウェーブレット領域において前記高機能層ビデオデータを処理するよう動作しうる複数の逆動き補償付き時間的フィルタを有する高機能層回路、
とを有することを特徴とするビデオデコーダ。
前記ビットストリームからエンコードされたビデオバンドおよびエンコードされた動きベクトルを多重化解除するよう動作しうるデマルチプレクサと、
前記動きベクトルの第一の組をデコードするよう動作しうる第一のデコーダであって、前記ＭＣ−ＤＣＴデコーダが該デコードされた動きベクトルの第一の組を使って前記基本層を形成する前記ビデオバンドを処理するよう動作しうるような第一のデコーダと、
前記動きベクトルの第二の組をデコードするよう動作しうる第二のデコーダであって、前記逆動き補償付き時間的フィルタが該デコードされた動きベクトルの第二の組を使って前記高機能層を形成する前記ビデオバンドを処理するよう動作しうるような第二のデコーダと、
前記処理されたビデオバンドを複数のビデオフレームに変換するよう動作しうる逆ウェーブレット変換器と、
一つまたは複数の過剰ウェーブレット展開を生成するよう動作しうる低域シフト器であって、前記逆動き補償付き時間的フィルタが前記ビデオフレームを処理するときに該一つまたは複数の過剰ウェーブレット展開を使うよう動作しうる低域シフト器、
とをさらに有することを特徴とする、請求項４記載のビデオデコーダ。
請求項５記載のビデオデコーダであって：
前記ＭＣ−ＤＣＴデコーダがＭＰＥＧ−２デコーダ、ＭＰＥＧ−４デコーダおよびＨ．２６Ｌデコーダのうちの一つを有し、
前記逆動き補償付き時間的フィルタが逆制約のない動き補償付き時間的フィルタを有し、
前記第一および第二のデコーダがエントロピーデコーダを有する、
ことを特徴とするビデオデコーダ。
ビデオフレームの入力ストリームを圧縮するための方法であって：
前記入力ストリームに付随する基本層ビデオデータを動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）符号化を使って圧縮して、ネットワークを通じた送信に好適な圧縮された基本層ビデオデータを生成し、
前記入力ストリームに付随する高機能層ビデオデータを過剰ウェーブレット領域において動き補償付き時間的フィルタ処理を使って圧縮して、ネットワークを通じた送信に好適な圧縮された高機能層ビデオデータを生成する、
ことを有することを特徴とする方法。
請求項７記載の方法であって、前記基本層ビデオデータおよび前記高機能層ビデオデータを圧縮することが一つまたは複数の動きベクトルを生成することを有し、さらに：
各ビデオフレームを複数のビデオバンドに変換し、
一つまたは複数の過剰ウェーブレット展開を生成し、前記高機能層ビデオデータを圧縮することが前記高機能層ビデオデータを該一つまたは複数の過剰ウェーブレット展開を使って圧縮することを含み、
前記動き補償付き時間的フィルタ処理ののちに前記ビデオバンドをエンコードし、
前記動きベクトルをエンコードし、
前記エンコードされたビデオバンドおよび前記エンコードされた動きベクトルを多重化して出力ビットストリームとする、
ことをさらに有することを特徴とする方法。
ビデオビットストリームを圧縮解除するための方法であって：
前記ビットストリームに含まれる基本層ビデオデータを動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）デコードを使って圧縮解除して、圧縮解除された基本層ビデオデータを生成し、
前記ビットストリームに含まれる高機能層ビデオデータを過剰ウェーブレット領域において逆動き補償付き時間的フィルタ処理を使って圧縮解除して、圧縮解除された高機能層ビデオデータを生成する、
ことを有することを特徴とする方法。
請求項９記載の方法であって：
前記ビットストリームからエンコードされたビデオバンドおよびエンコードされた動きベクトルを多重化解除し、
前記動きベクトルの第一の組および前記動きベクトルの第二の組をデコードし、前記基本層ビデオデータを圧縮解除することが前記デコードされた動きベクトルの第一の組を使って前記基本層ビデオデータを圧縮解除することを含み、前記高機能層ビデオデータを圧縮解除することが前記デコードされた動きベクトルの第二の組を使って前記高機能層ビデオデータを圧縮解除することを含み、
復元されたビデオバンドを複数のビデオフレームに変換し、
一つまたは複数の過剰ウェーブレット展開を生成し、前記高機能層ビデオデータを圧縮解除することが前記高機能層ビデオデータを該一つまたは複数の過剰ウェーブレット展開を使って圧縮解除することを含む、
ことをさらに有することを特徴とする方法。
ビデオフレームのストリームを提供するよう動作しうるビデオフレームソースと、
前記ビデオフレームを圧縮するよう動作しうるビデオエンコーダであって：
前記ストリームに付随する基本層ビデオデータを圧縮してネットワークを通じた送信に好適な圧縮された基本層ビデオデータを生成するよう動作しうる、動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）符号化器を有する基本層回路と、
前記ストリームに付随する高機能層ビデオデータを圧縮してネットワークを通じた送信に好適な圧縮された高機能層ビデオデータを生成するよう動作しうる高機能層回路であって、過剰ウェーブレット領域において前記高機能層ビデオデータを処理するよう動作しうる複数の動き補償付き時間的フィルタを有する高機能層回路、
とを有することを特徴とするビデオエンコーダと、
ネットワークを通じた送信のための前記圧縮されたビデオフレームを受信し、保存するよう動作しうるバッファ、
とを有することを特徴とするビデオ送信器。
各ビデオフレームを複数のビデオバンドに変換するよう動作しうるウェーブレット変換器と、
一つまたは複数の過剰ウェーブレット展開を生成するよう動作しうる低域シフト器であって、前記動き補償付き時間的フィルタが前記ビデオフレームをフィルタ処理するときに該一つまたは複数の過剰ウェーブレット展開を使うよう動作することができ、前記ＭＣ−ＤＣＴ符号化器と前記動き補償付き時間的フィルタの少なくとも一つとが一つまたは複数の動きベクトルを生成するような低域シフト器と、
前記動き補償付き時間的フィルタによるフィルタ処理ののちに前記ビデオバンドをエンコードするよう動作しうる第一のエンコーダと、
前記動きベクトルをエンコードするよう動作しうる複数の第二のエンコーダと、
前記エンコードされたビデオバンドおよび前記エンコードされた動きベクトルを多重化して出力ビットストリームとするよう動作しうるマルチプレクサ、
とをさらに有することを特徴とする、請求項１１記載のビデオ送信器。
ビデオビットストリームを受信して保存するよう動作しうるバッファと、
前記ビデオビットストリームを圧縮解除してビデオフレームを生成するよう動作しうるビデオデコーダであって：
前記ビットストリームに含まれる基本層ビデオデータを圧縮解除して圧縮解除された基本層ビデオデータを生成するよう動作しうる、動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）デコーダを有する基本層回路と、
前記ビットストリームに含まれる高機能層ビデオデータを圧縮解除して圧縮解除された高機能層ビデオデータを生成するよう動作しうる高機能層回路であって、過剰ウェーブレット領域において前記高機能層ビデオデータを処理するよう動作しうる複数の逆動き補償付き時間的フィルタを有する高機能層回路、
とを有することを特徴とするビデオデコーダと、
前記ビデオフレームを提示するよう動作しうるビデオディスプレイ、
とを有することを特徴とするビデオ受信器。
前記ビットストリームからエンコードされたビデオバンドおよびエンコードされた動きベクトルを多重化解除するよう動作しうるデマルチプレクサと、
前記動きベクトルの第一の組をデコードするよう動作しうる第一のデコーダであって、前記ＭＣ−ＤＣＴデコーダが該デコードされた動きベクトルの第一の組を使って前記基本層を形成する前記ビデオバンドを処理するよう動作しうるような第一のデコーダと、
前記動きベクトルの第二の組をデコードするよう動作しうる第二のデコーダであって、前記逆動き補償付き時間的フィルタが該デコードされた動きベクトルの第二の組を使って前記高機能層を形成する前記ビデオバンドを処理するよう動作しうるような第二のデコーダと、
前記処理されたビデオバンドを複数のビデオフレームに変換するよう動作しうる逆ウェーブレット変換器と、
一つまたは複数の過剰ウェーブレット展開を生成するよう動作しうる低域シフト器であって、前記逆動き補償付き時間的フィルタが前記ビデオフレームを処理するときに該一つまたは複数の過剰ウェーブレット展開を使うよう動作しうる低域シフト器、
とをさらに有することを特徴とする、請求項１３記載のビデオ受信器。
ビデオフレームの入力ストリームに付随する基本層ビデオデータを動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）符号化を使って圧縮して、ネットワークを通じた送信に好適な圧縮された基本層ビデオデータを生成し、
前記入力ストリームに付随する高機能層ビデオデータを過剰ウェーブレット領域において動き補償付き時間的フィルタ処理を使って圧縮して、ネットワークを通じた送信に好適な圧縮された高機能層ビデオデータを生成する、
ためのコンピュータ可読プログラムコードを有することを特徴とする、コンピュータ可読媒体上に具現されており、プロセッサによって実行されるよう動作しうるコンピュータプログラム。
各ビデオフレームを複数のビデオバンドに変換し、
一つまたは複数の過剰ウェーブレット展開を生成し、前記高機能層ビデオデータを圧縮することが前記高機能層ビデオデータを該一つまたは複数の過剰ウェーブレット展開を使って圧縮することを含み、
前記動きベクトルをエンコードし、
前記エンコードされたビデオバンドおよび前記エンコードされた動きベクトルを多重化して出力ビットストリームとする、
ためのコンピュータ可読プログラムコードをさらに有することを特徴とする、請求項１５記載のコンピュータプログラム。
ビデオビットストリームに含まれる基本層ビデオデータを動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）デコードを使って圧縮解除して、圧縮解除された基本層ビデオデータを生成し、
前記ビットストリームに含まれる高機能層ビデオデータを過剰ウェーブレット領域において逆動き補償付き時間的フィルタ処理を使って圧縮解除して、圧縮解除された高機能層ビデオデータを生成する、
ためのコンピュータ可読プログラムコードを有することを特徴とする、コンピュータ可読媒体上に具現されており、プロセッサによって実行されるよう動作しうるコンピュータプログラム。
前記ビットストリームからエンコードされたビデオバンドおよびエンコードされた動きベクトルを多重化解除し、
前記動きベクトルの第一の組および前記動きベクトルの第二の組をデコードし、前記基本層ビデオデータを圧縮解除することが前記デコードされた動きベクトルの第一の組を使って前記基本層ビデオデータを圧縮解除することを含み、前記高機能層ビデオデータを圧縮解除することが前記デコードされた動きベクトルの第二の組を使って前記高機能層ビデオデータを圧縮解除することを含み、
復元されたビデオバンドを複数のビデオフレームに変換し、
一つまたは複数の過剰ウェーブレット展開を生成し、前記高機能層ビデオデータを圧縮解除することが前記高機能層ビデオデータを該一つまたは複数の過剰ウェーブレット展開を使って圧縮解除することを含む、
ためのコンピュータ可読プログラムコードをさらに有することを特徴とする、請求項１７記載のコンピュータプログラム。
ビデオフレームの入力ストリームに付随する基本層ビデオデータを動き補償付き離散コサイン変換（ＭＣ−ＤＣＴ）符号化を使って圧縮して、ネットワークを通じた送信に好適な圧縮された基本層ビデオデータを生成し、
前記入力ストリームに付随する高機能層ビデオデータを過剰ウェーブレット領域において動き補償付き時間的フィルタ処理を使って圧縮して、ネットワークを通じた送信に好適な圧縮された高機能層ビデオデータを生成する、
ステップによって生成される送信可能なビデオ信号。