JP2001525150A - ユニバーサル・シリアルバス接続用の二重圧縮ビデオ・ビットストリーム・カメラ - Google Patents

Abstract

(57)【要約】 もとのビデオ信号（Ｖ）を符号化して（３１２）、第１の圧縮ビデオ信号（ＬＬＶ＿１）を発生することを含む、ローカル・モニタ（３１８）及び遠隔モニタ（３００’）にビデオを提示するための方法。第１の圧縮ビデオ信号を利用して、そのビデオ信号も符号化することによって、第２の圧縮ビデオ信号（ＥＬＶ＿１）が得られる。第１と第２の圧縮ビデオ信号は、両方とも、ローカル端末（３１４）に伝送され、そこで復号化されて、第１（ＤＶＬ＿１）と第２の復号化ビデオ信号が生じる。第１の復号化バージョンのビデオ信号（ＤＶＥ＿１）が、第１と第２の復号化ビデオ信号の組み合わせによって生じる。第１の圧縮ビデオ（ＬＬＶ＿１；ＬＬＶ＿ｒ）信号だけが、遠隔端末に伝送され、そこで、第２の復号化バージョン（ＤＶＬ＿ｒ）のビデオ信号が、第１の圧縮ビデオ信号（ＬＬＶ＿ｒ）だけから回復される。第１の圧縮ビデオ信号は、もとのビデオ信号（Ｖ）に動き補償時間的符号化（４６０）及び空間的符号化（４３０）を施すことによって得られる。第２の圧縮ビデオ信号は、第１の圧縮ビデオ信号に空間的復号化と動き補償時間的復号化の両方を施し、その各ピクチャの各ピクセルを、もとのビデオ信号（Ｖ）のピクチャの対応する空間的及び時間的にアライメントのとれたピクセルから減算して（４１８）、差分ビデオ信号を形成することによって生じさせることが可能である。次に、差分ビデオ信号に空間的符号化だけを施すと、第２の圧縮ビデオ信号が生じる。もとのビデオ信号の第１の復号化バージョンを生じさせるため、第１の圧縮ビデオ信号には、空間的復号化（５０４、５０６、５０８）と動き補償時間的復号化（５１０、５１２、ＳＷ）の両方を施し、第２の圧縮ビデオ信号には、空間的復号化だけを施すことが可能である。第２の復号化ビデオ信号の各ピクチャの各ピクセルが、第１の復号化ビデオ信号の対応する時間的及び空間的にアライメントのとれたピクチャのピクセルに加算することが可能である（５１４）。

Description

【発明の詳細な説明】 ユニバーサル・シリアルバス接続用の 二重圧縮ビデオ・ビットストリーム・カメラ 関連出願 本出願は、下記の特許及び特許出願に関連するものである： （１）１９９６年９月４日に提出された、Ｐｅｔｅｒ Ｈ．Ｈｓｉｅｈ及びＳ ｈｙｈ−Ｒｏｎｇ Ｗａｎｇの「Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｃａｍｅｒａ ｗｉｔｈ Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ Ｉｎｔｅｒｆａｃｅ 」と題する米国特許出願第０８／７０８，３８８号、及び、 （２）１９９７年１月２９日に提出された、Ｐｅｔｅｒ Ｈ．Ｈｓｉｅｈ及び Ｈａｓａｎ Ｇａｄｊａｌｉの「Ｄｉｇｉｔａｌ Ｍｏｖｉｎｇ ａｎｄ Ｓｔ ｉｌｌ Ｐｉｃｔｕｒｅ Ｃａｍｅｒａ Ａｄａｐｔｏｒ ｆｏｒ Ｍｏｖｉｎ ｇ Ｐｉｃｔｕｒｅ Ｖｉｄｅｏ Ｃａｍｅｒａ」と題する米国特許出願第０８ ／７９２，６８３号。 上記特許出願は、本出願と同じ譲受人に譲渡されており、参考までに本明細書 に援用されている。 技術分野 本発明は、例えば、リアル・タイムの対話型通信に用いられる、圧縮ビデオ信 号の通信に関するものである。背景技術 ビデオを符号化（すなわち、圧縮）して、圧縮ビデオ信号を生成し、こうした 圧縮信号を復号化するためのいくつかの技法が既知のところである。ＩＳＯ／Ｉ ＥＣ ＩＳ１３８１８−１，２，３：動画及び関連するオーディオの汎用コーデ ィング：ビデオ及びオーディオ・システム（「ＭＰＥＧ２」）を参照されたい。 図１には、ＭＰＥＧ−１またはＭＰＥＧ−２の主プロフィール符号化及び復号化 規格によるエンコーダ１０及びデコーダ１２が示されている。もとのデジタル・ ビデオ信号Ｖがエンコーダ１０に入力される。ビデオ信号Ｖは、マクロブロック に編成される。各マクロブロックには、いくつかの輝度ブロックといくつかのク ロミナンス・ブロックが含まれている。各ブロックは、８×８のピクセル・アレ イである。 マクロブロックには、エンコーダ１０の空間エンコーダ１４によって空間的に 符号化されるだけのものもあれば、エンコーダ１０の空間エンコーダ１４及び時 間エンコーダ１６によって、空間的かつ時間的に符号化されるものもある。空間 的にのみ符号化されるマクロブロックは、出力Ａを介して空間エンコーダ１４に 直接出力される。（こうした出力は、図示のように、ソフトウェア、制御信号等 を利用して実施可能なスイッチ１３によって得られる。）時間的に符号化される マクロブロックは、時間エンコーダ１６の減算器１８に入力されると、予測エラ ー・マクロブロックが生じる。予測エラー・マクロブロックは、出力Ｂを介して 、空間エンコーダ１４に出力される。空間エンコーダ１４には、各マクロブロッ クの各ブロックを空間周波数係数に変換する離散コサイン変換器２０が含まれて いる。空間周波数係数は、量子化器２２によって量子化される（また、所定の「 ジ グザグ」または「交互走査」順序に従って走査される）。 マクロブロックを時間的に符号化する場合、予測マクロブロックが、符号化す べき各マクロブロック毎に選択され、減算器１８において符号化すべきマクロブ ロックから減じられる。予測マクロブロックの選択は、下記のように行うことが 可能である。予測マクロブロックが選択される基準ピクチャとして、符号化すべ きピクチャに先行または後続する１つ以上のピクチャを指定することができる。 （ここで、「ピクチャ」は、ＭＰＥＧ−２用語によりフィールドまたはフレーム を意味する。）こうした基準ピクチャは、エンコーダ１０を用いて符号化され、 復号化される（それ自体時間的に符号化済みの可能性もある）。利用可能な各基 準ピクチャ毎に、探索が実施され、符号化すべきピクチャの符号化すべきマクロ ブロックに最もよく一致するマクロブロックが識別される。次に、この最もよく 一致するマクロブロックが、符号化すべきマクロブロックに関する予測マクロブ ロックとして選択される。この予測マクロブロックは、符号化すべきピクチャに 先行する基準ピクチャ内、または、符号化すべきピクチャに後続する基準ピクチ ャ内に位置する場合もあるし、あるいは、それぞれ、異なる基準ピクチャから得 られる複数の予測マクロブロック候補の補間とすることも可能である。Ｐピクチ ャと呼ばれるピクチャの一部では、予測マクロブロック候補は、１つ以上の先行 ピクチャ（またはその補間）において得られるものに限定することが可能である 。Ｂピクチャと呼ばれるピクチャの一部では、予測マクロブロック候補は、先行 または後続ピクチャ（またはその補間）から選択することが可能である。Ｉピク チャと呼ばれるさらに別のピクチャでは、予測がなされない。それどころか、各 マクロブロックは空間的に符号化されるだけである。（こうした空間的にのみ符 号化さ れたマクロブロックは、「イントラ・マクロブロック」と呼ばれる場合もあり、 一方、時間的に符号化された動き補償マクロブロックは、「インター・マクロブ ロック」と呼ばれる場合もある）。さらに、ＰまたはＢピクチャにおいて、マク ロブロックのために十分な予測マクロブロック候補を見つけることができない場 合、マクロブロックは空間的にのみ符号化することが可能である。 時間エンコーダ１６には、デコーダ２４が含まれている。デコーダ２４には、 空間エンコーダ１４によって出力される係数を非量子化するための非量子化器２ ６が含まれている。非量子化係数は、逆離散コサイン変換器２８によって逆離散 コサイン変換を施すと、ピクセル値が得られる。復号化されたマクロブロックが 空間的に符号化されただけのものである場合、復号化されたマクロブロックは、 出力Ｃを介してピクチャ・メモリ３０に直接記憶することが可能である。復号化 されたマクロブロックが、予測エラー・マクロブロックである場合、適合する予 測マクロブロックが、ピクチャ・メモリ３０から検索され（後述）、加算器３２ において復号化された予測エラー・マクロブロックに加算される。こうして、ピ クセルのマクロブロックは、出力Ｄを介してピクチャ・メモリ３０に記憶される 。一例として、ピクチャ・メモリ３０には、基準ピクチャの復号化されたマクロ ブロックのみが記憶される。 予測マクロブロックの選択は、下記のように実施される。現在符号化されてい るピクチャの次に符号化すべきマクロブロックが、動き補償器３４に入力される 。動き補償器３４は、さらに、次に符号化すべきマクロブロックを予測するため に用いることが可能な基準ピクチャのピクセル・データをピクチャ・メモリ３０ から受信する。一例として、動き補償器３４は、 ブロック照合技法を利用して、基準ピクチャから最もよく一致するマクロブロッ ク（または補間されたマクロブロック）を識別する。こうした技法によれば、利 用可能な基準ピクチャから複数の予測マクロブロック候補が抽出され、符号化す べきマクロブロックと比較される。各予測マクロブロック候補は、符号化される マクロブロックに対して時間的にシフトしており（予測マクロブロック候補が、 符号化すべきブロックと時間的に異なるピクチャから得られるため）、符号化す べきマクロブロックからわずかに１／２ピクセルの小さいインクリメントで空間 的にシフトしている。符号化すべきマクロブロックに最もよく一致する予測マク ロブロック候補は、符号化すべきマクロブロックを時間的に符号化するための予 測マクロブロックとして選択される。予測マクロブロックは、動きベクトルＭＶ と呼ばれる、その時間的及び空間的シフトによって識別される。動きベクトルＭ Ｖは、時間エンコーダ１６から出力される。さらに、こうした動きベクトルＭＶ は、後で、デコーダ２４においてピクチャを復号化する場合に、予測マクロブロ ックを識別するために、保管することが可能である（例えば、ピクチャ・メモリ ３０に）。 空間的に符号化されたマクロブロック及び予測エラー・マクロブロック係数デ ータ、及び、動きベクトルＭＶは、さらに、ラン・レベルの可変長エンコーダ３ ６によってエントロピ符号化される。データは、デコーダにおける既知サイズの バッファの占有をモデル化するバッファ３７に記憶することが可能である。デコ ーダのバッファがオーバフローまたはアンダーフローしないことを保証するため 、量子化器アダプタ３９を利用して、符号化マクロブロックまたは予測エラー・ マクロブロック毎に生じるビット数を調整することが可能である。（さらに、ピ クチャはスキップ可能であ り、選択された符号化ピクチャの開始前に、詰め込みデータを追加することが可 能である。）こうして得られる圧縮ビデオ信号（ビット・ストリーム）は、チャ ネル（伝送媒体、または、磁気ディスク、光ディスク、メモリ等のような、デジ タル記憶媒体／レコード・キャリアとすることが可能である）を介して、デコー ダ１２に出力される。（簡略化のため、この論考において、オーディオ・データ の符号化、及び、トランスポート・ストリームまたはプログラム・ストリームの ようなシステム層ストリーム層における圧縮ビデオ及びオーディオ信号の隠蔽、 及び、チャネル層フォーマットについては省略されている。） デコーダ１２は、受信した圧縮ビデオ信号が一時的に記憶されるバッファ３３ を備えている。圧縮ビデオ信号のビットは、可変長エンコーダ３６の逆操作を実 施して、動きベクトルＭＶ、及び、マクロブロック及び予測エラー・マクロブロ ック係数データを回復する可変長のラン・レベル・デコーダ３８に出力される。 動きベクトルＭＶ及びマクロブロック係数データは、デコーダ２４と類似したデ コーダ部分回路４０に入力される。デコーダ部分回路４０は、ビデオを復号化し て、提示のための復号化ビデオＤＶが得られるようにする。 ＭＰＥＧ−２によれば、スケーラビリティ層も得られる。Ｂ．ＨＡＳＫＥＬＬ ，Ａ．ＰＵＲＩ ＆ Ａ．ＮＥＴＲＡＶＡＬＩ，ＤＩＧＩＴＡＬ ＶＩＤＥＯ： ＡＮ ＩＮＴＲＯＤＵＣＴＩＯＮ ＴＯ ＭＰＥＧ−２，ｃｈ．９，ｐ．１８３ −２２９（１９９７）を参照されたい。図２には、空間スケーラビリティ・エン コーダ４２及びデコーダ４４及び４６が示されている。空間スケーラビリティ・ エンコーダ４２は、単純に、下記のように構成することが可能である。ビデオ信 号が、空間低域フィルタまたはデ シメータ４８に入力されると、低空間解像度バージョンのビデオ信号が得られる 。低位層またはベース層エンコーダ１２は、低解像度バージョンのビデオ信号を 符号化して、低位層またはベース層圧縮ビデオ信号ＬＬＶを送り出す。ベース層 圧縮ビデオ信号ＬＬＶは、完全に個別に復号化可能で、提示可能なビデオ信号で ある。 次に、強調層圧縮ビデオ信号ＥＬＶが、下記のように形成される。十分な解像 度バージョンのビデオ信号Ｖが、空間強調エンコーダ５１において予測符号化さ れる。しかし、空間強調エンコーダ５１の動き補償器３４によって生じる各時間 予測マクロブロックは、減算器５２に入力される。ベース層圧縮ビデオ信号ＬＬ Ｖは、デコーダ１２において復号化され、空間補間器５０において十分な解像度 のもとのビデオ信号Ｖに合わせて補間される。ベース層圧縮ビデオ信号から再構 成されたこのベース層復号化ビデオ信号には、空間予測器として用いられる再構 成されたマクロブロックが含まれている。すなわち、再構成されたマクロブロッ クは、減算器５２に送られ、動き補償器３４によって生じた対応する時間予測マ クロブロックから減算される。（空間予測マクロブロックは、時間予測マクロブ ロックから減算される前に、減算器５２によって重み付けを施すことが可能であ る）。次に、こうして形成された予測エラー・マクロブロックを上述のように空 間的に符号化することによって、強調層圧縮ビデオ信号ＥＬＶが形成される。 強調層エンコーダ５１及びベース層エンコーダ１０は上述のものと同様であり 、両方とも時間予測をする点に留意されたい。このことは、空間スケーラビリテ ィ・エンコーダ１０、５１は、２つのピクチャ・メモリ３０、３０’（すなわち 、ベース層と強調層の両方において、ブロック照合を実 施するための基準ピクチャを記憶する容量）を備えなければならないということ を表している。 空間スケーラビリティ・プロフィール符号化ビデオ信号にとって、２つのタイ プのデコーダが許容可能である。第１のタイプのデコーダ４４は、図１に示すの と同様の構成によるデコーダ１２を利用して、ベース層圧縮ビデオ信号ＬＬＶだ けを復号化し、低忠実度の復号化ベース層ビデオ信号ＤＶＬを発生する。第２の タイプのデコーダ４６は、ベース層圧縮ビデオ信号ＬＬＶと強調層圧縮ビデオ信 号ＥＬＶの両方を復号化する。デコーダ４６のベース層デコーダ１２は、ベース 層圧縮ビデオ信号ＬＬＶを復号化する。空間補間器５０は、十分な解像度のもと のビデオ信号Ｖに合わせてベース層復号化ビデオ信号を補間する。強調層デコー ダ５３は、強化層圧縮ビデオ信号を復号化する。加算器５４は、強調された忠実 な強調層ビデオ信号ＤＶＥを再構成するため、補間された復号化ベース層ビデオ 信号の（重み付けを施された）再構成されたマクロブロックを、強調層圧縮ビデ オ信号から再構成された予測マクロブロックに選択的に加算する。 図３には、ＳＮＲスケーラビリティ・エンコーダ５６と、デコーダ５８及び６ ０が示されている。エンコーダ５６は、前述のものと極めてよく似ているが、下 記の相違点がある。前述のように、空間エンコーダは、ラン・レベル可変長エン コーダ３６に量子化係数を出力する量子化器２２を備えている。量子化係数信号 は、非量子化器２６によって非量子化される。非量子化係数信号は、減算器６４ においてもとの係数信号（離散コサイン変換器２０から出力された）から減算さ れる。こうして得られるエラー信号は、第２の量子化器２２’において量子化さ れ、量子化エラー信号が生じる。量子化エラー信号は、第２のラン・レベル可変 長エンコーダ３６’に おいてラン・レベル及び可変長符号化が施される。 エンコーダ５６の時間エンコーダ６８のデコーダ６６は、量子化器２２から出 力された量子化係数を受信して、非量子化する第１の非量子化器２６を備えてい る。デコーダ６６は、量子化器２２から出力された量子化エラー係数を受信して 、非量子化する第２の非量子化器２２’も備えている。次に、これら２つの非量 子化信号は、加算器７０において合計される。エンコーダ５６の残りの部分は、 図１と同じである。 エンコーダ５６のラン・レベル可変長エンコーダ３６から出力される符号化信 号は、完全に別個に復号化可能なベース層圧縮ビデオ信号ＬＬＶである。こうし た信号は、デコーダ１２と同様の構造を備えたベース層デコーダ６０において受 信可能である。 エンコーダ５６の可変長エンコーダ３６’から出力される符号化信号は、ベー ス層圧縮ビデオ信号ＬＬＶと共に復号化することのみ可能な、強調層圧縮ビデオ 信号ＥＬＶである。強調層デコーダ５８は、それぞれ、ベース層圧縮ビデオ信号 ＬＬＶ及び強調層圧縮ビデオ信号ＥＬＶにラン・レベル可変長復号化を施すため 、２つのラン・レベル可変長デコーダ３８、３８’を備えている。次に、これら の復号化ビデオ信号は、それぞれ、これらの信号を非量子化する非量子化器２６ 及び２６’に送られる。次に、加算器７０によって、逆離散コサイン変換の前に 、２つの非量子化信号が合計される。復号化プロセスの残りの部分は、前述のも のと同様である。 ＭＰＥＧ−２は、データ区分化プロフィール及び時間スケーラビリティ・プロ フィールも備えている。データ区分化プロフィールにおいて、選択された量子化 係数のビットは、低精度部分と高精度拡張部分に区分化される。精密な量子化係 数レベルを識別する働きをするだけの高精度拡張部 分は、強調層圧縮ビデオ信号を形成することになり、もとの符号化ビデオ信号の 残りの部分は、ベース層圧縮ビデオ信号を形成する。時間スケーラビリティ・プ ロフィールによれば、もとのビデオ信号は、時間的に間引きされて、時間的低解 像度ビデオ信号を形成する。時間的低解像度ビデオ信号は、エンコーダ１２と同 様のベース層エンコーダによって符号化される。もとの時間的解像度ビデオ信号 及び低忠実度復号化ベース層ビデオ信号は、強調層エンコーダに入力される。強 調層圧縮ビデオ信号の復号化ピクチャに加えて、低忠実度復号化ベース層ビデオ 信号の復号化基準ピクチャを利用し、予測がなされる。 スケーラビリティ層のそれぞれは、同じビット・ストリームを利用して２レベ ルの解像度または品質が得られるようにするため、提案されたものである。ベー ス層デコーダは、ベース層圧縮ビデオ信号を復号化して、低忠実度の復号化ベー ス層ビデオ信号を生成することのみ可能である。強調層デコーダは、ベース層圧 縮ビデオ信号及び強調層圧縮ビデオ信号を復号化して、強調された高忠実度の復 号化強調層ビデオ信号を生成することが可能である。それにもかかわらず、ベー ス層デコーダ及び強調層デコーダは、両方とも、同じビット・ストリームを復号 化することが可能である。 コンピュータをビデオ通信端末として利用すことが望ましい。高品質のカラー 及びモノクロ・デジタル・ビデオを発生することが可能な、低コスト・カメラが 入手可能である。問題は、こうしたデジタル・ビデオ信号のビット転送速度が、 一般的なパーソナル・コンピュータにおける任意のポートの最大データ入力ビッ ト転送速度をはるかに超えるという点である。この問題に対する従来の解決法に は、所有権を主張できるインターフェイスを備えたカメラとコンピュータ・バス に接続されるビデオキャプチャカ ードの利用がある。 米国特許出願第０８／７０８，３８８号及び第０８／７９２，６８３号には、 代替解決法が提案されている。これらの出願では、組み込み式エンコーダを備え たカメラ、または、従来のビデオ・カメラ用エンコーダ・アダプタが提案されて いる。エンコーダまたはエンコーダ・アダプタを備えたカメラは、ユニバーサル ・シリアル・バス（ＵＳＢ）規格に従ったインターフェイスを備えている。Ｏｐ ｅｎ ＨＣＩ，Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ Ｓｐｅｃｉｆｉｃ ａｔｉｏｎ ｖ．１．０ Ｊａｎ．１９，１９９６を参照されたい。図４には、 システム１００が両タイプのカメラ・アタッチメント・アーキテクチャで示され ている。一例として、システム１００は、リアル・タイム対話型動画通信用途、 リアル・タイム非対話型画像通信用途、静止画または動画捕捉用途等に利用可能 である。図示のように、カメラ１１０は、コンピュータ・システム１２０のハウ ジング１５６の外部で、コンピュータ・システム１２０に接続される。コンピュ ータ・システム１２０には、一例として、ＣＰＵバス１２２、システム・バス１ ２４（例えば、ＰＣＩバス）、及び／または、Ｉ／Ｏ拡張バス１２６（例えば、 ＩＳＡバス）が含まれている。ＣＰＵバス１２２には、少なくとも１つのプロセ ッサ１２８と「ノース」・ブリッジまたはメモリ・コントローラ１３０が接続さ れている。ノース・ブリッジ１３０は、キャッシュ１３２及び主メモリ１３４を ＣＰＵバス１２２でプロセッサ１２８に接続している。ノース・ブリッジ１３０ は、システム・バス１２４の装置とメモリ１３２及び１３４またはプロセッサ１ ２８間におけるデータ転送も可能にする。システム・バス１２４には、グラフィ ックス・アダプタ１３６も接続されている。グラフィックス・アダプタ１３６に は、ディス プレイ・モニタ１３８を接続することが可能である。図示のように、システム・ バス１２４には、イーサネット・アダプタ１６０を接続することが可能である Ｉ／Ｏ拡張バス１２６には、ディスク・メモリ１４０、及び、ＩＤＥインター フェイスのようなインターフェイス、モデム１５８、及び、キーボード１４４及 びマウス１４６のような入力装置１４２が接続されている。（代替案では、キー ボード１４４及びマウス１４６は、ＵＳＢハブ１５０にも接続することが可能で ある。）システム・バス１２４とＩ／Ｏ拡張バス１２６の間には、サウス・ブリ ッジ１４８またはＩ／Ｏブリッジも接続されている。サウス・ブリッジ１４８は 、モデム１５８のようなＩ／Ｏ拡張バス１２６の装置とＵＳＢ２００の装置また はシステム・バス１２４の装置との間におけるデータ転送を可能にする。本発明 によれば、一例としてサウス・ブリッジ１４８にＵＳＢハブ１５０も含まれてい る。ＵＳＢハブ１５０は、コンピュータ・システムのハウジング１５６の完全に 外部で接続することが可能な、標準ＵＳＢを遵守したコネクタ１５４に接続され る１つ以上のシリアル・ポート１５２を備えている。一例として、ＵＳＢハブ１ ５０、１１７、１６８、１９０、及び、ケーブル１１９によって、ＵＳＢ２００ が形成される。 カメラ１１０は、図示のように、管、ＣＭＯＳフォト・センサ、ＣＣＤなど、 ビデオ・イメージが入射するイメージング装置１１１が含まれている。イメージ ング装置１１１は、イメージを典型的な動画ビデオ信号に変換する。ビデオ信号 は、ＡＤＣ１１３においてデジタル形式に変換される。ＡＤＣ１１３から出力さ れたデジタル信号は、ビット転送速度低下回路１１５において受信される。ビッ ト転送速度回路１１５は、プログラマブル・ フレーム転送速度／解像度低下回路とすることが可能である。しかし、好都合な ことに、ビット転送速度低下回路はプログラマブル・ビデオ・エンコーダである 。ビット転送速度を低下させたビデオ信号は、ＵＳＢハブ回路１１７に出力され る。ＵＳＢハブ回路１１７は、ケーブル１１９を介して直列ビット・ストリーム としてビデオ信号を出力することが可能なシリアル・ポート１１８を備えている 。コネクタ１５４に差し込まれる（コンピュータ・ハウジング１５６の外部で） ケーブル１１９によって、ビデオ信号が、サウス・ブリッジ１４８におけるハブ 回路１５０のシリアル・ポート１５２に送られる。 ビデオ・エンコーダ１１５によるビット転送速度の低下によって、ビデオ信号 の帯域幅が、ＵＳＢシリアル・ポート１５２による受信に十分なほど低くなると いう保証が得られる。ビット転送速度低下回路１１５は、ＭＰＥＧ−１、ＭＰＥ Ｇ−２、Ｈ．２６３等のような各種圧縮規格を用いて、ビデオ信号を符号化する ことが可能である。 ＵＳＢ２００、とりわけ、ハブ１５０、１１７、１６８のシリアル・ポート１ １８、１５４は信号の双方向転送を支援する。ハブ１１７からハブ１５０へのビ デオ信号の転送に加え、ビデオ信号とデータ転送信号を散在させることによって 、ハブ１５０からハブ１１７にデータを転送することも可能である。こうしたデ ータ転送は、ビデオ・エンコーダ１１５のプログラミング／調整に利用すること が可能である。例えば、ビデオ・エンコーダ１１５には、Ｈ．２６３、ＭＰＥＧ −１、ＭＰＥＧ−２、ＪＰＥＧ、動きＪＰＥＧ等のようないくつかの圧縮規格に 従ってビデオを符号化するようにプログラムすることが可能である。さらに、任 意の所定の規格内において、量子化ステップ・サイズ、インター／イントラ判定 しきい値、ピ クチャ・フォーマット・グループ、ビット転送速度等のような、さまざまなパラ メータを調整することもできるし、算術符号化のようなさまざまな符号化オプシ ョンを選択することも可能である。 好都合なことに、カメラ１１０が受像する時、マイクロフォン１６２が可聴音 を受信し、リアルタイムにオーディオ信号に変換する。ＡＤＣ１６４がオーディ オ信号をデジタル化し、オーディオ・エンコーダ１６６がオーディオ信号を符号 化する。一例として、ＵＳＢハブ回路１６８は圧縮オーディオ信号を受信し、カ メラ１１０から出力されたビデオ信号及びＵＳＢ２００で伝送されてきた他の任 意のデータ信号を散在させて、シリアル・ポート１７０からハブ１１７にビット 直列形式で送信する。 ハブ１５０は、ビット転送速度の低下したビデオ信号（及び、一例として、圧 縮オーディオ信号）を受信する。受信した信号は、サウス・ブリッジ１４８、シ ステム・バス１２４、及び、ノース・ブリッジ１３０を介して、メモリ１３２ま たは１３４の一方に転送することが可能である。それから、必要であれば、ビデ オ及び／またはオーディオ信号に、プロセッサ１２８によって、例えば、エラー 保護コードを用いてエラー保護を施すとか、符号化を施すといった処理を施すこ とが可能である。こうして、ノース・ブリッジ１３０、システム・バス１２４、 イーサネット・アダプタ１６０、及び、イーサネット・ネットワークを介して、 テレビ会議システム１００と同様のアーキテクチャによる（すなわち、コンピュ ータ・システム１２０’及びカメラ１１０’を備える）遠端の遠隔テレビ会議シ ステム１００’に、ビデオ及び／またはオーディオ信号を（多重化形式で）出力 することが可能になる。代替手段、あるいは付加的な手段として、ノース・ブリ ッジ１３０、システム・バス１２４、サウス・ブリッジ１４８、Ｉ／ Ｏ拡張バス１２６、モデム１５８、及び、公衆電話網を介して、遠端の遠隔テレ ビ会議システム１００’に圧縮ビデオ及び／または圧縮オーディオ信号を出力す ることが可能である。もう１つの実施態様では、ハブ１５０で受信した圧縮ビデ オ及び／または圧縮オーディオ信号は、両方ともＵＳＢ２００に接続することが 可能なイーサネット・アダプタ１６０またはモデム１５８に直接出力される。 圧縮ビデオ信号及び／または圧縮オーディオ信号は、図４に示す近端のローカ ル・テレビ会議システム１００において、遠端の遠隔テレビ会議システム１００ ’から受信することが可能である。圧縮ビデオ及び／または圧縮オーディオ信号 は、イーサネット・アダプタ１６０またはモデム１５８において受信することが 可能である。イーサネット・アダプタ１６０において受信する圧縮ビデオ及び／ または圧縮オーディオ信号は、システム・バス１２４及びノース・ブリッジ１３ ０を介して、主メモリ１３２またはキャッシュ・メモリ１３４に転送することが 可能である。代替手段として、圧縮ビデオ及び圧縮オーディオ信号がモデム１５ ８において受信される場合、圧縮ビデオ及び圧縮オーディオ信号は、Ｉ／Ｏ拡張 バス１２６、サウス・ブリッジ１４８、システム・バス１２４、及び、ノース・ ブリッジ１３０を介して、メモリ１３２または１３４に転送される。それから、 プロセッサ１２８が、エラー補正、解読、及び、復号化といった後続処理に備え て、圧縮ビデオ信号と圧縮オーディオ信号を分離することが可能である。代替手 段として、専用プロセッサ（不図示）をシステム・バス１２４に接続して、少な くともビデオ信号の復号化を実施することが可能である。さらに、もう１つの実 施態様では、圧縮ビデオ信号が（例えば、モデム１５８、またはイーサネット１ ６０から）直接転送されるグラフィック ス・アダプタ１３６に、ビデオ復号化を実施するための専用プロセッサを含むこ とが可能である。復号化ビデオ信号は、グラフィックス・アダプタ１３６に転送 される（または、そこに生じる）。グラフィックス・アダプタ１３６は、ディス プレイ・モニタ１３８に復号化ビデオ信号を出力する。さらに、復号化オーディ オ信号もグラフィックス・アダプタ１３６を介して受信され、ディスプレイ・モ ニタ１３８に内蔵されたスピーカに出力される。 代替デジタル・ビデオキャプチャ実施態様において、カメラ１１０”によって 生じるデジタルまたはアナログ・ビデオ信号は、アダプタ１８０に出力される。 アダプタ１８０は、ＵＳＢハブ１９０が組み込まれたビデオ・エンコーダ１９５ を備えている。ＵＳＢハブ１９０は、ＵＳＢ２００の一部である。ビデオ・エン コーダ１９５は、デジタル・バージョンの受信ビデオ信号を上述のアナログ方式 で符号化し、（ＵＳＢハブ１９０）及びＵＳＢ２００を介して、圧縮ビデオ信号 をコンピュータ・システム１２０に転送する。 システム１００は、従って、パーソナル・コンピュータ・システム１２０でビ デオ通信を行えるようにする経済的で、有用な方法を提供する。一般に、通信シ ステム１００及び１００’は、典型的な家庭または会社において、モデム及び電 話網を利用して通信を行う。「クリーンな」（すなわち、低ノイズ）回路がシス テム１００と１００’の間に形成され、システム１００及び１００’がそのよう なキャパシティを持ったモデムを有すると仮定すると、最近の進歩は、通常の音 声接続を利用して３３．６Ｋビット／秒までの二重通信を行うことを可能とする 。単一ＩＳＤＮ接続を利用してテレビ会議を行うことによって、各通信毎に１２ ８Ｋビット／秒まで 可能になる場合もある。 こうした低ビット転送速度において、リアル・タイムの待ち時間の短い圧縮動 画ビデオ信号を発生するには、高圧縮レベルが必要になる。こうした圧縮ビデオ 信号から復号化される動画には、人間が感知し得る圧縮の人為的効果が大量に備 わっている。こうした人為的効果はビデオ信号を劣化させ、その品質を低下させ る。 ローカル・システム１００では、遠隔地で生じた圧縮ビデオ信号の復号化ピク チャを提示（表示）するだけではなく、構内で生じたビデオ信号の復号化ピクチ ャも提示することが望ましい。例えば、ディスプレイ・モニタ１３８の表示画面 は２つの領域に分割することもできるし、２つのウィンドウを表示することもで きる。第１のウィンドウまたは領域には、遠隔地で生じた圧縮ビデオ信号から復 号化されたピクチャが表示される。第２のウィンドウまたは領域には、構内で生 じた圧縮ビデオ信号から復号化されたピクチャが表示される（この構内で生じた 圧縮ビデオ信号も遠隔システム１００’に伝送される）。問題は、構内で生じた 圧縮ビデオ信号の表示ピクチャが、遠隔システム１００’に伝送される圧縮ビデ オ信号であって、構内で生じた全く同じ圧縮ビデオ信号から再構成されるという ことである。上述のように、構内で生じた圧縮ビデオ信号が伝送される通信チャ ネルは、帯域幅が制限されている。その結果、構内で生じた圧縮ビデオ信号はか なりの圧縮を施さなければならないので、再構成されるピクチャに忠実度を劣化 させる圧縮による人為的効果が導入されることになる。こうした圧縮の（構内で 生じた圧縮ビデオ信号から再構成されるピクチャにおける）人為的効果は、構内 で生じた圧縮ビデオ信号を受信する通信チャネルの帯域幅の限界を考慮して、遠 隔システム１００’で許容しなければな らないが、こうしたチャネル帯域幅の制約は構内で生じた圧縮ビデオ信号に関し てはローカル・システム１００に存在しない。従って、ローカル・システム１０ ０において、構内で生じた圧縮ビデオ信号から再構成されて、構内で表示される ピクチャの忠実度の劣化は、不利であり、不要である。 発明の目的 本発明の目的は、先行技術の欠点を克服することにある。 発明の開示 本発明はさまざまな目的を実現させる。実施態様の１つによれば、ローカル・ モニタ及び遠隔モニタにビデオを提示すなわち表示するための方法が得られる。 ビデオ信号は、例えば、ビデオ信号源によって生じる。ビデオ信号はビデオ・エ ンコーダによって符号化され、第１の圧縮ビデオ信号が生じる。さらに、第１の 圧縮ビデオ信号を利用してビデオ信号源によって生じたビデオ信号を符号化する と、第２の圧縮ビデオ信号が生じる。第１と第２の圧縮ビデオ信号はローカル端 末に伝送される。ローカル端末において、例えば、デコーダを用いて第１と第２ の圧縮ビデオ信号を復号化すると、第１と第２の復号化ビデオ信号が生じる。第 １の復号化バージョンのビデオ信号が、復号化された第１と第２のビデオ信号の 組み合わせから得られる。第１の圧縮ビデオ信号だけが通信チャネルを介して遠 隔端末に伝送され、これにより、遠隔端末では第１の圧縮ビデオ信号からのみ第 ２の復号化バージョンのビデオ信号を回復することができる。 明らかに、ローカル端末と遠隔端末の間の通信チャネルは第１の圧縮ビデオ信 号を伝送するのに十分な帯域幅を備えることができるが、第２の圧 縮ビデオ信号も同様というわけにはいかない。それにもかかわらず、エンコーダ とローカル端子の間の通信チャネルは、第１と第２の圧縮ビデオ信号の両方を伝 送するのに十分な帯域幅を備えている。ローカル端末自体は、第１と第２の圧縮 ビデオ信号の両方を利用して構内で生じるピクチャを復号化し、そのより高品質 なバージョンを再構成することが可能である。一方、既に符号化済みの第１の圧 縮ビデオ信号は、遠隔端末への単純な伝送のために利用可能である。 もう１つの実施態様によれば、例えば、ビデオ信号源を利用して、一連の最初 のピクチャを含むビデオ信号を発生することを含む、ビデオ信号を符号化するた めの方法が得られる。第１の圧縮ビデオ信号を発生させるために、ビデオ信号は 、例えば、エンコーダを用いて符号化される。最初のビデオ信号を符号化して、 第１の圧縮ビデオ信号を発生する場合、少なくとも最初のビデオ信号の一部につ いて、動き補償時間符号化が用いられる。最初のビデオ信号を符号化して、第１ の圧縮ビデオ信号を発生するため、空間符号化も利用される。次に、デコーダを 用いて、第１の圧縮ビデオ信号に空間的復号化と動き補償時間復号化の両方を施 すことによって、復号化ビデオ信号が得られる。次に、復号化ビデオ信号の各ピ クチャの各ピクセルを、最初のビデオ信号のピクチャの対応する空間的及び時間 的アライメントのとれたピクセルから減算すると、差分ビデオ信号が生じる。次 に、差分ビデオ信号の各ピクチャに対する空間符号化だけを利用して、差分ビデ オ信号が符号化される。 明らかに、この技法を用いて、第１と第２の圧縮ビデオ信号を得ることが可能 であり、この場合、圧縮差分ビデオ信号は、遠隔端末に伝送されない第２のビデ オ信号である。さらにもう１つの実施態様によれば、符号化 ビデオ信号を提示する方法が得られる。第１と第２の圧縮ビデオ信号がデコーダ で受信される。デコーダは、第１の圧縮ビデオ信号に空間的復号化及び動き補償 時間的復号化を施して、第１の復号化ビデオ信号を発生する。第２の圧縮ビデオ 信号が空間的に復号化されて、第２の空間的にのみ復号化されたビデオ信号が生 じる。加算器は、第２の空間的にのみ復号化されたビデオ信号の各ピクチャの各 ピクセルを、第１の復号化ビデオ信号の対応する時間的及び空間的にアライメン トのとれたピクチャのピクセルに加算して、再構成ビデオ信号を再構成する。次 に、再構成ビデオ信号が提示される（すなわち、表示される）。 図面の簡単な説明 図１には、従来のＭＰＥＧ−２適合エンコーダ及びデコーダが示されている。 図２には、従来のＭＰＥＧ−２空間スケーラビリティ・エンコーダ及びデコー ダが示されている。 図３には、従来のＭＰＥＧ−２ ＳＮＲスケーラビリティ・エンコーダ及びデ コーダが示されている。 図４には、ローカル端末及び遠隔端末としてカメラ及びＰＣを用いるビデオ通 信システムが示されている。 図５には、本発明の実施態様によるビデオ通信端末が示されている。 図６には、本発明の実施態様によるビデオ・エンコーダが示されている。 図７には、本発明の実施態様によるビデオ・デコーダが示されている。 発明の詳細な説明 本発明のこの説明において、ビデオ信号は、段々に走査されるかあるいは非イ ンタレースされるものと推定される。したがって、ビデオ信号の各画像はフレー ムである。しかしながら、本発明は、フィールド画像を有するインタレース画像 信号にも同様に利用可能である。さらに、ＭＰＥＧ‐１、ＭＰＥＧ‐２、あるい はＨ．２６３空間および動き補償時間符号化モデルはこの説明に使用される。こ れらのモデルにおいて、空間符号化は、直交変換としての離散的コサイン変換と 量子化器とエントロピ符号化とを含んでいる。予測マクロブロックが運動ベクト ルに従って時間的および空間的の両方でオフセットされる動き補償時間符号化は 、マクロブロックあるいは副画像に基づいて実行される。したがって、予測マク ロブロックは、符号化されるべきマクロブロックを含む画像（前の画像あるいは 後の画像）とは異なる画像から生じるために、予測される符号化すべきマクロブ ロックと時間的に整列されない。さらに、少なくとも１つの予測マクロブロック は、予測される符号化すべきマクロブロックと空間的にも整列されない。これは 、予測マクロブロックが、符号化すべきマクロブロックの符号化すべき画像内の 開始行および終了行あるいは／または開始列および終了列と同一の基準画像内の 行および／または列で開始および終了しないことを意味する。 図５は本発明によるビデオ通信端末３００を示している。この端末３００はロ ーカル端末である。ローカル端末３００は、端末間通信チャネル３２２を介して 同様の遠隔端末３００’に接続されている。通信チャネル３２２は、ネットワー ク、ローカルエリアネットワーク、電話網、地上ネットワークあるいは衛星放送 ネットワーク（電波あるいは空間）等で実施されてもよい。 ローカル端末３００は、撮像装置（ＣＣＤ、ＣＭＯＳ光センサ、管等）、ディ ジタル記憶媒体等のようなビデオ信号源３１０を含んでいる。ビデオ 信号源３１０は局部的に発生するビデオ信号をエンコーダ３１２に出力する。具 体的には、このビデオ信号は、連続的であり、リアルタイムにキャプチャされ、 符号化されるが、ノンリアルタイムで予備的に前もってあるいは“オフライン” 符号化され、ディジタル記憶媒体に記憶され、それから再生されてもよい。ビデ オ信号はディジタル化され、ブロックおよびマクロブロックにフォーマット化さ れる。エンコーダ３１２は、ビデオ信号を符号化し、ベースレイヤ圧縮ビデオ信 号ＬＬＶ＿１およびエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１を発生す る。ベースレイヤ圧縮ビデオ信号ＬＬＶ＿１およびエンハンスメントレイヤ圧縮 ビデオ信号ＥＬＶ１は、分離されているものとして示されているが、一緒に多重 化にされ、信号ストリームあるいは信号になる。 これらの信号ＬＬＶ＿１およびＥＬＶ＿１はコンピュータシステム３２４のハ ウジング３１４を通して伝送される。具体的には、ＬＬＶ＿１およびＥＬＶ＿１ 信号の結合ビット伝送速度は、時分割多重化され、ＵＳＢタイプの接続を介して 直列伝送されるのに十分低い。信号ＬＬＶ＿１およびＥＬＶ＿１はデコーダ３１ ６で受信される。デコーダ３１６は、信号ＬＬＶ＿１を空間的および動き補償時 間的に復号化し、復号化ベースレイヤビデオ信号ＤＬＶ＿１を発生する。また、 デコーダ３１６は信号ＥＬＶ＿１だけを空間的に復号化する。デコーダ３１６は 、対応する復号化ＤＬＶ１信号の画像の、空間的および時間的に整列されたピク セルに復号化ＥＬＶ＿１信号の各画像の各ピクセル、すなわち同じ逐次画像の同 じ行および同じ列において加算する。これは復号化エンハンスメントレイヤビデ オ信号ＤＶＥ＿１を発生する。 一方、ベースレイヤ圧縮ビデオ信号ＬＬＶ＿１は（多重分離され）、ＲＦ放送 送信機、モデム、ネットワークアダプタ等であってもよいトランシーバ３２０に も転送される。トランシーバ３２０は、ベースレイヤ圧縮ビ デオ信号ＬＬＶ＿１を通信チャネル３２２を介して遠隔端末３００’に送信する 。トランシーバ３２０は、通信チャネル３２２を介してベースレイヤ圧縮ビデオ 信号ＬＬＶ＿ｒを遠隔端末３００’からも受信する。ベースレイヤ圧縮ビデオＬ ＬＶ＿ｒは、遠隔端末３００’から発生し、有利なことに、（復号化され、表示 される場合）リアルタイムでキャプチャされ、遠隔端末３００’でのイメージあ るいはシーンの復号化された動画ビデオを描写する。 デコーダ３１６は、ベースレイヤビデオ圧縮信号ＬＬＶ＿ｒをトランシーバ３ ２０から受信する。デコーダ３１６は、ベースレイヤビデオ圧縮信号ＬＬＶ＿ｒ を復号化し、（低忠実度）復号化ベースレイヤビデオ信号ＤＶＬ＿ｒを発生する 。２つの局部的に復号化されたビデオ信号、すなわち、ＤＶＥ＿１およびＤＶＬ ＿ｒは、次にディスプレイモニタ３１８上に表示される。復号化ビデオ信号ＤＶ Ｅ＿１およびＤＶＬ＿ｒは、ディスプレイモニタ３１８のディスプレイスクリー ンの異なる半分に表示されてもよい。それとは別に、復号化ビデオ信号ＤＶＥ＿ １およびＤＶＬ＿ｒは、ディスプレイモニタ３１８のディスプレイスクリーン上 の異なる（動的に移動可能で、調整可能である）ウィンドウに表示される。 ローカル端末３００は、図４のカメラ１１０あるいは１１０”およびパーソナ ルコンピュータシステム１２０を使用してハードウェアで物理的に実現されても よい。このような場合、ビデオ信号源３１０は、撮像装置１１１、あるいはカメ ラ１１０”、ハードディスク１４０等を使用して実現されてもよいし、エンコー ダ３１２はビット伝送速度減少器１１５あるいはプロセッサ１９５を使用して実 現されてもよいし、ハウジング３１４はハウジング１５６に対応し、トランシー バ３２０はモデム１５８あるいはイーサネットアダプタ１６０を使用して実現さ れてもよいし、表示モニタ３１８はディスプレイモニタ３１８に対応する。デコ ーダ３１６は、プロ セッサ１２８およびメモリ１３２、１３４、グラフィックアダプタ１３６あるい はバス１２６、１２４あるいは１２２の中の１つに接続された他の適当な復号化 回路で実現できる。局部的に発生する圧縮ビデオ信号ＬＬＶ＿１およびＥＬＶ＿ １はＵＳＢ２００を介してデコーダ３１６に入力されてもよい。 オーディオを検出し、符号化し、送信し、受信し、復号化し、かつ出力するた めのハードウェアは図５に示されていない。しかしながら、図４のマイクロホン １６２、圧縮器１６６、ＵＳＢ２００、ディスプレイモニタ１３８の外部スピー カあるいはスピーカのような適当な回路は前述のように使用されてもよい。 前述のように、ＵＳＢは、１２Ｍビット／秒までのデータ速度をサポートでき る。一方、通信チャネル３２２は、二重送信ビット伝送速度が３３．６Ｋビット ／秒にすぎなくてもよい。バンド幅の少なくとも一部はオーディオに割り当てら れなければならない。したがって、各信号ＬＬＶ＿１およびＬＬＶ＿ｒはＵＳＢ の最大バンド幅の５％よりもはるかに小さく割り当てられもよい。したがって、 実質的により高いバンド幅はエンコーダ３１２とデコーダ３１６との間を接続す るためにサポートできる。大量の過剰バンド幅は局部的に発生するエンハンスメ ントレイヤ圧縮ビデオ信号ＥＬＶ＿１に割り当てられてもよい。それ自体、局部 的に発生するエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１および局部的に 発生するベースレイヤ圧縮ビデオ信号ＬＬＶ＿１から再生される復号化エンハン スビデオ信号ＤＶＥ＿１は、局部的に発生するベースレイヤ圧縮ビデオ信号ＬＬ Ｖ＿ｒ（あるいは局部的に発生するベースレイヤ圧縮ビデオ信号ＬＬＶ＿１のみ ）から再生される復号化ベースレイヤビデオ信号ＤＶＬ＿ｒと比較して、（ＬＬ Ｖ＿１のために使用されない過剰ＵＳＢバンド幅が、ＥＬＶ＿１のために割り当 てられる量に応じて）非常に高い忠実度を有することが できる。 デコーダ３１６は、３つの信号、すなわちＬＬＶ＿１、ＥＬＶ＿１およびＬＬ Ｖ＿ｒを同時に復号化しなければならないことに注目しなければならない。した がって、デコーダ３１６の処理要求を減らすために、これらの信号の符号化をで きるだけ多く簡略化することが望ましい。本発明の別の実施例によると、これは 、ＥＬＶ＿１の符号化および復元化を簡略化することによって達成される。信号 より複雑な符号化技術およびアーキテクチャは、特定の忠実度復号化エンハンス ビデオ信号ＤＶＥ＿１を再構成するように、復号化できるエンハンスメントレイ ヤ圧縮ビデオ信号ＥＬＶ＿１を発生する際にバンド幅を保持できるが、ＵＳＢは ＥＬＶ＿１に割り当てられてもよい莫大な過剰容量を有する。したがって、簡単 な復号化技術あるいはアーキテクチャに従うべき簡単な符号化技術あるいはアー キテクチャは、符号化リソースおよび復号化リソースを保持し、エンコーダアー キテクチャおよびデコーダアーキテクチャを簡単にするためにＵＳＢバンド幅の この犠牲を正当化する。本発明はメモリ空間も保護する。 図６は、本発明の実施例によるエンコーダ４００を示している。エンコーダ４ ００は、ベースレイヤ空間エンコーダ４３０と、ベースレイヤ時間エンコーダ４ ６０と、エンハンスメントレイヤエンコーダ４７０とを含む。空間エンコーダ４ ３０は、離散的コサイン変換器４０４と、量子化器４０６と、量子化器アダプタ ４２０と、ランレベル可変長エンコーダ（図示せず）と、速度バッファ（図示せ ず）とを含んでいる。時間エンコーダ４６０は、空間デコーダ４４０と、動き補 償器４１６と、減算器４０４とを含んでいる。空間デコーダ４４０は、非量子化 器４０８と、逆離散的コサイン変換器４１０と、加算器４１２と、画像メモリ４ １４とを含んでいる。エンハンスメントレイヤエンコーダ４７０は、非量子化器 ４０８と、逆離散的コサイン変換器４１０と、加算器４１２と、減算器４１８と 、離散的 コサイン変換器４０４と、量子化器４０６と、量子化器アダプタ４２０と、ラン レベル可変長エンコーダ（図示せず）と、速度バッファ（図示せず）とを含んで いる。ブロックフォーマッタ４０２も装備されるが、ビデオ信号が既にブロック およびマクロブロックにフォーマット化されている場合、省略されてもよい。 ベースレイヤ補償ビデオ信号ＬＬＶ＿１の発生は図１のエンコーダ１０におけ るのと同様に生じる。ベースレイヤ圧縮ビデオ信号のための信号フローは図６の 細い線によって示される。ディジタルビデオＶは、ディジタルビデオをブロック およびマクロブロックに形成するブロックフォーマッタ４０４に入力される。選 択される符号化すべきフレームにおける符号化すべきマクロブロックは、時間エ ンコーダ４６０の減算器４０４および動き補償器４１６に入力される。適切な予 測マクロブロックが動き補償器４１６によって符号化すべきマクロブロックのた めに検出されるならば、予測マクロブロックのブロックは減算器４０４に出力さ れる。動き補償器４１６は、出力のために装備されている運動ベクトルＭＶによ って選択される予測マクロブロックを識別する。予測される符号化すべきマクロ ブロックが基準フレームにある場合、運動ベクトルＭＶは、基準フレームを再構 成するための時間エンコーダ４６０のデコーダ４４０によっても使用される。減 算器４０４は、予測マクロブロックの各ブロックを符号化すべきマクロブロック の対応するブロックから減算する。 スイッチは、出力Ｂを介してあるいは符号化すべきマクロブロックのブロック を出力Ａを介して減算器４０４から出力される予測エラーマクロブロックのブロ ックを選択する。スイッチは、Ｉフレームのための符号化すべきマクロブロック のブロックを常に選択し、十分な一致予測マクロブロックが全くそのために検出 されない場合、あるいはそれにもかかわらず強制的にマクロブロックを空間的に のみ復号化する決定が下される場合（ス ライス内リフレッシュの場合のように）他のフレームにおける符号化すべきマク ロブロックのブロックを選択する。 選択ブロックは離散的コサイン変換器４０４で離散的コサイン変換される。各 係数は、量子化マトリックスあるいはより重要なことには量子化器ステップサイ ズあるいは“量子化器スケールファクタ”のような調整可能な量子化パラメータ を使用して量子化器４０６で量子化される。量子化器スケールファクタは、“ｑ ＿ｓｃａｌｅ＿１”と示されるパラメータを使用して量子化器アダプタ４２０に よってベースレイヤのために特に調整される。このように発生される係数は、あ る所定の（ジグザグあるいは代替走査）順序に従って１つのシーケンスにスキャ ンアウトされる。 時間エンコーダ４６０のデコーダ４４０は基準フレームのベースレイヤ圧縮ビ デオ信号を復号化する。このフレームの量子化ベースレイヤマクロブロック係数 は、非量子化器（量子化器４０６と同じのｑ＿ｓｃａｌｅ＿１のような量子化パ ラメータを使用する）で非量子化される。非量子化係数はブロックに逆スキャン バックされる。非量子化係数のブロックは、逆離散的コサイン変換器４１０で逆 離散的コサイン変換され、ピクセルデータ（のマクロブロック）のブロックを発 生する。このように発生されたマクロブロックが予め空間的に符号化されるだけ である場合、スイッチは出力されるマクロブロックを出力Ｃを介して選択する。 マクロブロックが動き補償時間的符号化および空間的符号化の両方が行われる場 合（すなわち、予測エラーマクロブロックである場合）、復号化予測エラーマク ロブロックに関連する運動ベクトルＭＶによって識別される適切な予測マクロブ ロックは画像メモリ４１４から引き出される。引き出された予測マクロブロック は復号化予測エラーマクロブロックを加算器４１４で加算される。このように発 生した合計は出力を介して出力され、スイッチによって選択される。スイッチに よって選択された再構成マクロブロックは、その相対空 間ロケーション（ピクセル行列およびカラム）および時間ロケーション（それが 対応するフレーム）に対応する画像メモリ４１４の適切なロケーションに記憶さ れる。 Ｑ＿１と示されるベースレイヤ量子化係数のシーケンス、量子化器スケールフ ァクタｑ＿ｓｃａｌｅ＿１および運動ベクトルＭＶ、ならびに他の階層フラグお よび識別子（例えば、シーケンス、画像、マクロブロック等、レイヤヘッダおよ びフラグ）は、ＭＰＥＧ‐１、ＭＰＥＧ‐２、Ｈ．２６３等のような若干の規格 に従うベースレイヤ圧縮ビデオ信号ＬＬＶ＿１に多重化される。 エンハンスメントエンコーダ４７０を使用するエンハンスメントレイヤ圧縮ビ デオ信号ＥＬＶ＿１の発生は次に述べられる。非量子化器４０８は、基準フレー ムおよび非基準フレームの両方のベースレイヤマクロブロック係数を非量子化す る。逆離散的コサイン変換器４１０は、非量子化ベースレイヤマクロブロック係 数データを逆離散的コサイン変換し、ピクセルデータのマクロブロックおよびピ クセルデータ予測エラーマクロブロックの両方を再構成する。このように発生さ れたマクロブロックが空間的に符号化されるだけである場合、それはスイッチに よって出力Ｃを介して選択される。一方、マクロブロックが動き補償時間的およ び空間的の符号化の両方が行われる場合、予測エラーマクロブロックは加算器４ １２に出力される。そのための適切な予測マクロブロックは対応する運動ベクト ルＭＶによって識別されるように画像メモリ４１４から引き出される。予測マク ロブロックは予測エラーマクロブロックに加算され、スイッチによって出力Ｄを 介して選択される。 非量子化器４０８、逆離散的コサイン変換器４１０、加算器４１２および画像 メモリ４１４がベースレイヤ時間エンコーダ４６０のデコーダ４４０の一部であ ることに注目すべきである。デコーダ４４０は、前述の同一 機能を実行するが、基準フレームによってのみ実行する。このように再構成され た基準フレームは予測する際に使用するための画像メモリ４１４に記憶される。 ベースレイヤにおける動き補償時間予測を生成する目的およびエンハンスメント レイヤを生成する目的のための復号化は同時に実行できることに注目すべきであ る。すなわち、ベースレイヤの全てのフレームは、エンハンスメントレイヤエン コーダ４７０およびベースレイヤ時間エンコーダ４６０の両方で使用するために 単一時間に再構成される。しかしながら、基準フレームのみが画像メモリ４１４ に記憶され、ベースレイヤ時間エンコーダ４６０における時間動き補償予測形成 のために実際に使用される。 各マクロブロックはスイッチによって選択され（多分画像メモリ４１４に記憶 される）ので、選択マクロブロックは減算器４１８に出力される。減算器４１８ は同じマクロブロックの時間的および空間的に整列された元のバージョンも入力 ビデオ信号Ｖから受信し、異なるマクロブロックを発生する。すなわち、他の方 法を述べると、入力ビデオ信号Ｖが元のマクロブロックＭＢ（Ｘ，ｙ，ｔ）で形 成されるものと仮定する。ここで、ｘは元のマクロブロックＭＢ（Ｘ，ｙ，ｔ） の水平ピクセル位置であり、ｙは元のマクロブロックＭＢ（Ｘ，ｙ，ｔ）の垂直 ピクセル位置であり、ｔは元のマクロブロックＭＢ（Ｘ，ｙ，ｔ）を含む元のビ デオ信号の特定フレーム（あるいは画像）を示している。各元のマクロブロック ＭＢ（ｘ，ｙ，ｔ）はベースレイヤ符号化マクロブロックＭＢ_LLV（ｘ，ｙ，ｔ ）に符号化される。このベースレイヤ符号化マクロブロックＭＢ_LLV（ｘ，ｙ， ｔ）は再構成マクロブロックＭＢ_DVL（ｘ，ｙ，ｔ）を形成するように復号化さ れる。減算器４１８は、この再構成マクロブロックＭＢ_DVL（ｘ，ｙ，ｔ）を元 のマクロブロックＭＢ（ｘ，ｙ，ｔ）から減算し、差マクロブロックＭＢ_d（ｘ ，ｙ，ｔ）を形成する。ここで、マクロブロックＭＢ_d （ｘ，ｙ，ｔ）＝ＭＢ（ｘ，ｙ，ｔ）−ＭＢ_DVL（ｘ，ｙ，ｔ）である。これは 元の入力ビデオ信号Ｖの各元のマクロブロック、すなわち各ｘ、ｙおよびｔに対 して行われる。減算器４１８によって実行される減算は、ピクセル・バイ・ピク セルに基づいて通常のマトリックス数学的処理に従って実行される。したがって 、行、列および画像は、ＭＢ_DVL（ｘ，ｙ，ｔ）の各ピクセルおよびＭＢ_DVL（ｘ ，ｙ，ｔ）が減算されるＭＢ（ｘ，ｙ，ｔ）の対応するピクセルに対して同一で ある。他の方法を述べると、ベースレイヤ圧縮ビデオ信号ＬＬＶ＿１から再構成 された各フレーム（画像）の各マクロブロックの各ピクセルは、ベースレイヤ圧 縮ビデオ信号ＬＬＶ＿１が減算される元のビデオ信号Ｖのピクセルに空間的およ び時間的に整列される。 このように形成された差マクロブロックは、次に離散的コサイン変換器４０４ で離散的コサイン変換され、差マクロブロック係数データを発生する。このよう に形成された差マクロブロック係数は、量子化器４０６を使用して量子化され、 （１つのシーケンスにスキャンアウトされる）。通常ｑ＿ｓｃａｌｅ＿１とは異 なる（特に、より細かい）量子化器スケールパラメータ“ｑ＿ｓｃａｌｅ＿ｅ” は、量子化器アダプタ４２０から量子化を制御する量子化器４０６に出力される 。Ｑ＿ｅと示される量子化差マクロブロック係数およびパラメータｑ＿ｓｃａｌ ｅ＿ｅは、次に、エンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１に形成され る。このようなストリームを形成する際に、量子化差マクロブロック係数はエン トロピ符号化されてもよい（例えば、ランレベルおよび可変長符号化される）。 付加インディケータおよびフラグ情報（例えば、画像、シーケンス、マクロブロ ックヘッダおよびフラグ）はエンハンスメントレイヤストリームに挿入されても よい。このような付加インディケータおよびフラグ情報に対して厳密に規定され たシンタックスおよびセマンティクスはここでは全然提供さ れてない（そのうえ、ベースレイヤ圧縮ビデオ信号と違って、ＭＰＥＧ‐１、Ｍ ＰＥＧ‐２、Ｈ．２６３等のような周知の従来の規格に従って厳密に規定された ものは何もない）が、ベースレイヤ圧縮ビデオ信号あるいはある他のタイプのエ ンハンスメントレイヤ圧縮ビデオ信号で使用されるのと同様なシンタックスおよ びセマンティクス（空間、ＳＮＲ、時間あるいはデータの位置決めスケーラビリ ティ）はエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１で使用されてもよい 。このようなシンタックスおよびセマンティクスは、当該技術の常識の範囲内に あり、したがってここでは説明されない。 動き補償および時間予測がエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１ を符号化するために全然使用されないことに注目する。もっと正確に言えば、動 き補償および時間復号化は、差ビデオ信号を形成するように、復号化ビデオ信号 が時間的、空間的に整列された形で元のビデオ信号Ｖから減算されるベースレイ ヤ圧縮ビデオ信号ＬＬＶ＿１を、復号化するために使用される。差ビデオ信号は 、次に空間的に符号化されるだけである。それ自体、エンコーダ４００は、エン ハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１を符号化する必要がなく、画像メ モリ４１４のメモリ空間はエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１か ら再構成されたフレーム（画像）に対して全然割り当てられる必要がない。 ベースレイヤ圧縮ビデオ信号およびエンハンスメントレイヤ圧縮ビデオ信号を 構成した後、エンコーダ４００は、これらの２つの信号を容易に識別し、多重分 離することができる形でこれらの２つの信号を一緒に多重化する。 デコーダ５００は、遠隔的に発生する（低忠実度）ベースレイヤ圧縮ビデオ信 号ＬＬＶ＿ｒを復号化するために、前述の周知の方法に従って作動できる。さら に、デコーダ５００は、局部的に発生するベースレイヤ圧縮 ビデオ信号ＬＬＶ＿１およびエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１ を下記のように復号化する。 図７は、本発明によるデコーダ５００をより詳細に示している。ベースレイヤ 圧縮ビデオ信号およびエンハンスメントレイヤ圧縮ビデオ信号を含むビットスト リームは多重分離装置５０２によって多重分離される。多重分離装置５０２は、 トランシーバ３２０（図５）に出力するためのベースレイヤ圧縮ビデオ信号ＬＬ Ｖ＿１を発生できる。さらに、多重分離装置５０２は、ベースレイヤ圧縮ビデオ 信号ＬＬＶ＿１およびエンハンスメントレイヤ圧縮ビデオ信号ＥＬＶ＿１のエン トロピ符号化量子化係数信号、運動ベクトルＭＶ、およびベースレイヤ圧縮ビデ オ信号およびエンハンスメントレイヤ圧縮ビデオ信号に対する量子化器スケール パラメータｑ＿ｓｃａｌｅ＿１およびｑ＿ｓｃａｌｅ＿ｅをそれぞれ分離出力す る。 ベースレイヤビデオ信号およびエンハンスメントレイヤビデオ信号のエントロ ピ符号化量子化係数は、エントロピ（可変長およびランレベル）デコーダ５０４ に入力される。エントロピデコーダ５０４は、エンハンスメントレイヤ圧縮ビデ オ信号の量子化差マクロブロック係数Ｑ＿ｅおよびベースレイヤビデオ信号の量 子化マクロブロック係数および予測エラーマクロブロック係数Ｑ＿１を発生する 。量子化差マクロブロック係数Ｑ＿ｅおよび量子化マクロブロック係数および予 測エラーマクロブロック係数は非量子化器５０６に入力される。量子化器スケー ルパラメータｑ＿ｓｃａｌｅ＿１およびｑ＿ｓｃａｌｅ＿ｅは非量子化器５０６ にも入力される。量子化器スケールパラメータｑ＿ｓｃａｌｅ＿ｅを使用して、 非量子化器５０６は、量子化差マクロブロック係数Ｑ＿ｅを非量子化し、非量子 化差マクロブロック係数を発生する。量子化器スケールパラメータｑ＿ｓｃａｌ ｅ＿１を使用して、非量子化器５０６は、量子化マクロブロック係数および予測 エラーマクロブロック係数Ｑ＿１を非量子化し、非量子化マクロ ブロック係数および予測エラーマクロブロック係数を発生する。信号Ｑ＿ｅおよ びＱ＿１の非量子化係数は、ある所定の順序に従ってスキャンアウトされ、差マ クロブロック、マクロブロックおよび予測エラーマクロブロックの非量子化ブロ ックを発生する。非量子化ブロックは、次に逆離散的コサイン変換器５０８で逆 離散的コサイン変換され、空間的復号化差マクロブロック、マクロブロックおよ び予測エラーマクロブロックを発生する。 復号化ベースレイヤビデオ信号は下記のように形成される。各空間的復号化マ クロブロックは、再構成マクロブロックとしてスイッチを通って出力Ｃを介して 出力される。各空間的復号化予測エラーマクロブロックは加算器５１０に出力さ れる。空間的復号化予測エラーマクロブロックに関連する１つあるいはそれ以上 の運動ベクトルＭＶは、それに対応する予測マクロブロックを引き出す目的のた めに画像メモリ５１２に出力される。引き出された予測マクロブロックは加算器 ５１０にも出力される。加算器５１０は、予測エラーマクロブロックを引き出さ れた予測マクロブロックに加算し、再構成マクロブロックを形成する。再構成マ クロブロックはスイッチを通って出力Ｄを介して出力される。基準フレームの各 再構成マクロブロックはさらに画像メモリ５１２に記憶される。 各空間的復号化差マクロブロックは逆離散的コサイン変換器５０８から加算器 ５１４に出力される。加算器５１４は、各空間的復号化差マクロブロックを、ベ ースレイヤ圧縮ビデオ信号から再構成され、スイッチを通して出力されるその対 応する空間的および時間的整列マクロブロックに加算する。このように発生され た合計は復号化エンハンスメントレイヤビデオ信号ＤＶＥ＿１のエンハンス再構 成マクロブロックである。復号化エンハンスメントレイヤビデオ信号ＤＶＥ＿１ の全フレームが復号化されるまで、このようなエンハンス再構成マクロブロック はディスプレイバッファ（図示せず）に一時的に集合されてもよい。信号ＤＶＥ ＿１の復号化フレーム は、それから表示される。 下記で、表１は、シミュレーションでベースレイヤ圧縮ビデオ信号から再構成 されたビデオ信号の選択フレームのクロミナンス成分および輝度成分に対する信 号対雑音を示している。表１は、このようなビデオ信号のそれぞれのフレームを 送信するのに必要なビット伝送速度、フレームタイプ、および“ＭＢ内”と示さ れる空間的のみ符号化されるか、あるいは各フレームに対する“ＭＢ間”と示さ れる空間的および時間的の両方で符号化されるマクロブロック数も示している。 各フレームは９９のマクロブロックを有している。量子化係数は、Ｐ（あるいは Ｂ）個のフレームにおける各マクロブロックのために提供される必要がない。も っと正確に言えば、予測エラーマクロブロックがゼロ値係数だけを含むならば、 係数データはこのマクロブロックに対する圧縮ビデオ信号に全く含まられない。 その代わりに、復号化マクロブロックは予測マクロブロックとして再構成される 。 表２は、本発明によるエンハンスメントレイヤ圧縮ビデオ信号を使用して構成 されたビデオ信号に対する同様なシミュレーション結果を下記に示している。 復号化エンハンスメントレイヤビデオ信号ＤＶＥの輝度信号対雑音は復号化ベ ースレイヤビデオ信号ＤＶＬにおいてよりも約１５ｄＢ高いことが分かる。同様 に、復号化エンハンスメントレイヤビデオ信号ＤＶＥのクロミナンス信号対雑音 は復号化ベースレイヤビデオ信号ＤＶＬにおいてよりも約８〜１０ｄＢ高い。ビ デオバンド幅要求は、ベースレイヤ圧縮ビデオ信号ＬＬＶ＿１だけに対する３０ ．９８ｋｂｐｓからエンハンスメントレイヤ圧縮ビデオ信号およびベースレイヤ 圧縮ビデオ信号ＥＬＶ＿１およびＬＬＶ＿１の両方に対する７９８ｋｂｐｓに増 加する。増加されたバンド幅要求は、最新のモデム技術の下での簡単な通常の電 話システムダイアルアップ接続のバンド幅よりも大きい。しかしながら、増加さ れたバンド幅要求はＵＳＢの１２Ｍｂｐｓの最大バンド幅内で十分である。 上記の議論は本発明の単なる例示であることを目的としている。当業者は下記 の請求の範囲の精神および範囲を逸脱しないで多数の他の実施例を発明できる。

───────────────────────────────────────────────────── 【要約の続き】 時間的復号化の両方を施し、その各ピクチャの各ピクセ ルを、もとのビデオ信号（Ｖ）のピクチャの対応する空 間的及び時間的にアライメントのとれたピクセルから減 算して（４１８）、差分ビデオ信号を形成することによ って生じさせることが可能である。次に、差分ビデオ信 号に空間的符号化だけを施すと、第２の圧縮ビデオ信号 が生じる。もとのビデオ信号の第１の復号化バージョン を生じさせるため、第１の圧縮ビデオ信号には、空間的 復号化（５０４、５０６、５０８）と動き補償時間的復 号化（５１０、５１２、ＳＷ）の両方を施し、第２の圧 縮ビデオ信号には、空間的復号化だけを施すことが可能 である。第２の復号化ビデオ信号の各ピクチャの各ピク セルが、第１の復号化ビデオ信号の対応する時間的及び 空間的にアライメントのとれたピクチャのピクセルに加 算することが可能である（５１４）。

Claims (1)

1. 【特許請求の範囲】 １． ローカルモニタおよび遠隔モニタ上にビデオを表示する方法であって、 （ａ）ビデオ信号を供給し、 （ｂ）前記ビデオ信号を符号化し、第１の圧縮ビデオ信号を発生し、 （ｃ）前記第１の圧縮ビデオ信号を使用して、前記ビデオ信号を符号化し、 第２の圧縮ビデオ信号を発生し、 （ｄ）前記第１および第２の圧縮ビデオ信号の両方をローカル端末に送信し 、 （ｅ）前記ローカル端末で、前記第１および第２の圧縮ビデオ信号を復号化 し、第１および第２の復号化ビデオ信号を発生し、前記ビデオ信号の第１の復号 化バージョンを前記第１および第２の復号化ビデオ信号の組み合わせから取り出 し、 （ｆ）前記第１の圧縮ビデオ信号だけを通信チャネルを介して遠隔端末に送 信することを含み、それによって前記遠隔端末が、前記ビデオ信号の第２の復号 化バージョンを前記第１の圧縮ビデオ信号だけから取り出すことができることを 特徴とする方法。 ２． 前記ステップ（ｃ）が、さらに （ｃ１）前記第１の圧縮ビデオ信号を復号化し、前記第１の復号化ビデオ信 号を発生するステップと、 （ｃ２）前記第１の復号化ビデオ信号を前記ビデオ信号から減算し、差ビデ オ信号を発生するステップと、 （ｃ３）前記差ビデオ信号を空間的にのみ符号化し、前記第２のビデオ信号 を発生するステップとを含むことを特徴とする請求項１の方法。 ３． 前記ステップ（ｃ２）において、前記第１の復号化ビデオ信号の各 ピクセルが前記ビデオ信号の空間的および時間的に整列されたピクセルから減算 されることを特徴とする請求項２の方法。 ４． 前記ステップ（ｃ１）がさらに、 （ｃ１ａ）前記第１の圧縮ビデオ信号の各マクロブロックおよび各予測エラ ーマクロブロックを空間的に復号化するステップと、 （ｃ１ｂ）前記予測エラーマクロブロックに関連した少なくとも１つの運動 ベクトルを使用してそのための予測マクロブロックを識別することによって各空 間的復号化予測エラーマクロブロックを時間的に復号化し、かつ前記識別予測マ クロブロックを前記空間的復号化予測エラーマクロブロックに加算するステップ とを含むことを特徴とする請求項２の方法。 ５． 前記ステップ（ｂ）が前記第１の圧縮ビデオ信号に関連した第１の量子化 スケールパラメータを使用して前記ビデオ信号を量子化することを含み、かつス テップ（ｃ３）が前記第２の圧縮ビデオ信号に関連した第２の量子化スケールパ ラメータを使用して前記差ビデオ信号を量子化することを含むことを特徴とする 請求項２の方法。 ６． さらに、 （ｃ１）ステップ（ｄ）よりも前に、前記第１および第２の圧縮ビデオ信号 を一緒に多重化するステップと、 （ｄ１）ステップ（ｅ）よりも前に、前記ローカル端末で前記第１および第 ２の圧縮ビデオ信号を多重分離化するステップとを含むことを特徴とする請求項 １の方法。 ７． さらに、 （ｆ）前記ローカル端末で第３の圧縮ビデオ信号を前記遠隔端末から受信す るステップと、 （ｇ）前記第３の圧縮ビデオ信号を復号化し、復号化された第３のビデオ信 号を得るステップと、 （ｈ）前記復号化された第３のビデオ信号および前記ビデオ信号の前記第１ の復号化バージョンを同一ディスプレイスクリーン上に同時に表示するステップ とを含むことを特徴とする請求項１の方法。 ８． 前記ビデオ信号の前記第１の復号化バージョンが前記ディスプレイスクリ ーンの第１の部分上に表示され、かつ局部的に発生する画像を描写し、および前 記復号化された第３のビデオ信号が前記ディスプレイスクリーンの第２の部分上 に表示され、かつ遠隔的に発生する画像を描写することを特徴とする請求項７の 方法。 ９． さらに、 （ｉ）前記ローカル端末でオーディオ信号を前記遠隔端末から受信するステ ップと、 （ｊ）前記オーディオ信号を復号化し、復号化オーディオ信号を得るステッ プと、 （ｋ）前記ローカル端末で前記オーディオ信号を出力するステップとを含む ことを特徴とする請求項７の方法。 １０．ローカルモニタおよび遠隔モニタ上にビデオを表示する装置であって、 （ａ）ビデオ信号を供給するビデオ信号源と、 （ｂ）前記ビデオ信号源に接続されたエンコーダであって、前記ビデオ信号 を符号化し、第１の圧縮ビデオ信号を発生し、かつ前記第１の圧縮ビデオ信号を 使用して、前記ビデオ信号を符号化し、第２の圧縮ビデオ信号を発生するエンコ ーダと、 （ｃ）ローカル端末にあり、かつ前記エンコーダに接続されたデコーダであ って、前記第１の圧縮ビデオ信号を復号化し、第１の復号化ビデオ信号を発生し 、前記第２の圧縮ビデオ信号を復号化し、第２の復号化ビデオ信号を発生し、か つ前記第１および第２の復号化ビデオ信号を結合し、 前記ビデオ信号の第１の復号化バージョンを発生するデコーダと、 （ｄ）前記第１の圧縮ビデオ信号だけを遠隔端末に送信する送信機とを備え 、それによって前記遠隔端末が、前記ビデオ信号の第２の復号化バージョンを前 記第１のビデオ信号だけから取り出すことができることを特徴とする装置。 １１．前記エンコーダがさらに、 前記第１の圧縮ビデオ信号を復号化し、前記第１の復号化ビデオ信号を発 生する第２のデコーダと、 前記ビデオ信号源および前記第２のデコーダに接続され、前記第１の復号 化ビデオ信号を前記ビデオ信号から減算し、差ビデオ信号を発生する減算器と、 前記減算器に接続され、前記差ビデオ信号を空間的にのみ符号化し、第２ のビデオ信号を発生する空間エンコーダとを含むことを特徴とする請求項１０の 装置。 １２．前記減算器が、前記第１の復号化ビデオ信号の各ピクセルを前記ビデオ信 号の空間的および時間的に整列されたピクセルから減算することを特徴とする請 求項１１の装置。 １３．前記第２のデコーダがさらに、 前記第１の圧縮ビデオ信号の各マクロブロックおよび各予測エラーマクロ ブロックを空間的に復号化する空間デコーダと、 前記予測エラーマクロブロックに関連した少なくとも１つの運動ベクトル を使用して各空間的復号化予測エラーマクロブロックに対する予測マクロブロッ クを識別する画像メモリと、 前記識別予測マクロブロックを前記空間的復号化予測エラーマクロブロッ クに加算する加算器とを含み、 前記画像メモリおよび前記加算器が、前記第１の圧縮ビデオ信号の 各予測エラーマクロブロックを時間的に復号化することを特徴とする請求項１１ の装置。 １４．さらに、 前記第１の圧縮ビデオ信号に関連した第１の量子化スケールパラメータを 使用して前記ビデオ信号を量子化し、かつ前記第２の圧縮ビデオ信号に関連した 第２の量子化スケールパラメータを使用して前記差ビデオ信号を量子化する量子 化器を含むことを特徴とする請求項１１の装置。 １５．前記エンコーダが、前記第１および第２の圧縮ビデオ信号を一緒に多重化 し、かつ前記第１および第２のビデオ信号を前記ローカル端末で多重分離するこ とを特徴とする請求項１０の装置。 １６．さらに、 前記ローカル端末で第３の圧縮ビデオ信号を前記遠隔端末から受信する受 信機と、 前記ローカル端末にあるディスプレイスクリーンとを含み、 前記デコーダが、前記第３のビデオ信号を復号化し、復号化された第３の ビデオ信号を得て、かつ前記ディスプレイスクリーンが、復号化された第３のビ デオ信号および前記ビデオ信号の前記第１の復号化バージョンの両方を同時に表 示することを特徴とする請求項１０の装置。 １７．前記ビデオ信号の前記第１の復号化バージョンが前記ディスプレイスクリ ーンの第１の部分上に表示され、かつ局部的に発生する画像を描写し、および前 記復号化された第３のビデオ信号が前記ディスプレイスクリーンの第２の部分上 に表示され、かつ遠隔的に発生する画像を描写することを特徴とする請求項１６ の装置。 １８．さらに、 前記ローカル端末でオーディオ信号を前記遠隔端末から受信する受信機と 、 前記オーディオ信号を復号化し、復号化オーディオ信号を得るオーディオ デコーダと、 前記ローカル端末で前記オーディオ信号を出力するスピーカとを含むこと を特徴とする請求項１０の装置。 １９．ビデオ信号を符号化する方法であって、 （ａ）一連の元の画像を含むビデオ信号を供給するステップと、 （ｂ）第１の圧縮ビデオ信号を発生するように前記ビデオ信号を符号化する ステップであって、前記ビデオ信号の少なくとも一部を選択的に時間的に動き補 償するステップおよび前記ビデオ信号を空間的に符号化するステップを含むステ ップと、 （ｃ）前記第１の圧縮ビデオ信号を空間的におよび動き補償時間的に復号化 し、復号化表示可能画像を含む復号化ビデオ信号を発生するステップと、 （ｄ）前記復号化ビデオ信号の各画像の各ピクセルを前記ビデオ信号の元の 画像の対応する空間的および時間的に整列されたピクセルから減算し、差ビデオ 信号を形成するステップと、 （ｅ）前記差ビデオの各画像に関する空間符号化だけを使用して前記差ビデ オ信号を符号化し、第２の圧縮ビデオ信号を発生するステップとを含むことを特 徴とするビデオ信号を符号化する方法。 ２０．前記ステップ（ｂ）が前記第１の圧縮ビデオ信号に関連する第１の量子化 スケールパラメータを使用して前記ビデオ信号を量子化することをさらに含み、 かつ前記ステップ（ｅ）が前記第２の圧縮ビデオ信号に関連した第２の量子化ス ケールパラメータを使用して前記差ビデオ信号を量子化することを含むことを特 徴とする請求項１９の方法。 ２１．ビデオ信号を符号化する装置であって、 一連の元の画像を含むビデオ信号を供給するビデオ信号源と、 前記ビデオ信号を動き補償時間的に符号化する時間エンコーダと、 前記時間エンコーダとともに前記ビデオ信号を符号化し、第１の圧縮ビデ オ信号を発生する空間エンコーダと、 前記第１の圧縮ビデオ信号を空間的および動き補償時間的に復号化し、復 号化ビデオ信号を発生するデコーダと、 前記復号化ビデオ信号の各画像の各ピクセルを前記ビデオ信号の元の画像 の対応する空間的および時間的に整列されたピクセルから減算し、差ビデオ信号 を形成する減算器とを備え、 前記空間エンコーダが前記減算器とともに前記差信号も符号化し、前記差 ビデオ信号を空間的にのみ圧縮することによって第２の圧縮ビデオ信号を発生す ることを特徴とする、ビデオ信号を符号化する装置。 ２２．前記空間エンコーダが、前記第１の圧縮ビデオ信号を発生する際に前記第 １の圧縮ビデオ信号に関連する第１の量子化スケールパラメータを使用して係数 を量子化し、かつ前記第２の圧縮ビデオ信号を発生する際に前記第２の圧縮ビデ オ信号に関連した第２の量子化スケールパラメータを使用して係数を量子化する 量子化器をさらに含むことを特徴とする請求項２１の装置。 ２３．再構成ビデオ信号を表示する方法であって、 （ａ）第１および第２の圧縮ビデオ信号を受信し、 （ｂ）前記第１の圧縮ビデオ信号を空間的におよび動き補償時間的に復号化 し、第１の復号化ビデオ信号を発生し、 （ｃ）前記第２の圧縮ビデオ信号を空間的に復号化し、空間的にだけ復号化 された第２のビデオ信号を発生し、 （ｄ）空間的にだけ復号化された前記第２のビデオ信号の各画像の各ピクセ ルを前記第１の復号化ビデオ信号の対応する時間的および空間的に整列された画 像ピクセルに加算し、第３の復号化ビデオ信号を再構成し、 （ｅ）前記第３の復号化ビデオ信号を表示することを含むことを特徴とする 再構成ビデオ信号を表示する方法。 ２４．前記ステップ（ｂ）が前記第１の圧縮ビデオ信号に関連した第１の量子化 スケールパラメータを使用して前記ビデオ信号を非量子化することをさらに含み 、かつ前記ステップ（ｃ）が前記第２の圧縮ビデオ信号に関連した第２の量子化 スケールパラメータを使用して前記差ビデオ信号を非量子化することを含むこと を特徴とする請求項２３の方法。 ２５．前記第１の復号化ビデオ信号の選択基準画像が、前記第１の圧縮ビデオ信 号の他の画像を予測するために記憶されるが、前記第２の復号化ビデオ信号の画 像は、前記第２の圧縮ビデオ信号の画像を予測するために全く記憶されないこと を特徴とする請求項２３の方法。 ２６．再構成ビデオ信号を表示する装置であって、 第１の圧縮ビデオ信号を空間的および動き補償時間的に復号化し、かつ第 ２の圧縮ビデオ信号を空間的に復号化し、第２の空間的にだけ伸長されたビデオ 信号を発生するデコーダと、 前記第２の空間的にだけ復号化されたビデオ信号の各画像の各ピクセルを 前記第１の伸長ビデオ信号の対応する時間的および空間的に整列された画像ピク セルに加算し、復号化ビデオ信号を再構成する加算器と、 前記復号化ビデオ信号を表示するディスプレイスクリーンとを備えている ことを特徴とする再構成ビデオ信号を表示する装置。 ２７．前記デコーダが、前記第１の圧縮ビデオ信号に関連した第１の量子化スケ ールパラメータを使用して前記第１の圧縮ビデオ信号を非量子化し、かつ前記第 ２の圧縮ビデオ信号に関連した第２の量子化スケールパラメータを使用して前記 第２の圧縮ビデオ信号を非量子化する非量子化器をさらに含むことを特徴とする 請求項２６の装置。 ２８．前記第１の圧縮ビデオ信号の他の画像を予測するために前記第１の 復号化ビデオ信号の選択基準画像を記憶し、かつ前記第２の圧縮ビデオ信号の任 意の他の画像を予測するために前記第２の復号化ビデオ信号の任意の画像を記憶 することを抑制するメモリをさらに含むことを特徴とする請求項２６の装置。 ２９．（ａ）一連の元の画像を含むビデオ信号を供給し、 （ｂ）第１の圧縮ビデオ信号を発生するように前記ビデオ信号を符号化す るステップであって、前記ビデオ信号の少なくとも一部を選択的に時間的に動き 補償するステップおよび前記ビデオ信号を空間的に圧縮するステップを含むステ ップと、 （ｃ）前記第１の圧縮ビデオ信号を空間的におよび動き補償時間的に復号 化し、復号化表示可能画像を含む復号化ビデオ信号を発生するステップと、 （ｄ）前記復号化ビデオ信号の各画像の各ピクセルを前記ビデオ信号の元 の画像の対応する空間的および時間的に整列されたピクセルから減算し、差ビデ オ信号を形成するステップと、 （ｅ）前記差ビデオの各画像に関する空間圧縮だけを使用して前記差ビデ オ信号を符号化し、第２の圧縮ビデオ信号を発生するステップにより発生するビ ットストリーム。 ３０．（ａ）第１および第２の圧縮ビデオ信号を受信するステップと、 （ｂ）前記第１の圧縮ビデオ信号を空間的におよび動き補償時間的に復号 化し、第１の伸長ビデオ信号を発生するステップと、 （ｃ）前記第２の圧縮ビデオ信号を空間的に復号化し、第２の空間的にだ け伸長されたビデオ信号を発生するステップと、 （ｄ）前記第２の空間的にだけ伸長されたビデオ信号の各画像の各ピクセ ルを前記第１の伸長ビデオ信号の対応する時間的および空間的に整列された画像 ピクセルに加算し、復号化ビデオ信号を再構成するステップ により発生する復号化ビデオ信号。