JP2005507589A5

JP2005507589A5 -

Info

Publication number: JP2005507589A5
Application number: JP2003539342A
Authority: JP
Filing date: 2002-10-21
Publication date: 2006-01-12

Description

空間スケーラブル圧縮

本発明は、空間スケーラブル圧縮の機構に関するものである。

デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発においてかなりの問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる生のデジタル情報量は大量になる。送信しなければならないデータ量を低減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-1とMPEG-2とMPEG-4とH.263とH264とを含む多様な映像圧縮規格又は処理が確立されている。

１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかにスケーラビリティの技術と称される。スケーラビリティを実施し得る３つの軸が存在する。第１のものは時間軸のスケーラビリティであり、しばしば時間スケーラビリティと称される。第２に、品質軸のスケーラビリティが存在し、しばしば信号対雑音スケーラビリティ又はファイン・グラニュラ・スケーラビリティと称される。第３軸は解像度の軸（画像における画素の数）であり、空間スケーラビリティ又は階層化コーディングと称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム、すなわちレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、下位レイヤが低品質の映像信号を提供する場合があり、上位レイヤが下位レイヤの画像を拡張し得る追加情報を提供する。

特に、空間スケーラビリティは、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間スケーラビリティで、下位レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが下位レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。

大部分の映像圧縮規格は空間スケーラビリティに対応する。図１は、MPEG-2/MPEG-4の空間スケーラビリティに対応するエンコーダー100のブロック図を示したものである。エンコーダー100は下位（基本）エンコーダー112と上位エンコーダー114とを有する。下位エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）120と、動き推定装置122と、動き補償装置124と、直交変換（例えば離散コサイン変換（DCT））回路130と、量子化装置132と、可変長コーダー134と、ビットレート制御回路135と、逆量子化装置138と、逆変換回路140と、スイッチ128と144と、補間及びアップサンプル（upsample）回路150で構成される。上位エンコーダー114は、動き推定装置154と、動き補償装置155と、セレクター（selector）156と、直交変換（例えば離散コサイン変換（DCT））回路158と、量子化装置160と、可変長コーダー162と、ビットレート制御回路164と、逆量子化装置166と、逆変換回路168と、スイッチ170と172とを有する。個々の構成要素の動作は技術的に周知であり、詳細に説明されない。

残念なことに、この階層化コーディングの機構のコーディング効率はあまりよくない。実際に、所定の画像品質において、シーケンスの下位（基本）レイヤと上位レイヤを合わせたビットレートは、一度にエンコードされた同じシーケンスのビットレートより大きい。

図２は、DemoGrafxによって提案された他の既知のエンコーダー200を示したものである。前記エンコーダーは、エンコーダー100と実質的に同じ構成要素で構成され、それぞれの動作は実質的に同じであるため、個々の構成要素は説明されない。この構成において、入力ブロックとアップサンプラ（upsampler）150からのアップサンプル（upsample）された出力との残差が、動き推定装置154に入力される。上位エンコーダーの動き推定を導く／促進するため、図２の点線で示される通り、下位レイヤからの調整された動きベクトルが動き推定装置154で用いられる。しかし、この構成は図１に示される構成の問題を有意に克服しない。

図１と２に示される通り、空間スケーラビリティは映像圧縮規格で対応されているが、コーディング効率の不足により、空間スケーラビリティはあまり使われない。効率的なコーディングの不足とは、所定の画像品質について、シーケンスの下位レイヤと上位レイヤを合わせたビットレートが、一度にエンコードされた同じシーケンスのビットレートより大きいことを意味する。

１つおきの画像フレームで画像品質を少し低減することにより、更に効率的な空間スケーラブル圧縮の機構を提供することによって、既知の空間スケーラビリティの機構の前述の欠点を克服することが、本発明の目的である。

本発明の１つの実施例によると、映像ストリームの適応的コンテンツフィルタリングを用いた空間スケーラブル圧縮を提供する方法と装置が開示される。入力映像ストリームはダウンサンプル（downsample）され、映像ストリームの解像度を低減する。ダウンサンプル（downsample）された映像ストリームはエンコードされ、下位ストリームを作る。下位ストリームはデコードされてアップコンバートされ、再構成された映像ストリームを作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。結果の残差ストリームが上位エンコーダーでエンコードされ、上位レイヤのストリームとして出力される。選択されたフレームの情報は上位エンコーダーでミュート（mute）される。

本発明の他の実施例によると、下位ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法と装置が開示される。下位ストリームはデコードされてアップコンバートされ、デコードされた下位ストリームの解像度を増加させる。エンコードされたフレームが上位ストリームでデコードされ、第１のデコードされた上位ストリームを作る。アップコンバートされたデコードされた下位ストリームは上位ストリームと組み合わされ、映像出力を作る。更に、時間的補間アルゴリズムを用いて、受信上位ストリームで空のフレームについて第２のデコードされた上位ストリームが生成される。第１と第２のデコードされた上位ストリームはインターリーブ（interleave）され、インターリーブ（interleave）された上位ストリームを作る。

本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。

本発明の実施例によると、少なくともいくつかのフレーム情報が上位エンコーダーでミュート（mute）される。例えば、動きベクトルがBフレームの代わりにエンコードされる。Bフレームは連続的な予測に用いられないため、前記フレームは容易に除外され得る。しかし、前記フレームを除外する結果は、他のそれぞれのフレームにおける解像度と鮮明度において変化を明らかに見ることができるため、画像品質に受け入れられない損失になる。後述のように上位レイヤの完全なBフレームの代わりに動きベクトルをコード化することによって、前記の問題が克服され得る。空のBフレームを上位エンコーダーに挿入することによって、上位レイヤの大きさの低減が得られ得る。

図３は、本発明の１つの実施例によるエンコーダーのブロック配置図である。これは本発明を実施するために用いられ得るエンコーダーの説明用の例であり、他のエンコーダーもまた本発明を実施するために用いられ得ることがわかる。描かれたエンコードシステム300は、階層化圧縮を達成し、それによって、チャネルの一部が低解像度の下位（基本）レイヤを提供するために用いられ、残りの部分が上位情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。

エンコーダー300は、下位（基本）エンコーダー312と上位エンコーダー314とを有する。下位エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）320と、動き推定装置322と、動き補償装置324と、直交変換（例えば離散コサイン変換（DCT））回路330と、量子化装置332と、可変長コーダー（VLC）334と、ビットレート制御回路335と、逆量子化装置338と、逆変換回路340と、スイッチ328と344と、補間及びアップサンプル（upsample）回路350で構成される。

入力映像ブロック316は、スプリッタ318で分割され、下位エンコーダー312と上位エンコーダー314の双方に送信される。下位エンコーダー312において、入力ブロックは、低域通過フィルタ及びダウンサンプラ（downsampler）320に入力される。低域通過フィルタは、動き推定装置322に供給される映像ブロックの解像度を低減する。動き推定装置322は、各フレームのピクチャデータをIピクチャ、Pピクチャ又はBピクチャとして処理する。連続して入力されるフレームの各ピクチャは、I,B,P,B,P,…,B,Pの連続のように前もってセットされた方法で、Iピクチャ、Pピクチャ又はBピクチャのうちの１つとして処理される。すなわち、動き推定装置322は、図示されていないフレームメモリに保存された一連のピクチャの前もってセットされた参照フレームを参照し、マクロブロック、すなわち、マクロブロックとマクロブロックの動きベクトルを検出する参照フレームとの間のパターンマッチング（ブロックマッチング）によってエンコードされるフレームの16画素×16ラインの小ブロックの動きベクトルを検出する。

MPEGでは４つの画像予測モード、すなわちイントラ符号化（フレーム内符号化）と、順方向予測符号化と、逆方向予測符号化と、双方向予測符号化とが存在する。Iピクチャはイントラ符号化画像であり、Pピクチャはイントラ符号化画像、順方向予測符号化画像又は逆方向予測符号化画像であり、Bピクチャはイントラ符号化画像、順方向予測符号化画像又は双方向予測符号化画像である。

動き推定装置322はPピクチャで順方向予測を実行し、その動きベクトルを検出する。更に、動き推定装置322はBピクチャで順方向予測と逆方向予測と双方向予測を実行し、それぞれの動きベクトルを検出する。既知の方法で、動き推定装置322は、フレームメモリで現在の入力ブロックの画素と最も似ている画素のブロックを検索する。多様な検索アルゴリズムが技術的に知られている。それらは一般的に、現在の入力ブロックの画素と候補ブロックの画素との間の平均絶対差分（MAD）又は平均二乗誤差（MSE）を評価することに基づく。最小のMAD又はMSEを有する候補ブロックが選択され、動き補償された予測ブロックになる。現在の入力ブロックの位置に関するそのそれぞれの位置が、動きベクトルである。

動き推定装置322から予測モードと動きベクトルを受信することにより、動き補償装置324は、予測モードと動きベクトルに従って、フレームメモリに保存されたエンコードされて既にローカルでデコードされたピクチャデータを読み出し、読み出されたデータを予測画像として計算ユニット325とスイッチ344に供給してもよい。計算ユニット325はまた、入力ブロックを受信し、入力ブロックと動き補償装置324からの予測画像との差を計算する。その差分値がDCT回路330に供給される。

予測モードのみが動き推定装置322から受信される場合、すなわち予測モードがイントラ符号化モードである場合、動き補償装置324は予測画像を出力しなくてもよい。そのような状態では、計算ユニット325は前述の処理を実行しなくてもよいが、その代わりにスイッチ338を通じて入力ブロックをDCT回路330に直接出力してもよい。そのような状態において、IフレームはDCT回路330に転送される。

DCT回路330は、量子化装置332に供給されるDCT係数を得るために、計算ユニット325からの出力信号でDCT処理を実行する。量子化装置332は、フィードバックとして受信されたバッファ（図示なし）のデータ保存量に応じて、量子化ステップ（量子化の大きさ）を設定し、その量子化ステップを用いてDCT回路330からのDCT係数を量子化する。量子化されたDCT係数は、設定された量子化ステップとともにVLCユニット334に供給される。

VLCユニット334は、量子化装置332から供給された量子化ステップに従って、量子化装置332から供給された量子化係数を、ハフマンコードのような可変長コードに変換する。結果の変換された量子化係数は、図示されていないバッファに出力される。量子化係数と量子化ステップはまた、同じものをDCT係数に変換するように、量子化ステップに従って量子化係数を逆量子化する逆量子化装置338に供給される。DCT係数は、DCT係数で逆DCTを実行する逆DCTユニット340に供給される。得られた逆DCT係数は計算ユニット348に供給される。

計算ユニット348は、スイッチ344の位置に応じて、逆DCTユニット340からの逆DCT係数と、動き補償装置324からのデータを受信する。計算ユニット348は、動き補償装置324からの予測画像に逆DCTユニット340からの信号（予測の残差）を合計し、ローカルで元の画像をデコードする。しかし、予測モードがイントラ符号化である場合、逆DCTユニット340の出力は直接フレームメモリに供給されてもよい。計算ユニット348によって得られたデコードされた画像は、イントラ符号化画像、順方向予測符号化画像、逆方向予測符号化画像、又は双方向予測符号化画像の参照画像として後で用いるために、フレームメモリに送信され、それに保存される。

上位エンコーダー314は、動き推定装置354と、動き補償装置356と、DCT回路368と、量子化装置370と、VLCユニット372と、ビットレート・コントローラ374と、逆量子化装置376と、逆DCT回路378と、スイッチ366と384と、減算器358と364と、加算器380と388を有する。更に、上位エンコーダー314はまた、DCオフセット360と384と、加算器362と、減算器386とを含んでもよい。多数の前記構成要素の動作は、下位エンコーダー312の類似の構成要素の動作と似ているため、詳細に説明されない。

計算ユニット348の出力はまた、一般的にデコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と実質的に同じ解像度を有する映像データストリームを提供するアップサンプラ（upsampler）350に供給される。しかし、圧縮と復元から生じる損失とフィルタリングのため、再構成されたストリームに特定の誤差が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、誤差が減算ユニット358で判断される。

図３に示される本発明の１つの実施例によると、元の変更されていない高解像度のストリームはまた、動き推定装置354に提供される。再構成された高解像度のストリームはまた、（場合によってはスイッチ382の位置に応じて動き補償装置356の出力によって修正された）逆DCT378からの出力を加える加算器388に提供される。加算器388の出力は動き推定装置354に供給される。結果として、元の高解像度のストリームと再構成された高解像度のストリームとの間の残差の代わりに、アップスケールされた下位レイヤに上位レイヤを加えたもので動き推定が実行される。この動き推定は、図１及び２の既知のシステムによって作られるベクトルより優れた、実際の動きを追跡する動きベクトルを作る。このことは、専門的なアプリケーションより低いビットレートを有する、特に消費者用アプリケーションにとって知覚的に良い画像品質をもたらす。

前述の通り、空のBフレーム（ミュートしたフレーム情報）を上位エンコーダーに挿入することによって、画像品質に大きい減少をすることなく、上位レイヤの大きさが低減され得る。このことはスイッチ366を用いることによって達成され得る。空のBフレーム（DCT係数なし）と動きベクトルがDCT回路368に供給されるように、スイッチ366が位置付けられ得る。結果として、動きベクトルが上位エンコーダー314によってエンコードされる。

図４は、図３に示されたエンコーダー300によって作られた階層化ビットストリームをデコードする階層化デコーダー400を示したものである。他の階層化デコーダーもまた用いられてもよく、本発明はそれに限定されないことが当業者にわかる。階層化デコーダー400は下位（基本）デコーダー402と上位デコーダー404を有する。下位エンコーダーからの下位ストリームはVLDユニット406に入力される。VLDユニット406は下位ストリームをデコードし、動きベクトルを動き補償装置408に供給する。デコードされたストリームの残りは、逆DCTユニット410に供給される。逆DCTユニット410はDCT係数で逆DCTを実行する。結果の信号は逆量子化装置412に供給される。逆量子化装置412の出力と動き補償装置408の出力が加算ユニット414によって一緒に加算され、SD出力信号416を生成する。SD出力信号416はまた、動き補償装置408にフィードバックされる。

上位デコーダー404はまた、VLDユニット418と、逆DCTユニット420と、逆量子化装置422と、動き補償装置424と、加算ユニット426とを有し、それらは下位デコーダー402の同じ要素と同様の方法で動作する。上位デコーダー404はエンコードされた上位ストリームのフレームをデコードし、少なくともいくつかのフレームについて、それらのフレームに動き情報が保持されているのに、残差の信号がミュート（mute）されている。HD出力を生成するために、加算ユニット426の出力が、加算ユニット430のアップコンバートユニット428によってアップコンバートされているデコードされたSD出力信号416に加えられる。

本発明の他の実施例によると、いくつかのフレームがエンコードされ、いくつかのフレームが上位レイヤでスキップ（ミュート（mute））され、スキップされたフレームについて上位レイヤを生成するために、動き補償アルゴリズムがデコーダーで用いられ得る。図５は、本発明のこの実施例を実施するために用いられ得る例示的なエンコーダー500の説明図である。他のエンコーダーもまた本発明を実施するために用いられ得ることが、当業者によってわかる。エンコーダー500は、図３を参照する前述のエンコーダー300と類似する。同様の参照数字が同様の要素に用いられており、簡潔さのためこの同様の要素の完全な説明は提供されない。エンコーダー500は、エンコーダー300と異なる２つのスイッチ502と504を有する。スイッチ502は上位エンコーダー314によってエンコードされるIフレーム又はPフレーム、Bフレームを選択するように位置付けられる。第２のスイッチ504は上位エンコーダー314の出力に提供される。スイッチ504は、送信のためのエンコードされたフレーム又は空のフレームを選択するように前後に動かされ得る。例えば、エンコードされた上位ストリームの１つおきのフレームがコード化され、その他のフレームがスキップ（ミュート（mute））されるように、各フレームが出力された後にスイッチ504が動かされ得る。エンコードされた上位ストリームでフレームをスキップ（ミュート（mute））することにより、上位ストリームの大きさが大いに低減され得る。

スキップされたフレームが結果の画像の品質に悪影響を与えることから回避するために、時間的（動き補償された、又は動き補償されない）補間ユニット602が図６に示されるデコーダー600に加えられる。デコーダー600はデコーダー400と類似し、同様の参照番号が同様の要素に用いられている。この例において、下位デコーダー402は既知の方法で下位ストリームをデコードする。更に、上位デコーダー404は既知の方法で上位ストリームのエンコードされたフレームをデコードする。時間的補間ユニット602は、上位デコーダー404からのデコードされた上位ストリームを分析することにより、スキップされたフレームについて上位レイヤの出力を生成する。更に、下位レイヤの出力416もまた、時間的補間ユニット602の動き推定を拡張するために用いられ得る。更に、アップコンバート装置428からのアップコンバートされたデコードされた下位ストリームもまた、時間的補間ユニット602に入力され得る。上位デコーダー404の出力は、スイッチ604と606を選択的に前後に動かすことによって、時間的補間ユニット602の出力でインターリーブ（interleave）される。スイッチ604の出力は、例えばストリームIoPoPoP…になる可能性があり、oは元の残差の信号でミュート（mute）されたBフレームを表す。時間的補間ユニットは、スイッチ604の出力でインターリーブ（interleave）されたフレームB’を生成し、インターリーブ（interleave）されたストリームIB’PB’PB’P…を生成する。インターリーブ（interleave）されたストリームとアップコンバートされた下位ストリームは加算ユニット430で組み合わせられ、HD出力ストリームを作る。

本発明の前述の実施例は、上位レイヤでいくつかのフレームをミュート（mute）し、又は部分的にミュート（mute）することで、上位レイヤのビットレートを下げることにより、空間スケーラブル圧縮の機構の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。

空間スケーラビリティを備えた既知のエンコーダーのブロック配置図である。空間スケーラビリティを備えた既知のエンコーダーのブロック配置図である。本発明の１つの実施例による空間スケーラビリティを備えたエンコーダーのブロック配置図である。本発明の１つの実施例による図３に示されたエンコーダーからの映像ストリームをデコードする階層化デコーダーのブロック配置図である。本発明の他の実施例による空間スケーラビリティを備えたエンコーダーのブロック配置図である。本発明の１つの実施例による図５に示されたエンコーダーからの映像ストリームをデコードするデコーダーのブロック配置図である。

Claims

取得された映像フレームをエンコードして、取得された映像フレームを圧縮データストリームに出力するエンコーダーを有し、複数のフレームにおいて取得された映像情報の空間スケーラブル圧縮を実行する装置であって、
相対的に低解像度を有するビットストリームをエンコードする下位レイヤのエンコーダーと、
残差の信号をエンコードし、前記残差の信号が、前記元のフレームと前記下位レイヤからのアップスケールされたフレームとの差である上位レイヤのエンコーダーと、
前記上位エンコーダーで選択されたフレームの情報をミュート（mute）する手段と
を有する装置。
請求項１に記載の映像情報の空間スケーラブル圧縮を実行する装置であって、
選択されたフレームについて、前記選択されたフレームに動き情報を保持する一方で、前記上位レイヤのエンコーダーの前記残差の信号がミュート（mute）される装置。
請求項１に記載の映像情報の空間スケーラブル圧縮を実行する装置であって、
前記エンコードされた残差の信号の選択された全てのフレームがミュート（mute）される装置。
請求項１に記載の映像情報の空間スケーラブル圧縮を実行する装置であって、
フレーム情報が定期的な間隔でミュート（mute）される装置。
請求項４に記載の映像情報の空間スケーラブル圧縮を実行する装置であって、
前記間隔の長さが２である装置。
映像ストリームをエンコードする階層化エンコーダーであって、
前記映像ストリームの解像度を低減するダウンサンプリングユニットと、
より低い解像度の下位ストリームをエンコードする下位エンコーダーと、
デコードして前記下位ストリームの前記解像度を増加させ、再構成された映像ストリームを作るアップコンバートユニットと、
前記再構成された映像ストリームを前記元の映像ストリームから差し引き、残差の信号を作る減算ユニットと、
乗算器からの結果の残差の信号をエンコードし、上位ストリームを出力する上位エンコーダーと、
前記上位エンコーダーで選択されたフレームの情報をミュート（mute）する手段と
を有する階層化エンコーダー。
請求項６に記載の階層化エンコーダーであって、
選択されたフレームについて、前記選択されたフレームに動き情報を保持する一方で、前記上位レイヤのエンコーダーの前記残差の信号がミュート（mute）される階層化エンコーダー。
請求項６に記載の階層化エンコーダーであって、
前記エンコードされた残差の信号の選択された全てのフレームがミュート（mute）される階層化エンコーダー。
請求項６に記載の階層化エンコーダーであって、
フレーム情報が定期的な間隔でミュート（mute）される階層化エンコーダー。
請求項９に記載の階層化エンコーダーであって、
前記間隔の長さが２である階層化エンコーダー。
映像ストリームの適応的コンテンツフィルタリングを用いる空間スケーラブル圧縮を提供する方法であって、
前記映像ストリームをダウンサンプル（downsample）し、前記映像ストリームの解像度を低減するステップと、
前記ダウンサンプル（downsample）された映像ストリームをエンコードし、下位ストリームを作るステップと、
前記下位ストリームをデコードしてアップコンバートし、再構成された映像ストリームを作るステップと、
前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
上位エンコーダーで結果の残差ストリームをエンコードし、上位ストリームを出力するステップと、
前記上位エンコーダーで選択されたフレームの情報をミュート（mute）するステップと
を有する方法。
圧縮された映像情報をデコードする階層化デコーダーであって、
受信された下位ストリームをデコードする下位ストリームのデコーダーと、
前記デコードされた下位ストリームの解像度を増加させるアップコンバートユニットと、
受信されたエンコードされた上位ストリームでフレームをデコードし、第１のデコードされた上位ストリームを生成し、選択されたフレームが動き情報のみを有する上位ストリームのデコーダーと、
前記アップコンバートされたデコードされた下位ストリームと前記上位ストリームを組み合わせ、映像出力を作る加算ユニットと
を有する階層化デコーダー。
請求項１２に記載の階層化デコーダーであって、
前記受信された上位ストリームにおいて、前記選択されたフレームについて第２のデコードされた上位ストリームを生成する時間的補間ユニットと、
前記第１と第２のデコードされた上位ストリームをインターリーブ（interleave）された上位ストリームにインターリーブ（interleave）する手段と
を更に有する階層化デコーダー。
請求項１３に記載の階層化デコーダーであって、
選択されていないデコードされたフレームが、前記時間的補間ユニットに提供される階層化デコーダー。
請求項１３に記載の階層化デコーダーであって、
前記デコードされた下位ストリームが、前記時間的補間ユニットに提供される階層化デコーダー。
請求項１３に記載の階層化デコーダーであって、
前記アップコンバートされたデコードされた下位ストリームが、前記時間的補間ユニットに提供される階層化デコーダー。
下位ストリームと上位ストリームで受信された圧縮された映像情報をデコードする方法であって、
前記下位ストリームをデコードするステップと、
前記デコードされた下位ストリームをアップコンバートし、前記デコードされた下位ストリームの解像度を増加させるステップと、
前記エンコードされた上位ストリームのフレームをデコードし、第１のデコードされた上位ストリームを生成し、選択されたフレームのみが動き情報を有するステップと、
前記アップコンバートされたデコードされた下位ストリームを前記上位ストリームと組み合わせ、映像出力を作るステップと
を有する方法。
請求項１７に記載の方法であって、
時間的補間アルゴリズムを用いて、受信された上位ストリームにおいて、前記選択されたフレームについて第２のデコードされた上位ストリームを生成するステップと、
前記第１と第２のデコードされた上位ストリームをインターリーブ（interleave）し、インターリーブ（interleave）された上位ストリームを生成するステップと、
を更に有する方法。
請求項１８に記載の方法であって、
時間的補間が自然の動きアルゴリズムによって実行される方法。