JP2004529596A - マルチ優先ストリームの生成システム及び方法 - Google Patents

Abstract

圧縮映像データのマルチ優先ストリームの生成システム及び方法。圧縮映像データのストリームへの優先度割り当て方法であって、各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームの各マクロブロックの相対重要度を決定するステップ、及び前記相対重要度に基づき、前記映像フレームの前記各マクロブロックの優先順位付けを行うステップからなることを特徴とする方法が含まれる。

Description

【０００１】
［発明の背景］
１．発明の技術分野
本発明は、一般に、圧縮映像データの処理システムに関し、特に、MPEG映像データを異なる優先度を有する複数のストリームに分割するシステム及び方法に関する。
２．関連技術
映像アプリケーションのオンラインによる配信の要求の継続的な高まりと送信帯域幅の貴重性により、効率的な送信方式の提供が不可欠になっている。そのような方式の１つとして、MPEG符号化映像データを各々独自の優先度を有する複数のストリームに分割するというものがある。「マルチ優先ストリーム（multi-priority stream）」と呼ばれるこのタイプの方式では、映像データの各部がその部分の重要性に応じ、帯域幅の領域を利用することができる。
【０００２】
マルチ優先ストリームが効果的である１つの例として、エラーの影響を受けやすい送信チャンネルを利用したアプリケーションがある。このケースでは、例えば、ある冗長量を提供する付加的エラー保護ビットによりデータの保護を行う必要がある。しかしながら、エラー保護ビットの導入は、帯域幅の使用に関し、追加的なオーバーヘッドを発生させる。MPEGデータを異なる優先度を有する複数のストリームに分割することにより、個々のストリームへの異なるエラー保護レベルの割り当てが可能になる。従って、高い優先度を有するストリームは低い優先度を有するストリームより大きなエラー保護を受ける。これにより、オーバーヘッドはストリームの優先度に応じバランスされる。
【０００３】
マルチ優先ストリームが効果的である第２の例として、複数のQoS（Quality of Service）オプションを提供するネットワークがある。このケースでは、基になるトランスポート（underlying transport）により、送信データに対し異なるレベルのQoSが利用可能となる。このようなシステムを効率的に利用するため、映像データを異なる優先度を有するストリームに分割し、各ストリームを適切なQoSを提供するコネクション上に送信する必要がある。
【０００４】
しかしながら、MPEG映像に対しマルチ優先ストリームを生成する既存の方法は限られている。例えば、１つのアプローチとしては、フレームのタイプに基づき、ビットストリームを異なる優先度に分割するというものである。特に、画質に関し、IフレームはPフレームより一般的に重要であり、PフレームはBフレームより一般的に重要であるので、Iフレームは最も高いの優先度を、Pフレームは中位の優先度を、Bフレームは最も低い優先度を受ける。しかしながら、典型的なIまたはPフレームの実際のサイズは数十万ビットになりうるので、このタイプの優先順位は、３つの優先レベルしか利用されていないので、わずかな効果しかもたらさない。さらに、２つのIフレーム間、あるいは２つのPフレーム間の重要性に関してかなりのばらつきがあるにもかかわらず、このようなばらつきは上記方式では考慮されていない。従って、フレーム間のより詳細な優先順位付けを行う必要性がある。
【０００５】
MPEG映像に対しマルチ優先ストリームを生成する第２のアプローチとしては、ベースレイヤ（base layer）と１つ以上のエンハンスレイヤ（enhancement layer）を備えたスケーラブル映像（scalable video）を生成するというものである。ベースレイヤにはエンハンスレイヤより高い優先度が割り当てられる。このアプローチの問題点は、符号化及び復号化に要する計算量（complexity）が増大するという点と、すでに符号化されている非スケーラブル（non-scalable）ビットストリームをスケーラブルビットストリームにトランスコードしなければならないという点である。
【０００６】
従って、I、P及びBフレーム優先順位付けより詳細な優先順位付けを提供し、スケーラブル映像を利用したシステムの計算量を増やすことなく符号化ビットストリームを直接処理できるシステムが必要とされる。
［発明の概要］
本発明は、マルチ優先送信チャンネル上の送信に適した圧縮映像データのストリームの優先順位付けを行うシステム及び方法を提供することにより、上記問題点及びその他の問題点を解消するものである。第１の特徴として、本発明は、圧縮映像データのストリームへの優先度割り当て方法であって、各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームの各マクロブロックの相対重要度を決定するステップ、及び前記相対重要度に基づき、前記映像フレームの前記各マクロブロックの優先順位付けを行うステップからなることを特徴とする方法を提供する。
【０００７】
第２の特徴として、本発明は、圧縮映像データのストリームへの優先度割り当て方法であって、各マクロブロックがどのくらい頻繁に基準マクロブロックとして機能するかに基づき、複数の映像フレームの各マクロブロックの重要度数を決定するステップ、複数のマクロブロックを複数のマクロブロック群にグループ分けし、各マクロブロック群の前記複数のマクロブロックの重要度数を合成するステップ、及び前記合成された重要度数に基づき、各マクロブロック群の優先順位付けを行うステップからなることを特徴とする方法を提供する。
【０００８】
第３の特徴として、本発明は、圧縮映像データのストリームを符号化するシステムであって、各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームの各マクロブロックの重要度数を決定するシステム、及び各マクロブロックに対し決定された前記重要度数に基づき、前記映像フレームの前記各マクロブロックの優先順位付けを行うシステムからなることを特徴とするシステムを提供する。
【０００９】
第４の特徴として、本発明は、圧縮映像データのストリームの優先順位付けを行うシステムであって、各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、複数の映像フレームの各マクロブロックの重要度数を決定するシステム、複数のマクロブロックを複数のマクロブロック群にグループ分けし、各マクロブロック群の各マクロブロックの前記重要度数を合成するシステム、及び前記合成された重要度数に基づき、各マクロブロック群の優先順位付けを行うシステムからなることを特徴とするシステムを提供する。
【００１０】
第５の特徴として、本発明は、マルチ優先映像データを復号化するデコーダシステムであって、エラー保護方式を複数のデータストリームの各々に関連されるシステム、及び前記エラー保護方式に基づき、各データストリームを解釈するシステムからなり、前記エラー保護方式は、マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、各データストリームの優先順位付けを行う優先順位付けシステムにより決定されることを特徴とするデコーダシステムを提供する。
【００１１】
第６の特徴として、本発明は、記録可能媒体に格納され、実行されると、圧縮映像データのストリームの優先順位付けを行うプログラムプロダクツであって、複数のマクロブロックの各々がどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームのマクロブロックデータの重要度数を決定する手段、及び前記決定された重要度数に基づき、マクロブロックデータの優先順位付けを行う手段からなることを特徴とするプログラムプロダクツを提供する。
【００１２】
さらなる特徴として、上記優先順位付けシステム及び方法のそれぞれは、さらに、異なるエラー保護方式を異なる優先度のストリームに割り当てるシステムを備えてもよい。
［発明の詳細な説明］
図１を参照するに、マルチ優先符号化システム１０が示される。システム１０は、MPEGデータのビットストリーム１８をマルチ優先ストリーム１６に変換するエンコーダ１２と、これら行く数優先ストリーム１６を解釈するデコーダ１４を備える。エンコーダ１２は、MPEGエンコーダに直接内蔵されてもよいし、あるいは、既存の符号化MPEGデータに対し動作してもよい。エンコーダ１２により生成されるマルチ優先ストリーム１６のそれぞれは、異なるエラー保護方式により符号化される。従って、例えば、データがエラーの影響を受けやすいチャンネル（例えば、インターネット）上を送信される場合、より重要なデータには、より大きなエラー保護が受けられるように、より大きな帯域幅が付与される。受信側では、デコーダ１４がマルチ優先ストリーム１６を復号化し、復号化映像データ２０を出力する。本好適な実施例はMPEGデータの処理に関する説明がなされるが、本発明は予測符号化を利用した任意のデータ圧縮に適用可能であるということが理解されるべきである。
【００１３】
エンコーダ１２は、マクロブロックデータを解析し、各マクロブロックあるいはマクロブロック群の相対的な重要性を決定する重要性分析システム２２を備える。ストリーム優先順位付けシステム２４は、上記分析に基づき、各マクロブロックあるいはマクロブロック群に相対優先度を割り当てる。エラー保護システム２５は、複数のマルチ優先ストリーム１６の１つとして、送信のための適切なエラー保護方式によりマクロブロックデータを符号化する。
【００１４】
重要性分析システム２２は、Pフレーム分析システム２６、Iフレーム分析システム２８、部分マクロブロック分析システム２７、間接分析システム２９及び残差分析システム１９を備える。Pフレーム分析システム２６とIフレーム分析システム２８は、それぞれP及びIフレーム内のマクロブロックを解析し、マクロブロックデータの相対的な重要性を決定する。具体的には、PまたはIフレームが解析されると、システム２６または２８が各マクロブロックをシステマテッィクに解析し、各マクロブロック（すなわち、「カレントマクロブロック（current macroblock）」）の解析に従い、相対的な重要度数が求められる。この重要性は、カレントマクロブロックがどのくらいの頻度で基準マクロブロックあるいは部分基準マクロブロックの機能を果たしているかに基づく。（ここで、本発明の目的のため、「基準マクロブロック」は、完全あるいは部分的基準ブロックから構成される。）
P及びIフレームは、順方向予測（forward prediction）と逆方向予測（backward prediction）のため利用されるので、Pフレーム分析システム２６とIフレーム分析システム２８は、前後のBフレームと（適応可能であれば）後のPフレームの動きベクトルを解析し、PまたはIフレーム内のカレントマクロブロックがどのくらいの頻度で基準マクロブロックとしての機能を果たすか決定する。PまたはIフレームのカレントマクロブロックを参照するターゲットマクロブロックの個数（すなわち、予測回数）に基づき、重要度数が決定される。この処理例が、図２及び図３を参照して以下で説明される。（ただし、あるPフレームの後にIフレームが続くと、分析対象の後に続くPフレームは存在しない。）
重要性分析システム２２は、個々のマクロブロックをその相対的な優先度に関し分析したり、あるいはマクロブロック群（例えば、フレーム全体あるいは画像群のようなフレーム群）を分析する。マクロブロック群がその重要性に関し分析される場合、重要性分析システム２２は、まず、所定の方式に基づきマクロブロック群のグループ分けを行う。各マクロブロック群の重要度数は、当該マクロブロック群の各マクロブロックの重要度数を合成する（例えば、合計したり、重み付けするなど）ことにより、決定される。従って、優先度は、例えば、各マクロブロック群の個々のマクロブロックの重要性の累積に基づき、決定される。
【００１５】
重要性分析システム２２は、さらに、基準マクロブロックが分析対象のカレントマクロブロックと完全には一致していない場合（すなわち、カレントマクロブロックが部分基準ブロックとして機能している場合）に、マクロブロック重要性を分析する部分マクロブロック分析システム２７を備える。具体的には、カレントマクロブロックの一部のみが基準マクロブロックとして利用されている場合、部分マクロブロック分析システム２７は、カレントマクロブロックと基準マクロブロックとの（画素に関する）重複を計算する。従って、例えば、２５６画素中に１２８の重複がある場合、重要度数は５０％と測定される。この例が図５に関連して以下で説明される。
【００１６】
Pフレーム内のマクロブロックの重要度数を計算するアルゴリズムの一例は以下のようなものである。
【００１７】
・カレントマクロブロックの読み込み；
・（カレントマクロブロックの）重要度数＝０と設定；
・カレントマクロブロックを参照するBフレームと後続のPフレームのターゲットマクロブロックを特定；
・特定された各マクロブロックに対し、
・対応する基準マクロブロックを解析；
・基準マクロブロックとカレントマクロブロックが完全に一致している場合、
・重要度数＝重要度数＋１；
・完全には一致していない場合、
・重複画素（最大値は１６×１６＝２５６）を計算；
・重要度数＝重要度数＋（重複画素/２５６）；
終了
他の実施例として、重要性分析システム２２はまた、重要性の決定に後続の間接予測を解析する間接分析システム２９を備えていてもよい。間接分析システム２９は、より計算コストが高いにも関わらず、より正確な評価方式を提供する。例えば、MPEG符号化では、Iフレーム内のマクロブロックはPフレームマクロブロックを直接的に予測するのに利用され、そして今度は、後続のPフレームマクロブロックやBフレームマクロブロックなどを間接的に予測するのに利用される。従って、IまたはPフレームマクロブロックの重要性の計算において、重要性分析システム２２は、直接的な予測だけでなく、後続の間接的な予測の解析にも利用されてもよい。よって、IマクロブロックがPフレーム内のマクロブロックの動き予測のための基準として機能し（直接予測）、Pフレームマクロブロックが後続のP及びB画像の他のマクロブロックのための基準として機能する（間接予測）場合、この間接予測の重要度数は、直接予測の重要度数に加えられるか、あるいは因数分解される。これにより、IフレームとPフレームのマクロブロック間の相対的な重要性が計算され、その結果に基づき優先順位が決定される。
【００１８】
さらなる他の実施例では、離散コサイン変換（DCT）残差値に基づき、重要度数は計算されうる（またはさらに計算される）。残差とは、ターゲットマクロブロックと基準マクロブロックとの差である。従って、この残差が小さいほど、ターゲットマクロブロックと基準マクロブロックはより密接に適合し、その重要性は高くなる。これより、残差分析システム１９は、特定された各ターゲットマクロブロックの残差を解析し、各残差の関数（例えば、係数の絶対和あるいは加重和）を計算することができる。カレントマクロブロックの重要度数は、例えば、各ターゲットマクロブロックからの残差計算の累積値に基づき、計算してもよい。本実施例は、前述の他の実施例に合成されてもよいし、別々に使用されてもよいということは理解されるであろう。
【００１９】
重要度数が取得されると、ストリーム優先順位付けシステム２４は、個々のマクロブロックやマクロブロック群に優先度を割り当てる。一般に、カレントマクロブロックがターゲットマクロブロックにより参照される予測回数が増えるほど、当該マクロブロックは復号化された映像ストリームの画質に対し相対的により高い重要性を有するので、その優先度は高くなる。
【００２０】
好適な一実施例では、Bフレームが予測符号化の基準として利用されないので、Bフレームにおけるマクロブロックには最も低い優先度が割り当てられる。そして、Pフレームにおけるマクロブロックには相対的により高い優先度が割り当てられ、個々のPフレームマクロブロックデータが前述のように優先順位が付けられる。最後に、Iフレームのマクロブロックには最も高い優先度が割り当てられ、再び、前述の方法に従いマクロブロックデータはさらに優先順位付けされる。
【００２１】
デコーダ１４は、相関システム２１と解釈システム２３から構成されるストリーム復号化システム３０を備える。相関システム２１は各マルチ優先ストリーム１６を特定のエラー保護方式と関連付け、解釈システム２３はデータを解釈し、その結果に従いそのデータをパッケージする。
【００２２】
図２を参照するに、Pフレームマクロブロックに対する重要度数の計算方法の例が示される。フレームの系列（P, B, B, P, B, B, P）からなるMPEG映像データ３２のストリームが示される。前述の方法に従い、Pフレーム３３内のマクロブロックデータがその重要性に関し解析される。具体的には、カレントマクロブロック３１がどのくらいの頻度で前後のBフレーム７０のターゲットマクロブロックと後続のPフレーム３４のターゲットマクロブロックに対し、基準マクロブロックとして機能しているかを決定するために、カレントマクロブロック３１が解析される（矢印により示されるように）。そこからわかるように、カレントマクロブロック３１は９つのターゲットマクロブロック（斜線つきの四角として示される）の基準マクロブロックとして機能する。これらのターゲットマクロブロックは、隣接するフレーム７０と３４の１６×１６個のブロック（図示せず）の何れか１つでありうる。カレントマクロブロック３１と対応する基準マクロブロックとの完全な一致を仮定すると、当該マクロブロックには重要度数９が割り当てられることになる。従って、マクロブロック３１には、この値に基づき、Pフレーム３３のその他のマクロブロックに対する相対的優先度が割り当てられるであろう。ここで、このケースでは、後続のPフレーム３４はPフレーム３３に続いている。他のケース（図示せず）では、Pフレーム３３の後にIフレームが続いてもよい。その場合、後続のIフレームはターゲットマクロブロックに関し分析はなされない。
【００２３】
図３を参照するに、Iフレームマクロブロックに対する重要度数の計算方法の類似例が示される。このケースでは、フレームストリーム（P, B, B, I, B, B, P）３８が示され、Iフレーム３６のマクロブロックデータがIフレーム３６の各マクロブロックの相対優先度の決定のため解析されている。ここで再び、後続のPフレームと隣接するBフレームの動きベクトルを解析することにより、ターゲットマクロブロックが特定される。このケースでは、カレントマクロブロックにより予測される９つのターゲットマクロブロックが存在する。カレントマクロブロック３５と対応する基準マクロブロックとの完全な一致を仮定すると、重要度数９がカレントマクロブロック３５に割り当てられるであろう。
【００２４】
図４を参照するに、間接分析システム２９を利用した他の実施例による重要度数の計算方法の一例が示される。具体的には、フレームストリーム（P, B, B, P, B, B, P）４０が示され、Pフレーム４２のマクロブロックデータが相対優先度の決定のため解析されている。カレントマクロブロック４１は、Bフレーム４４とPフレーム４６の合計５つのターゲットマクロブロックの基準マクロブロックとして機能していることがわかるであろう。さらに、Pフレーム４６のターゲットマクロブロック４３はさらに、Bフレーム４８とPフレーム５０の合計６つの間接ターゲットマクロブロックの「間接」基準マクロブロックとして機能している。Pフレーム４６の他のターゲットマクロブロックは基準マクロブロックとして機能していないと仮定すると、Pフレーム４２のカレントマクロブロック４１の重要度数は１１となるであろう。図示されていないが、間接計算のより複雑な連鎖（chain）が利用されてもよい。例えば、Pフレーム５０のターゲットマクロブロックが基準マクロブロックとしてどれくらいの頻度出機能するかを決定するために、これらターゲットマクロブロックはさらに解析されてもよい。
【００２５】
図５を参照するに、部分マクロブロック分析システム２７がどのように部分基準ブロックを考慮するかの一例が示される。具体的には、フレーム５２（例えば、IまたはP）は、重要性に関し解析されているカレントマクロブロック５４、カレントマクロブロック５４と完全には一致していない基準マクロブロック５６、及びマクロブロック５４と基準マクロブロック５６とが一致している部分を表す重複部分６０を含む。本例では、カレントマクロブロック５４の画素の２５％のみが、他のフレームのターゲットマクロブロックの基準マクロブロックとして利用される。従って、この重複を考慮に入れることにより、このマクロブロックの重要度数は測定される（例えば、２５％）。
【００２６】
ここで説明されたシステム、機能、方法及びモジュールは、ハードウェア、ソフトウェア及びそれらを組み合わせたものにおいて実現されうるということは理解されるであろう。これらは、任意のタイプのコンピュータ、あるいはここで説明された方法を実行するよう適合された他の装置により実現されてもよい。ハードウェアとソフトウェアの典型的な組み合わせとしては、ロード及び実行されると、ここで説明された方法が実行されるよう制御用コンピュータプログラムを備えた汎用コンピュータシステムであってもよい。あるいは、本発明の機能タスクの１つ以上を実行するために特化したハードウェアを備えた特定用途向けコンピュータが利用されてもよい。本発明はまた、ここで説明された方法及び機能の実現を可能にし、コンピュータシステムにロードされると、これらの方法及び機能を実行することが可能なすべての特徴を備えたコンピュータプログラムプロダクツに内蔵されてもよい。ここで、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクツあるいはソフトウェアとは、情報処理能力を有するシステムに特定の機能を直接的に、あるいは以下の少なくとも一方：（a）他の言語、コードあるいは表記への変換、（b）異なる物質形態での再生、の後に特定の機能を実行させることを意図したインストラクションセットの任意の言語、コードあるいは表記での任意の表現を意味する。
【００２７】
例示と説明のため、本発明の好適な実施例の説明が与えられてきた。しかしながら、これらの実施例は、本発明を言い尽くすものでもなく、また本発明を開示された正確な形態に制限することを意図するものでもない。上記教示に従い、明らかに、様々な修正及び変形が可能である。当業者に明らかなそのような修正及び変形は、添付されたクレームにより定義される本発明の範囲内に含まれる。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の好適な実施例によるマルチ優先符号化システムのブロック図を示す。
【図２】図２は、本発明によるPフレーム分析を示す。
【図３】図３は、本発明によるIフレーム分析を示す。
【図４】図４は、本発明による間接分析を示す。
【図５】図５は、本発明による部分基準ブロック分析を示す。

Claims (33)

1. 圧縮映像データのストリームへの優先度割り当て方法であって：
   各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームの各マクロブロックの相対重要度を決定するステップ；及び
   前記相対重要度に基づき、前記映像フレームの前記各マクロブロックの優先順位付けを行うステップ；
   からなることを特徴とする方法。
2. 請求項１記載の方法であって、前記決定するステップは：
   カレントPフレームを読み込むステップ；及び
   前後のBフレームと、もし存在すれば後続のPフレームとから動きベクトルを解析し、前記カレントPフレームの各マクロブロックがどのくらいの頻度で前記B及びPフレームのターゲットマクロブロックの基準マクロブロックとして機能するかを決定するステップ；
   からなることを特徴とする方法。
3. 請求項２記載の方法であって、前記決定するステップは、さらに、前記後続のPフレームのターゲットマクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するステップを備えることを特徴とする方法。
4. 請求項１記載の方法であって、前記決定するステップは：
   カレントIフレームを読み込むステップ；及び
   前後のBフレームと後続のPフレームとから動きベクトルを解析し、前記カレントIフレームの各マクロブロックがどのくらいの頻度で前記B及びPフレームのターゲットマクロブロックの基準マクロブロックとして機能するかを決定するステップ；
   からなることを特徴とする方法。
5. 請求項４記載の方法であって、前記決定するステップは、さらに、前記後続のPフレームのターゲットマクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するステップを備えることを特徴とする方法。
6. 請求項１記載の方法であって、さらに：
   Bフレームデータに最も低い相対優先度を割り当てるステップ；
   PフレームデータにBフレームデータより相対的に高い優先度を割り当てるステップ；及び
   IフレームデータにPフレームデータより相対的に高い優先度を割り当てるステップ；
   を備えることを特徴とする方法。
7. 請求項１記載の方法であって、カレントマクロブロックが部分的基準マクロブロックとして機能する場合：
   前記カレントマクロブロックと対応する基準マクロブロックとの画素重複量を決定するステップ；及び
   前記画素重複量に基づき、前記カレントマクロブロックの前記相対重要度をスケーリングするステップ；
   を実現することを特徴とする方法。
8. 請求項１記載の方法であって、さらに、前記優先順位付けを行うステップに基づき、各マクロブロックを複数のストリームの１つに割り当てるステップを備えることを特徴とする方法。
9. 請求項１記載の方法であって、各マクロブロックの前記相対重要度は、さらに、前記マクロブロックの複数の残差離散コサイン変換（DCT）係数の値に基づき決定されることを特徴とする方法。
10. 圧縮映像データのストリームへの優先度割り当て方法であって：
    各マクロブロックがどのくらい頻繁に基準マクロブロックとして機能するかに基づき、複数の映像フレームの各マクロブロックの重要度数を決定するステップ；
    複数のマクロブロックを複数のマクロブロック群にグループ分けし、各マクロブロック群の前記複数のマクロブロックの重要度数を合成するステップ；及び
    前記合成された重要度数に基づき、各マクロブロック群の優先順位付けを行うステップ；
    からなることを特徴とする方法。
11. 請求項１０記載の方法であって、各マクロブロック群は映像データの完全なフレームからなることを特徴とする方法。
12. 請求項１０記載の方法であって、前記決定するステップは：
    カレントPフレームを読み込むステップ；及び
    前後のBフレームと、もし存在すれば後続のPフレームとから動きベクトルを解析し、前記カレントPフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するステップ；
    からなることを特徴とする方法。
13. 請求項１０記載の方法であって、前記決定するステップは：
    カレントIフレームを読み込むステップ；及び
    前後のBフレームと後続のPフレームとから動きベクトルを解析し、前記カレントIフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するステップ；
    からなることを特徴とする方法。
14. 請求項１０記載の方法であって、各マクロブロック群は画像グループからなることを特徴とする方法。
15. 請求項１０記載の方法であって、カレントマクロブロックが部分的基準マクロブロックとして機能する場合：
    前記カレントマクロブロックと対応する基準マクロブロックとの画素重複量を決定するステップ；及び
    前記画素重複量に基づき、前記カレントマクロブロックの前記相対重要度をスケーリングするステップ；
    を実現することを特徴とする方法。
16. 請求項１０記載の方法であって、各マクロブロックの前記重要度数は、さらに、前記マクロブロックの複数の残差離散コサイン変換（DCT）係数の値に基づき決定されることを特徴とする方法。
17. 圧縮映像データのストリームを符号化するシステムであって：
    各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームの各マクロブロックの重要度数を決定する重要性分析システム；及び
    各マクロブロックに対し決定された前記重要度数に基づき、前記映像フレームの前記各マクロブロックの優先順位付けを行うシステム；
    からなることを特徴とするシステム。
18. 請求項１７記載のシステムであって、前記重要性分析システムは、前後のBフレームと、もし存在すれば後続のPフレームとから動きベクトルを解析し、前記カレントPフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するPフレーム分析システムを備えることを特徴とするシステム。
19. 請求項１８記載のシステムであって、前記重要性分析システムは、さらに、前記後続のPフレームのマクロブロックがどのくらいの頻度で他の映像フレームにより参照されるかを決定する間接分析システムを備えることを特徴とするシステム。
20. 請求項１７記載のシステムであって、前記重要性分析システムは、前後のBフレームと後続のPフレームとから動きベクトルを解析し、カレントIフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定するIフレーム分析システムを備えることを特徴とするシステム。
21. 請求項２０記載のシステムであって、前記重要性分析システムは、さらに、前記後続のPフレームのターゲットマクロブロックがどのくらい頻繁に基準マクロブロックとして機能するかを決定する間接分析システムを備えることを特徴とするシステム。
22. 請求項１７記載のシステムであって、さらに、各マクロブロックに割り当てられた優先度に基づき、マクロブロックデータのストリームにエラー保護を加えるエラー保護システムを備えることを特徴とするシステム。
23. 請求項２２記載のシステムであって、さらに、マクロブロックデータの前記ストリームを圧縮データの単一のストリームに復号化するストリーム復号化システムを備えることを特徴とするシステム。
24. 請求項１７記載のシステムであって、さらに、カレントマクロブロックと基準マクロブロックとの重複を計算し、前記重複に基づき前記重要度数をスケーリングする部分マクロブロック分析システムを備えることを特徴とするシステム。
25. 請求項１７記載のシステムであって、さらに、各マクロブロックの前記重要度数を、前記マクロブロックの複数の残差離散コサイン変換（DCT）係数の値に基づき決定する残差分析システムを備えることを特徴とするシステム。
26. 圧縮映像データのストリームの優先順位付けを行うシステムであって：
    各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、複数の映像フレームの各マクロブロックの重要度数を決定するシステム；
    複数のマクロブロックを複数のマクロブロック群にグループ分けし、各マクロブロック群の各マクロブロックの前記重要度数を合成するシステム；及び
    前記合成された重要度数に基づき、各マクロブロック群の優先順位付けを行うシステム；
    からなることを特徴とするシステム。
27. 請求項２６記載のシステムであって、各マクロブロック群は映像データの完全なフレームからなることを特徴とするシステム。
28. 請求項２６記載のシステムであって、各マクロブロック群は画像グループからなることを特徴とするシステム。
29. 請求項２６記載のシステムであって、さらに、カレントマクロブロックと基準マクロブロックとの重複を計算し、該重複に基づき前記重要度数をスケーリングする部分マクロブロック分析システムを備えることを特徴とするシステム。
30. 請求項２６記載のシステムであって、さらに、各マクロブロックの前記重要度数を、前記マクロブロックの複数の残差離散コサイン変換（DCT）係数の値に基づき決定する残差分析システムを備えることを特徴とするシステム。
31. マルチ優先映像データを復号化するデコーダシステムであって：
    エラー保護方式を複数のデータストリームの各々に関連されるシステム；及び
    前記エラー保護方式に基づき、各データストリームを解釈するシステム；
    からなり、前記エラー保護方式は、マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかに基づき、各データストリームの優先順位付けを行う優先順位付けシステムにより決定されることを特徴とするシステム。
32. 記録可能媒体に格納され、実行されると、圧縮映像データのストリームの優先順位付けを行うプログラムプロダクツであって：
    複数のマクロブロックの各々がどのくらいの頻度で基準マクロブロックとして機能するかに基づき、映像フレームのマクロブロックデータの重要度数を決定する手段；及び
    前記決定された重要度数に基づき、マクロブロックデータの優先順位付けを行う手段；
    からなることを特徴とするプログラムプロダクツ。
33. 請求項３２記載のプログラムプロダクツであって、前記決定する手段は：
    前後のBフレームと、もし存在すれば後続のPフレームとから動きベクトルを解析し、カレントPフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定することにより前記カレントPフレームを分析する手段；及び
    前後のBフレームと後続のPフレームとから動きベクトルを解析し、カレントIフレームの各マクロブロックがどのくらいの頻度で基準マクロブロックとして機能するかを決定することにより前記カレントIフレームを分析する手段；
    を備えることを特徴とするプログラムプロダクツ。

Images