JP2008541570A - 多層ビデオ設計のためのレート制御 - Google Patents

Abstract

【課題】多層ビデオ設計のためのレート制御。
【解決手段】ライブビデオストリーム等のマルチメディアデータの効率的符号化のための方法及び装置を開示する。マルチメディアデータは複数の層に事前符号化され、事前符号化されたデータの特性が判定される。判定した特性に少なくとも部分的には基づき、マルチメディアデータは複数の層に符号化される。
【選択図】 図５

Description

（米国特許法第１１９条に基づく優先権の主張）
本特許出願は、本出願の譲受人に譲渡され、２００５年５月３日に出願された「２層ビデオ設計のためのレート制御（Rate Control For Two Layer Video Design）」というタイトルの仮出願第６０／６７７，６０８号に対する優先権を主張するものであり、参照として本明細書に明示的に組み込まれる。

（分野）
本発明は、強化層フレーム構築のため基層モジュールを効率的に再利用しながら、スケーラブルマルチメディアデータを符号化／復号化する方法及び装置に関する。

インターネットと無線通信の爆発的発展と成功を収め、マルチメディアサービスに対する需要の高まりにともない、インターネット及びモバイル／無線チャネル上でのストリーミングメディアに多大な関心が寄せられている。異種混合インターネットプロトコル（ＩＰ）ネットワークの中で、ビデオはサーバによって提供され、１つ以上のクライアントによってストリームできる。有線接続は、ダイヤルアップ、ＩＳＤＮ、ケーブル、ｘＤＳＬ、ファイバ、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、その他を含む。伝送モードにはユニキャストとマルチキャストがある。ＰＤＡ（個人用デジタル補助装置）、ラップトップ、デスクトップ、セットトップボックス、ＴＶ、ＨＤＴＶ（高精細度テレビジョン）、携帯電話機、その他を含む、様々な個別クライアントデバイスは、同じコンテンツのため帯域幅の異なるビットストリームを同時に要求する。接続帯域幅は時間にともない急速に変化し（９．６ｋｂｐｓ〜１００Ｍｂｐｓ以上）、サーバの反応より速くなることがある。

モバイル／無線通信は異種混合ＩＰネットワークに似ている。モバイル／無線チャネル上でのマルチメディアコンテンツ転送は、これらのチャネルがマルチパスフェーディング、シャドーイング、シンボル間干渉、ノイズ妨害等によってしばしばひどく阻害されるため、非常に困難である。この他に、モビリティや競合トラフィックも帯域幅変動・損失の原因となる。時間にともない変化するチャネル環境の性質は、チャネルのノイズとサービスを受けるユーザの数によって決まる。環境条件に加え、地理的位置やモバイルローミングのため、第２〜第３世代のセルラーネットワークからデータのみのブロードバンドデータネットワークと、目的地ネットワークが変わることがある。これらの変動要因はいずれも、マルチメディアコンテンツの、ことによると転送時の、適応型レート調整を要求する。よって、異種混合有線／無線ネットワーク上でビデオ伝送を成功させるには、効率的な符号化と、損害から立ち直りつつ変化するネットワーク条件、デバイス特性、ユーザ選好へ適応する能力とが要求される。

異なるユーザ要求に応えるため、そしてチャネル変動に適応するため、伝送帯域幅と、ユーザの表示及び演算能力に基づき１組の制約条件に各々対応するビットストリームの複数の個別バージョンを生成できるが、これは、サーバのストレージとマルチキャストアプリケーションにとって効率的ではない。ハイエンドユーザに対応する単一のマクロビットストリームがサーバで構築されるスケーラブル符号化では、ローエンドアプリケーションのためのビットストリームが、マクロビットストリームのサブセットとして埋め込まれる。よって、サブビットストリームを選択的に送信することによって、１つのビットストリームを多様なアプリケーション環境に適応させることができる。スケーラブル符号化には、エラーが発生しやすいチャネル上での堅牢なビデオ伝送というもうひとつの利点がある。エラー保護とエラー封じ込めとを遂行できる。最重要の情報を収容する基層ビットには、信頼性により優れた伝送チャネルを、又はより優れたエラー保護を適用できる。

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（ＭＰＥＧ−ｘと総称する）、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、及びＨ．２６４（Ｈ．２６ｘと総称する）等のハイブリッド符号器には、空間、時間、及び信号対雑音比（ＳＮＲ）スケーラビリティがある。ハイブリッド符号化では、動き補償予測（ＭＣＰ）によって時間冗長性が排除される。ビデオは通常、一連のピクチャグループ（ＧＯＰ）に分割され、ここで各々のＧＯＰはイントラ符号化フレーム（Ｉ）から始まり、その後に前方予測フレーム（Ｐ）と双方向予測フレーム（Ｂ）との配置が続く。ＰフレームとＢフレームはいずれもインターフレームである。ほとんどのＭＰＥＧ様符号器において時間スケーラビリティの鍵を握るのはＢフレームである。ただし、ＭＰＥＧ−４シンプルプロファイルやＨ．２６４ベースラインプロファイル等、一部のプロファイルはＢフレームをサポートしない。ＭＰＥＧ−４規格はＩＳＯ／ＩＥＣ １４４９６−２に記載されている。Ｈ．２６４規格はＩＳＯ／ＩＥＣ １４４９６−１０に記載されている。

ＭＰＥＧ−４で、プロファイルとレベルはある特定のビットストリームの復号化に要求される復号器能力に基づきシンタクスとセマンティクスのサブセットを定義する手段を提供する。プロファイルは、全ビットストリームシンタクスの規定サブセットである。レベルは、ビットストリームでパラメータに課せられる１組の規定制約条件である。所定のプロファイルで、レベルは一般的に復号器の処理負荷とメモリ能力とに相当する。よって、プロファイルとレベルはビットストリームに対する規制を指定し、それ故ビットストリームの復号化能力を制限する。一般的に復号器は、所与のレベルにて所与のプロファイルの全構文要素の全許容値を正しく復号化できる場合に、そのレベルのそのプロファイルに適合するとみなすことができる。

（概要）
ビデオストリームから複数の層へのスケーラブル符号化を可能にするビデオ符号化及び復号化システムを説明する。基層符号化と強化層符号化の品質は、基層及び強化層の伝送帯域幅が比などの数学的関係を満たすよう修正できる。

一例は、マルチメディアデータを少なくとも第１及び第２の層に符号化する方法であって、ここで第１及び第２の層の各々は関連伝送帯域幅を有する。方法は、マルチメディアデータの１つ以上の特性パラメータを生成するためマルチメディアデータを事前符号化（pre-encoding）することと、少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化することとを含み、ここで関連帯域幅は、これが数学的関係を概ね満たすよう、特性パラメータに少なくとも部分的には基づき判定される。

別の例は、マルチメディアデータを少なくとも第１及び第２の層に符号化するように構成されたマルチメディアデータ符号化装置であって、ここで第１及び第２の層の各々は対応する伝送帯域幅を有する。装置は、マルチメディアデータの１つ以上の特性パラメータを生成するためマルチメディアデータを事前符号化するように構成された事前符号器と、少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化するように構成された符号器とを含み、ここで対応する伝送帯域幅は、これが数学的関係を概ね満たすよう、特性パラメータに少なくとも部分的には基づき判定される。

別の例は、マルチメディアデータを少なくとも第１及び第２の層に符号化するように構成されたマルチメディアデータ符号化装置であって、ここで第１及び第２の層の各々は対応する伝送帯域幅を有し、装置は、マルチメディアデータの１つ以上の特性パラメータを生成するためマルチメディアデータを事前符号化する手段と、少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化する手段とを含み、ここで対応する伝送帯域幅は、これが数学的関係を概ね満たすよう、特性パラメータに少なくとも部分的には基づき判定される。

別の例は、実行時にマルチメディアデータを少なくとも第１及び第２の層に符号化する方法をシステムに遂行させる命令を含むコンピュータ可読媒体であって、ここで第１及び第２の層の各々は、対応する伝送帯域幅を有する。方法は、マルチメディアデータの１つ以上の特性パラメータを生成するためマルチメディアデータを事前符号化することと、少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化することとを含み、ここで対応する伝送帯域幅は、これが数学的関係を概ね満たすよう、特性パラメータに少なくとも部分的には基づき判定される。

別の例は、マルチメディアデータの１つ以上の特性パラメータを生成するためマルチメディアデータを事前符号化する形に、そして少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化する形に構成された、プロセッサである。対応する伝送帯域幅は、これが数学的関係を概ね満たすよう、特性パラメータに少なくとも部分的には基づき判定される。

（詳細な記載）
基層及び強化層の伝送帯域幅が比などの所望の数学的関係を満たすよう、基層符号化の品質と強化層符号化の品質を修正できる、スケーラブルビデオ符号化データを提供するように構成された方法、装置、及びシステムを説明する。原データを特性化する目的で、ビデオフレームは事前符号化品質にて事前符号化できる。次に、原データの特性化に基づき、スーパーフレーム（例えば１秒のマルチメディアデータ）にわたって基層及び強化層の帯域幅が１：１比など特定の数学的関係を満たすよう、フレームを符号化できる。

以降の説明では、例に対し十分な理解を得るため具体的詳細を提示する。ただし、これらの具体的詳細がなくとも例を実践できることは、当業者によって理解されるであろう。例えば電気コンポーネントは、不必要な詳細で例が不明瞭にならないようにするためブロック図で示されることがある。例を詳しく解説するため、場合によってはかかるコンポーネントやその他の構造及び手法が詳細に示されることもある。

フローチャート、フロー図、構造図、又はブロック図として描かれるプロセスとして、例が説明されることがある点にも留意されたい。フローチャートでは一連のプロセスとしてオペレーションを説明することがあるが、オペレーションの多くは並行して、又は同時に遂行でき、プロセスは繰り返すことができる。加えて、オペレーションの順序は変えることができる。プロセスは、これのオペレーションが完了した時点で終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラム、その他に相当することがある。プロセスが関数に相当する場合、これの終了は、呼び出し元の関数か又はメイン関数への当該関数の復帰に相当する。

ＭＰＥＧ−ｘ及びＨ．２６ｘとして知られる１組のビデオ符号化規格は、固定又は可変長ソース符号化手法を使用するビデオ、オーディオ、及びその他情報の圧縮と送達とに適した、データ処理及び操作手法を説明する（本明細書ではハイブリッド符号化と呼ぶ）。具体的に、上述した規格とその他のハイブリッド符号化規格及び手法は実例として、イントラフレーム符号化手法（例えばランレングス符号化、ハフマン符号化など）とインターフレーム符号化手法（例えば前方及び後方予測符号化、動き補償など）とを用いて、ビデオ情報を圧縮する。特にビデオ処理システムの場合、ハイブリッドビデオ符号化システムは、イントラ及び／又はインターフレーム動き補償符号化によるビデオフレームの予測本位圧縮符号化を特徴とする。

イントラフレーム符号化は、あるピクチャ（フィールド又はフレーム）を、他のピクチャを参照せずに符号化することを指すが、そのイントラ符号化ピクチャは他のピクチャにとってのリファレンスとして用いることができる。イントラフレーム、イントラ符号化フレーム、及びＩフレームという用語はいずれも、本願の全体を通じて使われるイントラ符号化によって形成されるビデオオブジェクトの例である。

インター又は予測符号化は、あるピクチャ（フィールド又はフレーム）を、他のピクチャを参照しながら符号化することを指す。インター符号化又は予測ピクチャは、イントラ符号化ピクチャより効率的に符号化できる。予測フレーム（前方又は後方予測、Ｐフレームとも呼ばれる）と双方向予測フレーム（Ｂフレームとも呼ばれる）は、インター符号化ピクチャの例として本願の全体を通じて使われる。インター符号化の用語はこの他に、ハイパス符号化、残差符号化、動き補償内挿、及び当業者にとって周知のその他を含む。

スケーラブル符号化として知られる手法は、符号化データを、ビットストリームにて異なる層に、例えば基層と強化層とに分割できる。スケーラブル符号化は動的なチャネルにおいて有用であり、ここでスケーラブルビットストリームは、ネットワーク帯域幅の変動に合わせて適応させることができる。エラーが発生しやすいチャネルの場合、スケーラブル符号化は、基層と強化層との不平等エラー保護を通じて堅牢さを増すことができる。より重要な層にはより優れたエラー保護を提供できる。

図１は、ストリーミングピクチャを符号化及び復号化する通信システムのブロック図である。システム１００は、符号器デバイス１０５と復号器デバイス１１０とを含む。符号器デバイス１０５はさらに、符号化コンポーネント１２０と、事前符号化コンポーネント１２５と、メモリコンポーネント１３０と、通信コンポーネント１７５とを含む。符号器デバイス１０５は、通信コンポーネント１７５に内蔵された通信ロジックを用いて外部ソース１３５からデータを受信することができる。外部ソース１３５は、例えば外部メモリ、インターネット、ライブビデオ及び／又はオーディオフィードであってよく、データを受信することは、有線及び／又は無線通信を含み得る。外部ソース１３５に収容されるデータは、原始（符号化されていない）状態か、又は符号化された状態であってよい。事前符号化コンポーネント１２５は、データの初期符号化を遂行する形に、そして原データを特性化する１つ以上のパラメータを生成する形に、構成される。複雑性指標等の特性化パラメータは、事前符号化コンポーネント１２５によって生成できる。符号化コンポーネント１２０は、事前符号化コンポーネント１２５で生成された特性化パラメータに基づき原データを符号化する形に構成される。事前符号化コンポーネント１２５と符号化コンポーネント１２０の各々は、フレームのイントラ符号化部分と、前方予測、後方予測、及び双方向予測を含むフレームの予測部分との、両方を符号化する形に構成される。

事前符号化コンポーネント１２５と符号化コンポーネント１２０の各々は、マルチメディアデータのどの部分をイントラ符号化するべきか、そしてどの部分をインター符号化するべきかを判定する形に構成される。事前符号化コンポーネント１２５と符号化コンポーネント１２０の各々は、優先度が低く強化層に置くべきビデオの部分はどれか、そして優先度が高く基層に置くべき部分はどれかを、判定する形に構成される。事前符号化コンポーネント１２５と符号化コンポーネント１２０の各々は、オーバーヘッド情報を符号化する形に構成され、同オーバーヘッド情報は、イントラ符号化及びインター符号化部分のマップを、例えばマクロブロックマップを含むことがあり、同マクロブロックマップでは、イントラ符号化又はインター符号化されるマクロブロック（又はサブマクロブロック）が識別され（インター符号化のタイプを、例えば前方、後方、又は双方向をも識別する）、さらにインター符号化部分の参照先にあたるフレームがどれなのかが識別される。符号化後、符号化されたフレームはメモリコンポーネント１３０又は外部メモリに格納される。外部メモリは外部ソース１３５の中に収容でき、又は単独のメモリコンポーネント（図示せず）であってよい。

通信コンポーネント１７５は、ネットワーク１４０との関連でデータ送信（Ｔｘ）に用いるロジックを内蔵する。ネットワーク１４０は、電話、ケーブル、及び光ファイバ等の有線システムの、又は無線システムの一部であってよい。無線通信システムの場合、ネットワーク１４０は、例えば符号分割多重アクセス（ＣＤＭＡ又はＣＤＭＡ２０００）通信システムの一部を備えてよく、あるいは代わりにシステムは、周波数分割多重アクセス（ＦＤＭＡ）システム、直交周波数分割多重アクセス（ＯＦＤＭＡ）システム、ＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス）／ＥＤＧＥ（強化データＧＳＭ環境）又はサービス産業のためのＴＥＴＲＡ（地上基幹無線）携帯電話技術等の時分割多重アクセス（ＴＤＭＡ）システム、広帯域符号分割多重アクセス（ＷＣＤＭＡ）、高データレート（１ｘＥＶ−ＤＯ又は１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、又は概して手法を組み合わせて使用する何らかの無線通信システムであってよい。符号化されたフレームは、ネットワーク１４０上で送信（Ｔｘ）される。符号器デバイス１０５によって遂行される符号化プロセスは、この後さらに詳しく説明する。

復号器デバイス１１０は、符号器デバイス１０５と類似するコンポーネントを収容し、復号化コンポーネント１５０と、メモリコンポーネント１６０と、通信コンポーネント１８０とを含む。復号器デバイス１１０は、ネットワーク１４０を介し、又は外部ストレージ１６５から送信された、符号化されたデータを受信する。通信コンポーネント１８０は、ネットワーク１４０との関連で符号化データを受信（Ｒｘ）するためのロジックと、外部ストレージ１６５から符号化データを受信するためのロジックとを内蔵する。外部ストレージ１６５は、例えば外部ＲＡＭ又はＲＯＭ、又はリモートサーバであってよい。復号化コンポーネント１５０は、イントラ符号化データとインター符号化データとを復号化するため使われる。復号化コンポーネント１５０はまた、Ｐフレーム（前方又は後方予測）とＢフレームの両方を復号化する。

復号化コンポーネント１５０はまた、上述したマクロブロックマップを含むオーバーヘッド情報を復号化するためのロジックを内蔵し、しかるべきマクロブロックをしかるべき方法で復号化するためこの情報を解釈する。復号化コンポーネント１５０はまた、双方向予測フレーム及び／又は低優先度マルチメディアデータを含む強化層データの復号化を省略するためのロジックを内蔵する。例えば、強化層データが受信されないか、又は乏しい又は不十分なＳＮＲで受信される場合、及び／又は復号器デバイスの処理能力が不十分な場合には、強化層データの復号化を省略できる。復号化の後、復号化されたフレームは表示コンポーネント１７０で表示でき、あるいは内部メモリ１６０又は外部ストレージ１６５に格納できる。表示コンポーネント１７０は、表示画面を含むビデオ表示ハードウェア及びロジック等の部品を内蔵する、復号器デバイスの一体化された部分であってよく、あるいはこれは外部周辺デバイスであってよい。復号器デバイス１１０によって遂行される復号化プロセスは、後ほどさらに詳しく説明する。

典型的なＭＰＥＧ復号器で、予測符号化ピクセルブロック（すなわち、１つ以上の動きベクトルと残差成分とを備えるブロック）は、基準フレームを基準にして復号化される（ここでイントラフレームか、又は別の予測フレームは、基準フレームの役割を果たすことができる）。図２Ａは従来のＭＰＥＧ−４シンプルプロファイルデータストリームを図解する図であり、ＧＯＰのフレーム依存関係を描いている。ＧＯＰ２１０は初期Ｉフレーム２１２と、その後に続く数個の前方予測Ｐフレーム２１４とからなる。Ｐフレームの、先行Ｉ又はＰフレームへの依存は、前方予測フレームだけをサポートするシステム（ＭＰＥＧ−４シンプル及びＨ．２６４ベースラインプロファイルに適合するシステム等）に与えられる時間スケーラビリティを制限することがある。Ｐフレーム２１４のいずれかが除去されると、他のＰフレームの復号化にあたって極めて重要な情報が失われるおそれがある。Ｐフレームの除去は、例えばビデオジッターを招くおそれがあり、あるいは復号器は、次のＧＯＰの始まりを印す次のＩフレーム２１６まで復号化を続行できなくなることがある。

上述したとおり、スケーラブルビデオ符号化システムの強化層における双方向予測データの使用は、動的なチャネルにおいて有益である。図２Ｂは時間スケーラビリティを可能にする従来の符号化データストリームを図解する図であり、ＧＯＰのフレーム依存関係を描いている。ＧＯＰ２２０は、Ｉフレーム２２２Ａと、前方予測Ｐフレーム２２４と、双方向予測Ｂフレーム２２６とからなる。各Ｂフレームは、前方及び後方動きベクトルと、Ｉフレーム２２２Ａ又は前方予測Ｐフレーム２２４（後方予測Ｐフレームも使用できるが、この例には図示されていない）を基準とする残差とを、組み合わせることができる。Ｉフレーム２２２Ｂは次のＧＯＰの始まりを印す。図２Ｂに示すとおり、Ｉフレーム２２２ＡとＰフレーム２２４との間、又は２つのＰフレーム２２４の間には、ただひとつのＢフレーム２２６が収容されている。時間スケーラビリティの柔軟性を高めるため、基準フレームの間には数個のＢフレームを挿入できる。基準フレームとしてＢフレームに依存するフレームは他にないため、Ｂフレーム２２６が取り除かれても、他のフレームの復号化にかかわる情報がなくなることはない。このＢフレーム２２６の特性により、ビットストリーム中に挿入されたＢフレーム２２６は、チャネル条件、帯域幅制限、バッテリー電力、その他の検討材料に応じて、符号器、トランスコーダー、又は復号器の任意判断で除去できる。例えば、仮に基準フレームの間に３つのＢフレームがある場合、３つのＢフレームを全て取り除くことによりフレームレートを４分の３減らすことができ、あるいは中間のＢフレームを残して他の２つを取り除くことにより、フレームレートを２分の１に減らすことができる。データレートも相応に減少する。

Ｐフレーム（又は何らかのインター符号化セクション）は、現在のピクチャの中にある一領域と基準ピクチャの中にあるベストマッチ予測領域との間で、時間冗長性を活かすことができる。現在の領域とベストマッチ基準予測領域との差は、残差（又は予測誤差）として知られている。基準フレームにおけるベストマッチ予測領域の位置は動きベクトルで符号化できる。図３は、例えばＭＰＥＧ−４におけるＰフレーム構築プロセスの一例を図解するものである。プロセス３００は、５×５マクロブロックからなる現在のピクチャ３０５を含み、ここでこの例におけるマクロブロックの数は任意である。マクロブロックは１６×１６ピクセルからなる。ピクセルは、１つの８ビット輝度値（Ｙ）と２つの８ビットクロミナンス値（Ｃｒ及びＣｂ）とによって定義できる。ＭＰＥＧではＹ、Ｃｒ、及びＣｂ成分を４：２：０形式で格納でき、ここでＣｒ及びＣｂ成分はＸ及びＹ方向にて２によってダウンサンプルされる。よって各々のマクロブロックは２５６個のＹ成分と、６４個のＣｒ成分と、６４個のＣｂ成分とからなる。現在のピクチャ３０５のマクロブロック３１５は、現在のピクチャ３０５とは異なる時点で基準ピクチャ３１０から予測される。符号化される現在のマクロブロック３１５にＹ、Ｃｒ、及びＣｂ値の点で最も近いベストマッチマクロブロック３２０を見つけるため、基準ピクチャ３１０の中で探索が行われる。当業者にとって公知のベストマッチマクロブロック３２０を探索する方法は、ａ）現在のマクロブロック３１５と基準ピクチャ３１０のマクロブロックとのＳＡＤ（絶対ピクセル差の和）を最小化すること、ｂ）ＳＳＤ（平方ピクセル差の和）を最小化すること、及びｃ）レート歪の意味での最小コスト、その他を含む。基準ピクチャ３１０におけるベストマッチマクロブロック３２０の位置は、動きベクトル３２５で符号化される。基準ピクチャ３１０は、復号器が現在のピクチャ３０５の構築に先駆け再構築することになるＩフレーム又はＰフレームであってよい。ベストマッチマクロブロック３２０が現在のマクロブロック３１５から引かれることにより（Ｙ、Ｃｒ、及びＣｂ成分の各々につき差を計算する）、残差３３０を得る。残差３３０は２Ｄ離散コサイン変換（ＤＣＴ）３３５によって符号化され、次に量子化３４０される。空間圧縮を求めるため、量子化３４０は、例えば高い周波数係数により少ないビットを割り当てる一方で、低い周波数係数により多いビットを割り当てることによって果たすことができる。動きベクトル３２５及び基準ピクチャ３１０識別情報に加えて、残差３３０の量子化係数は現在のマクロブロック３１５を表す符号化情報となる。この符号化情報は、先々の使用のためメモリに格納でき、又は例えばエラー訂正や画像改善の目的で操作でき、又はネットワーク３４５を介して送信できる。

残差３３０の符号化量子化係数は、符号化動きベクトル３２５とともに、符号器における現在のマクロブロック３１５の再構築に用いることができ、これは、以降の動き推定及び補償で基準フレームの一部として使われる。このＰフレームの再構築にあたって、符号器は復号器の手順を模倣できる。復号器の模倣の結果、符号器と復号器は同じ基準ピクチャを扱うことになる。さらなるインター符号化のため符号器で行われるか、又は復号器で行われる、再構築プロセスの一例をここに紹介する。Ｐフレームの再構築は、基準フレーム（又は参照されているピクチャ又はフレームの一部分）が再構築された後に着手できる。符号化量子化係数は逆量子化３５０され、次に２Ｄ逆ＤＣＴを、すなわちＩＤＣＴ３５５を遂行することにより、復号化された、又は再構築された、残差３６０を得る。再構築済みの基準ピクチャ３１０の中で再構築済みのベストマッチマクロブロック３６５を見つけるには、符号化動きベクトル３２５を使用する。そして、再構築残差３６０が再構築ベストマッチマクロブロック３６５へ加えられることにより、再構築マクロブロック３７０が形成される。再構築されたマクロブロック３７０はメモリに格納でき、単独で、又はピクチャの中で他の再構築マクロブロックとともに、表示でき、あるいは画像改善のためさらに処理できる。

Ｂフレーム（又は双方向予測で符号化される何らかのセクション）は、現在のピクチャの中にある一領域と、先行ピクチャの中にあるベストマッチ予測領域と、後続ピクチャの中にあるベストマッチ予測領域との間で、時間冗長性を活かすことができる。後続ベストマッチ予測領域と後方ベストマッチ予測領域とが組み合わせれることにより、合同双方向予測領域が形成される。現在のピクチャの領域とベストマッチ合同双方向予測領域との差は、残差（又は予測誤差）である。後続基準ピクチャにおけるベストマッチ予測領域の位置と、先行基準ピクチャにおけるベストマッチ予測領域の位置とは、２つの動きベクトルで符号化できる。

上述したとおり、Ｉフレーム、Ｐフレーム、及びＢフレームの各々の情報は、複数の層で符号化でき、例えば基層は、Ｉフレームデータの他に、ヘッダ情報、予測フレームの動きベクトル及び残差情報等、最低限の情報を有することができる。強化層は、必ずしも必須ではなく、ただし任意に復号化された場合に表示データの品質を向上させる情報を有することができる。例えば強化層は、基層内のデータより高い品質で符号化される、ＩフレームデータとＰフレーム及びＢフレームの残差データとを有することができる。符号化されるデータの品質は、符号化データの量子化レベルを決定する量子化パラメータ（ＱＰ）等、様々な符号化パラメータの修正を通じて調整できる。例えば、ＱＰを増すことにより符号化データの量子化は高くなり、したがってビットは少なくなり、ひいては帯域幅要求が低くなる。強化層は、Ｂフレーム等、基層に含まれないさらなるフレームを含むこともできる。基層と強化層はいずれも復号器へ送信できる。

一部のシステムでは、比、又は比及び定数等、所定の数学的関係に従って帯域幅を割り当てることが望まれる。例えばいくつかの実施形態において、基層の帯域幅に対する強化層の帯域幅の比は１：１であり、ここで基層へ割り当てられる帯域幅は強化層の帯域幅に等しい。１．５：１、２：１等、これ以外の比が望まれることもある。

いくつかの実施形態においては、各ＧＯＰにつき１：１比の帯域幅を達成することが望まれる。いくつかの実施形態は、ＧＯＰのＩフレームデータとＰ及びＢフレーム残差データとを強化層品質で符号化する。そして、符号化データのサイズによって全基層及び強化層の所望の帯域幅が決まる。そして基層の帯域幅は、基層帯域幅と強化層帯域幅との所望の数学的関係に基づいて決まる。

基層の帯域幅が分かったら、基層要素の各々につき帯域幅を決めることができる。いくつかの実施形態において、特定の固定品質基層要素の帯域幅は基層全体の帯域幅と区別できる。例えばいくつかの実施形態において、予測フレームのヘッダ情報と動きベクトル情報の内少なくとも一方は、基層の中で固定品質で符号化できる。例えばいくつかの実施形態において、ヘッダ及び動きベクトル情報は強化層と同じ高品質で符号化できる。ヘッダ及び動きベクトル情報の固定品質によって、これらの固定品質基層要素のサイズが決まり、ひいては帯域幅要求が決まる。固定品質基層要素の帯域幅要求が分かったら、ＩフレームデータとＰ及びＢフレーム残差等、残りの可変品質基層要素へ残りの基層帯域幅を分配できる。したがって、可変品質基層要素は、符号化されたデータを残りの帯域幅で送信することを可能にする品質で符号化できる。

図４は、上述した帯域幅割り当て法を描く帯域幅割り当て図である。符号化強化層情報４１０と符号化基層情報４２０とが描かれており、ここで各々の水平寸法は各々に分配される帯域幅を表す。図示されたとおり、この例で各層の全帯域幅は等しい。強化層は、高い強化層品質で符号化されたＩフレーム情報４１２とＢ及びＰフレーム情報４１４とを収容する。基層は、ヘッダ情報４２２と、動きベクトル情報４２４と、Ｉフレーム情報４２６と、Ｂ及びＰフレーム情報４２８とを収容する。基層を、強化層と同じ帯域幅で送信できる形に生成するには、Ｉフレーム情報４２６とＢ及びＰフレーム情報４２８とを、強化層の品質より低い基層品質で各々符号化する。

上述した方式には様々な修正を施すことができる。例えば、いくつかの実施形態でＢフレーム情報は基層の中で符号化されない。かかる実施形態において、復号器は、これが強化層を受信し処理できる場合に、Ｂフレーム情報を復号化できる。いくつかの実施形態においては、基層帯域幅に対する強化層帯域幅の比が１：１ではなく、別の比である。いくつかの実施形態においては、Ｉフレーム情報４１２がＢ及びＰフレーム残差情報４１４と異なる品質で符号化される。同様に、いくつかの実施形態においては、Ｉフレーム情報４２６がＢ及びＰフレーム残差情報４２８と異なる品質で符号化される。

図４の例で、強化層と基層の帯域幅はＧＯＰにわたって概ね等しい。いくつかの実施形態において、少なくとも小さいデータ部分には、例えばフレームには、あるいはマクロブロックには、１：１比が当てはまらない。例えばいくつかの実施形態においては、ＧＯＰ全体の基層帯域幅から固定品質要素に割り当てられる帯域幅を引いたものが、事前符号化オペレーションで判定される各可変品質要素の特性パラメータに従い、可変品質要素へ割り当てられる。

図５は、マルチメディアデータを符号化する方法を示すフローチャートである。５１０では、強化層の帯域幅と基層の帯域幅との数学的関係を決定する。いくつかの実施形態において、数学的関係はメモリ位置における比であり、例えば１：１比であって、ここで強化層帯域幅は基層帯域幅に概ね等しい。いくつかの実施形態においては、アルゴリズムに基づいて数学的関係を決定する。

５２０ではマルチメディアデータが事前符号化される。マルチメディアデータは高品質で事前符号化できる。事前符号化データの特性化パラメータは測定される。マルチメディアデータを事前符号化することによって、符号化データの様々な複雑性指標を判定できる。例えば、符号化フレームのサイズが測定され格納される。その他のパラメータも測定でき格納できる。データの様々な部分のパラメータを測定できる。例えばＧＯＰ、フレーム、スライス、マクロブロック、及びサブマクロブロックについて、符号化情報の複雑性を測定できる。いくつかの実施形態において、ＧＯＰは１秒のマルチメディアデータを収容するスーパーフレームである。

５３０では、５２０で測定した特性化パラメータに従ってマルチメディアデータを符号化する。一例において、ＩフレームデータとＢ及びＰフレーム残差は強化層の中で高強化層品質で符号化される。そして、上述した方法に従いＧＯＰの強化層及び基層帯域幅が決定する。上述した方法に従い、ヘッダ情報や動きベクトル情報等、固定品質要素の帯域幅もまた決定する。

次に、ＧＯＰ全体の基層帯域幅（ＢＷＢＬ）から基層の固定品質要素へ割り当てられる帯域幅（ＢＷｆｑｅ）を引いたものを、基層の可変品質要素へ割り当てる（ＢＷｖｑｅ）。したがって、ＢＷｖｑｅ＝ＢＷＢＬ−ＢＷｆｑｅである。ＢＷｖｑｅは、５２０の事前符号化オペレーションで判定される各可変品質要素の特性化パラメータに、例えば複雑性指標等に従って、基層の可変品質要素に割り当てられる。例えば、５２０の事前符号化オペレーションで判定される複雑性指標は、各符号化フレームのサイズであってよい。フレームｉの割り当て帯域幅（ＢＷｖｑｅ（ｉ））は、５２０の事前符号化オペレーションで判定されるフレームｉの複雑性に従い加重される全ＢＷｖｑｅの一部分であってよい。したがって、ＢＷｖｑｅ（ｉ）＝ＢＷｖｑｅ×Ｓｉｚｅ（ｉ）／Ｓｉｚｅｔｏｔａｌであり、ここで、Ｓｉｚｅ（ｉ）は５２０で符号化されるフレームｉのサイズであり、Ｓｉｚｅｔｏｔａｌは５２０で符号化されるＧＯＰの全フレームの合計サイズである。その結果、ＧＯＰの各フレームに帯域幅が割り当てられる。各フレームに帯域幅を割り当てたら、符号化されたフレームを割り当てられた帯域幅で送信することを可能にする最大限の品質で、各フレームの情報を符号化する。

図６は、マルチメディアＧＯＰに対する事前符号化オペレーションから得られるビットストリームと、その後に続く、ＧＯＰの強化層ビットストリームとＧＯＰの基層ビットストリームとを生成する符号化オペレーションの結果との、図式表現である。この例で、ＧＯＰはＧＯＰヘッダと、３つのフレーム、すなわちＩフレームと、Ｂフレームと、Ｐフレームとを備える。Ｉフレームはヘッダを備え、Ｂ及びＰフレームはヘッダと動きベクトルとを各々備える。

図示されたとおり、事前符号化ビットストリームは、ヘッダ情報と、動きベクトル情報と、Ｉフレームデータと、Ｂ及びＰフレームからの残差情報との全てを含む。この例で、事前符号化オペレーションは高品質で符号化を行い、強化層ビデオの品質に概ね等しい品質のビットストリームを生成する。強化層ビットストリームは、強化層品質で符号化されたＩフレームデータとＢ及びＰフレーム残差情報とを備える。いくつかの実施形態において、強化層は、事前符号化データより高い、又は低い品質で生成できる。上述したとおり、この例で基層ビットストリームは、強化層ビットストリームと概ね同じサイズを、したがって概ね同じ帯域幅を有する。ただし、基層はヘッダ及び動きベクトル情報をも含み、これらは強化層品質で符号化できるため、ＩフレームデータとＢ及びＰフレームヘッダ及び残差情報は強化層よりも低い品質で符号化されるであろう。基層におけるＩフレームデータ、Ｂフレーム残差、及びＰフレーム残差の各々の帯域幅割り当ては、事前符号化プロセスで判定される、対応する事前符号化データの複雑性に応じて加重できる。

いくつかの実施形態においては、マルチメディアデータを少なくとも第１及び第２の層に符号化する形に、マルチメディアデータ符号化装置を構成できる。第１及び第２の層の各々は対応する伝送帯域幅を有する。装置は、マルチメディアデータの１つ以上の特性化パラメータを生成するためマルチメディアデータを事前符号化する手段と、少なくとも第１及び第２の層を生成するためマルチメディアデータを符号化する手段とを含む。事前符号化する手段は、所望の品質で符号化するように構成された符号器であってよく、符号化する手段は、同じ品質か又は別の品質で符号化するように構成された別の符号器又は同じ符号器であってよい。伝送帯域幅は、これが数学的関係を概ね満たすよう、特性化パラメータに少なくとも部分的には基づき判定される。

いくつかの実施形態において、基層と強化層の全帯域幅分配は、複数の用途に向けて帯域幅を判定するマルチプレクサ（ＭＵＸ）によって判定される。基層帯域幅と強化層帯域幅の和が、ＭＵＸによって設定される限度を超えないのが有利である。ＭＵＸは、異なるプログラムへ公平にビットを割り当てることを試みる。公平性は、異なるプログラムがほぼ同じ品質を有するものとして定義される。よって、全帯域幅を異なるプログラムへより効果的に割り当てることができる。全帯域幅の制限のためＭＵＸはある特定のプログラムのビットレートをカットすることがあるから、スーパーフレーム（ＳＦ）ベースの２パス符号化が有利であり、ここでＳＦはマルチメディアデータの１である。

さらに、基層と強化層は、例えばＳＦベースで１：１比を保つ必要があるが、フレーム単位では、基層フレームと強化層フレームとの比にそのような１：１制約はないかもしれない。したがってＳＦベースの２パス符号化は、ＳＦベースで１：１比としつつ、フレームの複雑性に基づき各フレームにビットを割り当てるのにも役立つであろう。

事前符号化のとき、符号化は強化層品質を目指すことができ、基層品質を、又は別の品質を目指すことができ、基層ビットレートに２を掛けることにより基層と強化層の和のビットレートを得ることができる。どのアプローチを選択するかは、符号器設計によって、そしてどちらの層を先に最適化するかによって決まる。いくつかの実施形態においては両方の層を受信できるため、強化層品質を先に最適化できる。事前符号化はマルチメディアデータの特性化であり、基層と強化層の基準品質を提供する。この例では特性化に基づき１：１比の要求に従い基層品質が推定される。

事前符号化オペレーションにはいくつかの理由がある。マルチメディアデータを好適な品質で符号化するときには、所望の全帯域幅が判定され、ＭＵＸへ与えることができる。もうひとつの理由は、以降の符号化に向けてレート制御のための情報を収集することである。符号器は、ＳＦ全体の事前符号化を終えた後に、より多くの帯域幅を必要とするＳＦの部分がどれなのかを全体的につかむことができる。さらに、ビット割り当ての必須ツールであるレート制御モデルを、より正確に構築できる。シングルパス符号化では普通、現在のマクロブロック（ＭＢ）のため近傍ＭＢの符号化に基づくモデルが使われる。

装置は、事前符号化結果に基づき基層及び強化層ＳＦサイズを推定できる。

Ｉフレームの場合はイントラＭＢだけがある。ＭＢモード、空間予測方向等のＭＢヘッダ情報は、基層の中で符号化できる。係数情報は強化層と基層の両方で符号化できる。符号化後の推定基層フレームサイズは

であり、ここでｆ１，ｉ（ｈｅａｄｅｒ）とｆ１，ｉ（Ｉｎｔｒａ ｃｏｅｆｆ）は、それぞれ第１パス符号化におけるフレームｉのヘッダビット数と係数ビット数を表す。α１は第２パス符号化に基づき推定される。Δｑｐは、第１パスＱＰと好適な基層ＱＰとの差である。

第２パス符号化における推定ＥＬフレームサイズは

である。Ｐフレームの場合、動き情報は基層で送信される。この部分のビット数は正確に分かる。Ｉフレームと同様、係数ビットは指数関数に基づき推定される。

したがって、ＢＬフレームサイズは

と定義され、ここでｆ１，ｉ（ｈｅａｄｅｒ）は事前符号化におけるＭＢモードと動き情報のビットを表し、ｆ１，ｉ（Ｉｎｔｅｒ ｃｏｅｆｆ）は事前符号化におけるインターＭＢの係数のビットを表し、ｆ１，ｉ（Ｉｎｔｒａ ｃｏｅｆｆ）は事前符号化におけるイントラＭＢの係数のビットを表し、ΔｑｐＰ，ＩｎｔｅｒはＢＬ及び事前符号化インターＭＢのＱＰ差であり、ΔｑｐＰ，ＩｎｔｒａはＢＬ及び事前符号化イントラＭＢのＱＰ差であり、αＰ，Ｉｎｔｅｒ及びαＰ，Ｉｎｔｒａは実験によって決定する係数である。

ＥＬフレームサイズは

と定義される。Ｂフレームの場合、もしもＢフレームが１つの層だけに存在するなら、これのサイズをその層のＳＦサイズにそのまま加えることができる。それらが２つの層を有する場合、各層に対するそれらの寄与はＰフレームと同じ要領で推定される。

推定ＢＬ ＳＦサイズ

は

と定義される。推定ＥＬ ＳＦサイズ

は

と定義される。ＭＵＸへ送信されるビットレートリクエストは

となる。ＭＵＸは、異なるプログラムが要求する要求ビットレートに基づき、各プログラムにつき上限を返す。

シングルパス符号化では普通、複雑性指標は時間予測後の残差の統計に基づき、レート制御モデルは近傍ＭＢの符号化に基づき構築される。これらはいずれも、モデルと現実のシナリオとの間に食い違いをもたらす。代わりに、事前符号化の結果を用いることにより、符号化オペレーションの符号化複雑性を反映する正確な複雑性指標を構築できる。この方式に基づくレート制御モデルは、符号化オペレーションでビットをより効果的に割り当てるのに役立つ。

指標は、事前符号化オペレーションにおける各ＭＢのビット数に依拠できる。異なるＭＢは異なるＱＰを使用できるため、指数関係を用いて全ＭＢを同じＱＰへ正規化し、対応する係数ビットを導き出す。インターＭＢ ＱＰが減ると、真の動き複雑性を反映しないことがある係数ビットが大幅に増えるため、このプロセスは有利である。同じ理由から、もしも（符号化順序で）ＳＦの最初のフレームがＰフレームなら、ここでインターＭＢ係数ビットが調整される。この調整は、最初のＰフレームのＭＢ ＱＰと基準エリアのＱＰとに依拠できる。ヘッダビットは変更はなくてもよい。ここで、各ＭＢの複雑性指標はこれのヘッダ及び係数の合計ビットである。各フレームの複雑性指標は、これのＭＢの複雑性指標の和である。

符号化オペレーションでは、各層につき目標ビットレートのレート制御、基層のＷｂ（０）、及び強化層のＷｅ（０）がある。２層レート制御のときには、単一層符号化に関する基層及び強化層オーバーヘッドを最小限にとどめるべきである。基層でＱＰが劇的に変化すると大量のオーバーヘッドを招く。この種の問題を避けるには、事前符号化のときに収集される統計に基づき、基層における符号化オペレーションビット割り当てをより正確なものにできる。

基層符号化では、ＳＦ内での瞬間的出力レートの変動を平滑化するため１秒バッファを使用できる。ただし従来の水漏れバケツモデルと違って、近傍ＳＦは個別のバッファを有する。よって平滑化効果はＳＦの中だけで起こる。

Ｗｂ（ｊ）は、（ｊ−１）番目のフレームを符号化した後に残る、現在のＳＦの基層帯域幅である。ＳＦの先頭でｊ＝１である。Ｗｂ（ｊ）はＷｂ（ｊ）＝Ｗｂ（ｊ−１）−Ｓｂ（ｊ−１）というふうにフレーム毎に更新され、ここでＳｂ（ｊ−１）は（ｊ−１）番目のフレームによって生成されるビットの数である。

予想フレームサイズは

であり、ここでＮ（ｊ）は現在のＳＦの残りの未符号化フレームである。β（ｎｊ）は、事前符号化で決定するｊ番目のフレームの複雑性指標である。

基本単位は１つ又は複数のＭＢであってよい。基本単位のサイズによって、ＱＰをどれほど頻繁に調整できるかが決まる。ただし、ＱＰ調整があまりにも多いとオーバーヘッドが増す。統計情報がほぼ同じＭＢは、１つのグループにまとめて１つのＱＰを割り当てることができる。インターＭＢとイントラＭＢの統計情報は異なるため、事前符号化によって決まるインターモード又はイントラモードに基づき、モードが同じＭＢは基本単位にまとめることができる。事前符号化オペレーションの係数情報に基づき、ＭＢをグループ分けすることもできる。もしもＰフレームの中の１つのＭＢが非ゼロ係数を有するなら、このＭＢを基本単位にする。

ｆｒ（ｋ）は、フレームｊにて基本単位ｋを符号化した後に残るビットの数である。最初はｆｒ（０）＝Ｒ（ｊ）である。現在の基本単位で費やされる係数ビットの数は

として計算され、ここでβ（ＢＵｋ）は符号化される基本単位の複雑性指標であり、β（ｎｊ，ｋ）は残りのフレームの複雑性指標である。

一方、第１パス生成基本単位ヘッダサイズｂ１，ｈｄｒ（ＢＵｋ）も検討するべきである。もしもｂ１，ｈｄｒ（ＢＵｋ）＜ｂ（ＢＵｋ）、

なら、

である。そしてＱｂを計算でき、Ｑｂ＝ＭＡＸ＿ＢＡＳＥ＿ＱＰ、ここで

は符号化基層ヘッダビットの推定数であり、

は符号化基層係数ビットの推定数であり、ＭＡＸ＿ＢＡＳＥ＿ＱＰは最高基層ＱＰである。ＭＡＸ＿ＢＡＳＥ＿ＱＰは普通、基層で最低許容品質を提供するべく選択される。

基本単位ＱＰは指数モデルＲ＝αＱ−Ｑ１ｂ１，ｃｏｅｆｆ（ＢＵｋ）に従って割り当てられ、ここでｂ１，ｃｏｅｆｆ（ＢＵｋ）は第１パス係数ビットの推定数であり、Ｑ１は第１パス符号化ＱＰであり、αは線形回帰を用いてフレーム毎に更新されるパラメータである。イントラＭＢとインターＭＢは異なるαを使用する。ｆｒ（ｋ）は、使用ビット数

に従って更新される。

上の論述ではフレームサイズの判定に焦点を当てているが、フレームとの関係で述べた原理と方法は、マクロブロックや、特性が類似するマクロブロックを備える基本単位等、他のデータ部分にも応用できる。いくつかの実施形態においては、フレームサイズ判定との関係で述べた原理及び方法を、サイズの異なるマルチメディアデータ部分に応用できる。例えば、ＧＯＰの中の各フレームには、上述したとおり、ＧＯＰの残りの使用可能帯域幅と、フレームの特性化パラメータと、ＧＯＰの残りのフレームの特性化パラメータとに従い、帯域幅を割り当てることができる。加えて、１つ以上のフレームの中にあるマクロブロックには、１つ以上のフレームの残りの使用可能帯域幅と、マクロブロックの特性化パラメータと、残りのマクロブロックか又は１つ以上のフレームの他の部分の特性化パラメータとに従い、帯域幅を割り当てることができる。様々なマルチメディアデータ部分及びマルチメディアデータ部分の組み合わせに原理を応用する、数多くの他の実施形態もまた可能である。

当業者は、様々な技術・手法のいずれかを用いて情報と信号を表現できることを理解するであろう。例えば、上の説明の全体を通じて言及されているデータ、命令、コマンド、情報、信号、ビット、記号、及びチップは、電圧、電流、電磁波、磁場又は磁性粒子、光場又は光粒子、又はこれらの組み合わせによって表現できる。

当業者はさらに、ここに開示する例との関係で説明した様々な例証的論理ブロック、モジュール、及びアルゴリズムステップを、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装できることを認めるであろう。このハードウェア及びソフトウェアの互換性を明確に例証するため、様々な例証的コンポーネント、ブロック、モジュール、回路、及びステップを、それらの機能の点で上に概説した。かかる機能をハードウェア又はソフトウェアとして実装するか否かは、特定のアプリケーションとシステム全体にかかる設計制約次第で決まる。当業者は、説明した機能を特定のアプリケーション毎に異なる方法で実装できるが、かかる実装決定は、開示される方法の範囲からの逸脱をもたらすものと解釈されるべきではない。

本明細書に開示する例との関係で説明した様々な例証的論理ブロック、モジュール、及び回路は、本明細書で説明した機能を遂行するよう設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はその他プログラマブル論理素子、個別ゲート又はトランジスタロジック、個別ハードウェアコンポーネント、又はこれらの任意の組み合わせにより実装又は遂行できる。汎用プロセッサはマイクロプロセッサであってよく、ただし代案において、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械であってよい。プロセッサはまた、計算装置の組み合わせとして、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ以上のマイクロプロセッサ、又は他の何らかのかかる構成として、実装できる。

本明細書に開示する例との関係で説明した方法又はアルゴリズムのステップは、ハードウェアにて直接的に、プロセッサによって実行されるソフトウェアモジュールにて、又は双方の組み合わせにて、具現化できる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は当技術分野で公知の他の何らかの形をとる記憶媒体の中にあってよい。記憶媒体はプロセッサへ結合され、かくしてプロセッサは記憶媒体から情報を読み取ることができ、且つこれへ情報を書き込むことができる。代案において、記憶媒体はプロセッサへ一体化されてよい。プロセッサと記憶媒体は特定用途向け集積回路（ＡＳＩＣ）の中にあってよい。ＡＳＩＣは無線モデムの中にあってよい。代案において、プロセッサと記憶媒体は個別コンポーネントとして無線モデムの中にあってよい。

開示された実施形態の先の説明は、当業者が本発明を作る又は使用することを可能にするために提供されている。これらの実施形態に対する様々な修正は当業者にとって容易に明白となるであろうし、本明細書に定める一般原理は他の例に応用でき、本発明の精神又は範囲から逸脱せずにさらなる要素を加えることができる。よって本発明は本明細書に紹介された実施形態に限定されるべきものではなく、本明細書に開示された原理と新規の特徴とに一致する最も広い範囲が認められるべきものである。

ストリーミングピクチャを符号化及び復号化する通信システムのブロック図である。 従来のＭＰＥＧ−４シンプルプロファイルデータストリームを図解する図である。 時間スケーラビリティを可能にする従来の符号化データストリームを図解する図である。 ＭＰＥＧ−４におけるＰフレーム構築プロセスの一例を図解する図である。 帯域幅割り当て法を描く帯域幅割り当て図である。 マルチメディアデータを符号化する方法を示すフローチャートである。 ビットストリームの図式表現である。

Claims (48)

1. 少なくとも第１及び第２の層にマルチメディアデータを符号化する方法であり、前記第１及び第２の層の各々は関連伝送帯域幅を有する方法であって、
   前記マルチメディアデータの１つ以上の特性化パラメータを生成するため前記マルチメディアデータを事前符号化することと、
   前記少なくとも第１及び第２の層を生成するため前記マルチメディアデータを符号化することであって、前記関連帯域幅は、前記関連帯域幅が関係を概ね満たすよう、特性化パラメータに少なくとも部分的には基づき判定されることと、
   を備える方法。
2. 前記少なくとも第１及び第２の層に関連する前記伝送帯域幅のため前記関係を判定することをさらに備える、請求項１に記載の方法。
3. 前記関係は比を備える、請求項２に記載の方法。
4. 前記比は概ね１：１である、請求項３に記載の方法。
5. 前記マルチメディアデータを事前符号化することは、事前符号化品質で事前符号化することを備え、前記マルチメディアデータを符号化することは、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化することを備え、前記事前符号化品質は、前記第２の層品質に概ね等しい、請求項１に記載の方法。
6. 前記マルチメディアデータを事前符号化することは、事前符号化品質で事前符号化することを備え、前記マルチメディアデータを符号化することは、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化することを備え、前記事前符号化品質は、前記第２の層品質より高い、請求項１に記載の方法。
7. 前記特性化パラメータは、前記事前符号化マルチメディアデータの複雑性によって少なくとも部分的には判定される、請求項１に記載の方法。
8. 前記マルチメディアデータを事前符号化することは、前記マルチメディアデータの複数の部分の各々に関連する１つ以上の特性化パラメータを生成するため、前記マルチメディアデータの複数の部分を事前符号化することを備え、前記マルチメディアデータを符号化することは、前記マルチメディアデータの前記複数の部分の各々を前記第１の層の対応する部分に符号化することを備え、前記第１の層の各部分は、前記対応するマルチメディアデータ部分の前記関連特性化パラメータと、前記マルチメディアデータの前記少なくとも１つの他の部分の前記関連特性化パラメータとに、少なくとも部分的には基づく帯域幅を有する、請求項１に記載の方法。
9. 前記第１の層の前記品質は、前記第１の層の前記帯域幅を調整するため調整される、請求項１に記載の方法。
10. 前記事前符号化マルチメディアデータは、ヘッダ情報と、動きベクトル情報と、残差情報とを備え、前記第２の符号化層は、第２の層品質で符号化される残差情報を備える、請求項１に記載の方法。
11. 前記第１の符号化層は、ヘッダ情報と残差情報とを備える、請求項１０に記載の方法。
12. 前記第１の符号化層は、前記第２の層品質で符号化される前記ヘッダ情報と前記動きベクトル情報と、第１の層品質で符号化される前記残差情報とを備え、前記第１の層品質は、前記関係を概ね満たすよう判定される、請求項１１に記載の方法。
13. 少なくとも第１及び第２の層にマルチメディアデータを符号化するように構成された装置であり、前記第１及び第２の層の各々は対応する伝送帯域幅を有する装置であって、
    前記マルチメディアデータの１つ以上の特性化パラメータを生成するため前記マルチメディアデータを事前符号化するように構成された事前符号器と、
    前記少なくとも第１及び第２の層を生成するため前記マルチメディアデータを符号化するように構成された符号器であって、前記対応する伝送帯域幅は、前記対応する帯域幅が関係を概ね満たすよう、特性化パラメータに少なくとも部分的には基づき判定される、符号器と、
    を備える装置。
14. 前記関係は比を備える、請求項１に記載の装置。
15. 前記事前符号器は、事前符号化品質で事前符号化する形に構成され、前記符号器は、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化する形に構成され、前記事前符号化品質は、前記第２の層品質に概ね等しい、請求項１に記載の装置。
16. 前記事前符号器は、事前符号化品質で前記マルチメディアデータを事前符号化する形に構成され、前記符号器は、前記第２の層の中で第２の層品質にて前記マルチメディアを符号化する形に構成され、前記事前符号化品質は、前記第２の層品質より高い、請求項１に記載の装置。
17. 前記事前符号器は、前記事前符号化マルチメディアデータの複雑性に少なくとも部分的には基づき前記特性化パラメータを決定する形に構成される、請求項１に記載の装置。
18. 前記事前符号器は、前記マルチメディアデータの複数の部分の各々に関連する１つ以上の特性化パラメータを生成するため、前記マルチメディアデータの複数の部分を事前符号化する形に構成され、前記符号器は、前記マルチメディアデータの前記複数の部分の各々を前記第１の層の対応する部分に符号化する形に構成され、前記第１の層の各部分は、前記対応するマルチメディアデータ部分の前記関連特性化パラメータと、前記マルチメディアデータの前記他の部分の内少なくとも１つの前記関連特性化パラメータとに、少なくとも部分的には基づく帯域幅を有する、請求項１に記載の装置。
19. 前記第１の層の前記品質は、前記第１の層の前記帯域幅を調整するため調整される、請求項１に記載の装置。
20. 前記事前符号化マルチメディアデータは、ヘッダ情報と、動きベクトル情報と、残差情報とを備え、前記第２の符号化層は、第２の層品質で符号化される残差情報を備える、請求項１に記載の装置。
21. 前記第１の符号化層は、ヘッダ情報と残差情報とを備える、請求項８に記載の装置。
22. 前記第１の符号化層は、前記第２の層品質で符号化される前記ヘッダ情報と前記動きベクトル情報と、第１の層品質で符号化される前記残差情報とを備え、前記第１の層品質は、前記関係を概ね満たすよう判定される、請求項９に記載の装置。
23. 少なくとも第１及び第２の層にマルチメディアデータを符号化するように構成された装置であり、前記第１及び第２の層の各々は対応する伝送帯域幅を有する装置であって、
    前記マルチメディアデータの１つ以上の特性化パラメータを生成するため前記マルチメディアデータを事前符号化する手段と、
    前記少なくとも第１及び第２の層を生成するため前記マルチメディアデータを符号化する手段であって、前記対応する伝送帯域幅は、前記対応する帯域幅が関係を概ね満たすよう、特性化パラメータに少なくとも部分的には基づき判定される、手段と、
    を備える装置。
24. 前記関係は比を備える、請求項１１に記載の装置。
25. 前記事前符号化する手段は、事前符号化品質で事前符号化する形に構成され、前記符号化する手段は、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化する形に構成され、前記事前符号化品質は、前記第２の層品質に概ね等しい、請求項１１に記載の装置。
26. 前記事前符号化する手段は、事前符号化品質で前記マルチメディアデータを事前符号化する形に構成され、前記符号化する手段は、前記第２の層の中で第２の層品質にて前記マルチメディアを符号化する形に構成され、前記事前符号化品質は、前記第２の層品質より高い、請求項１１に記載の装置。
27. 前記事前符号化する手段は、前記事前符号化マルチメディアデータの複雑性に少なくとも部分的には基づき前記特性化パラメータを生成する形に構成される、請求項１１に記載の装置。
28. 前記事前符号化する手段は、前記マルチメディアデータの複数の部分の各々に関連する１つ以上の特性化パラメータを生成するため、前記マルチメディアデータの複数の部分を事前符号化する形に構成され、前記符号化する手段は、前記マルチメディアデータの前記複数の部分の各々を前記第１の層の対応する部分に符号化する形に構成され、前記第１の層の各部分は、前記対応するマルチメディアデータ部分の前記関連特性化パラメータと、前記マルチメディアデータの前記他の部分の内少なくとも１つの前記関連特性化パラメータとに、少なくとも部分的には基づく帯域幅を有する、請求項１１に記載の装置。
29. 前記第１の層の前記品質は、前記第１の層の前記帯域幅を調整するため調整される、請求項１１に記載の装置。
30. 前記事前符号化マルチメディアデータは、ヘッダ情報と、動きベクトル情報と、残差情報とを備え、前記第２の符号化層は、第２の層品質で符号化される残差情報を備える、請求項１１に記載の装置。
31. 前記第１の符号化層は、ヘッダ情報と残差情報とを備える、請求項１８に記載の装置。
32. 前記第１の符号化層は、前記第２の層品質で符号化される前記ヘッダ情報と前記動きベクトル情報と、第１の層品質で符号化される前記残差情報とを備え、前記第１の層品質は、前記関係を概ね満たすよう判定される、請求項１９に記載の装置。
33. 実行時に、少なくとも第１及び第２の層にマルチメディアデータを符号化する方法を、システムに遂行させる命令を備えるコンピュータ可読媒体であり、前記第１及び第２の層の各々は対応する伝送帯域幅を有するコンピュータ可読媒体であって、前記方法は、
    前記マルチメディアデータの１つ以上の特性化パラメータを生成するため前記マルチメディアデータを事前符号化することと、
    前記少なくとも第１及び第２の層を生成するため前記マルチメディアデータを符号化することであって、前記対応する伝送帯域幅は、前記対応する帯域幅が関係を概ね満たすよう、特性化パラメータに少なくとも部分的には基づき判定されることと、
    を備える媒体。
34. 前記関係は比を備える、請求項２１に記載の媒体。
35. 前記マルチメディアデータを事前符号化することは、事前符号化品質で事前符号化することを備え、前記マルチメディアデータを符号化することは、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化することを備え、前記事前符号化品質は、前記第２の層品質に概ね等しい、請求項２１に記載の媒体。
36. 前記マルチメディアデータを事前符号化することは、事前符号化品質で事前符号化することを備え、前記マルチメディアデータを符号化することは、前記第２の層の中で第２の層品質にて前記マルチメディアデータを符号化することを備え、前記事前符号化品質は、前記第２の層品質より高い、請求項２１に記載の媒体。
37. 前記特性化パラメータは、前記事前符号化マルチメディアデータの複雑性に少なくとも部分的には基づき判定される、請求項２１に記載の媒体。
38. 前記マルチメディアデータを事前符号化することは、前記マルチメディアデータの複数の部分の各々に関連する１つ以上の特性化パラメータを生成するため、前記マルチメディアデータの複数の部分を事前符号化することを備え、前記マルチメディアデータを符号化することは、前記マルチメディアデータの前記複数の部分の各々を前記第１の層の対応する部分に符号化することを備え、前記第１の層の各部分は、前記対応するマルチメディアデータ部分の前記関連特性化パラメータと、前記マルチメディアデータの前記他の部分の内少なくとも１つの前記関連特性化パラメータとに、少なくとも部分的には基づく帯域幅を有する、請求項２１に記載の媒体。
39. 前記第１の層の前記品質は、前記第１の層の前記帯域幅を調整するため調整される、請求項２１に記載の媒体。
40. 前記事前符号化マルチメディアデータは、ヘッダ情報と、動きベクトル情報と、残差情報とを備え、前記第２の符号化層は、第２の層品質で符号化される残差情報を備える、請求項２１に記載の媒体。
41. 前記第１の符号化層は、ヘッダ情報と残差情報とを備える、請求項２８に記載の媒体。
42. 前記第１の符号化層は、前記第２の層品質で符号化される前記ヘッダ情報と前記動きベクトル情報と、第１の層品質で符号化される前記残差情報とを備え、前記第１の層品質は、前記関係を概ね満たすよう判定される、請求項２９に記載の媒体。
43. マルチメディアデータの１つ以上の特性化パラメータを生成するため前記マルチメディアデータを事前符号化し、そして
    前記少なくとも第１及び第２の層を生成するため前記マルチメディアデータを符号化するように構成されたプロセッサであって、前記対応する伝送帯域幅は、前記対応する帯域幅が関係を概ね満たすよう、前記特性化パラメータに少なくとも部分的には基づき判定される、プロセッサ。
44. 前記関係は比を備える、請求項３１に記載のプロセッサ。
45. 前記マルチメディアデータの複数の部分の各々に関連する１つ以上の特性化パラメータを生成するため、前記マルチメディアデータの複数の部分を事前符号化し、そして
    前記マルチメディアデータの前記複数の部分の各々を前記第１の層の対応する部分に符号化するようにさらに構成されたプロセッサであって、ここで前記第１の層の各部分は、前記対応するマルチメディアデータ部分の前記関連特性化パラメータと、前記マルチメディアデータの前記他の部分の内少なくとも１つの前記関連特性化パラメータとに、少なくとも部分的には基づく帯域幅を有する、請求項３１に記載のプロセッサ。
46. 前記事前符号化マルチメディアデータは、ヘッダ情報と、動きベクトル情報と、残差情報とを備え、前記第２の符号化層は、第２の層品質で符号化される残差情報を備える、請求項３１に記載のプロセッサ。
47. 前記第１の符号化層は、ヘッダ情報と残差情報とを備える、請求項３４に記載のプロセッサ。
48. 前記第１の符号化層は、前記第２の層品質で符号化される前記ヘッダ情報と前記動きベクトル情報と、第１の層品質で符号化される前記残差情報とを備え、前記第１の層品質は、前記関係を概ね満たすよう判定される、請求項３５に記載のプロセッサ。

Images