JP2010515304A - エンハンスメント・レイヤにおける参照フレーム配置 - Google Patents

エンハンスメント・レイヤにおける参照フレーム配置 Download PDF

Info

Publication number
JP2010515304A
JP2010515304A JP2009543287A JP2009543287A JP2010515304A JP 2010515304 A JP2010515304 A JP 2010515304A JP 2009543287 A JP2009543287 A JP 2009543287A JP 2009543287 A JP2009543287 A JP 2009543287A JP 2010515304 A JP2010515304 A JP 2010515304A
Authority
JP
Japan
Prior art keywords
layer bitstream
frame
enhancement layer
base layer
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009543287A
Other languages
English (en)
Inventor
チェン、ペイソン
スワジー、スコット・ティー．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010515304A publication Critical patent/JP2010515304A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、ベース・レイヤか、１または複数のエンハンスメント・レイヤかに、データ・フレームを割り当てる技術に関する。本明細書に記載された技術は、エンハンスメント・レイヤ内の未使用の帯域幅を良好に使用するために、ベース・レイヤとエンハンスメント・レイヤとの間のフレームの選択的な配置を可能にする。ある局面では、符合化デバイスは、イントラ符合化されたフレームの時間的に直前に位置している参照フレームを、エンハンスメント・レイヤに割り当てることができる。他の局面では、符合化デバイスは、例えばスーパフレームのような複数のフレームを含むデータのセグメントの末尾に位置する参照フレームを、エンハンスメント・レイヤに割り当てることができる。記載された技術は、ベース・レイヤと、１または複数のエンハンスメント・レイヤとの間で帯域幅をバランスさせることを支援するために利用されうる。

Description

関連出願
本願は、２００６年１２月２２日に出願された米国仮出願６０／８７１，６５５号と、２００７年３月１日に出願された米国仮出願６０／８９２，３５６号の利益を主張する。これら出願おのおのの全内容は、参照によって本明細書に組み込まれる。
本開示は、マルチメディア符号化と、符合化されたマルチメディア・コンテンツの通信に関する。
デジタル・マルチメディア機能は、デジタル・テレビ、デジタル・ダイレクト・ブロードキャスト・システム、無線通信デバイス、無線ブロードキャスト・システム、携帯情報端末（ＰＤＡ）、ラップトップ・コンピュータあるいはデスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、ビデオ・ゲーム・デバイス、ビデオ・ゲーム・コンソール、セルラ電話または衛星ラジオ電話等を含む広範囲のデバイスに組み込まれうる。デジタル・マルチメディア・デバイスは、デジタル・ビデオ・データをより効率的に送信するために、たとえばＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＨ．２６４／ＭＰＥＧ−４、パート１０、アドバンスト・ビデオ符合化（ＡＶＣ）のような符号化技術を実施することができる。これらの符合化技術は、マルチメディア・シーケンスにおける冗長性を低減または削減するために、空間予測および時間予測による圧縮を行うことができる。
いくつかのビデオ符号化は、スケーラブルな技術を利用する。たとえば、スケーラブル・ビデオ符合化（ＳＶＣ）は、ベース・レイヤと、１または複数のスケーラブル・エンハンスメント・レイヤが使用される符合化を称する。ＳＶＣの場合、ベース・レイヤは、一般に、基本レベルの品質でマルチメディア・データを搬送する。１または複数のエンハンスメント・レイヤは、より高次の空間レベル、時間レベル、および／または、信号対雑音比（ＳＮＲ）レベルをサポートするために、追加のマルチメディア・データを搬送する。一例として、ベース・レイヤは、エンハンスメント・レイヤの送信よりも信頼できる方法で送信されうる。エンハンスメント・レイヤは、ベース・レイヤのフレームに空間ソリューションを追加し、全体のフレーム・レートを高めるために追加のフレームを加え、または、信号対雑音比を改善するために追加のビットを加える。一例において、ベース・レイヤを送信するために、変調信号のうち最も信頼性の高い部分が使用される一方、エンハンスメント・レイヤを送信するために、変調信号のうち最も信頼性の低い部分が使用される。
ＳＶＣは、さまざまな符合化アプリケーションにおいて使用されうる。ＳＶＣ技術が一般に使用されるある特定の領域は、無線マルチメディア・ブロードキャスト・アプリケーションにおいてである。マルチメディア・ブロードキャスト技術の一例は、フォワード・リンク・オンリー（ＦＬＯ）、デジタル・マルチメディア・ブロードキャスト（ＤＭＢ）、およびデジタル・ビデオ・ブロードキャスト−ハンドヘルド（ＤＶＢ−Ｈ）として称されるものを含む。
本開示のある局面では、マルチメディア・データを処理する方法は、マルチメディア・データの複数のフレームを符合化することを備える。ここで、複数のフレームは、１または複数の参照フレームを含んでいる。この方法はさらに、１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、複数のフレームのおのおのを、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームに割り当てることを含んでいる。
本開示のある局面において、マルチメディア・データを処理するための装置は、マルチメディア・データのうちの複数のフレームを符合化する符号化モジュールを備える。ここで、複数のフレームは、１または複数の参照フレームを含んでいる。そして、この装置はさらに、１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、複数のフレームのおのおのを、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームに割り当てる割当モジュールを備えている。
本開示のある局面において、マルチメディア・データを処理するための装置は、マルチメディア・データのうちの複数のフレームを符合化する手段を備える。ここで、複数のフレームは、１または複数の参照フレームを含んでいる。そして、この装置はさらに、１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、複数のフレームのおのおのを、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームに割り当てる手段を備えている。
本開示のある局面において、マルチメディア・データを処理するためのコンピュータ・プログラム製品は、命令群を有するコンピュータ読取可能媒体を備える。これら命令群は、マルチメディア・データのうちの複数のフレームを符合化するためのコードを備える。ここで、複数のフレームは、１または複数の参照フレームを含んでいる。そして、これら命令群はさらに、１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、複数のフレームのおのおのを、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備えている。
本開示のある局面において、マルチメディア・データを処理する方法は、エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも１つの一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定することと、エンハンスメント・レイヤ・ビットストリームが受信された場合、ベース・レイヤ・ビットストリームのうちの特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームのうちの一部を用いて、ベース・レイヤ・ビットストリームのうちの特定されたフレームを復号することとを備える。
本開示のある局面において、マルチメディア・データを処理する装置は、エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも１つの一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定する参照データ分析モジュールと、エンハンスメント・レイヤ・ビットストリームが受信された場合、ベース・レイヤ・ビットストリームのうちの特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームのうちの一部を用いて、ベース・レイヤ・ビットストリームのうちの特定されたフレームを復号する復号モジュールとを備える。
本開示のある局面において、マルチメディア・データを処理する装置は、エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも１つの一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定する手段と、エンハンスメント・レイヤ・ビットストリームが受信された場合、ベース・レイヤ・ビットストリームのうちの特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームのうちの一部を用いて、ベース・レイヤ・ビットストリームのうちの特定されたフレームを復号する手段とを備える。
本開示のある局面において、マルチメディア・データを処理するコンピュータ・プログラム製品は、命令群を有するコンピュータ読取可能媒体を含む。これら命令群は、エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも１つの一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定するためのコードと、エンハンスメント・レイヤ・ビットストリームが受信された場合、ベース・レイヤ・ビットストリームのうちの特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームのうちの一部を用いて、ベース・レイヤ・ビットストリームのうちの特定されたフレームを復号するためのコードとを備える。
１または複数の例の詳細は、添付図面と以下の説明において下に述べられる。他の特徴、目的、および利点は、これら説明と図面、および特許請求の範囲から明らかになるだろう。
図１は、符号化スケーラビリティをサポートするマルチメディア符号化システムの一例を例示するブロック図である。 図２は、図１のシステムの符号化デバイス成形部分の一例を例示するブロック図である。 図３は、図１のシステムの復号デバイス成形部分の一例を例示するブロック図である。 図４は、イントラ・フレーム直前の参照フレームがエンハンスメント・レイヤ・ビットストリーム内に配置される符号化マルチメディア・シーケンスの一例を例示する図である。 図５は、チャネル切換フレーム直前の参照フレームがエンハンスメント・レイヤ・ビットストリーム内に配置される符号化マルチメディア・シーケンスの別の例の一部を例示する図である。 図６は、データのセグメントの末尾に位置する参照フレームが、エンハンスメント・レイヤ・ビットストリーム内に配置される符号化マルチメディア・シーケンスの別の例の一部を例示する図である。 図７は、符号化デバイスが、本開示の技術にしたがって１または複数の参照フレームを割り当てる際における典型的な動作を例示するフロー図である。 図８は、復号デバイスが、ベース・レイヤのフレームを選択的に復号する際における典型的な動作を例示するフロー図である。
本開示は、たとえばスケーラブル・ビデオ符号化（ＳＶＣ）のようなスケーラブル符号化スキームにおける少なくとも２つのレイヤに、マルチメディア・シーケンスのデータのフレームを割り当てる技術を説明する。ＳＶＣでは、符号化されたマルチメディア・シーケンスは、ベース・レイヤおよび１または複数のエンハンスメント・レイヤを含んでいる。例示目的のために、本開示の技術は、ベース・レイヤと１つのみのエンハンスメント・レイヤに関して記載されるだろう。しかしながら、これら技術は、１より多いエンハンスメント・レイヤを利用するＳＶＣスキームにも拡張されうることが当業者に明らかになるべきである。
ベース・レイヤは、マルチメディア復号のための最低量のデータを搬送し、かつ、基本レベルの品質を提供するビットストリームを称する。エンハンスメント・レイヤは、復号されたマルチメディアの品質を高める追加データを搬送するビットストリームを称する。一般に、エンハンスメント・レイヤ・ビットストリームは、ベース・レイヤと連携してのみ復号可能となる。すなわち、エンハンスメント・レイヤのフレームは、復号されたベース・レイヤのうちの１または複数のフレームに対する参照を含む。しかしながら、他の局面では、エンハンスメント・レイヤは、ベース・レイヤなしで少なくとも部分的に復号されうる。
階層変調を用いて、ベース・レイヤとエンハンスメント・レイヤは、同じキャリアまたはサブキャリアであるが、異なる送信特性をもって送信され、その結果、信頼性が異なる。言い換えれば、ベース・レイヤは、変調された信号のうち、より信頼性の高い部分によって送信される一方、エンハンスメント・レイヤは、変調された信号のうち、あまり信頼の高くない部分によって送信される。たとえば、ベース・レイヤおよびエンハンスメント・レイヤは、異なるパケット誤り率（ＰＥＲ）で送信されうる。特に、ベース・レイヤは、有効範囲領域にわたったより高い信頼性による受信のために、より低いＰＥＲで送信される一方、エンハンスメント・レイヤは、より高いＰＥＲで送信される。このように、ベース・レイヤを復号するためのデータを搬送するビットストリームは、より高い信頼性で受信することができ、もって、ユーザは、その他の方法では受信できない領域において、たとえ低い品質レベルであれ、マルチメディア・シーケンスのコンテンツを閲覧できるようになる。
復号デバイスは、エンハンスメント・レイヤが受信されない場合、ベース・レイヤのみを復号することができる。一方、ベース・レイヤとエンハンスメント・レイヤの両方が受信される場合、復号デバイスは、ベース・レイヤに加えてエンハンスメント・レイヤを復号し、高い品質を提供することができる。
本開示は、ベース・レイヤあるいは１または複数のエンハンスメント・レイヤにデータのフレームを割り当てる技術を提案する。本明細書に記載された技術は、エンハンスメント・レイヤにおける未使用の帯域幅をより良く使用するために、ベース・レイヤか、あるいはエンハンスメント・レイヤに対する選択的なフレームの配置を可能にする。ある局面では、符号化デバイスは、イントラ符号化フレームの時間的に前または近傍に位置する参照フレームを、エンハンスメント・レイヤに割り当てることができる。イントラ符号化フレームは、時間的に位置する他の何れのフレームへの参照もなく符号化されるので、イントラ符号化フレームの時間的に前または近傍に位置する参照フレームを移動させることは、次のフレームの復号に悪影響を与えない。
他の局面では、符号化デバイスは、たとえばスーパフレームのように複数のフレームを含むデータのセグメントの末尾近傍に位置する参照フレームを、エンハンスメント・レイヤに割り当てることができる。この場合、エンハンスメント・レイヤに移動した参照フレームに対するベース・レイヤにおけるフレームの参照は、次のフレームの復号に与える影響を低減するために削除される。あるいは、エンハンスメント・レイヤへ移動した参照フレームに対するベース・レイヤ内のフレームの参照が残り、復号デバイスは、エンハンスメント・レイヤが受信されたか否かに基づいて、受信したフレームを選択的に復号することができる。この説明した技術は、ベース・レイヤと、１または複数のエンハンスメント・レイヤとの間で帯域幅をバランスさせることを支援するために利用される。
図１は、ビデオ・スケーラビリティをサポートする典型的なマルチメディア符号化システム１０を例示するブロック図である。マルチメディア符号化システム１０は、ネットワーク１６によって接続された符号化デバイス１２復号デバイス１４を含んでいる。符号化デバイス１２は、少なくとも１つのソース１８からデジタル・マルチメディア・シーケンスを取得し、このマルチメディア・シーケンスを符号化し、この符号化されたシーケンスをネットワーク１６を介して復号デバイス１４へ送信する。
ある局面では、ソース１８は、たとえば衛星を介してデジタル・マルチメディア・シーケンスをブロードキャストする１または複数のビデオ・コンテンツ・プロバイダを備えうる。他の局面では、ソース１８は、デジタル・マルチメディア・シーケンスをキャプチャする画像キャプチャ・デバイスを備えうる。この場合、画像キャプチャ・デバイスは、符号化デバイス１２内に統合されるか、あるいは、符号化デバイス１２に接続されうる。ソース１８は図１において外部ソースとして例示されているが、ある実施形態において、符号化デバイス１２は、符号化デバイス１２内あるいは符号化デバイス１２に接続されたアーカイブあるいはメモリから、マルチメディア・シーケンスを受け取る。
このマルチメディア・シーケンスは、符号化されブロードキャストまたはオンデマンドとして送信されるライブのリアル・タイムあるいはほぼリアル・タイムのビデオおよび／またはオーディオ・シーケンスを備えているか、または、符号化されブロードキャストまたはオンデマンドとして送信される予め記録および格納されたビデオおよび／またはオーディオ・シーケンスを備えうる。いくつかの局面では、マルチメディア・シーケンスのうちの少なくとも一部が、たとえばゲームの場合のように、コンピュータ生成されうる。
ソース１８から受け取られたデジタル・マルチメディア・シーケンスは、フレーム（画像全体）またはフィールド（たとえば、画像の奇数ラインと偶数ラインとが交互するフィールド）を含む画像のシーケンスに関して記述されうる。さらに、おのおののフレームまたはフィールドはさらに、２またはそれ以上のスライス、あるいは、フレームまたはフィールドのより細かな部分を含んでいる。本明細書で使用されるように、用語「フレーム」は、画像、フレーム、フィールド、あるいはそれらのスライスを称する。
符号化デバイス１２は、復号デバイス１４への送信のためにマルチメディア・シーケンスを符号化する。符号化デバイス１２は、たとえば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、国際電気通信連合標準化セクタ（ＩＴＵ−Ｔ）Ｈ．２６３、あるいはＭＰＥＧ−４、パート１０、アドバンスト・ビデオ符号化（ＡＶＣ）に相当するＩＴＵ−Ｔ Ｈ．２６４のようなビデオ圧縮規格にしたがってマルチメディア・シーケンスを符号化する。そのような拡張による符号化および復号方法は、送信および／またはストレージのためフレームのコンテンツを圧縮するために、損失のないあるいは損失のある圧縮アルゴリズムのためのものである。圧縮は、マルチメディア・データから冗長性を取り除く処理として広く考えることができる。
いくつかの局面では、本開示は、フォワード・リンク・オンリー（ＦＬＯ）エア・インタフェース仕様であり、２００６年８月に技術標準ＴＩＡ−１０９９として発行された“地上モバイル・マルチメディア・マルチキャストのためのフォワード・リンク・オンリー・エア・インタフェース仕様”（“ＦＬＯ仕様”）を用いた地上モバイル・マルチメディア・マルチキャスト（ＴＭ３）システムにおいて、リアル・タイムでマルチメディア・サービスを配信するエンハンストＨ．２６４ビデオ符号化に対する応用を考慮する。しかしながら、本開示に記載されたチャネル切換技術は、ブロードキャスト、マルチキャスト、ユニキャスト、または、ポイント・トゥ・ポイント・システムのうちのどの特定のタイプにも限定されない。
Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、ジョイント・ビデオ・チーム（ＪＶＴ）として知られている共同パートナシップの成果として、ＩＴＵ−Ｔビデオ符号化エキスパート・グループ（ＶＣＥＧ）がＩＳＯ／ＩＥＣ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）とともに規定したものである。Ｈ．２６４規格は、２００５年３月付けの、ＩＴＵ−Ｔスタディ・グループによってなされたＩＴＵ−ＴリコメンデーションＨ．２６４、一般的なオーディオ・ビジュアル・サービスのためのアドバンスト・ビデオ符号化に記述されている。これは、本明細書では、Ｈ．２６４規格またはＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格または仕様と称されうる。
ジョイント・ビデオ・チーム（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに対するスケーラブルなおビデオ符号化（ＳＶＣ）拡張機能に取り組み続ける。発展しつつあるＳＶＣ拡張機能の仕様は、ジョイント・ドラフト（ＪＤ）となっている。ＪＶＴによって生成されたジョイント・スケーラブル・ビデオ・モデル（ＪＳＶＭ）は、スケーラブル・ビデオにおける使用のためにツールを実現する。これは、本開示で記述されたさまざまな符号化タスクのためにシステム１０内で使用される。ファイン・グラニュラリティＳＮＲスケーラビリティ（ＦＧＳ）符号化に関する詳細な情報は、たとえば、Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ、Ｇａｒｙ Ｓｕｌｌｉｖａｎ、Ｊｕｌｉｅｎ Ｒｅｉｃｈｅｌ、Ｈｅｉｋｏ Ｓｈａｗａｒｚ、およびＭａｔｈｉａｓ Ｗｉｅｎによって２００６年４月にウィーンで発表された“Ｊｏｉｎｔ Ｄｒａｆｔ ６：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”ＪＶＴ−Ｓ ２０１であるジョイント・ドラフト６（ＳＶＣ ＪＤ６）や、Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ、Ｇａｒｙ Ｓｕｌｌｉｖａｎ、Ｊｕｌｉｅｎ Ｒｅｉｃｈｅｌ、Ｈｅｉｋｏ Ｓｈａｗａｒｚ、およびＭａｔｈｉａｓ Ｗｉｅｎによって２００７年１月にモロッコのマラケシュで発表された“Ｊｏｉｎｔ Ｄｒａｆｔ ９ ｏｆ ＳＶＣ Ａｍｅｎｄｍｅｎｔ”ＪＶＴ−Ｖ ２０１であるジョイント・ドラフト９（ＳＶＣ ＪＤ９）のようなジョイント・ドラフト文書で見られる。
符号化デバイス１２は、１または複数の符号化技術を用いてシーケンスのフレームのおのおのを符号化する。たとえば、符号化デバイス１２は、イントラ符号化技術を用いて、フレームのうちの１または複数の符号化することができる。イントラ符号化技術を用いて符号化されたフレームは、しばしば、イントラ（“Ｉ”）フレームと称され、他のフレームに対する参照無しで符号化される。しかしながら、イントラ符号化を用いて符号化されたフレームは、同じフレーム内に位置する他のマルチメディア・データにおける冗長性を利用するために、空間予測を用いる。
符号化デバイス１２はまた、インター符号化技術を用いて、フレームのうちの１または複数の符号化する。インター符号化技術を用いて符号化されるフレームは、ここで参照フレームと称される１または複数の他のフレームに対する参照を用いて符号化される。インター符号化フレームは、１または複数の予測（“Ｐ”）フレーム、双方向（“Ｂ”）フレーム、あるいはこれらの組み合わせを含みうる。Ｐフレームは、少なくとも１つの時間的に前のフレームに対する参照を用いて符号化される一方、Ｂフレームは、少なくとも１つの時間的に後のフレームと、少なくとも１つの時間的に前のフレームとに対する参照を用いて符号化される。時間的に前のフレームおよび／または時間的に後のフレームは、“参照フレーム”と称される。このように、インター符号化は、時間的なフレームにわたるマルチメディア・データにおける冗長性を利用する。
符号化デバイス１２はさらに、フレームを、ピクセルからなる複数のサブセットに分割し、ピクセルからなるサブセットのおのおのを個別に符号化することによって、シーケンスのフレームを符号化するように構成される。これらピクセルのサブセットは、ブロックまたはマクロブロックと称され、たとえば、１６行のピクセルと、１６列のピクセルとを含む１６×１６のピクセルのサブセットを含みうる。符号化デバイス１２はさらに、おのおののブロックを、２またはそれ以上のサブ・ブロックに分割することができる。一例として、１６×１６のブロックは、４つの８×８のサブ・ブロックを備えるか、あるいは、その他の部分ブロックを備えうる。たとえば、Ｈ．２６４規格は、たとえば１６×１６、１６×８、８×１６、８×８、４×４、８×４、および４×８のようなさまざまな異なるサイズを持つブロックの符号化を許可している。さらに、拡張機能によって、たとえば２×１６、１６×２、２×２、４×１６、８×２等の任意のサイズを持つサブ・ブロックが、ブロック内に含まれうる。１６以上の行または列を持つブロックもまた可能である。本明細書で使用されるように、用語「ブロック」は、任意のサイズ・ブロックあるいはサブ・ブロックの何れかを称することができる。
フレームがイントラ符号化を用いて符号化されていようと、インター符号化を用いて符号化されていようとに関わらず、シーケンスのフレームのおのおのは、参照フレームまたは非参照フレームとして特徴付けられうる。上述したように、用語「参照フレーム」は、フレームの他の１つのうちの少なくとも一部の圧縮のために、符号化デバイス１２によって使用されるマルチメディア・データを含むフレームを称する。言い換えれば、参照フレームは、参照フレームに依存するフレームの正しい復号のために使用される。参照フレームは、イントラ符号化フレームまたはインター符号化フレームの何れかである。すなわち、Ｉフレーム、Ｂフレーム、またはＰフレームである。反対に、用語「非参照フレーム」は、他のフレームの圧縮のために符号化デバイス１２によって使用されないフレームを称する。言い換えれば、その他のどのフレームも、正しい復号のために、非参照フレームからのマルチメディア・データに依存しない。したがって、非参照フレームが送信中に失われた場合、シーケンスの他のフレームの復号に影響を与えないであろう。参照フレームのように、非参照フレームは、イントラ符号化フレームか、インター符号化フレームのうちの何れかである。しかしながら、一般に、ＰフレームとＢフレームのみが、非参照フレームとして使用される。
スケーラブルな映像をサポートするために、符号化デバイス１２は、ベース・レイヤ・ビットストリーム（ここでは、「ベース・レイヤ」と称される）か、少なくとも１つのエンハンスメント・レイヤ・ビットストリーム（ここでは、「エンハンスメント・レイヤ」と称される）に符号化フレームを割り当てる。上述したように、ベース・レイヤは、マルチメディア復号のために、最低量のデータしか搬送しない。それゆえ、ベース・レイヤは、たとえば低いＰＥＲのように、変調された信号のうち、より信頼性の高い部分で送信される。エンハンスメント・レイヤは、ベース・レイヤの復号されたマルチメディアの品質を高める追加データを搬送する。エンハンスメント・レイヤは、たとえば高いＰＥＲのように、変調された信号のうち、より信頼性の低い部分で送信される。ある場合には、エンハンスメント・レイヤは、ベース・レイヤと連携してのみ復号可能となる。つまり、エンハンスメント・レイヤのフレームは、復号されたベース・レイヤのうちの１または複数のフレームに対する参照を含んでいる。しかしながら、他の場合では、エンハンスメント・レイヤは、ベース・レイヤなしで、少なくとも部分的に復号されうる。
いくつかの局面では、ＦＬＯエア・インタフェース仕様にしたがった場合のように、ベース・レイヤのサイズおよびエンハンスメント・レイヤのサイズが、本質的に同じであることが望ましい。言い換えれば、符号化デバイス１２は、エンハンスメント・レイヤにおいて、ベース・レイヤと同じ数のビットを実質的に送信することができる。フレームの初期割り当てが、レイヤのサイズ間でアンバランスになる場合、符号化モジュール１２は、本明細書で記載の技術にしたがって、フレームを再割当する。以下に述べられるようなフレームの再割当によって、符号化モジュール１２が、パディング・ビット、すなわち、復号モジュール１４によって使用されないがレイヤのサイズのバランスをとるために追加された情報を送るために帯域幅を浪費する必要性をなくす。本明細書に記載された例は、ベース・レイヤからのフレームを、エンハンスメント・レイヤへ再割当することを目的としているが、エンハンスメント・レイヤからベース・レイヤへの最初の割当を行うために、類似の技術も利用されうる。
本明細書に記載された技術によって、ベース・レイヤかエンハンスメント・レイヤにフレームを再割当するために、ベース・レイヤあるいはエンハンスメント・レイヤ内のフレームの選択的な配置が可能となる。特に、いくつかの局面では、異なるレイヤ間でのデータの良好なバランスを達成するために、少なくとも１つの参照フレームが、ベース・レイヤからエンハンスメント・レイヤへ移動されうる。ある局面では、符号化デバイス１２は、イントラ符号化フレームの時間的に前または近傍に位置する参照フレームを移動させる。たとえば、符号化デバイス１２は、イントラ符号化フレームの時間的に直前に位置する参照フレームを移動させる。他の局面では、符号化デバイス１２は、たとえばスーパフレームのように、複数のフレームを含むデータのセグメントの末尾近傍に位置する参照フレームを移動させる。説明した技術は、ベース・レイヤと１または複数のエンハンスメント・レイヤとの間で、帯域幅のバランスを保つのに役立つ。
符号化デバイス１２は、符号化されたシーケンスを、復号および復号デバイス１４のユーザへ表示するために、ネットワーク１６を介して復号デバイス１４へ送信する。ネットワーク１６は、イーサネット（登録商標）システム、電話（たとえば、ＰＯＴＳ）システム、ケーブル・システム、電線システム、および光ファイバ・システムを含む有線通信ネットワークまたは無線通信ネットワークのうちの１または複数、および／または、たとえば、ＧＳＭ／ＧＰＲＳ（汎用パケット・ラジオ・サービス）／ＥＤＧＥ（エンハンスト・データＧＳＭ環境）、ＴＥＴＲＡ（地上トランク・ラジオ）モバイル電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データ・レート（１×ＥＶ−ＤＯまたは１×ＥＶ−ＤＯゴールド・マルチキャスト）システム、ＩＥＥＥ ８０２．１１システム、ＦＬＯシステム、デジタル・メディア・ブロードキャスト（ＤＭＢ）システム、デジタル・ビデオ・ブロードキャスト−ハンドヘルド（ＤＶＢ−Ｈ）システム、統合サービス・デジタル・ブロードキャスト地上（ＩＳＤＢ−Ｔ）システム等のような時分割多元接続（ＴＤＭＡ）システム、直交周波数分割多元接続（ＯＦＤＭ）システム、周波数分割多元接続（ＦＤＭＡ）システム、符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムのうちの１または複数を備える。
ある局面では、符号化デバイス１２は、期間にわたって受信したフレームを符合化し、結合し、送信する。いくつかのマルチメディア符合化システムでは、たとえば、マルチメディア・データのうちの複数のフレームが、しばしば「スーパフレーム」と称されるマルチメディア・データのセグメントにグループ化される。本明細書で使用されるように、用語「スーパフレーム」は、データのセグメントを形成するウィンドウまたは期間にわたって集められたフレームのグループを称するＦＬＯ技術を利用する符号化システムでは、スーパフレームは、ノミナルでは３０のフレームを有する、１秒のデータ・セグメントを備えうる。しかしながら、スーパフレームは、任意の数のフレームを含みうる。これら技術はまた、たとえば、固定期間である場合もない場合もありうる、別の期間に受信されたデータのセグメントについて、あるいは、個々のフレームまたはデータのフレームのセットについて、データの他のセグメントを符合化、結合、および送信するために利用されうる。言い換えれば、スーパフレームは、１秒期間または可変期間よりも大きいまたは小さい期間をカバーするように定義されうる。本開示の全体にわたって、（たとえば、スーパフレームの概念に類似した）特定のマルチメディア・データのセグメントは、特定のサイズおよび／または持続時間からなるマルチメディア・データのチャンクを称することに着目されたい。
いくつかの局面では、符号化デバイス１２は、マルチメディア・データのうち１または複数のチャネルをブロードキャストするために使用されるブロードキャスト・ネットワーク要素の一部を形成しうる。それゆえ、符号化されたシーケンスのおのおのは、マルチメディア・データのチャネルに相当しうる。マルチメディア・データのチャネルのおのおのは、ベース・レイヤおよび少なくとも１つのエンハンスメント・レイヤを備えうる。例として、符号化デバイス１２は、無線基地局、サーバ、符号化されたマルチメディア・データの１または複数のチャネルを無線デバイスへブロードキャストするために使用される任意のインフラストラクチャ・ノードの一部を形成しうる。この場合、符号化デバイス１２は、符号化されたデータを、たとえば復号デバイス１４のような複数の無線デバイスへ送信しうる。図１では、簡略のために、単一の復号デバイス１４しか例示されていない。
復号デバイス１４は、符号化されたシーケンスをネットワーク１６から受信し、この符号化されたシーケンスを復号する。ネットワーク１６に関する復号デバイス１４の位置に依存して、復号デバイス１４は、エンハンスメント・レイヤを受信するかもしれないし、受信しないかもしれない。無線コンテキストでは、たとえば、復号デバイス１４がネットワーク１６内の送信塔に近い場合、復号デバイス１４は、ベース・レイヤとエンハンスメント・レイヤとの両方を受信する。しかしながら、復号デバイス１４は、ネットワーク１６内の送信塔からさらに離れると、ベース・レイヤのみしか受信しないことがある。言い換えれば、ベース・レイヤは、適用可能な有効範囲領域内にある場合、復号デバイス１４によって、より高い信頼性で受信される。なぜなら、ベース・レイヤはより高い電力で送信されるからである。
エンハンスメント・レイヤが受信されない場合、復号デバイス１４は、ベース・レイヤしか復号しない。この場合、ベース・レイヤによって最低の品質レベルでしか提供されないとはいえ、復号デバイス１４は、マルチメディア・シーケンスのコンテンツを表示することができる。しかしながら、ベース・レイヤとエンハンスメント・レイヤとの両方が受信される場合、復号デバイス１４は、ベース・レイヤとエンハンスメント・レイヤとのデータを復号し、これらを結合して、より高い品質の映像を表示することができる。したがって、エンハンスメント・レイヤが復号されベース・レイヤに追加されることによって、復号された映像の品質が高められるという点において、復号デバイスによって取得された映像はスケーラブルである。しかしながら、エンハンスメント・レイヤ・データが存在する場合にのみ、スケーラビリティは可能である。
復号デバイス１４は、たとえば、デジタル・テレビ、無線通信デバイス、ゲーム・デバイス、ポータブル・デジタル・アシスタント（ＰＤＡ）、ラップトップ・コンピュータまたはデスクトップ・コンピュータ、たとえば“ｉＰｏｄ”というトレードマークの下で販売されているデジタル音楽およびビデオ・デバイス、あるいはたとえばセルラ、衛星または地上ベースの無線電話や、映像および／または音楽ストリーミング、映像電話、またはこれら両方のような無線電話の一部として実装される。復号デバイス１４は、移動式デバイスまたは据置式デバイスに関係しうる。他の局面では、復号デバイス１４は、有線ネットワークに接続された有線デバイスを備えうる。
図２は、符号化デバイス１２を更に詳細に例示するブロック図である。図２に示すように、符号化デバイス１２は、符号化モジュール２０、割当モジュール２２、参照データ・ジェネレータ２４、および変調器／送信機２６を含んでいる。符号化モジュール２０は、イントラ符号化モジュール２８およびインター符号化モジュール２９を含んでいる。
符号化モジュール２０は、ソース１８（図１）から１または複数の入力マルチメディア・シーケンスを受信し、受信したマルチメディア・シーケンスのうちのフレームを選択的に符号化する。特に、イントラ符号化モジュール２８は、他のフレームへの参照無しで、シーケンスのフレームのうちの１または複数を符号化する。イントラ符号化モジュール２８は、たとえば、ビデオ・シーケンスの開始時またはシーン変化時に、シーケンスのフレームをＩフレームとして符号化する。あるいはまたはそれに加えて、イントラ符号化モジュール２８は、イントラ・リフレッシュまたはチャネル切換のために、フレームをイントラ符号化する。上述したように、イントラ符号化モジュール２８は、同じフレーム内に位置する他のマルチメディア・データにおける冗長性を利用するために、空間予測を用いて、フレームを符号化する。
インター符号化モジュール２９は、１または複数の他の時間的に位置するフレーム、すなわちＩフレーム、Ｐフレーム、Ｂフレーム、またはこれらの組み合わせに関して、シーケンスのフレームのうちの１または複数を符号化する。インター符号化モジュール２９は、たとえば、時間的なフレームのシーケンスにおいて互いに近接した１または複数のフレームのような参照フレームのように、時間的に位置する他のフレームにおける冗長性を利用することができる。参照フレームは、符号化されるフレームのうちの１または複数のブロックに対する一致あるいは少なくとも部分的な一致をもつ１または複数のブロックを有しうる。この場合、インター符号化モジュール２９は、時間的なフレームにわたって、データのブロックに関し、動作補償予測を用いて、フレームを符号化することができる。特に、インター符号化モジュール２９は、フレームの特定の区分のための１または複数の移動ベクトルおよび残余を備えるデータとしてフレームを符号化する。
参照データ・ジェネレータ２４は、符号化モジュール２０によって生成されたイントラ符号化マルチメディア・データおよびインター符号化マルチメディア・データを示す参照データを生成しうる。参照データ・ジェネレータ２４によって生成された参照データは、たとえば、フレームがＩフレームであるか、Ｐフレームであるか、Ｂフレームであるか、その他のタイプのフレームであるかを特定する。さらに、参照データは、フレーム内のブロックを符号化するために使用される符号化のタイプおよびブロックを特定する１または複数のブロック識別子を含む。参照データはまた、マルチメディア・シーケンス内の１または複数の参照フレームの場所を特定するフレーム・シーケンス番号を含みうる。
割当モジュール２２は、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームに、符号化されたフレームを割り当てる。ある局面では、割当モジュール２２は、フレームが参照フレームとして使用されるかどうかに基づいてフレームを割り当てる。割当モジュール２２は、たとえば、最初に参照フレームをベース・レイヤに割り当て、非参照フレームをエンハンスメント・レイヤに割り当てる。フレームＢは一般に参照フレームとして使用されず、通常は、前のＰフレームおよび後のＰフレームを参照するので、そのような割当スキームは一般に、ＩフレームおよびＰフレームをベース・レイヤに割り当て、Ｂフレームをエンハンスメント・レイヤに割り当てる。しかしながら、符号化デバイス１２は、ＩフレームまたはＰフレームを非参照フレームとして符号化し、非参照ＩまたはＰフレームを、エンハンスメント・レイヤに割り当てる。同様に、符号化デバイス１２は、１または複数のＢフレームを参照フレームとして符号化し、参照Ｂフレームをベース・レイヤへ割り当てる。さらに、割当モジュール２２は、１または複数の非参照フレームが最初にベース・レイヤに割り当てられる初期割当スキームを使用することができる。たとえば、割当モジュール２２は、Ｐフレームが参照フレームであるか、非参照フレームであるかに関わらず、まず全てのＩフレームおよびＰフレームをベース・レイヤに割り当てる。さらに、割当モジュール２２は、最初に、１または複数の非参照Ｂフレームをベース・レイヤへ割り当てる。
ある局面では、ＦＬＯエア・インタフェース仕様にしたがうように、ベース・レイヤとエンハンスメント・レイヤとは実質的に同じサイズであることが望まれうる。従来の符号化システムでは、符号化デバイスは、ベース・レイヤとエンハンスメント・レイヤとのビット数の差が予め定めた閾値を超える場合、実質的に小さいパディング・ビットをレイヤのビットストリームに組み込むことによって、ベース・レイヤとエンハンスメント・レイヤとをバランスさせる。これらパディング・ビットは、復号処理中、デコーダによって無視される。本明細書に記載された技術によって、レイヤ間にビットを良好に割り当てるために、ベース・レイヤかエンハンスメント・レイヤへのフレームの選択的な配置が可能となる。
特に、割当モジュール２２は、複数のフレームが、ベース・レイヤに割り当てられているか、エンハンスメント・レイヤに割り当てられているかを分析し、フレームのうちの１または複数を、ベース・レイヤかエンハンスメント・レイヤかに再割当する。割当モジュール２２は、ベース・レイヤとエンハンスメント・レイヤとのサイズの差を最小にするように試みる。たとえば、ベース・レイヤのビットストリームにおけるビット数（つまりサイズ）が、エンハンスメント・レイヤのビットストリームにおけるビット数よりも、予め定めたマージンまたは閾値小さい場合、割当モジュール２２は、エンハンスメント・レイヤのフレームのうちの１または複数をベース・レイヤに再割当することができる。あるいは、符号化モジュール２０は、追加フレームを符号化して、ベース・レイヤに含める。このように、割当モジュール２２は、ベース・レイヤのサイズとエンハンスメント・レイヤのサイズとを実質的に同じにするように、バランスさせる。符号化モジュール２０はさらに、レイヤを同じサイズにするために、ベース・レイヤまたはエンハンスメント・レイヤにパディング・ビットを追加する。しかしながら、レイヤ間の相違が小さくなると、パディング・ビットによって浪費される帯域幅も小さくなる。
エンハンスメント・レイヤのビットストリームのビット数（すなわち、サイズ）が、ベース・レイヤのビット数よりも予め定めたマージンまたは閾値小さい場合、割当モジュール２２は、そのサイズを実質的に同じにするために、ベース・レイヤのフレームのうちの１または複数を、エンハンスメント・レイヤに再割当する。ベース・レイヤに非参照フレームが存在する場合、割当モジュール２２は、非参照フレームをエンハンスメント・レイヤへ再割当する。非参照フレームをエンハンスメント・レイヤへ移動させることによって、エンハンスメント・レイヤが復号デバイス１４によって受信されない場合、次のフレームの復号に悪影響はない。
ベース・レイヤに非参照フレームが存在しない場合、割当モジュール２２は、ベース・レイヤからエンハンスメント・レイヤへ移動する少なくとも１つの参照フレームを選択する。ある局面では、割当モジュール２２は、イントラ符号化フレームの時間的に前または近傍に位置する参照フレームを移動させる。たとえば、割当モジュール２２は、Ｉフレームまたはチャネル切換フレーム（ＣＳＦ）の時間的に直前に位置する参照フレームを再割当する。ＣＳＦは、通常、チャネルに対する迅速なアクセスを容易にするためにイントラ符号化されるだろう。イントラ符号化フレームは、時間的に位置するその他何れのフレームをも参照することなく符号化されるので、イントラ符号化フレームの時間的に直前に位置する参照フレームを移動させることは、次のフレームの復号に悪影響を与えない。さらに、エンハンスメント・レイヤにおいて、１または複数のフレームによって参照フレームが参照されるまで、参照フレームに依存するエンハンスメント・レイヤ内のフレームが受信される場合、参照フレームが受信されるだろう。他の局面では、割当モジュール２２は、イントラ符号化フレームの時間的に前および近傍に位置する、すなわち、イントラ符号化フレームの２〜３フレーム前に位置する参照フレームを移動させる。
他の局面では、割当モジュール２２は、スーパフレームあるいは他のデータ・セグメントの末尾近傍に位置する参照フレームを移動させる。この場合、符号化デバイス１２は、１または複数の参照データを調節することができる。たとえば、割当モジュール２２は、符号化モジュール２０が、ベース・レイヤの、再割当された参照フレームに依存する１または複数のフレームを再び符号化して、別のフレームに対する参照をベース・レイヤ内に含めることを要求する。あるいは、再割当されたフレームに依存するフレームが、複数の参照フレームを用いて符合化されるのであれば、参照データ・ジェネレータ２４は、この参照を単に、エンハンスメント・レイヤに再割当された参照フレームに移動させる。参照データを調節することによって、ベース・レイヤの後のフレームを復号する場合、エンハンスメント・レイヤを受信しない影響を低減することができる。しかしながら、いくつかの局面では、符号化デバイス１２は、どの参照データも調節せず、その代わりに、単に、再割当されたフレームへ参照を残すことがある。この場合、参照フレームを持つエンハンスメント・レイヤが受信されると、復号デバイス１４は、データを通常通り復号することができる。参照フレームを含むエンハンスメント・レイヤが受信されない場合、復号デバイス１４は、参照フレームの失われたデータに対処するために誤り訂正を実行する。
ベース・レイヤか、エンハンスメント・レイヤにフレームを割り当てた後、符号化デバイス１２は、変調器／送信機２６によって、ネットワーク１６（図１）を介してフレームを送信する。変調器／送信機２６は、符号化されたマルチメディア・シーケンスの変調およびネットワーク１６による無線送信をサポートするために、適切なモデム、増幅器、フィルタ、および周波数変換構成要素を含みうる。上述するように、変調器／送信機２６は、ベース・レイヤおよびエンハンスメント・レイヤを、同じキャリアまたはサブキャリアであるが、異なる送信特性で送信し信頼性が異なる階層変調を使用する。言い換えれば、ベース・レイヤは、変調された信号のうち、より信頼性の高い部分で送信される一方、エンハンスメント・レイヤは、変調された信号のうち、より信頼性の低い部分で送信される。たとえば、ベース・レイヤおよびエンハンスメント・レイヤは、ベース・レイヤがより高い信頼性で受信されるように、異なるＰＥＲで送信される。いくつかの局面では、符号化デバイス１２は、２ウェイ通信のために装備され、もって、送信構成要素と受信構成要素との両方を含んでおり、マルチメディア・データを符号化および復号することができる。
前述の技術は、個別に実現されるか、あるいは、そのような技術の２またはそれ以上、あるいは、そのような技術の全てが、符号化デバイス１２においてともに実現されうる。符号化デバイス１２における構成要素は、本明細書に記載の技術を実現するために適用可能なものの典型例である。しかしながら、符号化デバイス１２は、もし望まれるのであれば、上述したモジュールのうちの１または複数の機能を組み合わせたより少ない構成要素のみならず、その他多くの構成要素を含みうる。しかしながら、例示を簡単にするために、図２ではそのような構成要素は示されていない。
符号化デバイス１２の構成要素は、１または複数のプロセッサ、デジタル信号プロセサ、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラム可能ゲート・アレイ（ＦＰＧＡ）、ディスクリート・ロジック、ソフトウェア、ハードウェア、ファームウェア、あるいはこれらの任意の組み合わせとして実現されうる。異なる機能をモジュールとして説明することは、符号化デバイス１２の異なる機能的局面を強調することが意図されており、そのようなモジュールが、個別のハードウェア構成要素またはソフトウェア構成要素によって実現される必要のあるモジュールであることを必ずしも述べる必要はない。むしろ、１または複数のモジュールに関連する機能は、共通のあるいは個別のハードウェア構成要素またはソフトウェア構成要素内に統合されうる。したがって、本開示は、符号化デバイス１２の例に限定されるべきではない。
図３は、復号デバイス１４をより詳細に例示するブロック図である。復号デバイス１４は、復調器／受信機３０、選択復号モジュール３２、および参照データ分析モジュール３８を含んでいる。復調器／受信機３０は、ネットワーク１６を介して符号化されたフレームのシーケンスを受信する。変調器／送信機２６のように、復調器／受信機３０は、ネットワーク１６（図１）からの符号化されたマルチメディア・シーケンスの受信および復調をサポートする適切なモデム、増幅器、フィルタ、および周波数変換構成要素を含む。いくつかの局面では、復号デバイス１４は、２ウェイ通信のために装備され、もって、送信構成要素と受信構成要素との両方を含み、マルチメディア・データを符号化および復号することができる。
上述したように、符号化デバイス１２は、符号化されたフレームのシーケンスを、異なる送信特性を有するベース・レイヤおよびエンハンスメント・レイヤで送信する階層変調を用いるので、レイヤ間で信頼性が異なる。したがって、たとえば復号デバイス１４がネットワーク１６の送信塔から離れている場合のようなある状況では、復号デバイス１４は、ベース・レイヤの符号化フレームのみを受信する。たとえば復号デバイス１４がネットワーク１６の送電塔に近い場合のような別の状況では、復号デバイス１４は、ベース・レイヤとエンハンスメント・レイヤとの両方からフレームを受信することができる。
選択復号モジュール３２は、受信されたシーケンスの符号化フレームを復号する。特に、選択復号モジュール３２は、エンハンスメント・レイヤが受信された場合、ベース・レイヤのフレームと、エンハンスメント・レイヤのフレームとを復号する。符号化されたフレームを復号する際、選択復号モジュール３２は、フレームを符号化するために使用される冗長性を用いてフレームを復号する。特に、選択復号モジュール３２は、イントラ符号化されたフレームを復号するために、同じフレーム内の空間的冗長性を利用する。同様に、選択復号モジュール３２は、インター符号化されたフレームを復号するために、１または複数の参照フレームの時間的冗長性を利用する。
選択復号モジュール３２は、符号化されたフレームのシーケンスを、参照データ分析モジュール３８からの参照データにしたがって復号する。参照データ分析モジュール３８は、イントラ符号化されたフレームまたはブロック、および、インター符号化されたフレームまたはブロックが、受信された符号化マルチメディア・シーケンスのどこに位置するのかを示す参照データを特定する。さらに、参照データ分析モジュール３８は、インター符号化されたフレームのための参照フレームの場所を示す参照データを特定する。選択復号モジュール３２は、インター符号化されたフレームを復号するために、もしも利用可能であれば、この特定された参照フレームを利用する。
上述したように、エンハンスメント・レイヤは、ベース・レイヤとエンハンスメント・レイヤとのサイズをバランスさせるために、ベース・レイヤから移動された少なくとも１つの参照フレームを含む。エンハンスメント・レイヤが受信されると、選択復号モジュール３２は、必要であれば、エンハンスメント・レイヤ内の参照フレームのデータを用いて、ベース・レイヤのうちの少なくとも１つのフレームを復号する。しかしながら、エンハンスメント・レイヤが受信されない場合、選択復号モジュール３２は、ベース・レイヤのフレームを正しく復号するために、エンハンスメント・レイヤ内の参照フレームからのデータを持たない。ある局面では、選択復号モジュール３２は、エンハンスメント・レイヤの失われた参照フレームに対する参照を含むフレームに対応するＣＳＦを復号することができる。別の例では、失われた参照フレームを参照するフレームが、複数の参照フレームに対する参照を用いて符号化され、選択復号モジュール３２が、失われた参照を参照するフレームを、他の参照フレームのみを用いて復号する。他の場合には、誤り訂正モジュール（図示せず）が、誤りの訂正を試みるために、１または複数の誤り訂正アルゴリズムを用いる。
エンハンスメント・レイヤ・データが利用可能である場合、すなわち、エンハンスメント・レイヤ・データが正しく受信された場合、選択復号モジュール３２は、与えられたフレームまたはマクロブロックのために、ベース・レイヤおよびエンハンスメント・レイヤのマルチメディア・データを結合する。したがって、ベース・レイヤとエンハンスメント・レイヤとの両方が受信される場合、選択復号モジュール３２は、これらレイヤを組み合わせ、ベース・レイヤのみが受信される場合よりも高い品質を提供する。
前述した技術は、個別に実現されるか、あるいは、そのような技術のうちの２またはそれ以上、あるいはそのような技術のうちの全てが、復号デバイス１４内でともに実現されうる。復号デバイス１４におけるこれら構成要素は、本明細書に記載のこれら技術を実施するために利用可能なもののうちの典型例である。しかしながら、復号デバイス１４は、もし望まれるのであれば、上述したモジュールのうちの１または複数の機能を結合する少数の構成要素のみならず、その他の多くの構成要素を含みうる。さらに、復号デバイス１４は、ラジオ周波数（ＲＦ）無線構成要素や、適用可能であればアンテナを含む符合化ビデオの送信および受信のための適切な変調構成要素、復調構成要素、周波数変換構成要素、フィルタ構成要素、および増幅構成要素を含みうる。しかしながら、例示を容易にするために、そのような構成要素は図３に示されていない。
復号デバイス１４における構成要素は、１または複数のプロセッサ、デジタル信号プロセッサ、ＡＳＩＣ、ＦＰＧＡ、ディスクリート・ロジック・ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせとして実現されうる。モジュールとしての異なる特徴の説明は、復号デバイス１４の異なる機能局面を強調することが意図されており、そのようなモジュールが、個別のハードウェア構成要素またはソフトウェア構成要素によって実現されねばならないことを必ずしも示唆している訳ではない。むしろ、１または複数のモジュールに関連する機能は、共通または個別のハードウェア構成要素またはソフトウェア構成要素内で統合されうる。したがって、本開示は、復号デバイス１４の例に限定されるべきではない。
図４は、符合化されたマルチメディア・シーケンス４０の典型例の一部を例示する図である。図４に示す符合化シーケンス４０は、マルチメディア・データのチャネルに対応しうる。例として、符合化されたシーケンス４０は、ＥＳＰＮ、ＦＯＸ、ＭＳＮＢＣ、またはその他のテレビ・チャンネルに対応しうる。図４に例示する例は、１つのみのチャンネルのための符合化されたシーケンス４０を示しているが、本開示の技術は、任意の数のチャンネルのための符合化された多くのシーケンスに適用可能である。
符合化されたシーケンス４０は、符合化された複数のフレームを含む。符合化されたフレームは、様々なインター符合化技術またはイントラ符合化技術によって符合化されるそれぞれの入力フレームの圧縮バージョンを示す。図４の例では、符合化されたシーケンス４０は、ＩフレームＩ１、ＰフレームＰ１−Ｐ５、およびＢフレームＢ１−Ｂ７を含む。フレームＩ１およびフレームＰ１−Ｐ５は参照フレームである。言い換えれば、符合化されたシーケンス４０のうちの少なくとも１つの別のフレームは、フレームＩ１およびフレームＰ１−Ｐ５のおのおのにおけるデータのうちの少なくとも１つのブロックに対する参照を有する。例として、フレームＰ４は、フレームＢ４およびＢ５のための参照フレームでありうる。一方、フレームＢ１−Ｂ７は、非参照フレームである。すなわち、どのフレームも、フレームＢ１−Ｂ７のうちのどのブロック・データに対する参照をもたない。図４を参照して説明した例では、全てのＰフレームとＩフレームとが参照フレームであり、全てのＢフレームが非参照フレームであるが、１または複数のＰフレームまたはＩフレームが非参照フレームであり、１または複数のＢフレームが参照フレームともなりえる。
上述したように、割当モジュール２２は、ベース・レイヤ・ビットストリーム４２か、エンハンスメント・レイヤ・ビットストリーム４４に符合化フレームを割り当てる。図４の例では、１つのみのエンハンスメント・レイヤしか示されていないが、本明細書に記載の技術は、ベース・レイヤから１を超えるエンハンスメント・レイヤへと、あるいはエンハンスメント・レイヤ間で、フレームを配信するために使用されうる。ベース・レイヤ・ビットストリーム４２は、最初に、参照フレームＩ１およびＰ１−Ｐ５を含んでいる。エンハンスメント・レイヤ・ビットストリーム４４は、最初に、非参照フレームＢ１−Ｂ７を含んでいる。破線を用いて示されるフレーム（すなわち、参照フレームＰ４）は、このフレームの最初の場所を示す。図４に例示するようなフレームの初期割当では、ベース・レイヤ４２が全ての参照フレームを含み、エンハンスト・レイヤ４４が全ての非参照フレームを含むが、割当モジュール２２は、最初に、１または複数の非参照フレーム（例えば、図４の例におけるフレームＢ１−Ｂ７のうちの１つ）を、ベース・レイヤ４２に割り当てる。
上述したように、割当モジュール２２は、ベース・レイヤ４２かエンハンスメント・レイヤ４４へのフレームの割当を分析し、この分析に基づいて、１または複数のフレームを再割当する。たとえば、エンハンスメント・レイヤ４４が、ベース・レイヤ４２よりも実質的に少ないビットしか含まない場合、割当モジュール２２は、ベース・レイヤ４２からのフレームのうちの１または複数を、エンハンスメント・レイヤ４４へ再割当する。具体的には、割当モジュール２２は、ベース・レイヤ４２のビット数が、エンハンスメント・レイヤ４４のビット数を閾値超える場合、１または複数のフレームを再割当する。最初に、割当モジュールは、ベース・レイヤ４２に位置する任意の非参照フレームを、エンハンスメント・レイヤ４４へ再割当する。図４の例では、どの非参照フレームも、最初にベース・レイヤ４２に割り当てられない。したがって、割当モジュール２２は、参照フレームのうち、ベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動させる少なくとも１つを選択する。
図４に示すように、割当モジュールは、参照フレームＰ４を、ベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動させる。参照フレームＰ４は、イントラ符合化されたフレーム、すなわち、フレームＩ１の時間的直前に位置している。イントラ符合化された（Ｉ）フレームは、その他任意の時間的に位置するフレームを参照することなく符合化されるので、イントラ符合化されたフレームの直前の参照フレームを移動させることは、次のフレームであるフレームＩ１の復号に悪影響を与えることはない。しかしながら、参照フレームＰ４を移動させることによって、復号デバイス１４におけるフレーム・レートが僅かに遅くなる。したがって、エンハンスメント・レイヤ４４が受信されない場合、復号されたマルチメディア・シーケンス４０に幾つかの僅かなアーティファクトが生じる。上述したように、参照フレームＰ４は、非参照フレームＢ４、Ｂ５のための参照フレームとなる。フレームＰ４に対する参照を含む非参照フレームＢ４、Ｂ５が受信された場合、恐らく参照フレームＰ４が受信されるだろうから、参照フレームＰ４は、非参照フレームＢ４、Ｂ５に対する参照フレームであり続けることができる。
図４に例示された符合化されたシーケンス４０は、典型的な目的のみのためである。上述したように、符合化されたシーケンス４０は、異なる構成およびフレーム・タイプを含みうる。たとえば、符合化されたシーケンスは、異なる構成の参照フレームおよび非参照フレームを含みうる。さらに、フレームＩ１の時間的に前または近傍に位置する参照フレームの何れかが、ベース・レイヤ４２からエンハンスメント・レイヤ４４へと移動されうる。他の場合では、たとえば、フレームＰ２またはフレームＰ３のうちの１つが、ベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動されうる。しかしながら、まず、フレームＩ１に最も近くに位置する参照フレームを移動させること、すなわち、Ｐ２をエンハンスメント・レイヤに移動させる前にＰ３をエンハンスメント・レイヤへ移動させることが有利である。
図５は、典型的に符合化されたマルチメディア・シーケンス５０の別の典型例の一部を例示する図である。符合化されたマルチメディア・シーケンス５０は、符合化されたマルチメディア・シーケンス５０が、Ｉフレームを含んでいないという点を除いて、図４に示す符合化されたマルチメディア・シーケンス４０と実質的に一致する。その代わり、図４のフレームＩ１は、別のＰフレーム、すなわちフレームＰ６と交換される。フレームＩ１とは異なり、フレームＰ６は、イントラ符合化されたフレームではないが、フレームＰ４に対する少なくとも１つの参照を含むインター符合化されたフレームである。
符合化されたマルチメディア・シーケンス５０はまた、チャネル切換フレーム（ＣＳＦ１）を含んでいる。この例において、ＣＳＦ１は、それぞれの入力フレームのうちの少なくとも一部のイントラ符合化バージョンである。言い換えれば、ＣＳＦ１は、他のフレームを参照することなく符合化され、独立して復号可能である。ある局面では、ＣＳＦ１は、符合化されたシーケンス５０の他のフレームよりも低い品質で符号化されうる。さらに、ＣＳＦ１は、このシーケンス内のＣＳＦ１の時間的な位置が、同じマルチメディア・シーケンス内の対応するインター符合化されたフレームの時間的な位置に対応するという点において、インター符合化されたフレームのうちの対応する１つとともに時間的にともに位置することができる。図５に例示する例において、ＣＳＦ１は、フレームＰ６とともに位置している。この場合、ＣＳＦ１は、対応するフレームＰ６において符合化されたマルチメディア・データのうちの少なくとも一部の第２のイントラ符合化されたバージョンとして見ることができる。
ある局面では、復号デバイス１４は、符合化されたマルチメディア・シーケンス５０を、エンハンスメント・レイヤ４４が受信されているか否かに依存して、選択的に復号することができる。特に、復号デバイス１４は、エンハンスメント・レイヤ４４が受信された場合、フレームＰ４をその参照フレームとして用いて、フレームＰ６を復号する。したがって、ベース・レイヤ４２に位置するフレームＰ６は、エンハンスメント・レイヤ４４内のフレームを参照する。しかしながら、エンハンスメント・レイヤ４４が、復号デバイス１４によって受信されない場合、復号デバイス１４は、フレームＰ６の代わりに、ＣＳＦ１を復号することができる。ＣＳＦ１は、イントラ符合化されたフレームであるので、エンハンスメント・レイヤ４４へ参照フレームＰ４を移動させることは、次のフレームの復号に悪影響を与えない。
図５に例示する符合化されたシーケンス５０は、典型的な目的のためのみである。上述したように、符合化されたシーケンス５０は、異なる構成およびタイプのフレームを含みうる。たとえば、符合化されたシーケンスは、異なる構成の参照フレームおよび非参照フレームを含む。さらに、時間的にＣＳＦ１の前および近傍に位置する参照フレームのうちの何れかを、ベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動されることが可能である。たとえば、ＣＳＦ１の時間位置に対応するフレームであるフレームＰ６が、エンハンスメント・レイヤ・ビットストリーム４４へ移動されうる。他の場合では、例えばフレームＰ２あるいはＰ３のような他の参照フレームが、ベース・レイヤ４２からエンハンスメント・レイヤ４４に移動されうる。これらの場合、エンハンスメント・レイヤ４４は、復号デバイス１４によって受信されず、復号デバイス１４は、次のＣＳＦであるＣＳＦ１を復号することができる。
図６は、別の典型的な符合化されたマルチメディア・シーケンス６０の一部を例示する図である。符号化されたマルチメディア・シーケンス６０は、符合化されたマルチメディア・シーケンス６０が、イントラ符合化されたフレーム、すなわちＩフレームまたはＣＳＦを含まないという点を除いて、図４および図５に示す符合化されたマルチメディア・シーケンス４０と実質的に一致する。その代わり、図６に例示するマルチメディア・シーケンス６０の一部は、インター符合化されたフレームを含むエンハンスメント・レイヤ４４とベース・レイヤ４２とを含む。
マルチメディア・シーケンス６０の一部は、例えば、スーパフレームＳＦ１およびＳＦ２のような２つのセグメントのデータ部分を含む。スーパフレームＳＦ１は、少なくともフレームＰ１−Ｐ４およびフレームＢ１−Ｂ４を含む。スーパフレームＳＦ２は、フレームＢ５−Ｂ７のみならず、少なくともフレームＰ５、Ｐ６をも含む。しかしながら、スーパフレームＳＦ１およびＳＦ２は、それより多い、あるいはそれより少ないフレームを含みうる。さらに、スーパフレームＳＦ１およびＳＦ２は、例えばＩフレームまたはＣＳＦのように、１または複数のイントラ符合化されたフレームを含みうる。
図６に例示するように、スーパフレームＳＦ２の第１のフレーム（つまりＰ５）は、矢印６２によって表わされるように、スーパフレームＳＦ１の最後のフレーム（つまりＰ４）を参照する。言い換えれば、符号化モジュール２０は、フレームＰ４における時間的な冗長性を用いて、フレームＰ５の１または複数のブロックを符合化する。本開示における技術にしたがって、割当モジュール２２は、レイヤのサイズをバランスさせるために、ベース・レイヤ４２からエンハンスメント・レイヤ４４へと、参照フレームＰ４を再割当する。
ある場合には、符号化デバイス１２は、フレームＰ４がベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動すると、フレームＰ５の前方の参照を調節することができる。ある局面では、符号化モジュール２０は、ベース・レイヤ４２のフレームの別の１つを参照してフレームＰ５を再符号化する。例示した例では、符合化モジュール２０が、矢印６４に示すように、フレームＰ３における時間的冗長性を用いてフレームＰ５を再符号化する。他の局面では、符号化モジュール２０は、最初に、１より多い時間的に前のフレーム、すなわち、フレームＰ３およびＰ４を参照してフレームＰ５を符合化する。この場合、符号化モジュール２０は、フレームＰ５を符合化するが、その代り、Ｐ４への参照をなくす。
他の場合では、符号化デバイス１２は、フレームＰ５の前の参照を調節しない場合もある。代わりに、たとえＰ４がエンハンスメント・レイヤ４４に位置していても、符号化デバイス１２は、Ｐ４への参照を残すことができる。この場合、復号デバイス１４は、エンハンスメント・レイヤ４４が受信されたか否かに基づいて、受信したシーケンスを選択的に復号することができる。エンハンスメント・レイヤ４４が受信されると、復号デバイス１４は、エンハンスメント・レイヤにおけるフレームＰ４を参照してフレームＰ５を復号する。しかしながら、エンハンスメント・レイヤ４４が受信されない場合、復号デバイス１４は、１または複数の誤り訂正技術を用いてフレームＰ５を再構築するか、あるいは、イントラ符合化されたフレームを待つ。
図６に例示する符合化されたシーケンス６０は、典型的な目的のみのためである。上述したように、符合化されたたシーケンス６０は、異なる構成およびタイプのフレームを含みうる。たとえば、符合化シーケンスは、異なる構成の参照フレームおよび非参照フレームを含みうる。さらに、図６に例示する例では、スーパフレームＳＦ１の最後の参照フレームが、エンハンスメント・レイヤ４４に再割当され、参照フレームのうちの何れかが、ベース・レイヤ４２からエンハンスメント・レイヤ４４へ移動される。
図７は、本開示の技術にしたがって１または複数の参照フレームを再割当する、例えば符合化デバイス１２のような符合化デバイスの典型的な動作を例示するフロー図である。まず、割当モジュール２２は、符合化されたフレームを、ベース・レイヤ・ビットストリームか、少なくとも１つのエンハンスメント・レイヤ・ビットストリームかに割り当てる（７０）。ある局面では、割当モジュール２２は、これらフレームが参照フレームとして使用されているか否かに基づいて、フレームを割り当てる。割当モジュール２２は、たとえば、最初に参照フレームをベース・レイヤに割り当て、非参照フレームをエンハンスメント・レイヤに割り当てる。あるいは、割当モジュール２２は、１または複数の非参照フレームが最初にベース・レイヤに割り当てられる初期割当スキームを用いることができる。
割当モジュール２２は、ベース・レイヤおよびエンハンスメント・レイヤが実質的に同じサイズであるかを判定するために、ベース・レイヤとエンハンスメント・レイヤへのフレームの割り当てを分析する（７２）。エンハンスメント・レイヤおよびベース・レイヤが実質的に同じサイズではない場合、割当モジュール２２は、エンハンスメント・レイヤが、ベース・レイヤよりも予め定めたマージンまたは閾値小さいかを判定する（７３）。エンハンスメント・レイヤが、ベース・レイヤよりも予め定めた閾値大きい（すなわち、エンハンスメント・レイヤが、より多くのビットを含む）場合、割当モジュールは、エンハンスメント・レイヤからベース・レイヤへと、少なくとも１つのフレームを再割当する（７４）。エンハンスメント・レイヤに最初に割り当てられた参照フレームがある場合、割当モジュール２２は最初に１または複数の参照フレームを再割当することができる。そうでない場合、割当モジュール２２は、非参照Ｉフレームおよび非参照Ｐフレームで始まる非参照フレームを再割当することができる。
エンハンスメント・レイヤが、ベース・レイヤよりも予め定めた閾値小さい（すなわち、ベース・レイヤが、より多くのビットを含む）場合、割当モジュール２２は、ベース・レイヤに非参照フレームが存在するかを判定する（７５）。ベース・レイヤに非参照フレームが存在する場合、割当モジュール２２は、ベース・レイヤからエンハンスメント・レイヤへと非参照フレームを再割当する（７６）。非参照フレームをエンハンスメント・レイヤに移動させることによって、エンハンスメント・レイヤが復号デバイス１４によって受信されない場合、後のフレームの復号に悪影響はない。
ベース・レイヤに非参照フレームがない場合、割当モジュール２２は、ベース・レイヤからエンハンスメント・レイヤへと、少なくとも１つの参照フレームを再割当する（７７）。ある局面では、割当モジュール２２は、Ｉフレームまたはチャネル切換フレーム（ＣＳＦ）のように、イントラ符合化されたフレームの時間的に前および近傍に位置する参照フレームを移動させることができる。たとえば、割当モジュール２２は、イントラ符号化されたフレームの時間的に直前に位置する参照フレームを移動させることができる。イントラ符合化されたフレームは、時間的に位置するその他のフレームを参照することなく符合化されるので、イントラ符合化されたフレームの時間的直前に位置する参照フレームを移動させることは、次のフレームの復号に悪影響を与えない。他の局面では、割当モジュール２２は、データのスーパフレームまたはその他のデータのセグメントの末尾近傍に位置する参照フレームを移動させることができる。
符合化デバイス１２は、再割当された参照フレームに対する参照を含む１または複数のフレームの参照データを調節することができる（７８）。たとえば、割当モジュール２２は、符合化モジュール２０が、ベース・レイヤのうち、再割当された参照フレームに依存する１または複数のフレームを再符号化し、別のフレームに対する参照を、ベース・レイヤに含めることを要求することができる。あるいは、再割当されたフレームに依存するフレームが、複数の参照フレームを用いて符合化される場合、参照データ・ジェネレータ２４は単に、この参照を、エンハンスメント・レイヤへ再割当された参照フレームへ移動させる。しかしながら、符合化デバイス１２は、どの参照データも調節せず、代わりに、参照を、再割当された参照フレームへ残すこともできる。この場合、参照フレームを備えるエンハンスメント・レイヤが受信されると、復号デバイス１４は、通常、このデータを復号することができる。参照フレームを含むエンハンスメント・レイヤが受信されない場合、復号デバイス１４は、参照フレームの失われたデータに対処するために誤り訂正を実行する。このように、割当モジュール２２は、ベース・レイヤおよびエンハンスメント・レイヤのサイズをバランスさせる。
ベース・レイヤおよびエンハンスメント・レイヤが実質的に同じサイズである場合、符号化デバイス１２は、レイヤのフレームを送信する（７９）。変調器／送信機２６は、ベース・レイヤおよびエンハンスメント・レイヤを、同じキャリアまたはサブキャリアであるが異なる送信特性で送信する信頼性が異なる階層変調を使用する。たとえば、ベース・レイヤおよびエンハンスメント・レイヤは、ベース・レイヤがより高い信頼性で受信されるように、異なるＰＥＲで送信されうる。
図８は、例えば復号デバイス１４のようにベース・レイヤのフレームを選択的に復号する復号デバイスの典型的な動作を例示するフロー図である。復号デバイス１４は、マルチメディア・シーケンスのフレームを受信する（８０）。上述したように、ネットワーク１６（図１）に関する復号デバイス１４の位置に依存して、ベース・レイヤの符合化されたフレームのみを受信するか、あるいは、ベース・レイヤとエンハンスメント・レイヤとの両方の符合化フレームを受信する。
復号デバイス１４は、エンハンスメント・レイヤ内のフレームのコンテンツを参照して、ベース・レイヤ内のフレームを特定する（８２）。復号デバイス１４は、当該フレームを特定するために受信された参照データを分析することができる。復号デバイス１４は、エンハンスメント・レイヤが受信されたか否かを判定する（８４）。エンハンスメント・レイヤが受信された場合、復号デバイス１４は、エンハンスメント・レイヤ内の対応する参照フレームのデータを用いて、ベース・レイヤ内の特定されたフレームを復号する（８６）。
エンハンスメント・レイヤが受信されない場合、復号デバイス１４は、特定されたフレームに対応するまたはその後のＣＳＦが存在するかを判定する（８７）。特定されたフレームに対応するＣＳＦまたはその後のＣＳＦが存在する場合、復号デバイス１４は、特定されたフレームを復号する代わりに、ＣＳＦを復号する（８８）。特定されたフレームに対応するＣＳＦが存在しない場合、復号デバイス１４は、エンハンスメント・レイヤ内の参照フレームからのデータ無しでフレームを復号する（８９）。ある局面では、たとえば、特定されたフレームが１より多いフレームに対する参照を含んでいる場合、復号デバイス１４は、その他の参照フレームのデータを用いて、特定されたフレームを復号することができる。その他の局面では、復号デバイス１４は、特定されたフレームを再構築するために、１または複数の誤り訂正技術を用いる。
本明細書に記載された教示に基づいて、本明細書に開示の局面は、その他任意の局面とは独立して実施され、しかも、これら局面のうちの２またはそれ以上が、さまざまな方式で組み合わされうることが明確になるべきである。本明細書に記載された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいはこれらの任意の組み合わせによって実現されうる。ハードウェアで実現される場合、これら技術は、デジタル・ハードウェア、アナログ・ハードウェア、あるいはこれらの組み合わせを用いて実現されうる。ソフトウェアで実現される場合、これら技術は、１または複数の命令群またはコードが格納されたコンピュータ読取可能媒体を含むコンピュータ・プログラム製品によって少なくとも部分的に実現されうる。
限定ではなく一例として、そのようなコンピュータ読取可能媒体は、例えばシンクロナス・ダイナミック・ランダム・アクセス・メモリ（ＳＤＲＡＭ）のようなＲＡＭ、読取専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、ＲＯＭ、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置あるいはその他の磁気記憶装置、あるいは、命令群またはデータ構造の形式で所望のプログラム・コードを搬送または格納するために使用され、かつ、コンピュータによってアクセスされることが可能なその他任意の有用な媒体を備えうる。
コンピュータ・プログラム製品のコンピュータ読取能媒体に関連する命令群またはコードは、例えば１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、または、その他の等価な集積回路あるいはディスクリート論理回路のような１または複数のプロセッサによって、コンピュータによって実行されうる。
多くの局面および例が記載された。しかしながら、これらの例に対する様々な変形が可能であり、本明細書で表された原理は、その他の局面に対しても同様に適用されうる。これらおよび他の局面は請求項の範囲内である。

Claims (72)

  1. マルチメディア・データを処理する方法であって、
    マルチメディア・データの、１または複数の参照フレームを含む複数のフレームを符合化することと、
    前記１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、ベース・レイヤ・ビットストリームと、少なくとも１つのエンハンスメント・レイヤ・ビットストリームとに、前記複数のフレームのおのおのを割り当てることと
    を備える方法。
  2. 前記フレームを割り当てることは、
    前記フレームのうちのイントラ符合化されたフレームの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てること
    を備える請求項１に記載の方法。
  3. 前記フレームのうちのイントラ符合化されたフレームの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを割り当てることは、
    チャネル切換フレームの時間的に直前に位置する１または複数の参照フレームのうち少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てること
    を備える請求項２に記載の方法。
  4. 前記フレームを割り当てることは、
    チャネル切換フレームに対応する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てること
    を備える請求項１に記載の方法。
  5. 前記フレームのうちの少なくとも幾つかをグループ化して、データのセグメントを形成することをさらに備え、
    前記フレームを割り当てることは、
    前記データのセグメントの末尾近傍に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てること
    を備える請求項１に記載の方法。
  6. 前記フレームを割り当てることは、
    前記ベース・レイヤ・ビットストリームであるか前記エンハンスメント・レイヤ・ビットストリームであるかに対する前記フレームの初期割当を分析することと、
    前記分析に基づいて、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当することと
    を備える請求項１に記載の方法。
  7. 前記１または複数の参照フレームのうちの少なくとも１つを再割当することは、
    前記ベース・レイヤ・ビットストリーム内に非参照フレームが存在しない場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当すること
    を備える請求項６に記載の方法。
  8. 前記初期割当を分析することは、
    前記エンハンスメント・レイヤ・ビットストリームのサイズを、前記ベース・レイヤ・ビットストリームのサイズと比較することを備え、
    前記１または複数の参照フレームのうちの少なくとも１つを再割当することは、
    前記エンハンスメント・レイヤ・ビットストリームのサイズが、前記ベース・レイヤ・ビットストリームのサイズよりも閾値小さい場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから、前記エンハンスメント・レイヤ・ビットストリームへ再割当すること
    を備える請求項６に記載の方法。
  9. 前記ベース・レイヤのサイズと、前記エンハンスメント・レイヤのサイズとの差が最小化されるまで、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへとフレームを再割当すること
    をさらに備える請求項６に記載の方法。
  10. 前記ベース・レイヤ・ビットストリーム内のフレームのうち次のフレームの参照を、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに移動させること
    をさらに備える請求項１に記載の方法。
  11. 前記フレームのうちの次のフレームの参照を、１または複数の参照フレームのうちの少なくとも１つに移動させることは、
    前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに対する参照を除外するために、前記ベース・レイヤ・ビットストリーム内のフレームのうちの次のフレームを再符号化すること
    を備える請求項１０に記載の方法。
  12. 前記１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てることは、
    予測（Ｐ）フレームとイントラ（Ｉ）フレームとのうちの１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てること
    を備える請求項１に記載の方法。
  13. 変調された信号のうち、より信頼性の高い部分で前記ベース・レイヤを送信することと、
    前記変調された信号のうち、より信頼性の低い部分で前記エンハンスメント・レイヤを送信することと
    をさらに備える請求項１に記載の方法。
  14. マルチメディア・データを処理する装置であって、
    マルチメディア・データの、１または複数の参照フレームを含む複数のフレームを符合化する符合化モジュールと、
    前記１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、ベース・レイヤ・ビットストリームと、少なくとも１つのエンハンスメント・レイヤ・ビットストリームとに、前記複数のフレームのおのおのを割り当てる割当モジュールと
    を備える装置。
  15. 前記割当モジュールは、前記フレームのうちのイントラ符合化されたフレームの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項１４に記載の装置。
  16. 前記割当モジュールは、チャネル切換フレームの時間的に直前に位置する１または複数の参照フレームのうち少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項１５に記載の装置。
  17. 前記割当モジュールは、チャネル切換フレームに対応する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項１４に記載の装置。
  18. 前記符合化モジュールは、前記フレームのうちの少なくとも幾つかをグループ化して、データのセグメントを形成し、
    前記割当モジュールは、前記データのセグメントの末尾近傍に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる
    請求項１４に記載の装置。
  19. 前記割当モジュールは、
    前記ベース・レイヤ・ビットストリームであるか前記エンハンスメント・レイヤ・ビットストリームであるかに対する前記フレームの初期割当を分析し、
    前記分析に基づいて、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当する
    請求項１４に記載の装置。
  20. 前記割当モジュールは、前記ベース・レイヤ・ビットストリーム内に非参照フレームが存在しない場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当する請求項１９に記載の装置。
  21. 前記割当モジュールは、
    前記エンハンスメント・レイヤ・ビットストリームのサイズを、前記ベース・レイヤ・ビットストリームのサイズと比較し、
    前記エンハンスメント・レイヤ・ビットストリームのサイズが、前記ベース・レイヤ・ビットストリームのサイズよりも閾値小さい場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから、前記エンハンスメント・レイヤ・ビットストリームへ再割当する
    請求項１９に記載の装置。
  22. 前記割当モジュールは、前記ベース・レイヤのサイズと、前記エンハンスメント・レイヤのサイズとの差が最小化されるまで、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへとフレームを再割当する請求項１９に記載の装置。
  23. 前記ベース・レイヤ・ビットストリーム内のフレームのうち次のフレームの参照を、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに移動させる参照データ・ジェネレータをさらに備える請求項１４に記載の装置。
  24. 前記符合化モジュールは、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに対する参照を除外するために、前記ベース・レイヤ・ビットストリーム内のフレームのうちの次のフレームを再符号化する請求項２３に記載の装置。
  25. 前記割当モジュールは、予測（Ｐ）フレームとイントラ（Ｉ）フレームとのうちの１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項１４に記載の装置。
  26. 変調された信号のうち、より信頼性の高い部分で前記ベース・レイヤを送信し、前記変調された信号のうち、より信頼性の低い部分で前記エンハンスメント・レイヤを送信する変調器／送信機をさらに備える請求項１４に記載の装置。
  27. マルチメディア・データを処理する装置であって、
    マルチメディア・データの、１または複数の参照フレームを含む複数のフレームを符合化する手段と、
    前記１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、ベース・レイヤ・ビットストリームと、少なくとも１つのエンハンスメント・レイヤ・ビットストリームとに、前記複数のフレームのおのおのを割り当てる手段と
    を備える装置。
  28. 前記割り当てる手段は、前記フレームのうちのイントラ符合化されたフレームの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項２７に記載の装置。
  29. 前記割り当てる手段は、チャネル切換フレームの時間的に直前に位置する１または複数の参照フレームのうち少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項２８に記載の装置。
  30. 前記割り当てる手段は、チャネル切換フレームに対応する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項２７に記載の装置。
  31. 前記フレームのうちの少なくとも幾つかをグループ化して、データのセグメントを形成する手段をさらに備え、
    前記割り当てる手段は、前記データのセグメントの末尾近傍に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項２７に記載の装置。
  32. 前記割り当てる手段は、
    前記ベース・レイヤ・ビットストリームであるか前記エンハンスメント・レイヤ・ビットストリームであるかに対する前記フレームの初期割当を分析し、
    前記分析に基づいて、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当する
    請求項２７に記載の装置。
  33. 前記割り当てる手段は、前記ベース・レイヤ・ビットストリーム内に非参照フレームが存在しない場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当する請求項３２に記載の装置。
  34. 前記割り当てる手段は、
    前記エンハンスメント・レイヤ・ビットストリームのサイズを、前記ベース・レイヤ・ビットストリームのサイズと比較し、
    前記エンハンスメント・レイヤ・ビットストリームのサイズが、前記ベース・レイヤ・ビットストリームのサイズよりも閾値小さい場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから、前記エンハンスメント・レイヤ・ビットストリームへ再割当する
    請求項３２に記載の装置。
  35. 前記割り当てる手段は、前記ベース・レイヤのサイズと、前記エンハンスメント・レイヤのサイズとの差が最小化されるまで、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへとフレームを再割当する請求項３２に記載の装置。
  36. 前記ベース・レイヤ・ビットストリーム内のフレームのうち次のフレームの参照を、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに移動させる手段をさらに備える請求項２７に記載の装置。
  37. 前記符合化する手段は、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに対する参照を除外するために、前記ベース・レイヤ・ビットストリーム内のフレームのうちの次のフレームを再符号化する請求項３６に記載の装置。
  38. 前記割り当てる手段は、予測（Ｐ）フレームとイントラ（Ｉ）フレームとのうちの１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てる請求項２７に記載の装置。
  39. 変調された信号のうち、より信頼性の高い部分で前記ベース・レイヤを、前記変調された信号のうち、より信頼性の低い部分で前記エンハンスメント・レイヤを送信する手段をさらに備える請求項２７に記載の装置。
  40. 命令群を有するコンピュータ読取可能媒体を備え、マルチメディア・データを処理するコンピュータ・プログラム製品であって、
    前記命令群は、
    マルチメディア・データの、１または複数の参照フレームを含む複数のフレームを符合化するためのコードと、
    前記１または複数の参照フレームのうちの少なくとも１つが、エンハンスメント・レイヤ・ビットストリームに割り当てられるように、ベース・レイヤ・ビットストリームと、少なくとも１つのエンハンスメント・レイヤ・ビットストリームとに、前記複数のフレームのおのおのを割り当てるためのコードと
    を備えるコンピュータ・プログラム製品。
  41. 前記フレームを割り当てるためのコードは、前記フレームのうちのイントラ符合化されたフレームの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備える請求項４０に記載のコンピュータ・プログラム製品。
  42. 前記フレームのうちのイントラ符合化された１つの時間的に直前に位置する１または複数の参照フレームのうちの少なくとも１つを割り当てるためのコードは、
    チャネル切換フレームの時間的に直前に位置する１または複数の参照フレームのうち少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備える請求項４１に記載のコンピュータ・プログラム製品。
  43. 前記フレームを割り当てるためのコードは、チャネル切換フレームに対応する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備える請求項４０に記載のコンピュータ・プログラム製品。
  44. 前記命令群は、
    前記フレームのうちの少なくとも幾つかをグループ化して、データのセグメントを形成するためのコードをさらに備え、
    前記フレームを割り当てるためのコードは、前記データのセグメントの末尾近傍に位置する１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備える請求項４０に記載のコンピュータ・プログラム製品。
  45. 前記フレームを割り当てるためのコードは、
    前記ベース・レイヤ・ビットストリームであるか前記エンハンスメント・レイヤ・ビットストリームであるかに対する前記フレームの初期割当を分析するためのコードと、
    前記分析に基づいて、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当するためのコードと
    を備える請求項４０に記載のコンピュータ・プログラム製品。
  46. 前記１または複数の参照フレームのうちの少なくとも１つを再割当するためのコードは、
    前記ベース・レイヤ・ビットストリーム内に非参照フレームが存在しない場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへ再割当するためのコードを備える
    請求項４５に記載のコンピュータ・プログラム製品。
  47. 前記初期割当を分析するためのコードは、
    前記エンハンスメント・レイヤ・ビットストリームのサイズを、前記ベース・レイヤ・ビットストリームのサイズと比較するためのコードと、
    前記１または複数の参照フレームのうちの少なくとも１つを再割当するためのコードと、
    前記エンハンスメント・レイヤ・ビットストリームのサイズが、前記ベース・レイヤ・ビットストリームのサイズよりも閾値小さい場合、前記１または複数の参照フレームのうちの少なくとも１つを、前記ベース・レイヤ・ビットストリームから、前記エンハンスメント・レイヤ・ビットストリームへ再割当するためのコードと
    を備える請求項４５に記載のコンピュータ・プログラム製品。
  48. 前記命令群は、
    前記ベース・レイヤのサイズと、前記エンハンスメント・レイヤのサイズとの差が最小化されるまで、前記ベース・レイヤ・ビットストリームから前記エンハンスメント・レイヤ・ビットストリームへとフレームを再割当するためのコードをさらに備える
    請求項４５に記載のコンピュータ・プログラム製品。
  49. 前記命令群は、
    前記ベース・レイヤ・ビットストリーム内のフレームのうち次のフレームの参照を、前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに移動させる手段をさらに備える
    請求項４０に記載のコンピュータ・プログラム製品。
  50. 前記フレームのうち次のフレームの参照を、前記１または複数の参照フレームのうちの少なくとも１つへ移動させるためのコードは、
    前記エンハンスメント・レイヤ・ビットストリームに割り当てられた１または複数の参照フレームのうちの少なくとも１つに対する参照を除外するために、前記ベース・レイヤ・ビットストリーム内のフレームのうちの次のフレームを再符号化するためのコードを備える請求項４９に記載のコンピュータ・プログラム製品。
  51. 前記１または複数の参照フレームのうちの少なくとも１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードは、
    予測（Ｐ）フレームとイントラ（Ｉ）フレームとのうちの１つを、前記エンハンスメント・レイヤ・ビットストリームに割り当てるためのコードを備える請求項４０に記載のコンピュータ・プログラム製品。
  52. 前記命令群は、
    変調された信号のうち、より信頼性の高い部分で前記ベース・レイヤを、前記変調された信号のうち、より信頼性の低い部分で前記エンハンスメント・レイヤを送信するためのコードをさらに備える請求項４０に記載のコンピュータ・プログラム製品。
  53. マルチメディア・データを処理する方法であって、
    エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定することと、
    前記エンハンスメント・レイヤ・ビットストリームが受信された場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームの一部を用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号することと
    を備える方法。
  54. 前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームに対応するチャネル切換フレームを復号することをさらに備える請求項５３に記載の方法。
  55. 前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームの次であるチャネル切換フレームを復号することをさらに備える請求項５３に記載の方法。
  56. 前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームは、前記エンハンスメント・レイヤ・ビットストリームの参照フレームの一部に対する参照と、前記ベース・レイヤ・ビットストリームのうちの少なくとも１つの参照フレームに対する参照とを用いて符号化され、
    前記方法はさらに、
    前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリーム内の少なくとも１つの参照フレームのデータを用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号することをさらに備える請求項５３に記載の方法。
  57. 前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを再構築するために、１または複数の誤り訂正アルゴリズムを用いることをさらに備える請求項５３に記載の方法。
  58. マルチメディア・データを処理する装置であって、
    エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定する参照データ分析モジュールと、
    前記エンハンスメント・レイヤ・ビットストリームが受信された場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームの一部を用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号する復号モジュールと
    を備える装置。
  59. 前記復号モジュールは、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームに対応するチャネル切換フレームを復号する請求項５８に記載の装置。
  60. 前記復号モジュールは、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームの次であるチャネル切換フレームを復号することをさらに備える請求項５８に記載の装置。
  61. 前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームは、前記エンハンスメント・レイヤ・ビットストリームの参照フレームの一部に対する参照と、前記ベース・レイヤ・ビットストリームのうちの少なくとも１つの参照フレームに対する参照とを用いて符号化され、
    前記復号モジュールは、
    前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリーム内の少なくとも１つの参照フレームのデータを用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号する請求項５８に記載の装置。
  62. 前記復号モジュールは、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを再構築するために、１または複数の誤り訂正アルゴリズムを用いる請求項５８に記載の装置。
  63. マルチメディア・データを処理する装置であって、
    エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定する手段と、
    前記エンハンスメント・レイヤ・ビットストリームが受信された場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームの一部を用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号する手段と
    を備える装置。
  64. 前記復号する手段は、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームに対応するチャネル切換フレームを復号する請求項６３に記載の装置。
  65. 前記復号する手段は、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームの次であるチャネル切換フレームを復号する請求項６３に記載の装置。
  66. 前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームは、前記エンハンスメント・レイヤ・ビットストリームの参照フレームの一部に対する参照と、前記ベース・レイヤ・ビットストリームのうちの少なくとも１つの参照フレームに対する参照とを用いて符号化され、
    前記復号する手段は、
    前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリーム内の少なくとも１つの参照フレームのデータを用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号する請求項６３に記載の装置。
  67. 前記復号する手段は、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを再構築するために、１または複数の誤り訂正アルゴリズムを用いる請求項６３に記載の装置。
  68. 命令群を有するコンピュータ読取可能媒体を備え、マルチメディア・データを処理するコンピュータ・プログラム製品であって、
    前記命令群は、
    エンハンスメント・レイヤ・ビットストリームの参照フレームのうちの少なくとも一部を参照するスケーラブル符号化スキームのベース・レイヤ・ビットストリームのうちの少なくとも１つのフレームを特定するためのコードと、
    前記エンハンスメント・レイヤ・ビットストリームが受信された場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームによって参照されるエンハンスメント・レイヤ・ビットストリームの参照フレームの一部を用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号するためのコードと
    を備えるコンピュータ・プログラム製品。
  69. 前記復号するためのコードは、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームに対応するチャネル切換フレームを復号するためのコードをさらに備える請求項６８に記載のコンピュータ・プログラム製品。
  70. 前記復号するためのコードは、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームの次であるチャネル切換フレームを復号するためのコードをさらに備える請求項６８に記載のコンピュータ・プログラム製品。
  71. 前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームは、前記エンハンスメント・レイヤ・ビットストリームの参照フレームの一部に対する参照と、前記ベース・レイヤ・ビットストリームのうちの少なくとも１つの参照フレームに対する参照とを用いて符号化され、
    前記命令群は、
    前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリーム内の少なくとも１つの参照フレームのデータを用いて、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを復号するためのコードをさらに備える請求項６８に記載のコンピュータ・プログラム製品。
  72. 前記命令群は、前記エンハンスメント・レイヤ・ビットストリームが受信されない場合、前記ベース・レイヤ・ビットストリームのうち、前記特定されたフレームを再構築するために、１または複数の誤り訂正アルゴリズムを用いるためのコードをさらに備える請求項６８に記載のコンピュータ・プログラム製品。
JP2009543287A 2006-12-22 2007-12-22 エンハンスメント・レイヤにおける参照フレーム配置 Pending JP2010515304A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US87165506P 2006-12-22 2006-12-22
US89235607P 2007-03-01 2007-03-01
US11/771,835 US20080152006A1 (en) 2006-12-22 2007-06-29 Reference frame placement in the enhancement layer
PCT/US2007/088759 WO2008080157A2 (en) 2006-12-22 2007-12-22 Reference frame placement in the enhancement layer

Publications (1)

Publication Number Publication Date
JP2010515304A true JP2010515304A (ja) 2010-05-06

Family

ID=39476426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009543287A Pending JP2010515304A (ja) 2006-12-22 2007-12-22 エンハンスメント・レイヤにおける参照フレーム配置

Country Status (7)

Country Link
US (1) US20080152006A1 (ja)
EP (1) EP2119237A2 (ja)
JP (1) JP2010515304A (ja)
KR (1) KR101059712B1 (ja)
CN (1) CN102231833A (ja)
TW (1) TW200841745A (ja)
WO (1) WO2008080157A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505428A (ja) * 2011-01-04 2014-02-27 クゥアルコム・インコーポレイテッド フェムトセルを介したマルチメディアコンテンツの配信のための方法、装置、およびコンピュータプログラム製品

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
JP4691062B2 (ja) * 2007-03-30 2011-06-01 株式会社東芝 情報処理装置
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009135532A1 (en) * 2008-05-09 2009-11-12 Nokia Corporation An apparatus
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
EP2146343A1 (en) * 2008-07-16 2010-01-20 Deutsche Thomson OHG Method and apparatus for synchronizing highly compressed enhancement layer data
WO2010030569A2 (en) * 2008-09-09 2010-03-18 Dilithium Networks, Inc. Method and apparatus for transmitting video
US9747371B2 (en) * 2008-10-14 2017-08-29 Disney Enterprises, Inc. Method and system for producing customized content
WO2010056842A1 (en) 2008-11-12 2010-05-20 Cisco Technology, Inc. Processing of a video [aar] program having plural processed representations of a [aar] single video signal for reconstruction and output
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US20120076204A1 (en) * 2010-09-23 2012-03-29 Qualcomm Incorporated Method and apparatus for scalable multimedia broadcast using a multi-carrier communication system
US9241166B2 (en) * 2012-06-11 2016-01-19 Qualcomm Incorporated Technique for adapting device tasks based on the available device resources
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
KR101507997B1 (ko) * 2012-12-12 2015-04-07 연세대학교 산학협력단 참조 영상 버퍼 관리 장치와 방법 및 상기 장치를 구비하는 영상 부호화 장치
US10091532B2 (en) * 2014-06-26 2018-10-02 Qualcomm Incorporated Bitstream conformance constraints in scalable video coding
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
CN111093090A (zh) * 2018-10-24 2020-05-01 玲珑视界科技（北京）有限公司 一种基于tcp的组播频道快速切换系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087125A (ja) * 2004-09-17 2006-03-30 Mitsubishi Electric Information Technology Centre Europa Bv ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
WO2006126842A1 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087125A (ja) * 2004-09-17 2006-03-30 Mitsubishi Electric Information Technology Centre Europa Bv ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
WO2006126842A1 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505428A (ja) * 2011-01-04 2014-02-27 クゥアルコム・インコーポレイテッド フェムトセルを介したマルチメディアコンテンツの配信のための方法、装置、およびコンピュータプログラム製品

Also Published As

Publication number Publication date
WO2008080157A3 (en) 2008-09-04
CN102231833A (zh) 2011-11-02
EP2119237A2 (en) 2009-11-18
TW200841745A (en) 2008-10-16
KR20090104038A (ko) 2009-10-05
US20080152006A1 (en) 2008-06-26
KR101059712B1 (ko) 2011-08-30
WO2008080157A2 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
JP2010515304A (ja) エンハンスメント・レイヤにおける参照フレーム配置
JP5646700B2 (ja) 階層エンコードビットストリーム構造
KR101065237B1 (ko) 베이스 레이어와 인핸스먼트 레이어 사이에서의 멀티미디어 데이터 재구성
US8340183B2 (en) Digital multimedia channel switching
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
US8320464B2 (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability
JP5925416B2 (ja) ビデオブロックヘッダ情報の適応可能なコーディング
JP2010515305A (ja) 他のコーディングモードの情報を使用したコーディングモードの選択
TW201028010A (en) Video coding with large macroblocks
KR20140048808A (ko) 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 부호화 방법 및 그 장치, 다시점 비디오의 인터 레이어 예측 구조에 따른 비디오 스트림 복호화 방법 및 그 장치
KR101094677B1 (ko) 통신 네트워크에서 데이터를 인코딩하는 방법 및 시스템
KR20140123914A (ko) 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
CN101578864A (zh) 增强层中的参考帧放置
Sayit et al. Scalable video with raptor for wireless multicast networks
Van Wallendael et al. Fast channel switching for single-loop scalable HEVC
Huang et al. Temporal scalability comparison of the h. 264/svc and distributed video codec
Inamdar Performance Evaluation Of Greedy Heuristic For SIP Analyzer In H. 264/SVC

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120110