JP2010515297A - 基層と強化層との間のマルチメディアデータ再編成 - Google Patents
基層と強化層との間のマルチメディアデータ再編成 Download PDFInfo
- Publication number
- JP2010515297A JP2010515297A JP2009543150A JP2009543150A JP2010515297A JP 2010515297 A JP2010515297 A JP 2010515297A JP 2009543150 A JP2009543150 A JP 2009543150A JP 2009543150 A JP2009543150 A JP 2009543150A JP 2010515297 A JP2010515297 A JP 2010515297A
- Authority
- JP
- Japan
- Prior art keywords
- base layer
- multimedia data
- enhancement layer
- frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008521 reorganization Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000004590 computer program Methods 0.000 claims description 19
- 238000005192 partition Methods 0.000 claims description 18
- 238000000638 solvent extraction Methods 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 17
- 230000009467 reduction Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Mobile Radio Communication Systems (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Abstract
本開示は、無線変調スキームにおいて定義された基層と強化層との間で、マルチメディアを割り付けするため及び再割り付けするための技術を説明する。再割り付け技術は、例えば無線通信チャネルに関連づけられた帯域幅制約を満たすエンコーディングレートを減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか、また、再エンコードリクエストがエンコーダに発行されたかどうか、に依存して変更することができる。説明された技術は、チャネルリソースを効率的に使用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性を多分改善することに役に立つことができる。いくつかのケースにおいては、該技術は、全体的な総計帯域幅の使用を減らすように役に立つことができる。
Description
本願は、２００６年１２月２２日に出願された、米国仮出願６０／８７１，６４２号の利益を主張し、その全体の内容は、参照によってここにおいて組み込まれる。
本開示は、マルチメディア符号化(multimedia coding)、および符号化されたマルチメディアコンテンツの無線通信に関する。
デジタルマルチメディア機能(digital multimedia capabilities)は、デジタルテレビ、デジタルダイレクトブロードキャストシステム(digital direct broadcast systems)、無線通信デバイス、無線ブロードキャストシステム、携帯情報端末(personal digital assistants)（ＰＤＡｓ）、ラップトップあるいはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラあるいは衛星無線電話(cellular or satellite radio telephones)、デジタルメディアプレーヤ、及び同様なもの、を含んでいる広範囲のデバイスに組み込まれることができる。デジタルマルチメディアデバイスは、より効率的にデジタルビデオデータを、送信し且つ受信し、あるいは保存し且つ検索するために、ＭＰＥＧ−２、ＭＰＥＧ−４、あるいはＨ．２６４／ＭＰＥＧ−４パート１０、のアドバンスドビデオ符号化(Advanced Video Coding)（ＡＶＣ）、のようなビデオ符号化技術(video coding techniques)をインプリメントする(implement)ことができる。ビデオ符号化技術は、ビデオシーケンス固有の冗長性(redundancy)を減らすあるいは取り除くために、空間及び時間予測を介してビデオ圧縮を実行することができる。
ビデオ符号化において、圧縮は、しばしば、空間予測(spatial prediction)、動き推定及び動き補正ベースの時間予測(motion estimation and motion compensation based temporal prediction)、そして変換符号化(transform coding)を含む。イントラ符号化(intra-coding)は、与えられたビデオフレーム内のビデオブロック間の空間冗長性を減らすあるいは取り除くために、空間予測と変換符号化に依存する。インター符号化(inter-coding)は、ビデオシーケンスの連続ビデオフレームのビデオブロック間の時間冗長性を減らしあるいは取り除くために、時間予測と変換符号化に依存する。イントラ符号化されたフレーム(intra-coded frames)（「Ｉフレーム」）は、他のフレームのインター符号化についての参照(references)同様、ランダムアクセスポイントとしてしばしば使用される。しかしながら、Ｉフレームは、典型的に、他のフレームよりも少ない圧縮を示す(exhibit)。
インター符号化の場合、ビデオエンコーダは、２以上の隣接フレーム間のビデオブロックを整合させる運動(movement)をトラッキングするために、動き推定を実行する。インター符号化されたフレームは、前のフレームから予測されたブロックを含む予測フレーム(predictive frames)（「Ｐフレーム」）と、ビデオシーケンスの前の後続フレーム(previous and subsequent frames of a video sequence)から予測されたブロックを含む双方向予測フレーム(bidirectional predictive frames)（「Ｂフレーム」）と、を含んでいる。Ｐ及びＢのフレームに関しては、動き推定は動きベクトルを生成し、そしてそれは、参照フレーム(reference frames)において、対応する予測ビデオブロックに関するビデオブロックの置換(displacement)を示す。動き補償は、参照フレームから予測ビデオブロックを生成するために、動きベクトルを使用する。動き補償の後で、残余ビデオブロック(residual video block)は、符号化されるべきオリジナルビデオブロック(original video block)から、予測ビデオブロックを差し引くことによって形成される。ビデオエンコーダは、残余ブロックの通信と関連づけられたビットレートをさらに減らすために、変換、量子化、および変換係数符号化のプロセスをたいてい適用する。Ｉ及びＰフレームは、Ｐ及びＢフレームのインター符号化のための参照ブロックを定義するように一般に使用されており、また、いくつかのケースにおいては、特定Ｂフレーム（ＢＲフレームを指している）は、他のＢフレームの参照として使用されることができる。
いくつかのビデオ符号化は、スケーラブルな技術(scalable techniques)を活用する。例えば、スケーラブルなビデオ符号化(scalable video coding)（ＳＶＣ）は、基層および１つまたは複数のスケーラブルな強化層が使用されるビデオ符号化を指す。ＳＶＣに関しては、基層は、典型的に、基本レベルの質で、マルチメディアデータを搬送する。１つまたは複数の強化層は、より空間的な、時間的な、及び／またはＳＮＲ品質レベルをサポートするために、追加マルチメディアデータ(additional multimedia data)を搬送する。一例として、基層は、強化層の伝送よりもより確かな方法で送信されることができる。強化層は、基層のフレームに空間解像(spatial resolution)を加えることができる、あるいは、全体のフレームレートを増やすために追加フレームを加えることができる。一例において、変調された信号の最も確かな部分が、基層を伝送するように使用されることができる一方で、変調された信号のあまり確かではない部分が、強化層を送信するように使用されることができる。
ＳＶＣは、様々なビデオ符号化アプリケーションにおいて使用されることができる。ＳＶＣ技術が一般に使用される１つの特定分野は、無線マルチメディアブロードキャストアプリケーションにおいてある。マルチメディアブロードキャスティング技術(Multimedia broadcasting techniques)は、順方向リンク専用(Forward Link Only)（ＦＬＯ）、デジタルマルチメディアブロードキャスティング(Digital Multimedia Broadcasting)（ＤＭＢ）、及びデジタルビデオブロードキャスティングハンドヘルド(Digital Video Broadcasting −Handheld)（ＤＶＢ−Ｈ）と呼ばれるもの、を含む。無線デジタルマルチメディアブロードキャスティング(wireless digital multimedia broadcasting)は、一連のブロードキャストチャネルとして多くの加入者デバイス(subscriber devices)にコンテンツを配信することができ、従来のテレビのものと同様なマルチメディアコンテンツ選択経験を提供する。各ブロードキャストチャネルは、エンコードされたオーディオ／ビデオストリーム、オーディオ／ビデオクリップ、あるいは他の情報のコンテンツ、を備えているデジタルデータを搬送する。デジタルブロードキャストチャネルは、マルチプルモバイル無線加入者ユニット(multiple mobile wireless subscriber units)（例えば、モバイルハンドセット、あるいはマルチメディア「セル電話(cell phones)」と呼ばれる）にマルチキャストベースで同時に配信される。各モバイル無線加入者ユニットは、デジタルブロードキャストを受信し、また、ユーザへのプレゼンテーション(presentation)のために特定ブロードキャストチャネルにチューンする(tune)ことができる。ブロードキャストチャネルを切り替えるために、それぞれの無線装置(respective wireless apparatus)は、異なるブロードキャストチャネルからデジタルデータを獲得し、そして、ユーザにチャネルをブロードキャストする関連づけられた異なるコンテンツ、を提供するためにデータをデコードする。
本開示は、無線変調スキームで定義された(defined in a wireless modulation scheme)基層と強化層との間でマルチメディアデータを割り付けするための及び再割り付けする(allocating and reallocating)ための技術を説明する。様々な送信モード、例えば、「ＦＬＯ無線インタフェース」によってプロビジョンされる(provisioned)もののうちのいくつか、は２つの異なる情報のフローの同時伝送(concurrent transmission)を可能にする。これらの異なる情報フローは、基層チャネルと強化層チャネルとを定義するアプリケーション層における仮想の無線「チャネル」としてみなされることができる。基層チャネルは、無線送信の信頼性の点において、より高品質である。
本開示は、チャネルリソースを効率的に使用し、チャネル間で帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性(error resilience)を多分改善するために、基層と強化層との間でマルチメディアデータを割り付けする(allocate)及び再割り付けする(reallocate)、多くの方法を提案する。基層と強化層との間のマルチメディアデータの再割り付けは、例えば帯域幅制約を満たすエンコーディングレート(encoding rate)を減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか(whether bidirectional predictive (B) frames were originally allocated to the base layer)、また、再エンコードリクエストがエンコーダに発行されたかどうか(whether a re-encode request has been issued to encoders)、に依存して変わることができる。
一例において、方法は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けることと(allocating)、基層と強化層との間でマルチメディアデータの割り付けを分析することと(analyzing)、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けすることと(reallocating)、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信することと(transmitting)、を備える。
別の例においては、装置(apparatus)は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けるエンコーダモジュール(encoder module)と、基層と強化層との間でマルチメディアデータの割り付けを分析し、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けする再割り付けモジュール(reallocation module)と、無線変調スキームにしたがって基層と強化層において再割り付けされたマルチメディアデータを送信する送信機(transmitter)と、を備えている。
別の例においては、デバイスは、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けるための手段(means for allocating)と、基層と強化層との間のマルチメディアデータの割り付けを分析するための手段(means for analyzing)と、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けするための手段(means for reallocating)と、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信するための手段(means for transmitting)と、を備える。
本開示に説明された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいは、それのいずれの組み合わせ、においてインプリメントされることができる。ソフトウェアでインプリメントされる場合には、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ(field programmable gate array)（ＦＰＧＡ）、あるいはデジタルシグナルプロセッサ(digital signal processor )（ＤＳＰ）、のような１つまたは複数のプロセッサで実行されることができる。該技術を実行するソフトウェアは、コンピュータ可読メディアに最初に保存され、そして、プロセッサにおいて、ロードされ、実行されることができる。
したがって、本開示はまた、実施のときに、少なくとも１つのコンピュータに、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けさせ、基層と強化層との間でマルチメディアの割り付けを分析させ、該分析に基づいて基層と強化層との間でマルチメディアデータを再割り付けさせ、そして、無線変調スキームの基層と強化層において再割り付けされたマルチメディアデータを送信させる、インストラクション(instructions)を備えているコンピュータ可読メディア(computer-readable medium)を熟考する(contemplates)。
いくつかのケースにおいては、コンピュータ可読メディアは、コンピュータプログラムプロダクト(computer program product)の一部分を形成することができ、そしてそれは、製造業者(manufacturers)に対して販売され、および／または、ビデオコーディングデバイス(video coding device)において使用されることができる。コンピュータプログラムプロダクトは、コンピュータ可読媒体を含むことができ、そしていくつかのケースにおいては、パッケージング材料(packaging materials)を含むこともできる。
本開示の１つまたは複数の態様の詳細が、添付の図面、および下記の説明の中で述べられている。本開示において説明された技術の他の特徴、目的、および利点は、詳細な説明および図面、ならびに特許請求の範囲から明らかであろう。
本開示は、無線変調スキームにおいて定義された基層と強化層との間でマルチメディアデータを割り付けするための及び再割り付けするための技術を説明する。用語「マルチメディアデータ(multimedia data)」は、一般にビデオあるいはオーディオビデオデータを指す。様々な送信モード、例えば、「ＦＬＯ無線インタフェース」によってプロビジョンされるもののうちのいくつかは、２以上の異なる情報フローの同時送信を可能にすることができる。これらの異なる情報フローは、物理層変調スキームに関して、アプリケーション層において定義されることができ、そして、基層チャネルと強化層チャネルを定義する仮想の無線「チャネル」としてみなされることができる。基層チャネルは、無線送信の信頼性の点からより高品質である。
本開示は、基層と強化層の間でマルチメディアデータを割り付け及び再割り付けする、多くの方法を提案する。再割り付け技術は、例えば無線通信チャネルに関連づけられた帯域幅制約を満たすエンコーディングレートを減らすために、双方向予測（Ｂ）フレームが基層に初めから割り付けられたかどうか、また、再エンコードリクエストがエンコーダに発行されたかどうか、に依存して変わってもよい。説明された技術は、チャネルリソースを効率的に利用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層においてエラー弾性を多分改善することに役に立つことができる。いくつかのケースにおいて、該技術は、全体的な総計帯域幅の使用(overall aggregate bandwidth usage)を減らすことに役立つことができる。
ＦＬＯ無線インタフェースの仕様書(specification)の現在の修正は、１６―ＱＡＭ（１６点（４ビット）直交振幅変調方式）信号のそれと似ている、階層制の信号コンスタレーション(hierarchical signal constellation)にしたがって、無線変調を定義する。該コンスタレーションは、合計１６点をもたらす、４つの異なる象限のそれぞれにおいて４点を定義する。各値は、対応する変調されたキャリア信号のベクトル空間表示(vector space representation)に対応し、また、４ビットの２進数によって表されることができる。コンスタレーションの設計（変調パラメータの選択）を通じて、各象限の２点は、その象限の他の２点よりも、無線送信における受信信頼性の点において、より高い品質を有することができる。すなわち、対応する点がどの象限に位置するか識別する、４ビットの２進数によって定義されたビットのうちの２つは、無線伝送におけるそれらの正確な受信信頼性の点において、特定象限の４点のうちの１つを指す残りの２ビットよりも高品質である。１６−ＱＡＭ信号のより高品質なビットは、基層を定義するように使用されることができ、また、より低い品質のビットは、強化層を定義するように使用されることができる。基層および強化層に割り付けられるコンテンツにかかわらず、ビットのすべては、無線通信で送信される。したがって、基層においてもっとデータがある場合には、従来通りに(conventionally)、ビットをパディングすること(padding bits)が強化層で加えられることができる。
本開示は、例えば基層と強化層との間でマルチメディアデータを再割り付けすることによって、この強化層における「使用されていない(unused)」帯域幅をより活用する技術を提案する。様々なシナリオにおいて、Ｂフレーム（あるいは「低いプライオリティの(low priority)」Ｂフレーム）に関連づけられたデータは、異なる層間でマルチメディアデータのよりよいバランスを達成するために、基層から強化層へと移動させられることができる。さらに、基層におけるマルチメディアデータは、強化層において冗長で符号化されることができ、あるいは、アシスタンス情報は、デコードを促進する(aid)及びアシストする(assist)ために、強化層において定義されることができ、その結果、使用されていない帯域幅をより活用する。さらに別のケースにおいては、予測（Ｐ）フレームの一部は、基層から強化層へと移動させられることができる。そのような部分は、例えば、スライスデータ区分スキームにしたがって定義された最も低いプライオリティのＰフレーム情報を備えることができる。いくつかのケースにおいては、マルチメディアデータが基層から強化層へと移動させられる場合、そのようなフレームの冗長符号化(redundant coding)は強化層で行なわれることができる。これらの異なる技術は、異なるシナリオにおいて、例えば、Ｂフレームが基層に初めから割り付けされたかどうか、また、再エンコードリクエストがエンコーダに対して発行されたかどうか、のような要因に基づいて、適用することができる。
図１は、本開示の技術を利用することができる、例示的なシステム２を図示しているブロック図である。システム２は、多くの他のシステムもまたここに説明されている技術を利用することができるであろう単なる例である。システム２は、エンコーディングデバイス(encoding device)１０から複数の加入者デバイス１２Ａ−１２Ｃへのマルチメディアコンテンツの無線ブロードキャスティングをサポートする一例のシステムである。本開示の技術は、そのようなブロードキャストに特に役立つが、例えば、テレビ電話をサポートするシステム、あるいは、オンデマンドのポイントツーポイントのビデオストリーミングサービス(on-demand point-to-point video streaming services)のようなビデオ情報の通信及びビデオ符号化をサポートする他のシステム、のようなビデオ情報の２方法の無線通信をサポートするシステムに適用することもできるであろう。
マルチメディアブロードキャスティング技術は、順方向リンク専用(Forward Link Only)（ＦＬＯ）、デジタルマルチメディアブロードキャスティング(Digital Multimedia Broadcasting)（ＤＭＢ）、及びデジタルビデオブロードキャスティングハンドヘルド(Digital Video Broadcasting −Handheld)（ＤＶＢ−Ｈ）、と呼ばれるものを含んでいる。デジタルマルチメディアブロードキャスティングは、一連のブロードキャストチャネル(a series of broadcast channels)として、多くの加入者デバイス１２Ａ−１２ｃにコンテンツを配信することができ、従来のテレビのものと同様なマルチメディアコンテンツ選択経験を提供する。各ブロードキャストチャネルは、エンコードされたオーディオ／ビデオストリーム、オーディオ／ビデオクリップ、あるいは他の情報のコンテンツ、を備えているデジタルデータを搬送する。デジタルブロードキャストチャネルは、デバイス１０からマルチプル加入者デバイス１２Ａ−１２Ｃへとマルチキャストベースで同時に配信される。加入者デバイス１２Ａ−１２Ｃは、モバイル無線加入者ユニット（例えばモバイルハンドセット、あるいは、マルチメディア「セル電話」と呼ばれる）を備えることができる。モバイル無線加入者ユニット１２Ａ−１２Ｃのそれぞれは、デジタルブロードキャストを受信し、ユーザへのプレゼンテーションのために特定チャネルにチューンすることができる。チャネルを切り替えるために、それぞれの加入者ユニットは、異なるチャネルからデジタルデータを獲得し、そして、ユーザに異なるコンテンツを提供するためにデータをデコードする。
また、システム２は、単なる例である。ここにおいて説明されている技術は、２つまたは複数の層を定義する無線変調スキームを使用するいずれのシステムにおいて使用されることができるであろう。異なる層（基層及び強化層）は、いくつかのケースにおいて仮想チャネルとして見なされることができる。他の例示的なシステムは、ダイレクト２方式無線通信（ブロードキャストよりもむしろ）を使用することができ、あるいは、基地局あるいは他のシステムコンポーネントを介して、２以上のデバイス間で通信することができる。例えば、他の例において、本開示の技術は、他のテレビ電話アプリケーションあるいはテレビ会議のためにビデオ符号化を実行するデバイスによって使用されることができる。
システム２において、衛星送信機(satellite transmitter)４は、衛星受信機(satellite receiver)６に多くのブロードキャストチャネルを送信する。異なるブロードキャストチャネルにおける情報は、衛星デコードユニット(satellite decode unit)８によってデコードされ、そのあと、プレ処理ユニット(Pre-processing unit)１４によってプレ処理される。プレ処理ユニット１４は、無線ブロードキャストのためにより役立つフォーマットでビデオコンテンツを作るために、例えば標準画質(standard definition)からクォータービデオグラフィックアレイ(Quarter Video Graphics Array)（ＱＶＧＡ）へと、及び／または、インタレースされたものからプログレッシブスキャンへと、解像及びフォーマット変更を容易にすることができる。一例において、コンポーネント４、６、および８は、衛星テレビをブロードキャストしデコードするための従来の機器を備えることができる。しかしながら、他のケースにおいては、マルチメディアコンテンツのブロードキャストチャネルは、ケーブルテレビのプロバイダ、あるいはいずれの他のソース、によって供給されることができるであろう。プレ処理ユニット１４は、一般的に、無線ブロードキャストにとって便利なフォーマットにマルチメディアコンテンツを処理する。
デバイス１０は、マルチメディアコンテンツの無線ブロードキャスティングを容易にする。デバイス１０は、マルチメディアコンテンツのチャネルをエンコードするエンコーダモジュール１６を含むことができる。エンコーダモジュール１６は、単一のモジュールを備えることができ、あるいはマルチメディアコンテンツの異なるチャネルを扱ういくつかの異なるエンコーダモジュールを備えることができる。例えば、エンコーダモジュール１６は、複数の異なるサービス、あるいはマルチメディアデータの１つまたは複数のフローを含むコンテンツ、をエンコードすることができる。マルチプレックスモジュール(multiplex module)１８は、マルチキャストにエンコードされたフローを組み合わせることができる。エンコードされたチャネルは、ニュース、スポーツ、天気、経済情報、映画のようなマルチメディアコンテンツあるいはサービス、及び／またはアプリケーション、プログラム、スクリプト(scripts)、あるいはいずれの他のタイプの適切なコンテンツあるいはサービス、を含むことができる。本開示の一態様においては、デバイス１０は、時間の期間にわたって受信されたマルチメディアデータのフローの部分をエンコードし、組み合わせて、そして送信する。
一例として、デバイス１０は、秒ごとのベースで(on a per second basis)フロー上で操作することができる。一例として、デバイス１０は、複数のフローあるいはチャネルのマルチメディアデータの１秒セグメント(one-second segments)をエンコードし、データのスーパーフレームを形成するためにマルチメディアデータの１秒セグメントを組み合わせて、そして、送信機２４を介して無線チャネル１５にわたってスーパーフレームを送信することができる。ここに使用されるように、用語「スーパーフレーム(superframe)」は、１秒時間期間あるいはウィンドウ(a one second time period or window)、のような時間期間あるいはウィンドウにわたって集められたマルチメディアデータのセグメントのグループを指す。マルチメディアデータのセグメントは、ビデオあるいはオーディオビデオデータの１つまたは複数のフレーム(one or more frames of video or audio-video data)を含むことができる。本開示の様々な態様は、データの１秒セグメントのコンテキストにおいて説明されることができるにもかかわらず、該技術は、データの他のセグメントを結合させ伝送するために使用されることもでき、それは、例えば、時間の固定期間であってもよいし、あるいは時間の固定期間でなくてもよい、時間の異なる期間にわたって受信されたデータのセグメント、あるいは、個別フレーム若しくは複数セットのデータのフレーム、である。言いかえれば、スーパーフレームは、１秒期間よりも、あるいは、可変時間インターバル(variable time intervals)さえよりも、より大きいあるいはより小さい時間インターバルをカバーするように定義されることができるであろう。
マルチプレックスモジュール１８は、エンコーダモジュール１６にフィードバックを提供することができ、そしてそれは、いくつかのケースにおいては、再エンコーダリクエストを含むことができる。このように、マルチプレックスモジュール１８は、無線チャネル１５の利用可能な無線帯域幅を効率的に活用するために、エンコーダモジュール１６によって１つまたは複数の特定チャネルに適用されたエンコーディングレートを調節することができる。マルチプレックスモジュール１８は、エンコードされたコンテンツを分析し、無線チャネル１５上で利用可能な帯域幅と、そのようなコンテンツを送信するのに必要とされる帯域幅の量を、比較することができる。必要である場合には、マルチプレックスモジュール１８は、コーディングレート(coding rate)が１つまたは複数のコンテンツストリームについて減らされるように、エンコーダモジュール１６に対して１つまたは複数の再エンコードリクエストを発行することができる。マルチプレックスモジュール１８がマルチキャストを作成した後で、モジュレータ(modulator)２２は、無線物理層の変調スキームにしたがって情報を変調する。送信機２４は、１つまたは複数のアンテナ２８を介して、無線チャネル１５にわたって、加入者デバイス１２Ａ−１２Ｃにマルチキャストを送信する。
下記でより詳細に説明されるように、エンコーダモジュール１６は、無線変調スキームでモジュレータ２２についてプロビジョンされた基層と強化層においてマルチメディアデータを割り付ける。再割り付けモジュール２５は、基層と強化層との間でマルチメディアデータの割当てを分析し、該分析に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。モジュレータ２２は、再割り付けされたマルチメディアデータを変調し、送信機２４は、無線変調スキームにしたがって、基層と強化層において再割り付けされたマルチメディアデータを送信する。再割り付けモジュール２５によるマルチメディアデータの再割り付けは、チャネルリソースを効率的に利用し、チャネル間の帯域幅のバランスをとり、アプリケーション層におけるエラー弾性を多分改善することに役立つことができ、および／または、全体的な総計帯域幅の使用を減らすことに役立つことができる。再割り付けモジュール２５は、エンコーダモジュール１６のサブルーチンを備えることができるが、簡略化のために別々に図示される。実際、デバイス１０の図示されたコンポーネントは、ハードウェア、ソフトウェア、及びファームウェアのいずれの組み合わせにおいてインプリメントされてもよく、また、図１で示されたいずれのあるいはすべての、コンポーネントあるいはモジュールは、回路あるいはソフトウェアルーチンにおいて組み合わせられることができる。
無線チャネル１５は、いずれの無線プロトコルにしたがって操作することができ、また、固定された帯域幅を有してもよい。言いかえると、マルチメディアデータの組み合わせられたフローを送信するために利用可能な伝送チャネルリソースの量は制限されている。無線コンテキストにおいては、伝送チャネルリソースは、無線リンクあるいは無線インタフェースリソースを備えることができる。したがって、デバイス１０がチャネル１５を介して送信することができるビットの数は、伝送に利用可能である伝送チャネルリソースの量によって制限される。例として、無線チャネル１５は、例えばＦＬＯ、ＤＭＢ、あるいはＤＶＢ−Ｈのような１つあるいは複数の無線ブロードキャスト技術にしたがって、あるいは、例えばモバイル通信用のグローバルシステム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、ＣＤＭＡ２０００、広域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、ＣＤＭＡ １ｘエボリューションーデータ最適化(CDMA 1x Evolution-Data Optimized)（ＥＶ−ＤＯ）、周波数分割多元接続（ＦＤＭＡ）、直交周波数分割多重化（ＯＦＤＭ）、時分割多元接続（ＴＤＭＡ）あるいは、様々なＩＥＥＥ８０１．１１ｘ規格によって規定された無線ネットワーキングを容易にするために開発された標準の広範なファミリのような、１つまたは複数の無線接続技術にしたがって、操作することができる。
いくつかの態様においては、本開示に記載された技術は、ＦＬＯ無線インタフェースの仕様書で、技術規格ＴＩＡ−１０９９（「ＦＬＯ仕様書」）として発行される予定の、「地上モバイルマルチメディアマルチキャストのための順方向リンク専用無線インタフェース仕様書(Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)」を使用して、地上モバイルマルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイムビデオサービスを配信するためにＨ．２６４アドバンスドビデオ符号化(H.264 Advanced Video Coding)適用されることができる。すなわち、無線チャネル１５は、ＦＬＯ仕様書、あるいは同様なもの、にしたがって、無線ビデオ情報をブロードキャストするために使用される無線情報チャネルを備えることができる。ＦＬＯ仕様書は、ビットストリームシンタクス及びセマンティックス(bitstream syntax and semantics)及びＦＬＯ無線インタフェースに適切なデコードプロセスを定義している例を含む。あるいは、ビデオは、ＤＶＢ−Ｈ(デジタルビデオブロードキャストハンドヘルド)、ＩＳＤＢ−Ｔ（統合されたサービスデジタルブロードキャストー地上(integrated services digital broadcast - terrestrial)）あるいは、ＤＭＢ（デジタルマルチメディアブロードキャスティング）のような他の標準にしたがって、ブロードキャストされることができる。
ＦＬＯ無線インタフェースにおいてプロビジョンされたレイヤード送信モード(Layered transmit modes)（モード数∈｛６，７，８，９，１０，１１｝）は、２つの異なるサービス品質レベルにおける、２つの（潜在的に関連づけられた）情報のフローの、同時送信及び受信を可能にする。これは、階層的変調技術及び信号コンスタレーションの構造に基づいて、達成され、エネルギー比(energy ratio)、インナー（ターボ(Turbo)）コードレート及びアウター（リードソロモン(Reed-Solomon)）コードレートは、これら２つの仮想チャネルの相対的信頼性(relative reliabilities)を決定する。図２は、２つの異なる仮想チャネル（３１Ａ及び３１Ｂ）を含むように定義された無線チャネル１５の図である。物理層において、変調は、１つの変調チャネルを実際に備えることができるが、仮想チャネル３１Ａ及び３１Ｂは、アプリケーション層において定義されることができる。
典型的なアプリケーションのシナリオにおいては、高いプライオリティデータストリーム、例えばスカラブルビデオコーダの基層ビットストリーム、はより信頼のあるチャネル３１Ａを通じて送信され、そしてしたがって、より高いＱｏＳを提供される。より低い重要性のデータストリーム(lower significance data stream)、例えば同じスカラブルビデオコーダの強化層ビットストリーム、はより低い信頼性チャネル３１Ｂを通じて送信されるであろう、また、より低いＱｏＳを結果として経験するであろう。
ＦＬＯ無線インタフェース仕様書の現在の改定に関して、利用可能な階層的信号のコンスタレーションは、図３に示されているように、１６−ＱＡＭのものに似ている。コンスタレーションにおける各（信号）ポイントに関連づけられた各合成４ビット二進数は、２つのデータストリーム（基層及び強化層）のそれぞれから２ビットを備える。また、物理層において定義された変調は、実際、１つの変調チャネルを備えることができるが、いくつかの仮想チャネルは、異なる層に対して、シグナルコンスタレーション（例えば図３において示されるもの）の特定ビットを割り当てることによって(by assigning)アプリケーション層において定義されることができる。例えば図３に関して、各象限内で、最上位ビット(most significant)（一番左）及び各４ビット二進数のうち第３最上位ビット（左から３番目）は、共同で(jointly)その象限に固有である同じ値を有する。したがって、第１最上位ビット位置値と、第３最上位ビット位置値と、の組み合わせは、受信された信号の象限（サブクラスタ）を識別する。
他方で、各象限内で、その象限において存在する各４ビット二進数の第２最上位ビット（左から２番目）、及び最下位ビット(least significant bit)（右から１番目）は、これらのビット位置は与えられた受信信号についてのサブクラスタにおいて固有に識別されることを可能にする（４つの）可能のある異なる値のすべてを、共同で仮定する。コンスタレーションの構造（異なるインターポイントの距離）により、チャネル雑音による信号コンタミネーションの存在において、誤りのインターサブクラスタ信号遷移(false inter-sub-cluster signal transitions)は、誤りのイントラサブクラスタ信号遷移(false intra-sub-cluster signal transitions)よりも、起こる可能性がより低い。したがって、チャネル雑音により、同じサブクラスタにおける別の信号と同じ信号を混乱することよりも、異なるサブクラスタに属する別の信号と信号を混乱する可能性はより低く、第１最上位ビット位置及び第３最上位ビット位置が残りの２ビット位置よりもよりよく雑音に対して保存されるということを示すサブクラスタを意味している(implying)。したがって、図３に関して、最上位ビット位置のビット値と、第３最上位ビット位置のビット値は、基層データによって寄与されるべきであり、一方で、第２最上位ビット位置のビット値及び最下位ビット位置のビット値は、強化層データによって寄与されるべきである。もちろん、本開示にしたがって、他の多くの信号のコンスタレーションは、定義されあるいは使用されることができるであろう。同じリードソロモンコードレート(Reed-Solomon code rate)が、両方のデータストリーム（基層及び強化層）について使用されることができ、そして、結果は、各スーパーフレームについて、両方のデータストリームの帯域幅は、整合すべきであるということである。
従来のシナリオにおいては、チャネル３１Ａ及び３１Ｂの帯域幅整合（基層及び強化層に対応している）は、より少ない帯域幅のデータストリームのパディングの使用を通じて、達成される。レート制御アルゴリズム(rate control algorithms)の使用にもかかわらず、通常、かなりの不整合(considerable mismatch)があり、そしてそれは、無駄な帯域幅(wasted bandwidth)を導出する。
レイヤード送信モードの２つの仮想チャネル３１Ａ及び３１Ｂによって達成されたサービス品質は、かなり異なる。信頼性のないチャネルにわたって機能することを予期されたストリーミングビデオアプリケーションは、満足なパフォーマンスについてのある特徴をサポートする必要がある。これらのうちの１つは、容認できるレイテンシで、ランダムアクセスの可能(enabling of random access)、すなわち、コンテンツを変更するチャネル切り替え、である。別の特徴は、適合イントラリフレッシュ(Adaptive Intra Refresh)（ＡＩＲ）は、漸進的デコーダリフレッシュ(Gradual Decoder Refresh)（ＧＤＲ）としても知られており、そしてそれは、エラー／損失のケースにおいて時間エラー伝播(temporal error propagation)を緩和することを目的としている。ＡＩＲ／ＧＤＲはまた、ランダムアクセスのための有効なツールとして使用されることができる。２つの重要な特徴についてのサポートは、典型的に、より信頼性のあるチャネルにわたって送信される基層において、インプリメントされ、そして提供されるべきである。基層ビットストリーム(base layer bitstream)は、空間、時間、及び信号サンプルのフィデルティ(fidelity)の点において、品質の必須要件を満たすことを必要とすることができる。上記で言及された２つの特徴は、基層帯域幅の必要性を増加させることができる。このことは、基層及び強化層における帯域幅の整合をよりチャレンジング(challenging)にすることができる。
２つの異なるサービスの品質（ＱｏＳ）クラスは、圧縮されたデータについてのプライオリティ／重要性(priority/significance)の２レベルの量子化(two-level quantization)をもたらす。よりフレキシブルな設定は、２以上のサービス品質レベルを可能にすべきである。この必要性と当然結びつく設計の一例が、ここにおいて説明されている。
ＢスライスあるいはＢフレームは、圧縮効率のための絶対必要なツール(an indispensable tool)を供給する。しかしながら、ＢフレームあるいはＢスライスの数を任意で増やすことは、レート歪みパフォーマンス(rate-distortion performance)についての、あるいは、時間スケーラビリティを通じて基層及び強化層の帯域幅の整合についての、適切な設計ではない。Ｈ．２６４／ＡＶＣ標準は、「一般化されたＢピクチャ(Generalized B Pictures)」（ＢＲフレームと示されている）を可能にしており、そしてそれは、デコード順における他のＢピクチャについての参照として役に立つことができる。このプロビジョンに基づいて、ＧＯＰストラクチャ（ディスプレイ順における）は、以下のように考慮されることができる：
Ｉ１ Ｂ１ ＢＲ１ Ｂ２ Ｐ１ Ｂ３ ＢＲ２ Ｂ４ Ｐ２ Ｂ５ ＢＲ３ Ｂ６ Ｐ３…,等
上記において、自明な数字の表記に加えて、ＢＲ＊は、通常Ｂピクチャについての参照として役立つ一般化されたＢピクチャを示す。このＧＯＰストラクチャに関して、次のように圧縮されたデータ内で３つの（プライオリティ／重要性）のクラスを識別することが可能である：
クラス１。｛Ｉ１，Ｐ１，Ｐ２，Ｐ３，…｝は、３０ｆｐｓ名目時間レートを想定して、７．５ｆｐｓレンダリング(rendering)を提供する。クラス２。｛ＢＲ１，ＢＲ２，ＢＲ３，…｝は、クラス１に関連して１５ｆｐｓレンダリングを提供する。
Ｉ１ Ｂ１ ＢＲ１ Ｂ２ Ｐ１ Ｂ３ ＢＲ２ Ｂ４ Ｐ２ Ｂ５ ＢＲ３ Ｂ６ Ｐ３…,等
上記において、自明な数字の表記に加えて、ＢＲ＊は、通常Ｂピクチャについての参照として役立つ一般化されたＢピクチャを示す。このＧＯＰストラクチャに関して、次のように圧縮されたデータ内で３つの（プライオリティ／重要性）のクラスを識別することが可能である：
クラス１。｛Ｉ１，Ｐ１，Ｐ２，Ｐ３，…｝は、３０ｆｐｓ名目時間レートを想定して、７．５ｆｐｓレンダリング(rendering)を提供する。クラス２。｛ＢＲ１，ＢＲ２，ＢＲ３，…｝は、クラス１に関連して１５ｆｐｓレンダリングを提供する。
クラス３。｛Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，…｝は、クラス１及び２に関連して３０ｆｐｓレンダリングを提供する。また、Ｉは「イントラ(intra)」を指し、Ｐは、「予測(predictive)」を指し、またＢは、「双方向予測(bi-directionally predictive)」を指す。
クラス１が基層に割り付けられ、また、クラス３が強化層へと割り付けられる、アレンジメント(arrangement)を正当化することは容易である。クラス２を考慮すると、ＢＲフレームは、クラス３のフレームに対して参照フレーム（部分的に）として、役立つので、クラス２は、論理的に、強化層によって提供されるものよりも、よりよい保護(protection)を受けるに値することができる。また、コンテンツの性質により、７．５ｆｐｓが適切な時間レートでない場合には、そのときには、このことは、基層へとクラス２を移動させるために別の動機を提供する。他方では、基層におけるクラス１とクラス２の両方で、両方の層における等しい帯域幅を達成することは、より可能性がないものとなるであろう。さらに、クラス１がクラス２（及びクラス３）として役立つので、クラス１に提供されたＱｏＳは、クラス２についてのものよりも論理的に良質であるべきであろう。したがって、プライオリティ／重要性に関連して、クラス２は、基層と強化層との間のどこかでより正確に属し、そしてそれは、２つの層（基層と強化層）のみを有しているシステムにおいて存在しなくてもよい。
コーディングデバイスの全体的な設計は、チャレンジングなタスク(a challenging task)である。このような設計においては、以下のことが望ましい。
１．無駄な帯域幅を明示的に回避すること
２．基層データセットと強化層データセットとの間で帯域幅の整合をイネーブルすること
３．不均等エラー保護(Unequal Error Protection)（ＵＥＰ）、すなわちＱｏＳを、２レベル以上で提供することができること
４．エラー弾性を改善すること
これらの目標は、効率的な及び標準的なコンプライアントな方法(in an efficient and standard compliant manner)で、得られるべきである。
２．基層データセットと強化層データセットとの間で帯域幅の整合をイネーブルすること
３．不均等エラー保護(Unequal Error Protection)（ＵＥＰ）、すなわちＱｏＳを、２レベル以上で提供することができること
４．エラー弾性を改善すること
これらの目標は、効率的な及び標準的なコンプライアントな方法(in an efficient and standard compliant manner)で、得られるべきである。
本開示の技術は、基層における超過帯域幅のケースと強化層における超過帯域幅のケースとの間で、区別する(distinguish)ことができる。強化層における超過帯域幅のケースは、代替アンバランス(alternate imbalance)よりも、より良性(benign)である。強化層における過剰帯域幅のケースにおいては、基層をパディングする代わりに、強化層における超過マルチメディアデータの部分は、基層へと移動させられることができる。これは、強化層よりも、より高品質なサービス（ＱｏＳ）を再配置されたデータ(relocated data)に供給することができる。これはまた、組み合わせられたフローについての減らされた全体的な帯域幅を導くことができる。輸送及びＳｙｎｃ層フレーミング/パケット化のプロビジョン(Transport and Sync Layer framing/packetization provisions)は、信号を送り、このタイプのデータシャッフリングを管理するように使用されることができる。
下記で記載される技術は、例えばビデオアクセスユニット(video access units)（ＶＡＵｓ）のような、符号化されたマルチメディアデータのまっすぐな区分化が基層におけるより高い帯域を導き出すより実践的な問題、に対する解決(resolution)に集中する。マルチメディアデータをより信頼性の高いチャネルからより信頼性の低いチャネルへと移動させることは、ほとんどのケースにおいては、実行可能ではなく、そして、マルチメディアチャネルをより信頼性の高いチャネルからより信頼性の低いチャネルへと移動させることは、些細なタスクではないため、これは深刻な問題である。
本開示の技術は、基層帯域幅と強化層帯域幅との間のよりよい整合を達成するためのフル再エンコード(full re-encode)が可能ではない、あるいは、すくなくとも望まれていない、ということを仮定することができる。これらの仮定、すなわち基層帯域幅は強化層帯域幅よりも大きい、の下で、フル再エンコードは、オプションではなく、下記の議論は、いくつかの特定のケースに焦点を当てている。動作の異なるコースが、コーディングデバイスが基層と強化層との間のアンバランスを緩和するために、提案されている。次のケースにおいては、エンコーダモジュール１６は、無線変調スキームにおいて定義された基層及び強化層に対して、圧縮されたマルチメディア情報の（仮の）割り付けを行うということが仮定されることができる。再割り付けモジュール２５は、基層と強化層との間のマルチメディアデータの割当てを分析し、その分析に基づいて、基層と強化層との間のマルチメディアデータを再割り付けする。この再割り付けは、下記で対処される(addressed)異なるケースにしたがって生じうる。再割り付けに続いて、送信機２４は、無線変調スキームにしたがって、基層及び強化層で再割り付けされたマルチメディアデータを送信することができる。
ケース１においては、強化層において再割り付けされているようにすぐに影響を受ける(amenable)基層におけるマルチメディアデータがなく、また、マルチプレックスモジュール１８は、現在のスーパーフレーム(current superframe)について帯域幅調節(bandwidth adjustment)（低減）をリクエストしていない。Ｂフレームは、強化層において再割り付けされているようにすぐに影響を受けるフレーム(frames that are immediately amenable to being reallocated in the enhancement layer)であると考慮されることができる。したがって、ケース１では、基層に割り付けられたＢフレームがなくてもよい。ケース１では、そのまま基層帯域幅を保護し、そして、改善されたエラー弾性について強化層において利用可能なスペアの帯域幅を十分に利用するインセンティブがあってもよい。
一例においては、ケース１は、強化層へと基層のスライスの選択サブセットの冗長表示(redundant representations)を導き出すことができるであろう。冗長表示は、基層によって提供される同じ品質レベルになくてもよい。実際に、基層Ｉスライス及びＰスライスは、強化層のＢスライスよりもかなり高い帯域幅を典型的に消費するということに注意して、利用可能なスペアの帯域幅(spare bandwidth available)のより効率的な使用をするために、強化層における、Ｉスライス及びＰスライスのより粗い（低品質の）冗長の描画(a coarser (lower quality) redundant rendition)を利用することは望ましいかもしれない。他方で、この代替表示を生成する追加タスクでコーディングデバイスに重荷を負わせることは、望ましいことではないかもしれない。このジレンマへの標準コンプライアント解決は、スライスデータ区分化(Slice Data Partitioning)（ＳＤＰ）を通じて、達成されることができる。
特に、ＳＤＰは、コア時間スケーラビリティフレームワークと共に、効率的で、単純で、効果的なＳＮＲスケーラビリティのエイド(aid)として使用されることができる。したがって、選択基層ＶＡＵｓの選択スライスの選択区分（潜在的にＡ区分とＢ区分）の冗長複製は、スペアの強化層帯域幅において提供されることができる。ただ１つの追加（冗長）表示を提供するために、Ｈ．２６４／ＡＶＣにおける「冗長符号化されたピクチャ／スライス」プロビジョンが利用されることができる。
ＳＤＰにおいては、符号化されたマルチメディアデータは、異なる区分へと分割される。ＩＴＵ−Ｔ Ｈ．２６４にしたがって、Ｉフレーム（あるいはスライス）は、最大２つの区分（Ａ及びＢ）まで有することができ、Ｂ及びＰフレーム（あるいはスライス）は、最大３つの区分（Ａ、Ｂ、及びＣ）まで有することができる。パートＡ区分は、スライスヘッダ情報、マクロブロック（ＭＢ）タイプ、イントラ予測モード及び符号化で使用された動きベクトルのような、最も重要な情報を含んでいる。パートＢ区分は、イントラＭＢｓについての残余情報を含んでいる。パートＣ区分は、インターＭＢｓについての残余情報を含んでいる。生バイトシーケンスペイロード(Raw Byte Sequence Payload)（ＲＢＳＰ)シンタクス（Ｈ．２６４ Ａｎｎｅｘ Ｂ)と共にＳＤＰを利用することは、各Ｂ及びＣ区分ごとの典型的に４つの追加バイト（３つのスタートコードプレフィックスバイト及び１つのＮＡＬＵヘッダーバイト）の使用を必要とする。このオーバーヘッドの数字(overhead figure)は、ＲＢＳＰトレーリングビット(RBSP trailing bits)によって、各Ｂ及びＣ区分につきもう１バイトによって増加されることができる。冗長符号化の場合、最も重要な情報（パートＡ区分）は、基層及び強化層の両方における冗長符号化についてプライオリティが与えられることができる。また、下記でより詳細に説明されるように、マルチメディアデータが基層から強化層へと移動する必要がある場合には、ＳＤＰスキームにおいて定義されたパートＣ区分情報は、そのプライオリティがＰ及びＢフレームについての３つの異なる区分の最低であるので、移動させられるべきよい候補(good candidate)を提供することができる。
別の例として、ケース１は、部分あるいは全体のビデオアクセス単位(video access units)（ＶＡＵｓ）および／または強化層におけるスライスの、選択サブセットの冗長表示を導き出すことができるであろう。統計的に、Ｂ ＶＡＵ／スライスのサイズは、典型的には２、３０のバイトと小さいということに注意すると、それは、時には、ＢスライスにおいてＳＤＰを使用するのに非効率であり、特にマルチプルスライスでＢ ＶＡＵｓの場合、である。したがって、このケースにおいては、冗長表示は、選択非区分化されたＢ ＶＡＵｓ(select unpartitioned B VAUs)および／または強化層において符号化されているＢスライス、の正確な複製によって提供されることができる。しかしながら、かならずしもすべてのＢ ＶＡＵｓは、等しく重要であるわけではない。それらが存在するときには、ＢＲ ＶＡＵｓは、通常（非参照）Ｂ ＶＡＵｓと比較して、より高いプライオリティ及び重要性を有する。通常のＢ ＶＡＵｓ内で、より高い動きのコンテンツで時間セグメントのサンプリングを可能にするものは、残りのＢ ＶＡＵｓと比較してより重要である。これらの基準は、どのＢ ＶＡＵｓが強化層において冗長で表されるべきであるか（ＢＲｓが存在するときにそれらで開始する）、を決定するために使用されることができる。
このコンテキストにおける冗長表示は、ＢＲ ＶＡＵｓ及び他の望ましいデータのための非均等なエラー保護(Unequal Error Protection)（ＵＥＰ）についての効率的なメカニズムを提供するということに注目すべきである。Ｂ ＶＡＵ／スライスのサイズが小さいので、Ｂ ＶＡＵｓ／スライスについての１つまたは複数の追加（冗長）表示が提供されることができる。Ｈ．２６４標準規格によってプロビジョンされたすでに許容の１つの冗長符号化されたピクチャを超えて(beyond the already permissible one redundant coded picture provisioned by the H.264 standard)、マルチプル冗長表示を達成する標準コンプライアント方法は、「ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄ」の補足的強化情報(Supplemental Enhancement Information)（ＳＥＩ）メッセージタイプの使用を通じてである。オリジナル複製と冗長（正確な）複製の両方を含んでいる、同じデータの奇数（≧３）の複製の冗長伝送を全体で仮定すると、デコーディングデバイスは、すべての受信された複製が疑問であるとき、あるいは、すべての受信された複製が、残りの消去された物理層パケット(Physical Layer Packets)（ＰＬＰｓ）から始まるとき、「多数のデコード(majority decoding)」スキームを実行することができる。このアプローチのための基本的な先行条件(fundamental prerequisite)は、ビデオデコード層が誤ったデータを優雅に処理することができるべきであるということである。強化層データセット内に実現された繰返し符号(repetition code)は、冗長で符号化されるデータセグメントの伝送信頼性を高める(elevate)ことができる。
冗長データの複数複製によって経験される伝送インスタントダイバーシティ(transmission-instant diversity)（時間内）は、複製のうちの少なくとも１つは、チャネル欠陥にもかかわらずそのまま受信されるであろうという蓋然性を高めることができる。ここで、最終点として、同じ信頼性（ＱｏＳ）を提供して、同層、すなわち強化層、内で冗長性を導入する提案は、異なる層において冗長性を導入することと比較して、より直感でよく効くアプローチ(a more intuitive and potent approach)として、際立つということに注意されるべきである。
ケース１の別のオプションは、そのエラー処理及び隠蔽(concealment)においてデコーダを援助するために、超過強化層の帯域幅(excess enhancement layer bandwidth)においてアシスタンス情報（すなわち、デコードのヒント）符号化し、伝送することである。冗長マルチメディアデータ伝送の代わりに、あるいは、付け加えて、デバイス１０は、エラー処理及び隠蔽を援助するために、情報の包括を考慮することができ、そしてそれは、デコーダがチャネル欠陥を取り扱うので、デコーダをサポートすることができる。これらのアシスタンス情報は、「スキップ＆フリーズ(skip & freeze)」及び「デコード及び隠蔽(decode & conceal)」動作のような、誤っていないＶＡＵデータ同様誤ったＶＡＵデータを扱うためのデコーダにおいて、より良質の情報意思決定(better informed decision making)を可能にすることができる。さらに、このようなアシスタンス情報は、デコーダが最も適切な（コンテンツ及び損失の構造依存）隠蔽方法を選択することに役立つことができるであろう。
アシスタンス情報は、スーパーフレーム（ＳＦ）構造の記載、すなわちＢ ＶＡＵロケーション、時間（単一方向及び双方向）の同様メトリック、シーン変更／ショットバウンダリインジケータ、グローバル動きディスクリプタ(global motion descriptors)、イントラスライス再シンクロナイゼーションポイントディスクリプタ(intra-slice resynchronization point descriptors)、例えばイントラ予測モード、平均輝度及び色度の値(mean luminance and chrominance values)、及び非自明な／複雑な動きフィールドセグメントについての動きベクトル、のような空間エラー隠蔽(Spatial Error Concealment)（ＳＥＣ)及び時間エラー隠蔽(Temporal Error Concealment)（ＴＥＣ)サポート情報、の形態であってもよい。
現在のＳＦについてのアシスタンス情報に加えて、別のＳＦインターバル、すなわち前の及び／または次のＳＦインターバル、についてのアシスタンス情報の伝送もまた使用されることができる。このことは、増大された時間ダイバーシティから利益を得ることができる。エンコーダあるいはデコーダのいずれかにおいて処理遅延を増大させることは望ましいことではないにも関わらず、適切な単純メトリック及び注意深いパケット化の選択で、いずれの結果として生じるレイテンシは、エンコーダ及びデコーダの両方において、簡単に制御されることができる。
ケース２において、強化層において再割り付けされるようにすぐに影響をうける基層におけるマルチメディアデータはなく、マルチプレックスモジュール１８は、すでに、現在のスーパーフレームについて帯域幅調節（低減）をリクエストしている。また、Ｂフレームは、強化層において再割り付けされるようにすぐに影響を受けるフレームであると考えられることができる。したがって、ケース２においては、基層に割り付けられたＢフレームはない可能性があり、マルチプレックスモジュール１８は、現在のスーパーフレームのために帯域幅調節（低減）をすでにリクエストしている。
これらのケース２の状況下で、エンコーダ処理におけるいずれのバイアスも基層帯域幅を減らすためのものであるべきである。しかしながら、ＩおよびＰのＶＡＵｓだけが基層に含まれるとき、この基層帯域幅の低減は、非自明である。基層帯域幅における低減を効率的に実現するための１つの解決策は、ＳＤＰを通じた単純なＳＮＲスケーラビリティに基づいている。スーパーフレームの最後のＰ ＶＡＵで始めて、選択Ｐスライス／フレームのパートＣ区分は、強化層へと移動させられることができる。このプロセスを、基層のスーパーフレームの終わりで開始する（そして、必要な程度にスーパーフレームの始まりのほうへ移動させる）ことは、強化層が失われる場合には、結果として生じるであろう、いずれの望ましくない再構築のドリフトを制限するように役立つ。この逆（終わりから初めに向かって）の処理順序を通じて、強化層のデータ損失による再構築のドリフトは、現在のスーパーフレーム内で最小の時間スパンに制限されることができる。基層の現在のスーパーフレームの終わりにこのプロセスを開始することはまた、ドリフトの時間伝播を制御するための次のＳＦ（ｓ）におけるＡＩＲ／ＧＤＲからの迅速な利益(a quick benefit)をも可能にする。
ケース２のアプローチにしたがって、パートＡ区分及びパートＢ区分は、基層において保存されるべきである。パートＣ区分（基層から強化層まで）のいずれの再割り付けを通じて実行可能なものを超えて、基層帯域幅と強化層帯域幅との間のいずれの残りの不整合、及び強化層の対応するスペアの帯域幅は、ケース１についてアウトライン化されたアプローチのうちの１つを使用することを通じて、対処されることができる(can be addressed)。
ケース３では、強化層で再割り付けされるようにすぐに影響をうける基層のマルチメディアデータがあり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅の調整（低減）をリクエストしていない。したがって、ケース３においては、基層に割り付けられたＢフレーム（例えばＢＲフレーム）があり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅の調整（低減）をリクエストしていない。
このケース３においては、マルチプレックス１８から帯域幅低減リクエストがないので、基層帯域幅を保存するインセンティブが見たところでは(seemingly)あり、そして、ケース１についてアウトライン化された提案のうち１つまたは複数を通じて、強化層で存在するスペアの帯域幅を十分に利用する。しかしながら、効率的な帯域幅の使用の最高重要度に基づいて、コーディングデバイスは、基層帯域幅を減らすフィージビリティを評価すべきである。この目的についての原理イネーブラ(principle enabler towards this end)は、必ずしても、すべてのＢ／ＢＲフレームが等しく重要であるとはかぎらないということである。これは、特に、Ｂ／ＢＲフレームを使用しているユニフォームＧＯＰ構造にあてはまる。適応性のあるＧＯＰ（非同一のＧＯＰとしても知られている）構造で、すなわちビデオシーケンスの非同一動きコンテンツ(non-uniform motion content)と、非同一の時間サンプリングについての対応する機会と、はすでに考慮されうる。
[64] ケース３においては、第１のオプションは、基層から強化層へと、通常Ｂフレーム（非参照Ｂフレーム）を移動させるものであってもよい。しかしながら、非参照Ｂフレームは、典型的には、基層に含まれていない。ＢＲフレーム（参照Ｂフレーム）で始めて、最低動きコンテンツを備えた時間セグメントをサンプリングして、ＢＲフレームデータは、強化層へと移動させられることができる。このプロセスにおいては、強化層の名目よりも良質のエラー防止をこれらのＢＲフレームに提供するために、冗長性が強化層において提供されることができる。すなわち、基層から強化層へと再割り付けられるＢＲフレームは、強化層において、冗長な方法で、符号化されることができる。ビデオシーケンスの基本品質時間レンダリングについて「必要不可欠／より重要である(essential / more significant)」と考えられるＢＲフレームは、いまだに基層において保存されるべきである。
ケース４においては、強化層において再割り付けされているようにすぐに影響を受ける基層のマルチメディアデータがあり、マルチプレックスモジュール１８は、すでに、現在のスーパーフレームについて、帯域幅調節（低減）をリクエストしている。したがって、ケース４においては、基層に割り付けられたＢフレーム（例えばＢＲフレーム）があり、マルチプレックスモジュール１８は、現在のスーパーフレームについての帯域幅調節（低減）をすでにリクエストしている。
ケース４の状況の下では、処理におけるバイアスは、基層帯域幅を減らすためにあるべきである。ケース３にしたがって、第１のオプションは、基層から強化層へと普通のＢフレーム（非参照Ｂフレーム）を移動させることであってもよい。また、ケース３にしたがって、あまり重要ではないＢＲフレーム(BR frames of lesser significance)で開始して、選択ＢＲフレームのデータは、もし実行可能であれば、強化層においてプロビジョンしている冗長性で、強化層へ移動させられることができる。このケースにおいては、焦点は、主に、基層帯域幅の要件を低くし、そのあとで、基層及び強化層の帯域幅を整合させることにある。エラー弾性改善を当面の目標(an immediate goal)にすることは、このケースにおいては、難しい。
図４は、本開示と一致した技術を図示しているフロー図である。図４に示されるように、エンコーダモジュール１６は、無線変調スキームにおいて定義された基層と強化層の間で、マルチメディアデータを割り付ける（４１）。再割り付けモジュール２５は、そのあと、基層と強化層との間でマルチメディアデータの割り付けを分析し（４２）、そして、該分析に基づいて、基層と強化層との間で、マルチメディアデータを再割り付けする（４３）。送信機２４は、無線変調スキームにしたがって、例えば様々な加入者デバイス１２Ａ−１２Ｃに対して無線チャネル１５にわたって、基層及び強化層において、再割り付けされたマルチメディアデータを送信する（４４）。モジュレータ２２は、送信機２４によるマルチメディアデータの伝送の前に、変調（エンコーダモジュール１６及び再割り付けモジュール２５によって定義された割り付け及び再割り付けによって定義されるように）を実行することができる。
上記でより詳細に説明されているように、エンコーダモジュール１６は、スライスデータ区分スキームにしたがって、基層と強化層との間でマルチメディアデータを割り付けることができる。このケースにおいては、再割り付けモジュール２５は、スライスデータ区分スキームにしたがって、基層と強化層の間でマルチメディアデータを再割り付けする。例えば、再割り付けモジュール２５は、基層から強化層へと、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分を移動させることができる。例えば、ＰフレームのタイプＣ区分は、基層においてＢフレームがないときには移動させられることができる。スライスデータ区分にしたがって、Ｉフレームは、２つのレベルの区分（タイプＡ及びタイプＢの区分）を定義することができ、また、Ｐ及びＢフレームは、３つのレベルの区分（タイプＡ、タイプＢ、及びタイプＣの区分）を定義することができる。
いくつかのケースにおいては、エンコーダモジュール１６は、基層にＩフレーム及びＰフレームを割り当てる(assign)ことができ、また、強化層にＢフレームを割り当てることができる。他のケースにおいて、エンコーダモジュール１６は、Ｉフレーム及びＰフレームを基層に割り当てることができ、基層に第１サブセットのＢフレームを割り当て、そして、強化層に第２サブセットのＢフレームを割り当てることができる。再割り付けモジュール２５によって行なわれた分析は、Ｂフレームが基層にあるかどうかの決定を含むことができる。分析はまた、マルチプレックスモジュール１８がエンコーダモジュール１６に対していずれの再エンコードリクエストを発行したかどうかの決定を含むことができる。
一例において、再割り付けモジュール２５は、再エンコードリクエストが最割り付けされたマルチメディアデータに関して発行されたかどうかを決定し、そして、再エンコードリクエストが発行されたかどうか少なくとも部分に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。さらに、最割り付けモジュール２５は、基層においてＢフレームがあるかどうかを決定し、そして、基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、基層と強化層との間でマルチメディアデータを再割り付けすることができる。
図５は、本開示と一致する技術を図示する別のフロー図である。図５に示されているように、エンコーダモジュール１６は、無線変調スキームに定義づけられた基層と強化層との間でマルチメディアデータを割り付ける（５１）。再割り付けモジュール２５は、そのあと、基層においてＢフレームがあるかどうか（５２）、また、再エンコードリクエストが発行されたかどうか（５３Ａと５３Ｂ）を決定するために基層と強化層との間のマルチメディアデータの割り付けを分析する。再割り付けモジュール２５は、そのあと、例えばケース１（５４）、ケース２（５５）、ケース３（５６）あるいはケース４（５７）にしたがって、これらの要因に基づいて、基層と強化層との間でマルチメディアデータを再割り付けする。
例えば、基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行されていない（５３Ａのいいえ分岐）ときには、再割り付けモジュール２５は、強化層へと基層の１サブセットの情報の１つまたは複数の複製を冗長で割り付けることができる。これはケース１（５４）の１つの可能性である。基層における１サブセットの情報の１つまたは複数の複製の冗長な割り付けは、フレームベース、スライスベース、あるいはスライスデータ区分ベース、で行われることができる。最も重要なフレーム、スライスあるいはスライスデータ区分は、ケース１にしたがった冗長な割り付けの最良の候補である、というのは、データは、基層に残り、そして、加えられたデータのセキュリティのために強化層において冗長で符号化される。
あるいは、基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行されていなかったとき（５３Ａのいいえ分岐）、再割り付けモジュール２５は、強化層へとアシスタンス情報を符号化することができ、該アシスタンス情報は、エラー処理のためのデコーダに対してアシスタンスを提供する。これはケース１（５４）の代替的な可能性である。多くの可能性のある、アシスタンス情報が上記でリストアップされている。
基層においてＢフレームがなく（５２のいいえ分岐）、再エンコードリクエストが発行される（５３Ａのはい分岐）ときには、再割り付けモジュール２５は、強化層へと、初めから基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる。これはケース２（５５）である。特に、ケース２においては、一部のＰフレームの運動(movement)は、基層から強化層へとＰフレームのパートＣ区分（スライスデータ区分によって定義される）を移動させることを含むことができる。与えられたスーパーフレーム内の、もっとあとのＰフレーム(later P frames)（時間が遅い）は、最初に移動させられるべきである。望まれる場合には、基層から強化層へと移動されるいずれのデータも強化された信頼性のために強化層において冗長で符号化されるように、冗長は、プロビジョンされることができる。
基層においてＢフレームがあり（５２のはい分岐）、再エンコードリクエストが発行されていなかった（５３Ｂのいいえ分岐）ときには、再割り付けモジュール２５は、あまり重要ではないＢフレーム(less significant B frames)、あるいはより重要であるＢフレーム(more significant B frames)、を識別するために基層におけるＢフレームを評価し、そして、強化層へと、初めから基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることができる。本開示は、他の方法が使用されることができるであろうにも関わらず、異なるＢフレームに優先順位をつけるための１つの方法を上記で提供する。このケース、すなわちケース３（５６）、においては、再割り付けモジュール２５は、冗長な方法で強化層においてあまり重要ではないＢフレームを符号化することができる。すなわち、基層から強化層へと移動させられるいずれのＢフレームも、強化層において冗長な方法で符号化されることができる。
基層においてＢフレームがあり（５２のはい分岐）、再エンコードリクエストが発行される（５３Ｂのはい分岐）ときには、再割り付けモジュール２５は、あまり重要ではないＢフレーム及びより重要であるＢフレームを識別するために基層のＢフレームを評価し、強化層へと、初めから基層にある１つまたは複数のあまり重要ではないＢフレームを移動させる。このケースはケース４（５７）である。さらに、本開示は、他の方法が使用されることができるにもかかわらず、異なるＢフレームに優先順位をつけるための方法の一例を上記で提供する。ケース３、ケース４、のときに、基層から強化層へと移動させられるいずれのＢフレームも、強化層において冗長な方法で符号化されることができる。
いったんマルチメディアデータが再び割り付けられると、送信機２４は、例えば無線変調スキームにしたがって、基層及び強化層において再割り付けされたマルチメディアデータを送信する（５８）。このような方法で、マルチメディアデータは、様々な加入者デバイス１２Ａ−１２Ｃに、無線チャネル１５にわたって送信される。ここに説明された割り付け及び再割り付けの技術は、チャネルリソースを効率的に使用し、チャネル間の帯域幅のバランスをとり、そしてアプリケーション層におけるエラー弾性を多分改善することに役立つことができる。
ここにおいて説明された教示(teachings)に基づいて、当業者は、ここに開示される態様は、いずれの他の態様から独立してインプリメントされる(implemented)ことができるということ、そして、これらの態様のうちの２つ以上が様々な方法で組み合わされることができるということ、を理解するべきである。ここにおいて説明された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらのいずれの組み合わせにおいてインプリメントされることができる。ハードウェアにおいてインプリメントされる場合には、技術は、デジタルハードウェア、アナログハードウェア、あるいはそれらの組み合わせ、を使用して実現されることができる。ソフトウェアにおいてインプリメントされる場合には、技術は、コンピュータ可読メディア上で１つまたは複数の保存されたあるいは送信されたインストラクションあるいはコードによって、少なくとも部分的に実現されることができる。コンピュータ可読メディアは、コンピュータストレージメディア、通信メディア、あるいはその両方を含むことができ、また、１つの場所から別の場所へとするコンピュータプログラムの転送を容易にするいずれのメディアも含むことができる。ストレージメディアは、コンピュータによってアクセスされることができるいずれの入手可能なメディアであってもよい。
例として、また制限するものではなく、そのようなコンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(synchronous dynamic random access memory)（ＳＤＲＡＭ）、読取り専用メモリ(read-only memory)（ＲＯＭ）、不揮発性ランダムアクセスメモリ(non-volatile random access memory)（ＮＶＲＡＭ）、プログラマブル読取り専用メモリＰＲＯＭ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ(electrically erasable programmable read-only memory)（ＥＥＰＲＯＭ）、フラッシュメモリ(FLASH memory)、ＣＤ−ＲＯＭあるいは他の光学ディスクストレージ、磁気ディスクストレージあるいは他の磁気ストレージデバイス、あるいは、インストラクションあるいはデータストラクチャの形態において望ましいプログラムコードを搬送するあるいは保存するために使用されることができるあるいはコンピュータによってアクセスされることができるいずれの他のタンジブルメディア(tangible medium)、のようなＲＡＭを備えることができる。
また、いずれの接続(connection)もコンピュータ可読媒体と適切に名付けられる。例えば、ソフトウェアが、ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者ライン（ＤＳＬ）、あるいは、赤外線、無線、及びマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、あるいは、他の遠隔ソースから送信される場合には、そのときには、ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、あるいは赤外線、無線、およびマイクロ波のような無線技術は、メディアの定義に含まれている。ここにおいて使用されているように、ディスク(disk)とディスク(disk)は、コンパクトディスク(compact disc)（ＣＤ）、レーザーディスク（登録商標）(laser disc)、光学ディスク(optical disc)、デジタル汎用ディスク(digital versatile disc)（ＤＶＤ）、フロッピー（登録商標）ディスク(disk)およびブルーレイディスク(blu-ray disc)を含んでおり、ディスク(disks)は、大抵、データを磁気で再生しているが、ディスク(discs)は、レーザーで光学的に再生する。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれているべきである。
コンピュータプログラムプロダクトは、ここにおいて開示されているように、コンピュータ可読メディアに関連づけられたいずれの材料(materials)同様にコンピュータ可読メディアを含んでおり、そしてそれは、その中でコンピュータ可読メディアがパッケージされるパッケージ材料を含む。コンピュータプログラムプロダクトのコンピュータ可読メディアに関連づけられたコードは、コンピュータによって、例えば１つまたは複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、ＡＳＩＣｓ、ＦＰＧＡｓ、若しくは他の均等の集積化されたあるいはディスクリート論理回路のような１つまたは複数のプロセッサによって、実行されることができる。いくつかの態様においては、ここにおいて説明される機能性は、データをエンコードし、デコードし、変調し、そして送信するために構成された、あるいは、組み合わせられたＣＯＤＥＣ及び無線モジュレータ／送信機に組み込まれた、専用ソフトウェアモジュールあるいはハードウェアモジュール内で提供されることができる。
様々な態様が説明されてきた。これら及び他の態様は、以下の請求項の範囲内である。
Claims (60)
- 無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けることと、
前記基層と前記強化層との間の前記マルチメディアデータの前記の割り付けを分析することと、
前記の分析に基づいて前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることと、
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送することと、
を備えている方法。 - 前記マルチメディアデータを割り付けることは、スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けることを備えており、
前記マルチメディアデータを再割り付けすることは、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを備えているので、前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分は、前記基層から前記強化層へと移動させられる、
請求項１に記載の方法。 - 前記マルチメディアデータを割り付けることは、前記基層にイントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、前記強化層に双方向予測（Ｂ）フレームを割り当てることと、を備えている、
請求項２に記載の方法。 - 前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項３に記載の方法。 - 前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当てることと、
前記強化層に、第２サブセットのＢフレームを割り当てることと、
を備えている、
請求項２に記載の方法。 - 前記マルチメディアデータの前記割り付けを分析することは、前記の割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項１に記載の方法。 - 前記マルチメディアデータの前記割り付けを分析することは、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項６に記載の方法。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付けること、
を含んでいる、
請求項７に記載の方法。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へとアシスタンス情報を符号化すること、
を含んでおり、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項７に記載の方法。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させること、
を含んでいる、請求項７に記載の方法。 - 前記基層においてＢフレームがあり、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項７に記載の方法。 - 前記マルチメディアデータを割り付けることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項１１に記載の方法。 - 前記基層においてＢフレームがあって、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、請求項７に記載の方法。 - 前記マルチメディアデータを再割り付けすることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、をさらに含んでいる、
請求項１１に記載の方法。 - 前記再割り付けされたマルチメディアを伝送する前に、前記無線変調スキームの前記基層と前記強化層において前記再割り付けされたマルチメディアを変調すること、
をさらに備えている請求項１に記載の方法。 - 無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けるエンコーダモジュールと、
前記基層と前記強化層との間のマルチメディアデータの前記の割り付けを分析し、前記の分析に基づいて前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする再割り付けモジュールと、
前記無線変調スキームにしたがって、前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送する送信機と、
を備えている装置。 - 前記エンコーダモジュールは、スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けており、
前記再割り付けモジュールは、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けするので、前記マルチメディアデータを再割り付けすることにおいて、前記再割り付けモジュールは、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分を、前記基層から前記強化層へと移動させる、
請求項１６に記載の装置。 - 前記エンコーダモジュールは、
前記基層に、イントラ（Ｉ）フレームと、予測（Ｐ）フレームとを割り当て、
前記強化層に、双方向予測（Ｂ）フレームを割り当てる、
請求項１７に記載の装置。 - 前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項１８に記載の装置。 - 前記エンコーダモジュールは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当て、
前記強化層に、第２サブセットのＢフレームを割り当てる、
請求項１７に記載の装置。 - 前記再割り付けモジュールは、
前記割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定し、
再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項１６に記載の装置。 - 前記再割り付けモジュールは、
前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定し、
前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項２１に記載の装置。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付ける、
請求項２２に記載の装置。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
前記強化層へとアシスタンス情報を符号化し、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項２２に記載の装置。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記再割り付けモジュールは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる、
請求項２２に記載の装置。 - 前記基層においてＢフレームがあり、再エンコードリクエストが発行されていなかったときには、前記再割り付けモジュールは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項２２に記載の装置。 - 前記再割り付けモジュールは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項２６に記載の装置。 - 前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記再割り付けモジュールは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層に初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項２２に記載の装置。 - 前記再割り付けモジュールは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符合化する、
請求項２８に記載の方法。 - 前記無線変調スキームの前記基層と前記強化層とにおいて前記割り付けられたマルチメディアデータを変調するモジュレータと、
をさらに備えている請求項１６に記載の装置。 - 無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けるための手段と、
前記基層と前記強化層との間の前記マルチメディアデータの前記の割り付けを分析するための手段と、
前記の分析に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けするための手段と
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアデータを伝送するための手段と、
を備えているデバイス。 - 割り付けるための前記手段は、スライスデータ区分スキームにしたがって前記基層と前記強化層との間で前記マルチメディアデータを割り付け、
再割り付けするための前記手段は、前記スライスデータ区分スキームにしたがって前記基層と前記強化層との間で前記マルチメディアを再割り付けするので、前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分は、前記基層から前記強化層へと移動させられる、請求項３１に記載のデバイス。 - 割り付けるための前記手段は、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記強化層に、双方向予測（Ｂ）フレームを割り当てる、
請求項３２に記載のデバイス。 - 前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項３３に記載のデバイス。 - 割り付けるための前記手段は、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当て、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当て、
前記強化層に、第２サブセットのＢフレームを割り当てる、
請求項３２に記載のデバイス。 - 分析するための前記手段は、前記割り付けられたマルチメディアデータに関して再エンコードリクエストが発行されたかどうかを決定し、
前記マルチメディアデータを再割り付けするための前記手段は、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項３１に記載のデバイス。 - 分析するための前記手段は、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定し、
前記マルチメディアデータを再割り付けするための前記手段は、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けする、
請求項３６に記載のデバイス。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へと、前記基層において１サブセットの情報を冗長で割り付ける、
請求項３７に記載のデバイス。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へとアシスタンス情報を符号化し、
前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項３７に記載のデバイス。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けするための前記手段は、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させる、請求項３７に記載のデバイス。 - 前記基層においてＢフレームがあって、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けするための前記手段は、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項３７に記載のデバイス。 - 前記マルチメディアデータを割り付けるための前記手段は、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項４１に記載の方法。 - 前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けするための前記手段は、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価し、
前記強化層へ、初めから前記基層にある前記あまり重要ではないＢフレームのうち１つまたは複数を移動させる、
請求項３７に記載のデバイス。 - 前記マルチメディアデータを再割り付けするための前記手段は、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化する、
請求項４３に記載のデバイス。 - 前記無線変調スキームの前記基層と前記強化層において、前記の再割り付けされたマルチメディアデータを変調するための手段、
をさらに備えている請求項３１に記載のデバイス。 - インストラクションを備えているコンピュータ可読媒体を備えるコンピュータプロダクトであって、前記インストラクションは、少なくとも１つのコンピュータに、
無線変調スキームにおいて定義される基層と強化層との間でマルチメディアデータを割り付けさせ、
前記基層と前記強化層との間の前記マルチメディアデータの前記割り付けを分析させ、
前記の分析に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けさせ、
前記無線変調スキームの前記基層と前記強化層とにおいて前記の再割り付けされたマルチメディアデータを伝送させる、
コンピュータプロダクト。 - 前記インストラクションは、前記のコンピュータに、
スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアデータを割り付けさせ、
前記マルチメディアデータを再割り付けすることにおいて、１つまたは複数のマルチメディアフレームに関連づけられた１サブセットのスライスデータ区分が、前記基層から前記強化層へと移動させられるように、前記スライスデータ区分スキームにしたがって、前記基層と前記強化層との間で前記マルチメディアを再割り付けさせる、
請求項４６に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと、予測（Ｐ）フレームとを割り当てることと
前記強化層に、双方向予測（Ｂ）フレームを割り当てることと、
を含んでいる、
請求項４７に記載のコンピュータプログラムプロダクト。 - 前記Ｉフレームは、２つのレベルの区分を定義し、
前記Ｐ及びＢフレームは、３つのレベルの区分を定義する、
請求項４８に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータを割り付けることは、
前記基層に、イントラ（Ｉ）フレームと予測（Ｐ）フレームとを割り当てることと、
前記基層に、第１サブセットの双方向予測（Ｂ）フレームを割り当てることと、
前記強化層に、第２サブセットのＢフレームを割り当てることと、
を含んでいる、
請求項４７に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータの前記割り付けを分析することは、前記割り付けられたマルチメディアデータに関して、再エンコードリクエストが発行されたかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、再エンコードリクエストが発行されたどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項４６に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータの前記割り付けを分析することは、前記基層において双方向予測（Ｂ）フレームがあるかどうかを決定することを含んでおり、
前記マルチメディアデータを再割り付けすることは、前記基層においてＢフレームがあるかどうかに少なくとも部分的に基づいて、前記基層と前記強化層との間で前記マルチメディアデータを再割り付けすることを含んでいる、
請求項５１に記載のコンピュータプログラムプロダクト。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へと前記基層において１サブセットの情報を冗長で割り付けること、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へとアシスタンス情報を符号化すること、
を含んでおり、前記アシスタンス情報は、エラー対処のためのデコーダに対してアシスタンスを提供する、
請求項５２に記載のコンピュータプログラムプロダクト。 - 前記基層においてＢフレームがなく、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
前記強化層へ、初めから前記基層にある１つまたは複数の予測（Ｐ）フレームの一部を移動させること、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。 - 前記基層においてＢフレームがあって、再エンコードリクエストが発行されていなかったときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータを割り付けることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項５６に記載のコンピュータプログラムプロダクト。 - 前記基層においてＢフレームがあり、再エンコードリクエストが発行されていたときには、前記マルチメディアデータを再割り付けすることは、
あまり重要ではないＢフレームとより重要であるＢフレームとを識別するために、前記基層において前記Ｂフレームを評価することと、
前記強化層へ、初めから前記基層にあるあまり重要ではないＢフレームのうち１つまたは複数を移動させることと、
を含んでいる、
請求項５２に記載のコンピュータプログラムプロダクト。 - 前記マルチメディアデータを再割り付けすることは、
冗長な方法で、前記強化層において前記あまり重要ではないＢフレームを符号化すること、
をさらに含んでいる、
請求項５８に記載のコンピュータプログラムプロダクト。 - 前記インストラクションは、前記コンピュータに、
前記無線変調スキームの前記基層と前記強化層において前記の再割り付けされたマルチメディアを変調させる、
請求項４６に記載のコンピュータプログラムプロダクト。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US87164206P | 2006-12-22 | 2006-12-22 | |
| US11/777,918 US8630355B2 (en) | 2006-12-22 | 2007-07-13 | Multimedia data reorganization between base layer and enhancement layer |
| PCT/US2007/087998 WO2008079825A2 (en) | 2006-12-22 | 2007-12-18 | Multimedia data reorganization between base layer and enhancement layer |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010515297A true JP2010515297A (ja) | 2010-05-06 |
Family
ID=39493843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009543150A Pending JP2010515297A (ja) | 2006-12-22 | 2007-12-18 | 基層と強化層との間のマルチメディアデータ再編成 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8630355B2 (ja) |
| EP (1) | EP2103139A2 (ja) |
| JP (1) | JP2010515297A (ja) |
| KR (1) | KR101065237B1 (ja) |
| CN (1) | CN101563929B (ja) |
| TW (1) | TW200845751A (ja) |
| WO (1) | WO2008079825A2 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0500332D0 (en) * | 2005-01-08 | 2005-02-16 | Univ Bristol | Enhanced error concealment |
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| US8582905B2 (en) * | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
| US10069591B2 (en) * | 2007-01-04 | 2018-09-04 | Qualcomm Incorporated | Method and apparatus for distributed spectrum sensing for wireless communication |
| US8379734B2 (en) | 2007-03-23 | 2013-02-19 | Qualcomm Incorporated | Methods of performing error concealment for digital video |
| KR101370902B1 (ko) * | 2007-05-22 | 2014-03-26 | 엘지전자 주식회사 | Ｍｂｓ 수신 방법 및 제공 방법 |
| CN101939931A (zh) * | 2007-09-28 | 2011-01-05 | 何品翰 | 利用叠加调制进行无线数据组播的鲁棒系统和方法 |
| KR100937590B1 (ko) * | 2007-10-23 | 2010-01-20 | 한국전자통신연구원 | 다중 품질 서비스 영상 콘텐츠 제공 시스템 및 그것의업그레이드 방법 |
| US8050289B1 (en) * | 2008-02-01 | 2011-11-01 | Zenverge, Inc. | Media transmission using aggregated bandwidth of disparate communication channels |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US20100008419A1 (en) * | 2008-07-10 | 2010-01-14 | Apple Inc. | Hierarchical Bi-Directional P Frames |
| EP2146343A1 (en) * | 2008-07-16 | 2010-01-20 | Deutsche Thomson OHG | Method and apparatus for synchronizing highly compressed enhancement layer data |
| US8254441B2 (en) * | 2008-08-18 | 2012-08-28 | Sprint Communications Company L.P. | Video streaming based upon wireless quality |
| JP5815408B2 (ja) * | 2008-09-16 | 2015-11-17 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | スケーラブルビデオコーディングを利用したリニアなデジタルｔｖ番組の伝送方法 |
| JP5369599B2 (ja) * | 2008-10-20 | 2013-12-18 | 富士通株式会社 | 映像符号化装置、映像符号化方法 |
| CN101369870A (zh) * | 2008-10-20 | 2009-02-18 | 北京邮电大学 | 中继系统中基于物理层网络编码技术的不均等差错保护方法 |
| US20100250764A1 (en) * | 2009-03-31 | 2010-09-30 | Nokia Corporation | Method and Apparatus for Signaling Layer Information of Scalable Media Data |
| US8537772B2 (en) * | 2009-07-02 | 2013-09-17 | Qualcomm Incorporated | Transmitter quieting during spectrum sensing |
| US8780982B2 (en) * | 2009-07-02 | 2014-07-15 | Qualcomm Incorporated | Transmitter quieting and different encoding rates for portions of a set of frames |
| US8958475B2 (en) * | 2009-07-02 | 2015-02-17 | Qualcomm Incorporated | Transmitter quieting and null data encoding |
| US9112618B2 (en) * | 2009-07-02 | 2015-08-18 | Qualcomm Incorporated | Coding latency reductions during transmitter quieting |
| US8902995B2 (en) * | 2009-07-02 | 2014-12-02 | Qualcomm Incorporated | Transmitter quieting and reduced rate encoding |
| KR101028956B1 (ko) | 2009-07-31 | 2011-04-12 | 포항공과대학교 산학협력단 | 모바일 ｉｐｔｖ 서비스를 제공하는 방법 및 이를 위한 시스템 |
| JP5440220B2 (ja) * | 2010-01-29 | 2014-03-12 | 株式会社デンソー | ナビゲーション装置 |
| US9036567B2 (en) * | 2010-02-03 | 2015-05-19 | Qualcomm Incorporated | Logical channel mapping for increased utilization of transmission resources |
| CN102763408B (zh) * | 2010-02-11 | 2020-01-17 | 上海诺基亚贝尔股份有限公司 | 基于svc的e-mbms流传输方法和设备 |
| KR20110124161A (ko) * | 2010-05-10 | 2011-11-16 | 삼성전자주식회사 | 계층 부호화 영상의 송수신 방법 및 장치 |
| KR101744355B1 (ko) * | 2011-01-19 | 2017-06-08 | 삼성전자주식회사 | 상호 계층 최적화를 이용한 멀티미디어 데이터 패킷을 송신하는 방법 및 장치 |
| US20120309321A1 (en) * | 2011-05-31 | 2012-12-06 | Broadcom Corporation | Synchronized calibration for wireless communication devices |
| US20130058404A1 (en) * | 2011-09-01 | 2013-03-07 | Jiun-In Guo | Method of motion prediction of multimedia video coding |
| US20130308926A1 (en) * | 2012-05-17 | 2013-11-21 | Gangneung-Wonju National University Industry Academy Cooperation Group | Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof |
| US9241166B2 (en) | 2012-06-11 | 2016-01-19 | Qualcomm Incorporated | Technique for adapting device tasks based on the available device resources |
| TWI669952B (zh) | 2012-09-18 | 2019-08-21 | 美商Ｖｉｄ衡器股份有限公司 | 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置 |
| WO2014178880A2 (en) * | 2013-05-03 | 2014-11-06 | Empire Technology Development Llc | Scalable video coding prioritization |
| CN108924113A (zh) * | 2018-06-25 | 2018-11-30 | 京信通信系统（中国）有限公司 | 语音编码速率的调整方法、装置、计算机存储介质及设备 |
| CN112783887B (zh) * | 2019-11-07 | 2024-08-16 | 北京沃东天骏信息技术有限公司 | 一种基于数据仓库的数据处理方法及装置 |
| CN115150367A (zh) * | 2021-03-31 | 2022-10-04 | 华为技术有限公司 | 一种数据分层传输方法、装置及系统 |
| US11729813B1 (en) * | 2021-06-01 | 2023-08-15 | Amazon Technologies, Inc. | Multimedia service over an extended range wireless local area network (WLAN)using a modulation and coding scheme with symbol repetition for higher priority portions of media for data |
| US11616611B1 (en) * | 2021-10-22 | 2023-03-28 | Lenovo (Singapore) Pte. Ltd. | Precoding wireless communications |
| US11863259B2 (en) | 2021-10-22 | 2024-01-02 | Lenovo (Singapore) Pte. Ltd. | Determining a precoder for wireless communications |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001223665A (ja) * | 2000-02-08 | 2001-08-17 | Matsushita Electric Ind Co Ltd | 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体 |
| WO2001065848A1 (en) * | 2000-03-02 | 2001-09-07 | Koninklijke Philips Electronics N.V. | System and method for improving video transmission over a wireless network. |
| WO2003049449A2 (en) * | 2001-12-05 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Modulation algorithm for a mpeg-4 fgs wireless transmission system |
| WO2006119436A2 (en) * | 2005-05-03 | 2006-11-09 | Qualcomm Incorporated | Rate control for multi-layer video design |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501797B1 (en) * | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
| US6614936B1 (en) * | 1999-12-03 | 2003-09-02 | Microsoft Corporation | System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding |
| US6580754B1 (en) | 1999-12-22 | 2003-06-17 | General Instrument Corporation | Video compression for multicast environments using spatial scalability and simulcast coding |
| US6816194B2 (en) * | 2000-07-11 | 2004-11-09 | Microsoft Corporation | Systems and methods with error resilience in enhancement layer bitstream of scalable video coding |
| US6907070B2 (en) * | 2000-12-15 | 2005-06-14 | Microsoft Corporation | Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding |
| US6996172B2 (en) * | 2001-12-21 | 2006-02-07 | Motorola, Inc. | Method and structure for scalability type selection in digital video |
| FR2835996A1 (fr) * | 2002-02-12 | 2003-08-15 | Koninkl Philips Electronics Nv | Procede d'encodage d'une sequence d'images numeriques |
| CN1860791A (zh) * | 2003-09-29 | 2006-11-08 | 皇家飞利浦电子股份有限公司 | 结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传输的系统和方法 |
| US7852916B2 (en) * | 2004-06-27 | 2010-12-14 | Apple Inc. | Efficient use of storage in encoding and decoding video data streams |
| US7606303B2 (en) * | 2004-09-28 | 2009-10-20 | General Instrument Corporation | Method and apparatus to detect anchor frames from digital video streams |
| KR100703776B1 (ko) | 2005-04-19 | 2007-04-06 | 삼성전자주식회사 | 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치 |
| KR100781525B1 (ko) * | 2006-04-06 | 2007-12-03 | 삼성전자주식회사 | 가중 평균합을 이용하여 ｆｇｓ 계층을 인코딩 및디코딩하는 방법 및 장치 |
| US20080043832A1 (en) * | 2006-08-16 | 2008-02-21 | Microsoft Corporation | Techniques for variable resolution encoding and decoding of digital video |
-
2007
- 2007-07-13 US US11/777,918 patent/US8630355B2/en not_active Expired - Fee Related
- 2007-12-18 CN CN2007800473662A patent/CN101563929B/zh not_active Expired - Fee Related
- 2007-12-18 WO PCT/US2007/087998 patent/WO2008079825A2/en active Application Filing
- 2007-12-18 JP JP2009543150A patent/JP2010515297A/ja active Pending
- 2007-12-18 KR KR1020097015347A patent/KR101065237B1/ko not_active IP Right Cessation
- 2007-12-18 EP EP07865838A patent/EP2103139A2/en not_active Withdrawn
- 2007-12-21 TW TW096149567A patent/TW200845751A/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001223665A (ja) * | 2000-02-08 | 2001-08-17 | Matsushita Electric Ind Co Ltd | 信号符号化伝送装置、信号復号化受信装置、およびプログラム記録媒体 |
| WO2001065848A1 (en) * | 2000-03-02 | 2001-09-07 | Koninklijke Philips Electronics N.V. | System and method for improving video transmission over a wireless network. |
| WO2003049449A2 (en) * | 2001-12-05 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Modulation algorithm for a mpeg-4 fgs wireless transmission system |
| WO2006119436A2 (en) * | 2005-05-03 | 2006-11-09 | Qualcomm Incorporated | Rate control for multi-layer video design |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101563929B (zh) | 2012-08-29 |
| WO2008079825A3 (en) | 2008-08-28 |
| KR101065237B1 (ko) | 2011-09-16 |
| WO2008079825A2 (en) | 2008-07-03 |
| CN101563929A (zh) | 2009-10-21 |
| EP2103139A2 (en) | 2009-09-23 |
| US8630355B2 (en) | 2014-01-14 |
| US20080152003A1 (en) | 2008-06-26 |
| KR20090101950A (ko) | 2009-09-29 |
| TW200845751A (en) | 2008-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8630355B2 (en) | Multimedia data reorganization between base layer and enhancement layer | |
| KR101059712B1 (ko) | 강화층에서의 레퍼런스 프레임 배치 | |
| US8340183B2 (en) | Digital multimedia channel switching | |
| US8831039B2 (en) | Time-interleaved simulcast for tune-in reduction | |
| Schierl et al. | Using H. 264/AVC-based scalable video coding (SVC) for real time streaming in wireless IP networks | |
| US20090222855A1 (en) | Method and apparatuses for hierarchical transmission/reception in digital broadcast | |
| US10116970B1 (en) | Video distribution, storage, and streaming over time-varying channels | |
| JP2012533220A (ja) | モバイルデバイスからワイヤレスディスプレイにコンテンツを送信するシステムおよび方法 | |
| KR20110042201A (ko) | 스케일러블 비디오 코딩(ｓｖｃ)을 이용한 고속 채널 변경 응용을 위한 실시간 전송 프로토콜(ｒｔｐ) 패킷화 방법 | |
| JP2005515714A (ja) | クライアントの帯域又は性能に基づく対象を絞ったスケーラブル映像マルチキャスト | |
| KR20080098668A (ko) | 무선장치에서 멀티―프로그램 뷰잉 | |
| US20110110418A1 (en) | Scalable video coding method for fast channel change to increase coding efficiency | |
| JP2016092837A (ja) | 映像圧縮装置、映像再生装置および映像配信システム | |
| US20080301742A1 (en) | Time-interleaved simulcast for tune-in reduction | |
| KR20100136999A (ko) | 시간 확장성을 이용하는 스태거캐스팅 | |
| WO2010069427A1 (en) | Method and encoder for providing a tune- in stream for an encoded video stream and method and decoder for tuning into an encoded video stream | |
| JP2017520940A (ja) | 階層符号化されたコンテンツを多重化するための方法および装置 | |
| US20140245361A1 (en) | Multilevel satellite broadcasting system for providing hierarchical satellite broadcasting and operation method of the same | |
| Rezaei | Video streaming over DVB-H | |
| Jennehag et al. | Gradual tune-in pictures for fast channel change | |
| Roy | Implementation of a Personal Digital Radio Recorder for Digital Multimedia Broadcasting by Adapting the Open-Source Personal Digital Video Recorder Software MythTV | |
| EP2151075A2 (en) | Time-interleaved simulcast for tune-in reduction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120731 |