JP2009543386A - スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法 - Google Patents

スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法 Download PDF

Info

Publication number
JP2009543386A
JP2009543386A JP2009503210A JP2009503210A JP2009543386A JP 2009543386 A JP2009543386 A JP 2009543386A JP 2009503210 A JP2009503210 A JP 2009503210A JP 2009503210 A JP2009503210 A JP 2009503210A JP 2009543386 A JP2009543386 A JP 2009543386A
Authority
JP
Japan
Prior art keywords
scalability
information
change
info
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009503210A
Other languages
English (en)
Other versions
JP5697332B2 (ja
Inventor
エレフセリアディス，アレクサンドロス
Original Assignee
ヴィドヨ，インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2006/028368 external-priority patent/WO2008051181A1/en
Priority claimed from PCT/US2006/028365 external-priority patent/WO2008060262A1/en
Priority claimed from PCT/US2006/028367 external-priority patent/WO2007075196A1/en
Priority claimed from PCT/US2006/028366 external-priority patent/WO2008082375A2/en
Priority claimed from PCT/US2006/061815 external-priority patent/WO2007067990A2/en
Priority claimed from PCT/US2006/062569 external-priority patent/WO2007076486A2/en
Priority claimed from PCT/US2007/062357 external-priority patent/WO2007095640A2/en
Application filed by ヴィドヨ，インコーポレーテッド filed Critical ヴィドヨ，インコーポレーテッド
Priority claimed from PCT/US2007/065003 external-priority patent/WO2007112384A2/en
Publication of JP2009543386A publication Critical patent/JP2009543386A/ja
Publication of JP5697332B2 publication Critical patent/JP5697332B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

ビデオ及び／又はオーディオ通信システム内のデコーダ及び他のコンポーネントによって受信される信号のスケーラビリティ層構造に関連するタイムリーな情報を通信するシステム及び方法を提供する。標準Ｈ．２６４ＳＶＣ符号化フォーマットを用いる通信システムでは、標準ＳＳＥＩメッセージを変更又は補足し、スケーラビリティ層構造情報及びその変化をシグナリングする能力を含ませる。受信機器は、信号スケーラビリティ層情報を用いて、受信信号を適切に処理又は復号することができる。
【選択図】 図１

Description

本発明は、ビデオ通信システムに関する。詳しくは、本発明は、ビデオ通信システムにおいて、ビットレート及び演算量の両方を低減するように、スケーラブルビデオ符号化されたビットストリーム及びその変化を通信する技術に関する。
符号化効率を包括的に改善することを意図して開発された新たなデジタルビデオ及びオーディオ「スケーラブル」符号化技術は、多くの新たな構造的特徴を有する。具体的には、特に重要な新たな特徴は、スケーラビリティである。スケーラブル符号化では、オリジナルの信号、すなわちソース信号は、２層以上の階層構造を有するビットストリームを用いて表現される。ここで、階層構造とは、所定のビットストリームの復号が、より下位の階層のビットストリームの一部又は全部の使用可能性に依存することを含意する。各ビットストリームは、そのビットストリームが依存するビットストリームと共に、特定の時間分解能、忠実度（例えば、信号対雑音比（ＳＮ比）に関する。）又は空間分解能（ビデオの場合）で、オリジナルの信号の表現を提供する。
なお、「スケーラブル」という用語は、数値的な大きさ又はスケールではなく、包括的に、分解能又は他の品質の異なる「スケール」で、オリジナルの信号、すなわちソース信号の効率的表現に対応する異なるビットストリームの組を提供する符号化法の能力を指している。スケーラブルビデオ符号化（Scalable Video Coding：ＳＶＣ）と呼ばれる最新のＩＴＵ−Ｔ Ｈ．２６４付属資料Ｆは、時間、空間及び忠実度の全ての次元において、ビデオ符号化スケーラビリティを提供するビデオ符号化規格の具体例である。ＳＶＣは、Ｈ．２６４規格の拡張である（また、アドバンスドビデオ符号化（Advanced Video Coding：ＡＶＣ）としても知られている）。また、３つの種類のスケーラビリティの全てを提供する以前の規格の具体例としては、ＩＳＯ ＭＰＥＧ−２（また、ＩＴＵ−Ｔ Ｈ．２６２としても公開されている）がある。ＩＴＵ Ｇ．７２９．１（また、Ｇ．７２９ＥＶとしても知られている。）は、スケーラブルオーディオ符号化を提供する規格の具体例である。
スケーラビリティは、ストリーミング及び放送における配信に関する問題の解決策として、及び所定の通信システムが異なるアクセスネットワーク（例えば、異なる帯域幅に接続されたクライアント）、異なるネットワーク状態（例えば、帯域幅変動）及び異なるクライアント機器（例えば、大きいモニタを使用するパーソナルコンピュータと、画面が小さい携帯型機器）で動作できるように、ビデオ及びオーディオ符号化に導入された。
インタラクティブビデオ通信の用途、例えば、テレビ会議のために特別に設計されたスケーラブルビデオ符号化法は、本願と同じ譲受人に譲渡されている国際特許出願ＰＣＴ／ＵＳ０６／０２８３６５号に開示されている。更に、本願と同じ譲受人に譲渡されている国際特許出願ＰＣＴ／ＵＳ０６／０２８３６５号には、スケーラブルビデオ通信サーバ（Scalable Video Communication Server：ＳＶＣＳ）と呼ばれる新たなタイプのサーバの設計が開示されている。ＳＶＣＳは、スケーラブル符号化されたビデオデータを用いて、高品質、低遅延のビデオ通信を実現でき、スイッチング又はトランスコーディングを行う既存のマルチポイント制御ユニット（Multipoint Control Unit：ＭＣＵ）に比べて、複雑性を大幅に低減させている。また、本願と同じ譲受人に譲渡されている国際特許出願ＰＣＴ／ＵＳ０６／６２５６９号には、ＳＶＣＳと同じ利点を有するが、単一の符号化された出力ビットストリームを生成するコンポジットスケーラブルビデオ符号化サーバ（Compositing Scalable Video Coding Server：ＣＳＶＣＳ）が開示されている。スケーラブルビデオ符号化設計及びＳＶＣＳ／ＣＳＶＣＳアーキテクチャを用いることの更なる利点については、例えば、本願と同じ譲受人に譲渡されている国際特許出願ＰＣＴ／ＵＳ０６／０２８３６７号、ＰＣＴ／ＵＳ０６／０２７３６８号、ＰＣＴ／ＵＳ０６／０６１８１５号、ＰＣＴ／ＵＳ０７／６２３５７号及びＰＣＴ／ＵＳ０７／６３３３５号に開示されている。これらの国際特許出願には、サーバ間の効果的な中継、ジッタバッファ遅延の短縮、エラー回復及びランダムアクセス、パケット損失を低減しながら符号化効率を向上させるためのスケーラブルビデオビットストリームの「間引き（原文：thinning）」及びレート制御のそれぞれのためのスケーラブル符号化技術及びＳＶＣＳ／ＣＶＣＳアーキテクチャが開示されている。更に、本願と同じ譲受人に譲渡されている米国仮出願第６０／７８６，９９７号には、スケーラブルビデオ符号化フォーマットと、他のフォーマットとの間のトランスコードの手法が開示されており、本願と同じ譲受人に譲渡されている米国仮出願第６０／８８４，１４８号には、スケーラブルビデオ符号化を用いるビデオ通信システムにおけるエラー回復の更なる改良が説明されている。
現在、スケーラブルなビデオ又はオーディオ符号化を用いるビデオ及びオーディオ通信システムの改善が望まれている。特に、このようなシステムを改善するために、ビデオ又はオーディオビットストリームのソースから、直接、又は１つ以上のサーバを介して受信機器に通信されるスケーラビリティ情報の管理が注目されている。ソースは、生のビデオデータを符号化し、通信ネットワークを介して送信する送信エンドポイントであってもよく、事前に符号化されたビデオデータを送信するストリーミングサーバであってもよく、大容量記憶媒体又は他のアクセス機器に保存されたファイルにアクセスするソフトウェアモジュールであってもよい。一方、受信機器は、通信ネットワークを介して、又は大容量記憶媒体又は他のアクセス機器から直接、符号化されたビデオ又はオーディオビットストリームを受信する受信エンドポイントであってもよい。
スケーラブル符号化を用いるビデオ及びオーディオ通信システムにおいて、スケーラビリティ情報の管理を改善するシステム及び方法を提供する。
このシステム及び方法は、スケーラブル符号化されたビットストリームの構造及び時間の経過に伴ってシステムコンポーネントに生じた変化に関する情報を通信する。この通信技術には、関連する情報の差分符号化を用いて、ビットレートオーバヘッドを減少させ、演算量を低減させることができるという利点がある。
標準のＨ．２６４ ＳＶＣ符号化フォーマットを用いるビデオ通信システムの好ましい実施の形態では、標準のスケーラビリティ情報ＳＥＩメッセージを変更し、スケーラビリティ情報の変化をシグナリングする機能を追加する。スケーラビリティ情報ＳＥＩメッセージの拡張セットによって、受信機器（例えば、サーバ、デコーダ／エンドポイント）に送信された信号のスケーラビリティ層構造及びその変化を知らせることができる。受信機器は、スケーラビリティ層情報を用いて、受信信号を適切に処理又は復号することができる。
本発明の更なる特徴、性質及び様々な利点は、以下の好ましい実施の形態及び添付の図面によって、より明瞭になる。
添付の図面の全体に亘り、同じ符号及び文字は、特別な記載がない限り、例示する実施の形態の同様の特徴、要素、コンポーネント及び部分を指示するために使用する。更に、以下では、例示的な実施の形態に関して、図面を参照して本発明を説明する。
スケーラブル符号化を用いるビデオ及びオーディオ通信システムにおいて、スケーラビリティ情報の管理を改善するシステム及び方法を提供する。
図１は、スケーラブル符号化を用いる通信システム１００の例示的なアーキテクチャを示している。通信システム１００は、メディアサーバ又はエンコーダ１１０（例えば、ストリーミングサーバ又は送信エンドポイント）を備え、メディアサーバ又はエンコーダ１１０は、ネットワーク１３０を介して、メディアゲートウェイ１４０を経由して、クライアント／レシーバ１２０にビデオ及び／又はオーディオ信号を通信する。
説明を簡潔にするために、本明細書では、このような通信システムのビデオパートのみに限定して説明する。なお、ビデオパートに関して本明細書に開示するシステム及び方法は、スケーラブルなオーディオパートについても用いることができることは明らかであるが、オーディオ信号には空間的なスケーラビリティの次元はなく、オーディオ信号符号化においては、マルチチャンネル符号化を追加的に用いることができる。更に、本明細書に記載するシステム及び方法は、スケーラブルな手法で符号化された他のマルチメディアデータ（例えば、グラフィクスデータ）にも用いることができる。
通信システム１００の好ましい実施の形態では、ビデオ通信のためにＨ．２６４ＳＶＣ符号化フォーマット（以下、単に「ＳＶＣ」とも言う。）を用いる（引用によってその全体が本願に援用される「the SVC JD5 specification, T. Wiegand, G. Sullivan, J. Reichel, H. Schwarz, M. Wien, eds., "Joint Draft 5: Scalable Video Coding," Joint Video Team, Doc.JVT-R201, Bangkok, Thailand, January 2005」参照）。ＳＶＣは、Ｈ．２６４ＡＶＣビデオ符号化規格のスケーラブルビデオ符号化拡張（付属資料Ｆ）である。
ＳＶＣは、複数の次元（例えば、空間、時間、忠実度又は品質の次元）におけるスケーラビリティによって、ビットストリーム構造の生成に著しい柔軟性を提供する。ＳＶＣ符号化されたビットストリームは、複数のコンポーネント又は階層に構造化できる。ベース層は、ある基本的な忠実度でソース信号の表現を提供する。更なる層（エンハンスメント層）は、基本的な忠実度の次元の上位の追加的なスケーラビリティ次元で信号をより高品質に表現するための情報を提供する。なお、符号化されたビットストリームの階層構造は、通常、ピラミッド構造に形成され、ある層の復号には、１つ以上の下位の層の存在が必要とされる場合がある。通常、如何なるエンハンスメント層の復号にも、ベース層が使用可能である必要がある。但し、階層構造は、必ずしもピラミッド構造でなくてもよい。例えば、多重記述符号化又は多重放送を介してスケーラビリティを提供する場合、幾つかの又は全ての層を独立して復号できる場合もある。本明細書に記載するシステム及び方法は、これらのスケーラビリティフォーマットの全てに適用可能である。
スケーラビリティは、異種のネットワーク及び／又はクライアント、時間的に変化するネットワーク性能、ベストエフォート型ネットワーク配信等、幾つかのシステムレベルの問題を解決できる。なお、これらの機能を効果的に活用するためには、ビデオエンコーダ及びデコーダ以外のシステムコンポーネントも、これらの機能にアクセスできることが必要条件となる。
全てのスケーラビリティ機能を実現する本発明のシステム及び方法について、図１を参照して説明する。まず、システム１００のメディアゲートウェイ１４０の使用は、任意である。本発明のシステム及び方法は、クライアントにメディアサーバを直接接続する場合と、クライアントが直接又は間接的にアクセスできる大容量記憶媒体又は他のアクセス機器上のファイルをメディアサーバに置き換える場合（例えば、通信ネットワークを介するファイルアクセス）との両方において、同じ又は同様である。
ここで、メディアサーバ／エンコーダ１１０（例えば、ストリーミングサーバ、エンコーダ又は送信エンドポイントエンコーダ）がメディアゲートウェイ１４０を介して、クライアント／レシーバ１２０にスケーラブルなメディアデータを通信する簡単な動作シナリオを説明する。この簡単なシナリオでは、合意に基づく層の組、例えば、ＲＴＰカプセル化されたＳＶＣ ＮＡＬユニットをメディアサーバとクライアントとの間で通信するための接続を確立する必要がある。更に、供給されるパケット（例えば、ＲＴＰカプセル化され、送信されたＳＶＣ ＮＡＬユニット）を動作的に最良に利用する手法について、メディアゲートウェイ１４０に指示を与える必要がある（又はメディアゲートウェイ１４０自体が推定する必要がある）。メディアゲートウェイ１４０がＳＶＣＳ／ＣＳＶＣＳアーキテクチャを有する場合、この動作的な判定は、どのパケットを除外し、どのパケットを送るかに関する判定に対応する。更に、適切な復号処理のために、クライアント／レシーバ１２０にどの層の組が受信されるかを通知する必要があり、又はクライアント／レシーバ１２０は、どの層の組が受信されるかを推定する能力を有する必要がある。
これらの機能を実現するために、システム１００は、様々なシステムコンポーネントに送信されたビットストリームのスケーラビリティ構造を表現し、通信する必要がある。例示的な具体例として、１５ｆｐｓ及び３０ｆｐｓの２つの時間分解能、及びＱＣＩＦ及びＣＩＦの２つの空間分解能を有するビデオ信号について説明する。これは、１５ｆｐｓのＱＣＩＦ信号を含む層Ｌ０と、３０ｆｐｓのＱＣＩＦ信号拡張を含む層Ｌ１と、１５ｆｐｓのＣＩＦ信号拡張を含む層Ｓ０と、３０ｆｐｓのＣＩＦ信号拡張を含む層Ｓ１とから構成される４層のスケーラビリティ構造に対応する。４層のスケーラビリティ構造における符号化の依存性として、例えば、Ｌ０はベース層であり、Ｌ１はＬ０に依存し、Ｓ０はＬ０に依存し、Ｓ１はＬ１及びＳ０の両方に依存する。システムコンポーネントがビデオ信号を適切に処理できるようにするために、システム１００は、システムコンポーネントに対して、この４層構造を記述しなくてはならない。
ＳＶＣは、スケーラビリティ情報ＳＥＩ（Scalability Information SEI：ＳＳＥＩ）メッセージを介してＳＶＣ符号化されたビデオビットストリームのスケーラビリティ構造を記述するメカニズムを提供する。付加拡張情報（Supplemental Enhancement Information：ＳＥＩ）メッセージは、ＳＶＣビットストリームに含まれているデータ構造であり、復号処理の動作には必要ではないが、符号化されたビデオ信号に関する補助的情報を提供する。ＳＶＣ ＪＤ５仕様書のセクションＦ．１０．１．１に定義されているＳＳＥＩは、各層に関する記述的情報（例えば、フレームレート、プロファイル情報）と、重要な項目として、符号化依存情報、すなわち、所定の層が、適切な復号のために、他のどの層に依存しているかに関する情報とを含む。各層は、ビットストリームの範囲内で、一意的な「層ＩＤ」によって特定される。特定の層の符号化依存情報は、直接依存する層の数（num_directly_dependent_layers）及び特定の層の層ＩＤに追加された場合、この特定の層が復号のために依存する層の層ＩＤを特定する一連の差分値（directly_dependent_layer_id_delta）を符号化することによって通信される。
ＳＶＣ ＪＤ５仕様書のセクションＦ．１０．１．１に定義されているＳＳＥＩは、（例えば、接続設定の間の）能力ネゴシエーション、（ビデオサーバ又は中間メディアゲートウェイによる）ストリーム適応化、（例えば、詳細なビットストリーム解析に基づく推定がない）複雑性が低い処理を実現するように設計されている。しかしながら、ＳＳＥＩ ＪＤ５の設計は、通信システムにおいてＳＳＥＩメッセージ情報を使用する必要がある点を詳細に検討すると明らかとなる幾つかの制約を有する。
通信システム（例えば、システム１００）の動作時に、（サーバ／ソース又はメディアゲートウェイにおいて、）送信されるストリームの構造を確立又は変更するには、次の通り幾つかの手法がある。
・能力ネゴシエーションの間の初期的な定義。メディアサーバが一組のスケーラビリティ層を提供し、クライアントは、直接、又はネゴシエーション処理を介して（例えば、セッション記述プロトコル（Session Description Protocol：ＳＤＰ）を用いて）、これらのスケーラビリティ層の全て又はサブセットを受け入れる。
・システム条件の変化（例えば、メディアゲートウェイとクライアントとの間でのパケット損失の増加、又はクライアントにおいて希望される表示解像度の変化）に対応するための、メディアサーバ又はメディアゲートウェイによる階層構造の変更。
・エンコーダによる判定に起因する階層構造の変更。このようなエンコーダ判定の実例としては、忠実度スケーラビリティを提供するためのメカニズムであるファイングラニュアリティスケーラビリティ（Fine Granularity Scalability：ＦＧＳ）に関連する実例があり、この場合、ＦＧＳ層ビットストリームのフラクションを用いて、品質を低下させた信号を生成することができる。ＳＶＣ ＪＤ５におけるＦＧＳの設計の結果として、連続するピクチャ間で（又は、実際には、連続するスライス間で）層依存性を変更することができる。具体的には、例えば、所定の層において、ＦＧＳを用いる下位の層を参照として用いて、予測が実行され、この予測が、その層のフラクションのみに基づいている場合を想定する。この場合、レート制御のために幾つかの層を完全に排除できるので、同じ層の異なるピクチャが、異なる下位の層に依存できる。層依存構造を変更しない可能なソリューションとして、空のＮＡＬユニットを用いてもよい。しかしながら、これはＳＶＣ ＪＤ５規格では許容されない。このケースは、直前のケースと同様に見えるが、層依存の変化が生じるタイムスケールが非常に短い（スライス毎）点が異なる。
能力ネゴシエーションは、通常、ＳＶＣ規格及びスケーラブル符号化の範囲外にある通信システムの機能である。関連する通信用途の技術領域、例えば、ＩＰ電話技術のために、能力ネゴシエーションのための大規模な手続きが開発されている。例えば、セッション開始プロトコル（Session Initiation Protocol：ＳＩＰ）ベースの通信システムは、ＳＤＰベースのオファー／アンサーモデルを使用する。なお、この能力ネゴシエーションの機能のみのためにＳＳＥＩを用いることは非効率である。本発明では、ＳＳＥＩは、単に、エンコーダが何を生成できるかを示すのみではなく、好ましくは、送信されたビットストリームに実際に何が含まれているか（又は含まれるか）を示す。これに関して、本発明では、ビットストリームの総合的なスケーラビリティ情報構造を定義するようにＳＳＥＩを変更し、このスケーラビリティ情報構造は、他の指示がない限り有効であるとみなされる。
階層構造の変更（すなわち、ストリーム適応化）は、通信システムの動作時に、メディアサーバ／エンコーダ及び中間のメディアゲートウェイ（このようなメディアゲートウェイは、２台以上存在してもよい。）の何れにおいても生じることがある。ストリーム適応化の具体例として、クライアント／レシーバ１２０が（例えば、ＣＩＦからＱＣＩＦに）分解能の切換又は変更を決定する場合がある。分解能の切換又は変更は、メディアゲートウェイ１４０及び送信メディアサーバ１１０の何れかにおいて、対応するパケットを削除することによって実行される。分解能の変更のトリガは、周知のシグナリング（図１では、シグナリングパス１５０として示している。）を用いて行われる。適切な切換動作のために重要な検討事項は、要求された変更が行われたことをクライアント／レシーバ１２０にシグナリングするタイミングである。このような情報がシグナリングされていない場合、クライアント／レシーバ１２０は、ある時点では、全体のパケット又はビットのうち、（ＱＣＩＦ分解能に対応する）サブセットだけを受信する。この場合、クライアント／レシーバ１２０は、（要求の結果として）意図的に高分解能パケット又はビットが省略されているのか、望ましくないパケット又はビットの欠落が生じているのかを判断できない。単ループ復号（原文：single-loop decoding）について検討すると、ターゲット層のデータがない場合、クライアント／レシーバ１２０において、下位の層のピクチャを表示のために使用できないので、問題が更に深刻になる。
上述したように、このような切換情報は、周知の手法によって、メディアサーバ又はメディアゲートウェイ１４０から（例えば、シグナリングパス１５０を介して）クライアント／レシーバ１２０にメッセージをシグナリングすることによって提供できる。ここで、本発明者らは、符号化データと同じ帯域内で階層構造情報を搬送することによって、（例えば、同期及びエラー条件への応答時間に関して）著しい利益が得られることを見出した。階層構造情報（及びその変更）は、変更されたＳＳＥＩメッセージと同じ帯域内で搬送してもよい。
システム条件の変化のためのストリーム適応化の他の具体例は、ネットワークに起因するパケット損失への適応化に関連する。このような場合、メディアゲートウェイは、例えば、品質スケーラビリティを機能を用いて、送信されるストリームの帯域幅を変更又は削減することを決定することができる。ここでも、適切な動作のために、クライアント／レシーバ１２０には、受信されるビットストリームの変更について、タイムリーに通知又は指示を行う必要がある。階層構造の変化に関する情報は、符号化されたデータと同じ帯域内の変更されたＳＳＥＩメッセージにおいて、タイムリーに搬送できる。
エンコーダがもたらす階層構造の変化も、ストリーム適応化のケースと同様に処理できる。なお、上述したストリーム適応化のケースとは異なり、エンコーダがもたらす階層構造の変化は、システムパラメータの変化に応じてクライアント又はメディアサーバが開始するわけではなく、ビデオエンコーダが使用する符号化処理の「アーチファクト」である。信号適応化のケースと同様に、階層構造の変化に関する情報は、メディアゲートウェイとデコーダとの適切な同期のために、符号化されたデータと同じ帯域内の変更されたＳＳＥＩメッセージを介してタイムリーにシグナリングできる。
上述した状況におけるシステム１００の動作を検討すると、通信セッション間の様々な時点で、及びスライスレベルと同等のタイムスケール（又は周波数）で、スケーラビリティ情報メッセージを提供する必要があることがわかる。
なお、（例えば、変更されたＳＳＥＩメッセージを介する）スケーラビリティ情報メッセージの提供は、メッセージを使用する際のオーバヘッドが非常に小さい場合にのみ実用的である場合がある。更に、所定のサーバ又はゲートウェイがサポートするクライアントの数は、通信システムの経済性のために最大にされることも多いので、通信システムにおけるメッセージの解析及び生成のための演算負荷を最小化することが望ましいのは明らかである。
なお、ＳＶＣ ＪＤ５規格では、瞬時復号リフレッシュ（instantaneous decoding refresh：ＩＤＲ）アクセスユニットにおいてのみ、ＳＳＥＩの使用を義務化している（セクションＦ．１０．２．１）。ＩＤＲアクセスユニットは、かなりのビットレートオーバヘッドを有するイントラピクチャと同等であり、多くの場合、インタラクティブビデオ通信システムにおいて、（最初のピクチャの符号化のために）一回だけ使用される。この制約は、スケーラビリティ情報の変化をシグナリングするために標準のＳＳＥＩが使用できない更なる要因となっている。
ＳＳＥＩの主要な用途の１つは、ＳＶＣストリームの適切な処理のためにサーバ及びメディアゲートウェイを補助することであるため、このようなメッセージの処理の複雑性を最小化できれば有益である。これは、通常、固定長フィールド及び可能な限り少ないオプションを用いることによって達成される。この簡潔性は、ＳＳＥＩメッセージに関連するビットレートオーバヘッドを最小化するための効率的な圧縮の必要性と対立する。ＳＳＥＩメッセージの伝送の精度が非常に高い場合（上述のように、スライスレベルであることもある。）、符号化効率は、特に重要である。
圧縮の観点から、ＳＳＥＩ情報をより効率的に表現するための技術も提案されている（例えば、引用によってその全体が本願に援用される「I. Amonou, N. Cammas, S. Kervadec, and S. Pateux, "Improved Signaling of Scalability Information," Joint Video Team, Doc.JVT-R068, Nice, Bangkok, January 2006」（以下、文献「Doc.JVT-R068」と呼ぶ。）参照）。しかしながら、提案されている表現は、演算の複雑性がかなり高い。例えば、上述した文献「Doc.JVT-R068」では、多数のスケーラビリティ層を用いた場合、オーバヘッドを約５０％削減できる表現が提案されている。ここに提案されている表現は、異なる層の符号化に関する木構造的な手法に基づいており、各ノードレベルは、（空間、時間、品質の順で）３個のスケーラビリティ次元の１つに対応する。表現ポイントは、木の葉に対応している。一方、ＳＶＣ ＪＤ５のシンタクスは、任意の順序で符号化された、表現ポイントの連続的な解析に基づいている。これは、文献「Doc.JVT-R068」に開示されている木構造の葉のみを解析することに等しく、幾つかの情報がある層から次の層に不必要に複製されるという欠点も指摘されている。木構造ベースの手法では、共通の先祖を有する葉は、これらの共通の親が表現する情報を複製する必要はない。なお、不必要な複製は、ＳＳＥＩを生成する際、オプションフラグを適切に用いる代替的な符号化法によって回避することができる。例えば、ある層から次の層にかけて、temporal_levelのみが変化する場合、両方の層のフレームサイズが同じであることを直接的に推定することが実用的であり、したがって、フレームサイズに関する情報は、（例えば、最下位の層において）一回だけ提供すればよい。
なお、上述した両方の手法（すなわち、文献「Doc.JVT-R068」の手法及びオプションフラグの符号化の代替的な解釈を伴うＳＶＣ ＪＤ５シンタクス）において、「演算−圧縮」のトレードオフは、理想的ではない。これらの手法に対して、本発明では、層を任意に追加し、置換し、削除できるように、層依存情報の差分符号化に基づく技術を採用する。本発明の技術は、上述した手法とは異なり、ビットレートオーバヘッドと演算の複雑性とを同時に最小のレベルにまで低減することができる。
必要なＳＳＥＩ情報を伝達するための本発明に基づく技術を明らかにするために、通信システム内のサーバ、ゲートウェイ又はクライアントにおいて、初期ＳＳＥＩが状態情報として獲得及び維持される具体例へ適用を説明する。ＳＳＥＩ情報構造が切り捨てられる層を特定するためには、十分な「差分」情報のみを送信すればよいので、ＳＳＥＩ状態から層又は層のサブセットを除外するために必要なビット数は、非常に小さくすることができる。換言すれば、指示された層及びこの層に依存する全ての層は、その層の特定によって、状態情報から除外できる。同様に、ＳＳＥＩ状態に新たな層又は新たな層の組を追加するためには、追加される１又は複数の層に関する差分情報を送信すれば十分である。この手法によって、意図的に、１つのＳＳＥＩインスタンスから次のＳＳＥＩインスタンスへの階層構造情報の複製符号化に関連する全てのオーバヘッドをなくすことができる。
このような差分符号化によるＳＳＥＩ情報の符号化に関連する総ビットレートの低減によって、必要なメッセージのために簡単な符号化構造を使用でき、（少なくとも、ビデオ符号化レベル、すなわちＨ．２６４用語におけるＶＣＬにおいて）メディアアンアウェア（原文：media unaware）なゲートウェイによるこれらのメッセージの解析を単純化できる。なお、この技術は、これらのＳＳＥＩメッセージがどのように伝達されるか、又はより重要な点として、これらのＳＳＥＩメッセージが、高い信頼度で伝達されるか否か及びどのようにして高い信頼度で伝達されるかに関する何らかの仮定を設ける。同じメッセージが２回以上受信される場合は、単に、状態の一貫性を確実にすれば十分である。
ＳＳＥＩメッセージには、任意の適切な手法で、層構造情報を追加してもよい。以下では、２つの実施の形態（実施の形態Ａ及びＢ）を説明する。実施の形態Ａでは、ＳＳＥＩには、１つ以上の層を追加し、置換し、除去する動作に対応する３つの更なるスケーラビリティ情報制御ＳＥＩメッセージが追加される。これらの動作は、累積的に適用され、換言すれば指示された動作の実行時に仮定される入力状態は、実際には、動作の直前の状態である。変形例（実施の形態Ｂ）では、ＳＳＥＩ情報には、それぞれ、どの層が存在していないか、及びどの層が復号依存情報を変更したかを示す２つの更なるスケーラビリティ情報コントロールＳＥＩメッセージが追加される。実施の形態Ａの累積的な動作に対し、実施の形態Ｂの動作は、累積的には適用されず、これに代えて、指示された動作を適用するための入力状態は、最新のＳＳＥＩメッセージよって確立された状態であるとみなす。実施の形態Ｂは、ＳＥＩメッセージにデータ欠落が生じる可能性がある環境において好適である。この場合、初期ＳＳＥＩは、セッション設定の間、信頼できるトランスポートメカニズムを用いてレシーバ又はメディアゲートウェイに通信できる。実施の形態Ｂでは、実施の形態Ａとは異なり、挿入されるスケーラビリティ情報制御メッセージの損失は、レシーバ又はメディアゲートウェイの状態情報に影響しない。
本発明の実施の形態Ａでは、ＳＶＣ ＪＤ５の付属資料Ｄ（セクションＤ．１）に以下のような３つの新たなＳＥＩペイロードタイプを導入する。
既存のＳＳＥＩ情報構造に１つ以上の層を追加するscalability_info_add（ペイロードタイプ２６）
既存のＳＳＥＩ情報構造の１つ以上の層を置換するscalability_info_replace（ペイロードタイプ２７）
既存のＳＳＥＩ情報構造から１つ以上の層を削除するscalability_info_delete（ペイロードタイプ２８）
「追加」及び「置換」バージョンのためのシンタクスは、基本的なscalability_info（ＳＳＥＩ）構造のシンタクスと同じである。ここでは、含まれるデータのセマンティクス及びＳＳＥＩ状態管理をどのように実行するかのみが変更される（換言すれば、個別のフィールド解釈は変更されていない）。「削除」バージョンのためのシンタクスは、削除する層の層ＩＤを特定するだけでよいので、単純にできる。なお、層依存情報の変化を取り扱うには、「置換」バージョンが最も有用である。この場合、他の如何なる情報も符号化する必要がないので、このようなメッセージのサイズは、非常に小さくすることができる（例えば、層の数に応じて、３０〜４０ビット程度）。
以下では、「ＳＳＥＩ情報」という用語は、特に明示的に指摘する場合を除き、これらの４つのタイプのスケーラビリティ情報の何れをも指すこととする。
現在のＳＶＣ ＪＤ５規格は、ＩＤＲアクセスユニットにおいてのみＳＳＥＩの使用を義務化しているので（セクションＦ．１０．２．１）、本発明のＳＳＥＩ情報は、あらゆるアクセスユニットの最初に送ることが許容される。
ＳＰＳ（ＳＶＣのシーケンスパラメータセット）パラメータnal_extension_flagが０に設定されている場合、全ての層のdependency_id値、temporal_level値及びquality_level値（本明細書では、これらをＤＴＱ値と呼ぶ。）は、ＳＰＳにおいて定義される（セクションＦ．７．３．２）。これらの値への所定のＮＡＬユニットの関連付けは、ＮＡＬシンタクスエレメントextension_flagが０である場合、simple_priority_idを用いて実行される。extension_flagが１の場合、simple_priority_idは、現在の規格に基づいて無視され、ＤＴＱパラメータのＮＡＬヘッダ値が使用される。なお、profile_idcが８３ではない場合、タイプ２０及びタイプ２１の全てのＮＡＬユニットは、自らのextension_flagを有する必要がある（セクションＦ．７．４．２）。
ＳＰＳレベルでnal_extension_flagが０に設定されていると仮定すると、全てのＳＶＣ ＮＡＬヘッダは、完全なＤＴＱセットではなく、simple_priority_idのみを採用する。サーバ又はゲートウェイがＮＡＬストリームを処理するためには、両方のメッセージを解析する必要がある。ＳＳＥＩは、詳細な階層情報を提供し、ＳＰＳは、特定の層をプライオリティＩＤ値にマッピングする。この階層情報は、ＳＰＳに含ませてもよいように見えるが、実際には、幾つかの理由から、ＳＰＳに含ませていない。ＳＰＳに含まれている他の情報を検討すると、如何なる情報もトランスポート問題に関連しない。したがって、本発明では、ＳＰＳの関連部分を省略することができ、これに代えて、この符号化をＳＳＥＩに移行できる。
nal_extension_flagの使用は、好ましくは、ストリーム全体に有効であり、換言すれば拡張ＮＡＬヘッダを有するＮＡＬ及び有さないＮＡＬの共存は、許容するべきではない。理論上は、このような共存を可能にすることによって、柔軟性が高まるようみ見えるが、実際には、このような共存は、現実的に明確な利点がなく、サーバ及びゲートウェイの動作を複雑にするのみである。したがって、本発明では、nal_extension_flagの符号化は、層単位ではなく、ＳＳＥＩ単位で行う。これは、ＳＰＳ毎に符号化を行うＳＶＣ ＪＤ５に適合している。
ＳＳＥＩレベルで行われるsimple_prority_idの符号化により、ＤＴＱ値の符号化をオプションにする必要がなくなり、この結果、ＳＳＥＩの対応するフラグ（decoding_dependency_info_present_flag）を省略することができる。
上述したように、ＳＶＣは、Ｈ．２６４ＡＶＣビデオ符号化規格のスケーラブルビデオ符号化拡張（付属資料Ｆ）である。ＡＶＣ互換層は、simple_priority_id及びＤＴＱフィールド拡張の何れも含まないＮＡＬユニットヘッダの使用を含意する。ＳＶＣ ＪＤ５規格では、これらの値は、０であるとみなされる。一方、本発明では、simple_priority_id又はＤＴＱフィールド拡張の値は、ＳＳＥＩレベルでシグナリングされる。
ＳＶＣ ＪＤ５規格のセクションＦ．７．３．２、シーケンスパラメータセットＳＶＣ拡張シンタクスに対する本発明の原理に基づくシンタクス変更例を表１に示す。これらの変更は、プライオリティＩＤ及びＤＴＱに関連するシンタクス要素の削除を含む。
Figure 2009543386
付属資料Ｄ，Ｄ．１、ＳＥＩペイロードタイプシンタクスに対する本発明の原理に基づくシンタクス変更例（追加）を表２に示す。ここでは、追加、置換及び削除の動作に対応する３つの新たなペイロードタイプ（２６−２８）を追加している。
Figure 2009543386
セクションＦ．１０．１．１、スケーラビリティ情報ＳＥＩメッセージシンタクスに対する本発明の原理に基づくシンタクス変更例を図３に示す。ここでは、（ＳＰＳから移行された）nal_unit_extension_flagを導入し、及びavc_compatible_flagを導入している。更に、非ＡＶＣ層のＤＴＱ符号化は、常に存在し、nal_unit_extension_flagが設定されていない場合（すなわち、ＮＡＬユニットが明示的なＤＴＱ情報を搬送していない場合）、priority_idのＤＴＱへの関連付けが行われる。
Figure 2009543386
Figure 2009543386
ＳＳＥＩメッセージシンタクス要素のセマンティクス（ＳＶＣ ＪＤ５規格のセクションＦ．１０．２．１、スケーラビリティ情報ＳＥＩメッセージセマンティクス）の解釈にも対応する変更を行う。具体的には、ＩＤＲアクセスユニットの配置の制約を取り除く。更に、ＳＳＥＩメッセージが存在している場合、ＳＳＥＩメッセージは、後続する全てのＮＡＬユニットに対して有効となり、現在のストリームに有効な以前の全てのスケーラビリティ情報を置換する。メッセージのセマンティクスは、scalability_info、scalability_info_add、scalability_info_replace又はscalability_info_delのタイプの次のＳＥＩメッセージまで有効である。nal_unit_extension_flag[i]のセマンティクスでは、０の値は、層layer_id[i]のためのsimple_priority_id[i]へのdependency_id[i]、temporal_level[i]及びquality_id[i]のマッピングがこのスケーラビリティ情報ＳＥＩメッセージに含まれていることを示す。nal_unit_extension_flagの値１は、simple_priority_id[i]パラメータが存在していないことを示す。nal_unit_extension_flagが存在しない場合は、その値が１であるとみなされる。全てのＮＡＬユニットのＮＡＬユニットシンタクス要素extension_flagは、このスケーラビリティ情報ＳＥＩメッセージに続くnal_unit_typeが２０及び２１の場合、nal_unit_extension_flagに等しい。profile_idcが８３（ＳＶＣを特定）ではない場合、現在のシーケンスパラメータセットを参照するnal_unit_typeが２０及び２１の全てのＮＡＬユニットのシンタクス要素extension_flagは、１になる。更に、nal_unit_extension_flagの値は、最初にscalability_infoメッセージによって変更されない限り、後続する全てのscalability_info_addメッセージ又はscalability_info_replaceメッセージにおいて、異なることは許容されない。avc_compatible_flag[i]のセマンティクスでは、１の値は、層layer_id[i]がＡＶＣ規格に準拠していることを示す。avc_compatible_flag[i]が０の場合、現在の層は、ＳＶＣ規格に従う。avc_compatible_flag[i]が１の場合、ＮＡＬユニットヘッダは、拡張ヘッダ情報を搬送しない。avc_compatible_flagが１の場合、現在の層ｉのdependency_id[i]、temporal_level[i]及びquality_level[i]の値は、全て０であるとみなされる。priority_id[i]のセマンティクスでは、（ＳＶＣ ＪＤ５規格のセクションＦ．７．４．１で指定されているように）シンタクス要素dependency_id、temporal_level及びquality_levelの推論プロセスで用いられるsimple_priority_id値を指定する。dependency_id[i]、temporal_level[i]及びquality_level_list[i]が存在しないpriority_id[i]の全ての値については、dependency_id[i]、temporal_level[i]及びquality_level[i]は、０であるとみなされる。そして、temporal_level[i]、dependency_id[i]及びquality_level[i]は、それぞれ、層識別子がｉのスケーラブル層におけるＮＡＬユニットのtemporal_level、dependency_id及びquality_levelに等しい。temporal_level[i]、dependency_id[i]及びquality_level[i]が存在しない場合、これらは０であるとみなされる。
新たなＳＥＩ「scalability_info_add」メッセージのシンタクスは、「scalability_info」ＳＥＩメッセージと同じである。セマンティクスに関しては、このＳＥＩメッセージは、存在している場合、後続する全てのＮＡＬユニットに有効である。これは、現在有効なスケーラビリティ情報に幾つかの層を追加する。レシーバが維持するスケーラビリティ情報内に、このメッセージに記述されている層のlayer_idが既に存在している場合、その層のための情報の全体が削除され、このメッセージに含まれている情報が適切な箇所で使用される。スケーラビリティ情報状態は、このメッセージの適用の後、次のscalability_info、scalability_info_add、scalability_info_replace又はscalability_info_delのタイプのメッセージまで有効である。全てのフィールドのセマンティクスは、scalability_infoと同じである。
新たなＳＥＩ「scalability_info_replace」メッセージのシンタクスは、「scalability_info」ＳＥＩメッセージと同じである。セマンティクスに関しては、このＳＥＩメッセージは、存在している場合、後続する全てのＮＡＬユニットに有効である。これは、現在有効なスケーラビリティ情報におけるlayer_idによって指定される幾つかの層の情報を置換する。このメッセージに含まれている情報だけが置換され、与えられたメッセージによって変更されていない先行する全ての設定は、変更されず、有効である。スケーラビリティ情報状態は、このメッセージの適用の後、次のscalability_info、scalability_info_add、scalability_info_replace又はscalability_info_delのタイプのメッセージまで有効である。全てのフィールドのセマンティクスは、scalability_infoと同じである。
本発明の原理に基づく新たな「scalability_info_del」ＳＥＩメッセージの例示的なシンタクスを表４に示す。この表に示すように、このメッセージは、ビットストリームから削除されたと想定される層に関する層ＩＤのリストから構成されている。このＳＥＩメッセージは、存在している場合、後続する全てのＮＡＬユニットに有効である。このメッセージは、現在有効なスケーラビリティ情報において、layer_idによって特定される幾つかの層のための情報を削除する。スケーラビリティ情報状態は、このメッセージの適用の後、次のscalability_info、scalability_info_add、scalability_info_replace又はscalability_info_delのタイプのメッセージまで有効である。全てのフィールドのセマンティクスは、scalability_infoの対応するフィールドと同じである。
Figure 2009543386
図２は、実施の形態Ａにおける例示的な状態処理アルゴリズム２００のフローチャートを示している。レシーバの初期の層構造の状態（State）は、空（empty）である。ステップ２２において、レシーバは、ビットストリームから、又は例えば、シグナリング等の他の代替となる手段を介して、スケーラビリティ情報ＳＥＩメッセージを得る。得られたscalability_infoＳＥＩメッセージは、ＳＳＥＩ初期化メッセージとして機能でき、状態を初期化する役割を果たす。同様に得られる「add」、「delete」、「replace」scalability_infoＳＥＩメッセージは、それぞれ、１つ以上の層の現在の状態に情報を追加し、１つ以上の層の現在の状態から情報を削除し、１つ以上の層の現在の状態の情報を置換する。なお、これらのメッセージのそれぞれが複数の層に影響を与えてもよい。しかしながら、図２では、説明を簡潔にするために、単一の層（層（ｉ））への影響を示している。
ある通信システム又は通信シナリオでは、ＳＳＥＩ情報メッセージは、ビデオデータと同じ帯域内で通信されず、常にセッション確立の間に通信してもよく、又は他の信頼度が高い通信手段を介して通信してもよい。ビデオデータは、パケット損失率がゼロではないチャンネルを介して搬送してもよいが、このような重要な情報は、損失の可能性に晒さないことが望ましい。
このような通信システム又は通信シナリオのために、本発明の変形例である実施の形態Ｂでは、ＳＤＰネゴシエーションの間に提供され又はＩＤＲアクセスユニット内（例えば、ファイルフォーマット内）に存在するscalability_infoＳＥＩメッセージによってスケーラビリティ情報を確立することができる。このようなscalability_infoＳＥＩメッセージの情報は、スケーラビリティ情報を確立し、この情報は、シーケンスの最後まで、若しくは他のscalability_infoＳＥＩメッセージが受信されるまで、又はＳＤＰの場合、再ネゴシエーションされるまで有効である。このような期間、スケーラビリティ情報は、層間の内部的な依存性を除いて、変更することが許容されない。実施の形態Ｂと実施の形態Ａとの更なる相違点は、状態管理の手法に関連する。実施の形態Ａでは、状態変化は、累積的に適用され、これは、単一のメッセージの損失によって、状態情報が損なわれることがあるという短所を有する。代替の実施の形態Ｂでは、状態変化は、常に、最新のscalability_infoＳＥＩメッセージに関して適用され、損失の影響は引き継がれない。
実施の形態Ｂでは、「add」ＳＳＥＩメッセージは、使用されず、「delete」ＳＳＥＩメッセージは、「layers_notpresent」に改名される。「layers_notpresent」ＳＳＥＩメッセージは、ＳＥＩメッセージが含まれているアクセスユニットから始まるビットストリームに特定の層及び依存する全ての層が存在しないことを示す。どの層が存在していないかに関する指示は、現在有効なscalability_infoＳＥＩメッセージに関して常に実行される。なお、特定の層が削除された後に追加されたことを示すための好適なメカニズムは、この追加された特定の層を除く、現在、存在しない層の全てを削除する「layers_notpresent」メッセージを送信することである。実例として、０、１及び２の番号が付された３つの層を有するビットストリームがあると仮定する。更に、初期的には、３つの全ての層を送信した後に、メディアサーバが、層１、層２が存在しないことを示す「layers_notpresent」メッセージを送信したと仮定する。この場合、層２だけが存在していないことを示す「layers_notpresent」メッセージを送信することによって、後に層１を追加することができる。このメッセージは、事実上、層１が追加されたことを示している。メディアサーバ（又はメディアゲートウェイ）は、この「layers_notpresent」ＳＥＩメッセージを送信した直後から層１の情報の送信を開始することができる。
実施の形態Ｂでは、第１の実施の形態の「replace」ＳＳＥＩメッセージを「dependency_change」メッセージに変更する。このスケーラビリティ情報依存変化ＳＥＩメッセージは、特定のlayer_idの層の依存性が変化したことを示し、新たな層依存情報を提供する。依存変化ＳＳＥＩメッセージのシンタクスは、スケーラビリティ情報に関連する他の情報の変更を許容しない。
ＳＶＣ ＪＤ５規格のセクションＤ．１のシンタクスを置換する、代替となる新たなＳＥＩペイロードタイプscalability_info_layers_notpresent（ｎｒ．２６）、scalability_info_dependency_change（ｎｒ．２７）の例示的なシンタクスを表５に示す。実施の形態Ｂでは、実施の形態Ａとは異なり、スケーラビリティ情報ＳＥＩメッセージは、ＩＤＲピクチャにおいてのみ、存在が許容される。メッセージのセマンティクスは、層依存情報を例外として、同じタイプの次のＳＥＩメッセージまで有効である。
Figure 2009543386
特定の層が無効である（ビットストリーム内に存在しない）ことは、scalability_info_layers_notpresentＳＥＩメッセージによって示すことができる。このメッセージのための例示的なシンタクスを表６に示す。
Figure 2009543386
このＳＥＩメッセージは、存在している場合、後続する全てのＮＡＬユニットに有効である。このメッセージは、layer_idによって指定される特定の層がビットストリーム内に存在しないことを示す。スケーラビリティ情報は、このメッセージの適用の後、次のscalability_info又はscalability_info_layers_notpresentのタイプのメッセージまで有効である。num_layersは、このＳＥＩメッセージの復号の後にビットストリームに存在しないスケーラブル層又はプレゼンテーションポイントの数を示す。num_layersの値は、０以上２５５以下の範囲をとる。num_layersの値が０である場合、これは、全ての層が存在していることを示す。layer_id[i]は、ビットストリーム内に存在しないと示されたスケーラブル層の識別子を示す。このメッセージは、単に、存在しないと示された層のリストを含む。
scalability_info_dependency_changeＳＥＩメッセージのための例示的なシンタクスを表７に示す。このＳＥＩメッセージは、存在している場合、後続する全てのＮＡＬユニットに有効である。特定の層の層依存情報は、シンタクス要素num_directly_dependent_layer、directly_dependent_layer_id_delta_minus1、又はこれに代えて新たなシンタクス要素layer_dependency_info_src_layer_id_delta_minus1を復号することによって得られる情報から構成される。この新たな要素によって、システムは、（層ＩＤの差分から１を減算した値を符号化することによって）現在の層と同じ層依存情報を有する他の層の層ＩＤを特定することができる。
Figure 2009543386
scalability_info_dependency_changeＳＥＩメッセージは、layer_idによって特定される特定の層の層依存情報が、このメッセージのコンテンツによって指定された通りに変更されることを示す。スケーラビリティ情報は、このメッセージの適用の後、次のscalability_info又はscalability_info_dependency_changeのタイプのメッセージまで有効である。
num_layers_minus1に１を加えた値は、このＳＥＩメッセージの復号の後に層依存情報が変化するスケーラブル層又はプレゼンテーションポイントの数を示す。num_layers_minus1の値は、０以上２５５以下の範囲をとる。
layer_id[i]は、層依存情報が変化するスケーラブル層の識別子を示す。
layer_dependency_info_present_flag[i]の値１は、ＳＥＩメッセージ内のlayer_id[i]に等しい層識別子を有するスケーラブル層の層依存情報の存在を示す。値０は、層識別子がｉのスケーラブル層の層依存情報がＳＥＩメッセージに存在せず、layer_dependency_info_src_layer_id_delta_minus1[i]によって示されている他の層と同じであることを示す。
num_directly_dependent_layers[i]は、layer_id[i]に等しい層識別子を有するスケーラブル層が直接依存しているスケーラブル層の数を示す。例えば、層Ｍ内に、層Ｑからの層間予測（inter-layer prediction）を用いる少なくとも１つの符号化されたピクチャがあれば、層Ｍは、層Ｑに直接依存している。num_directly_dependent_layersの値は、０以上２５５以下の範囲をとる。
directly_dependent_layer_id_delta_minus1[i][j]は、layer_id[i]と、layer_idに等しい層識別子を有するスケーラブル層が直接依存しているｊ番目のスケーラブル層の層識別子との間の差分を示す。直接依存するスケーラブル層の層識別子は、（layer_id[i]-directly_dependent_layer_id_delta_minus1-1）に等しい。
layer_dependency_info_src_layer_id_delta_minus1[i]は、layer_id[i]に等しい層識別子を有する層が、（layer_id[i]-layer_dependency_info_src_layer_id_delta_minus1[i]-1）に等しい層識別子を有する層と同じ層依存情報を有することを示す。
図３は、実施の形態Ｂにおける例示的な状態処理アルゴリズム３００のフローチャートを示している。レシーバの初期の層構造の状態（State）は、空（empty）である。ステップ３３において、レシーバは、ビットストリームから、又は例えば、シグナリング等の他の代替となる手段を介して、スケーラビリティ情報ＳＥＩメッセージを得る。scalability_infoＳＥＩメッセージは、ＳＳＥＩ初期化メッセージとして機能でき、状態を初期化する役割を果たす。「layers_notpresent」メッセージは、１つ以上の層が存在しないことを示し、「dependency_change」メッセージは、１つ以上の層が復号依存情報を変更したことを示す。なお、この代替の実施の形態Ｂでは、層は、初期化メッセージ以外によっては、追加も削除もされない。これにより、初期化メッセージが高い信頼度で受信される限り、状態の一貫性が確実になる（復号依存に関しては、例外もある）。なお、これらのメッセージのそれぞれが複数の層に影響を与えてもよい。しかしながら、図３では、図２と同様に、説明を簡潔にするために、単一の層（層（ｉ））への影響を示している。
本明細書に開示した好ましい実施の形態は、Ｈ．２６４ＳＶＣ規格に準拠するが、本明細書に開示した技術は、ビデオ、オーディオ又は他の任意のマルチメディアデータの空間／品質及び時間の複数のレベルを任意に選択できる如何なる符号化構造に直接適用してもよく、拡張してもよいことは、当業者にとって明らかである。
以上、好ましいと考えられる本発明の実施の形態を説明したが、本発明の精神から逸脱することなく、この実施の形態に更なる変更及び修正を加えることができることは当業者にとって明らかであり、このような変更及び修正は、全て、本発明の真の範囲に含まれるものと解釈される。
更に、本発明のシステム及び方法は、ハードウェア及びソフトウェアの適切な如何なる組合せを用いて実現してもよい。上述したシステム及び方法を実現し、動作させるソフトウェア（すなわち、命令）は、コンピュータにより読取可能な媒体を介して提供でき、このような媒体は、以下に限定されるわけではないが、ファームウェア、メモリ、ストレージ装置、マイクロコントローラ、マイクロプロセッサ、集積回路、ＡＳＩＣＳ、オンラインでダウンロード可能なメディア及び他の利用可能なメディアを含むことができる。
本発明の原理に基づくＳＶＣ伝送システムの例示的なアーキテクチャのブロック図である。 本発明の原理に基づくスケーラビリティ情報状態管理処理のフローチャートである。 本発明の原理に基づくスケーラビリティ情報状態管理処理の変形例のフローチャートである。

Claims (45)

  1. スケーラブルメディア符号化フォーマットで符号化されたメディアを送信するメディアサーバと、
    少なくとも１つのレシーバと、
    前記メディアサーバと、前記少なくとも１つのレシーバとをリンクする電子通信ネットワークとを備え、
    前記メディアサーバは、前記少なくとも１つのレシーバに、スケーラビリティ初期化情報及びスケーラビリティ情報の時間的な変化を含む、送信されたメディアに関するスケーラビリティ情報を送信し、前記送信されたスケーラビリティ情報の変化は、差分形式で符号化されるデジタルメディア通信システム。
  2. 前記スケーラブルメディア符号化フォーマットは、Ｈ．２６４ＳＶＣであり、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記送信されるスケーラビリティ情報の変化は、前記レシーバにおいて、累積的に適用される請求項１記載のデジタルメディア通信システム。
  3. 前記スケーラビリティ情報の変化は、以後、少なくとも１つのスケーラビリティ層がビットストリームに加えられることを示すscalability_info_addＳＥＩメッセージを更に含む請求項２記載のデジタルメディア通信システム。
  4. 前記スケーラビリティ情報の変化は、以後、ビットストリーム内に存在する少なくとも１つの層のスケーラビリティ情報が、scalability_info_replaceＳＥＩメッセージに含まれているスケーラビリティ情報に置換されることを示すscalability_info_replaceＳＥＩメッセージを更に含み、
    前記scalability_info_replaceＳＥＩメッセージ内に明示的に符号化されていない層の全てのスケーラビリティ情報は、以前の値を維持するとみなされる請求項２記載のデジタルメディア通信システム。
  5. 前記スケーラビリティ情報の変化は、以後、ビットストリームから少なくとも１つの層が削除されることを示すscalability_info_delＳＥＩメッセージを更に含む請求項２記載のデジタルメディア通信システム。
  6. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れる請求項２記載のデジタルメディア通信システム。
  7. 前記レシーバは、メディアゲートウェイである請求項２記載のデジタルメディア通信システム。
  8. 前記スケーラブルメディア符号化フォーマットは、Ｈ．２６４ＳＶＣであり、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記スケーラビリティ情報の変化は、前記レシーバにおいて、最新のscalability_infoＳＥＩメッセージを参照として用いて、個別に適用される請求項１記載のデジタルメディア通信システム。
  9. 前記スケーラビリティ情報の変化は、スケーラビリティ初期化情報に示す少なくとも１つのスケーラビリティ層が、以後、ビットストリームに存在しないことを示すscalability_info_layers_notpresentＳＥＩメッセージを更に含む請求項８記載のデジタルメディア通信システム。
  10. 前記スケーラビリティ情報の変化は、最新のスケーラビリティ初期化情報に示される少なくとも１つの層の層依存情報が、以後、scalability_info_dependency_changeＳＥＩメッセージに含まれている層依存情報に置換されることを示すscalability_info_dependency_changeＳＥＩメッセージを更に含む請求項８記載のデジタルメディア通信システム。
  11. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れる請求項８記載のデジタルメディア通信システム。
  12. 前記レシーバは、メディアゲートウェイである請求項８記載のデジタルメディア通信システム。
  13. 符号化されたメディアデータを処理するように構成されたデジタルメディアデコーダであって、前記符号化されたメディアデータは、
    スケーラブル符号化されたメディアデータと、
    スケーラビリティ初期化情報データと、
    スケーラビリティ初期化情報データの時間的な変化とを含み、
    前記スケーラビリティ初期化情報データは、デジタルメディアデコーダに、符号化されたメディアデータに含まれている層の存在及び依存構造を知らせ、前記スケーラビリティ初期化情報データの変化は、差分形式で符号化されるデジタルメディアデコーダ。
  14. 前記スケーラブルなメディアデータは、Ｈ．２６４ＳＶＣに基づいて符号化され、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記スケーラビリティ情報の変化は、デコーダにおいて累積的に適用される請求項１３記載のデジタルメディアデコーダ。
  15. 前記スケーラビリティ情報の変化は、以後、少なくとも１つのスケーラビリティ層がビットストリームに加えられることを示すscalability_info_addＳＥＩメッセージを更に含む請求項１４記載のデジタルメディアデコーダ。
  16. 前記スケーラビリティ情報の変化は、以後、ビットストリーム内に存在する少なくとも１つの層のスケーラビリティ情報が、前記scalability_info_replaceＳＥＩメッセージに含まれているスケーラビリティ情報に置換されることを示すscalability_info_replaceＳＥＩメッセージを更に含み、
    前記scalability_info_replaceＳＥＩメッセージ内に明示的に符号化されていない層の全てのスケーラビリティ情報は、以前の値を維持するとみなされる請求項１４記載のデジタルメディアデコーダ。
  17. 前記スケーラビリティ情報の変化は、以後、ビットストリームから少なくとも１つの層が削除されることを示すscalability_info_delＳＥＩメッセージを更に含む請求項１４記載のデジタルメディアデコーダ。
  18. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れることができる請求項１４記載のデジタルメディアデコーダ。
  19. 前記スケーラブルなメディアデータは、Ｈ．２６４ＳＶＣに基づいて符号化され、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記スケーラビリティ情報の変化は、前記デコーダにおいて、最新のscalability_infoＳＥＩメッセージを参照として用いて、個別に適用される請求項１３記載のデジタルメディアデコーダ。
  20. 前記スケーラビリティ情報の変化は、スケーラビリティ初期化情報に示す１つ以上のスケーラビリティ層が、以後、ビットストリームに存在しないことを示すscalability_info_layers_notpresentＳＥＩメッセージを更に含む請求項１９記載のデジタルメディアデコーダ。
  21. 前記スケーラビリティ情報の変化は、最新のスケーラビリティ初期化情報に示される少なくとも１つの層の層依存情報が、以後、scalability_info_dependency_changeＳＥＩメッセージに含まれている層依存情報に置換されることを示すscalability_info_dependency_changeＳＥＩメッセージを更に含む請求項１９記載のデジタルメディアデコーダ。
  22. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れることができる請求項１９記載のデジタルメディアデコーダ。
  23. 少なくとも１つのレシーバを、スケーラブルメディア符号化フォーマットで符号化されたメディアを送信する送信メディアサーバにリンクする電子通信ネットワークを介して、デジタルメディア通信を行う方法であって、
    前記メディアサーバから前記少なくとも１つのレシーバに、スケーラビリティ初期化情報及びスケーラビリティ情報の時間的な変化を含む、送信されたメディアに関するスケーラビリティ情報を送信するステップを有し、
    前記送信されたスケーラビリティ情報の変化は、差分形式で符号化される方法。
  24. 前記スケーラブルメディア符号化フォーマットは、Ｈ．２６４ＳＶＣであり、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、
    前記レシーバにおいて、前記送信されたスケーラビリティ情報の変化を累積的に適用するステップを更に有する請求項２３記載の方法。
  25. 前記スケーラビリティ情報の変化に、以後、少なくとも１つのスケーラビリティ層がビットストリームに加えられることを示すscalability_info_addＳＥＩメッセージを更に含ませるステップを更に有する請求項２４記載の方法。
  26. 前記スケーラビリティ情報の変化に、以後、ビットストリーム内に存在する少なくとも１つの層のスケーラビリティ情報が、前記scalability_info_replaceＳＥＩメッセージに含まれているスケーラビリティ情報に置換されることを示すscalability_info_replaceＳＥＩメッセージを含ませるステップを更に有し、
    前記scalability_info_replaceＳＥＩメッセージ内に明示的に符号化されていない層の全てのスケーラビリティ情報は、以前の値を維持するとみなされる請求項２４記載の方法。
  27. 前記スケーラビリティ情報の変化に、以後、ビットストリームから少なくとも１つの層が削除されることを示すscalability_info_delＳＥＩメッセージを含ませるステップを更に有する請求項２４記載の方法。
  28. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れる請求項２４記載の方法。
  29. 前記レシーバは、メディアゲートウェイである請求項２４記載の方法。
  30. 前記スケーラブルメディア符号化フォーマットは、Ｈ．２６４ＳＶＣであり、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記レシーバにおいて、最新のscalability_infoＳＥＩメッセージを参照として用いて、前記スケーラビリティ情報の変化を個別に適用するステップを更に有する請求項２３記載の方法。
  31. 前記スケーラビリティ情報の変化に、スケーラビリティ初期化情報に示す少なくとも１つのスケーラビリティ層が、以後、ビットストリームに存在しないことを示すscalability_info_layers_notpresentＳＥＩメッセージを含ませるステップを更に有する請求項３０記載の方法。
  32. 前記スケーラビリティ情報の変化に、最新のスケーラビリティ初期化情報に示される少なくとも１つの層の層依存情報が、以後、scalability_info_dependency_changeＳＥＩメッセージに含まれている層依存情報に置換されることを示すscalability_info_dependency_changeＳＥＩメッセージを含ませるステップを更に有する請求項３０記載の方法。
  33. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れる請求項３０記載の方法。
  34. 前記レシーバは、メディアゲートウェイである請求項３０記載の方法。
  35. デコーダにおいて、スケーラブル符号化されたメディアデータと、スケーラビリティ初期化情報データと、差分形式で符号化された、スケーラビリティ初期化情報データの時間的な変化とを含むデジタルメディアを復号する方法であって、
    前記スケーラビリティ初期化情報データを用いて、前記デコーダに、符号化されたメディアデータに含まれている層の存在及び依存構造を知らせるステップを有する方法。
  36. 前記スケーラブルなメディアデータは、Ｈ．２６４ＳＶＣに基づいて符号化され、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、前記デコーダにおいて、前記スケーラビリティ情報の変化を累積的に適用するステップを更に有する請求項３５記載の方法。
  37. 前記スケーラビリティ情報の変化は、以後、少なくとも１つのスケーラビリティ層がビットストリームに加えられることを示すscalability_info_addＳＥＩメッセージを更に含む請求項３６記載の方法。
  38. 前記スケーラビリティ情報の変化は、以後、ビットストリーム内に存在する少なくとも１つの層のスケーラビリティ情報が、前記scalability_info_replaceＳＥＩメッセージに含まれているスケーラビリティ情報に置換されることを示すscalability_info_replaceＳＥＩメッセージを更に含み、
    前記scalability_info_replaceＳＥＩメッセージ内に明示的に符号化されていない層の全てのスケーラビリティ情報は、以前の値を維持するとみなすステップを更に有する請求項３６記載の方法。
  39. 前記スケーラビリティ情報の変化は、以後、ビットストリームから少なくとも１つの層が削除されることを示すscalability_info_delＳＥＩメッセージを更に含む請求項３６記載の方法。
  40. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れることができる請求項３６記載の方法。
  41. 前記スケーラブルなメディアデータは、Ｈ．２６４ＳＶＣに基づいて符号化され、前記スケーラビリティ初期化情報は、ＳＶＣscalability_infoＳＥＩメッセージであり、
    前記デコーダにおいて、最新のscalability_infoＳＥＩメッセージを参照として用いて、前記スケーラビリティ情報の変化を個別に適用するステップを更に有する請求項３５記載の方法。
  42. 前記スケーラビリティ情報の変化は、スケーラビリティ初期化情報に示す１つ以上のスケーラビリティ層が、以後、ビットストリームに存在しないことを示すscalability_info_layers_notpresentＳＥＩメッセージを更に含む請求項４１記載の方法。
  43. 前記スケーラビリティ情報の変化は、最新のスケーラビリティ初期化情報に示される少なくとも１つの層の層依存情報が、以後、scalability_info_dependency_changeＳＥＩメッセージに含まれている層依存情報に置換されることを示すscalability_info_dependency_changeＳＥＩメッセージを更に含む請求項４１記載の方法。
  44. 前記スケーラビリティ情報の変化は、符号化されたビデオ信号の任意のアクセスユニットに現れることができる請求項４１記載の方法。
  45. 請求項２３乃至４４の少なくとも１つに記載されているステップを実行する一組の命令を含むコンピュータにより読取可能な媒体。
JP2009503210A 2006-03-27 2007-03-27 スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法 Active JP5697332B2 (ja)

Applications Claiming Priority (23)

Application Number Priority Date Filing Date Title
US78617806P 2006-03-27 2006-03-27
US60/786,178 2006-03-27
US78699706P 2006-03-29 2006-03-29
US60/786,997 2006-03-29
US78955006P 2006-04-05 2006-04-05
US60/789,550 2006-04-05
USPCT/US2006/028366 2006-07-20
USPCT/US2006/028368 2006-07-20
USPCT/US2006/028365 2006-07-20
USPCT/US2006/028367 2006-07-20
PCT/US2006/028366 WO2008082375A2 (en) 2005-09-07 2006-07-21 System and method for a conference server architecture for low delay and distributed conferencing applications
PCT/US2006/028368 WO2008051181A1 (en) 2006-07-21 2006-07-21 System and method for jitter buffer reduction in scalable coding
PCT/US2006/028367 WO2007075196A1 (en) 2005-09-07 2006-07-21 System and method for a high reliability base layer trunk
PCT/US2006/028365 WO2008060262A1 (en) 2005-09-07 2006-07-21 System and method for scalable and low-delay videoconferencing using scalable video coding
PCT/US2006/061815 WO2007067990A2 (en) 2005-12-08 2006-12-08 Systems and methods for error resilience and random access in video communication systems
USPCT/US2006/061815 2006-12-08
PCT/US2006/062569 WO2007076486A2 (en) 2005-12-22 2006-12-22 System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
USPCT/US2006/062569 2006-12-22
US88414807P 2007-01-09 2007-01-09
US60/884,148 2007-01-09
PCT/US2007/062357 WO2007095640A2 (en) 2006-02-16 2007-02-16 System and method for thinning of scalable video coding bit-streams
USPCT/US2007/062357 2007-02-16
PCT/US2007/065003 WO2007112384A2 (en) 2006-03-27 2007-03-27 System and method for management of scalability information in scalable video and audio coding systems using control messages

Publications (2)

Publication Number Publication Date
JP2009543386A true JP2009543386A (ja) 2009-12-03
JP5697332B2 JP5697332B2 (ja) 2015-04-08

Family

ID=40340534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009503210A Active JP5697332B2 (ja) 2006-03-27 2007-03-27 スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法

Country Status (4)

Country Link
JP (1) JP5697332B2 (ja)
CN (1) CN101411080B (ja)
CA (1) CA2647823A1 (ja)
ES (1) ES2601811T3 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515938A (ja) * 2007-01-05 2010-05-13 タグ ネットワークス，インコーポレイテッド デジタル音声ミキシング
JP2013536623A (ja) * 2010-07-20 2013-09-19 クゥアルコム・インコーポレイテッド ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP2014504118A (ja) * 2011-01-14 2014-02-13 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
JP2014509159A (ja) * 2011-03-10 2014-04-10 ヴィディオ・インコーポレーテッド ビデオ符号化のアクティブレイヤ数のシグナリング
US9021541B2 (en) 2010-10-14 2015-04-28 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US9077860B2 (en) 2005-07-26 2015-07-07 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9204203B2 (en) 2011-04-07 2015-12-01 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
KR20160129876A (ko) * 2014-03-06 2016-11-09 디티에스, 인코포레이티드 다수의 오브젝트 오디오의 인코딩 후 비트레이트 감소
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
JP2018186583A (ja) * 2012-08-27 2018-11-22 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置および受信方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139212A1 (en) * 2002-07-15 2004-07-15 Debargha Mukherjee Method and apparatus for applying receiving attributes using constraints
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064932A (ko) * 2000-10-11 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 미세 입상 비디오 인코딩을 위한 공간적 스케일러빌리티

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006505024A (ja) * 2002-04-29 2006-02-09 ソニー エレクトロニクス インク データ処理方法及び装置
US20040139212A1 (en) * 2002-07-15 2004-07-15 Debargha Mukherjee Method and apparatus for applying receiving attributes using constraints
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077860B2 (en) 2005-07-26 2015-07-07 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
JP2010515938A (ja) * 2007-01-05 2010-05-13 タグ ネットワークス，インコーポレイテッド デジタル音声ミキシング
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9355681B2 (en) 2007-01-12 2016-05-31 Activevideo Networks, Inc. MPEG objects and systems and methods for using MPEG objects
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
JP2013536623A (ja) * 2010-07-20 2013-09-19 クゥアルコム・インコーポレイテッド ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9253240B2 (en) 2010-07-20 2016-02-02 Qualcomm Incorporated Providing sequence data sets for streaming video data
US9021541B2 (en) 2010-10-14 2015-04-28 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
JP2014504118A (ja) * 2011-01-14 2014-02-13 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
JP2014509159A (ja) * 2011-03-10 2014-04-10 ヴィディオ・インコーポレーテッド ビデオ符号化のアクティブレイヤ数のシグナリング
US9204203B2 (en) 2011-04-07 2015-12-01 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US10409445B2 (en) 2012-01-09 2019-09-10 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US10757481B2 (en) 2012-04-03 2020-08-25 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US10506298B2 (en) 2012-04-03 2019-12-10 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
JP2018186583A (ja) * 2012-08-27 2018-11-22 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置および受信方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US11073969B2 (en) 2013-03-15 2021-07-27 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9326047B2 (en) 2013-06-06 2016-04-26 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US10200744B2 (en) 2013-06-06 2019-02-05 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
KR20160129876A (ko) * 2014-03-06 2016-11-09 디티에스, 인코포레이티드 다수의 오브젝트 오디오의 인코딩 후 비트레이트 감소
KR102451342B1 (ko) 2014-03-06 2022-10-05 디티에스, 인코포레이티드 다수의 오브젝트 오디오의 인코딩 후 비트레이트 감소
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks

Also Published As

Publication number Publication date
ES2601811T3 (es) 2017-02-16
CN101411080B (zh) 2013-05-01
CA2647823A1 (en) 2007-10-04
CN101411080A (zh) 2009-04-15
JP5697332B2 (ja) 2015-04-08

Similar Documents

Publication Publication Date Title
JP5697332B2 (ja) スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法
EP2005607B1 (en) System and method for management of scalability information in scalable video coding systems using control messages
CN106982382B (zh) 用于在可分级视频编码中信令并执行时间级切换的系统和方法
Wenger et al. Transport and signaling of SVC in IP networks
Wang et al. RTP payload format for H. 264 video
Schierl et al. System layer integration of high efficiency video coding
JP4921488B2 (ja) スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
US11381867B2 (en) Multiple decoder interface for streamed media data
US20070263087A1 (en) System And Method For Thinning Of Scalable Video Coding Bit-Streams
US20200112761A1 (en) Initialization set for network streaming of media data
US11388427B2 (en) Multiple decoder interface for streamed media data
US20220407899A1 (en) Real-time augmented reality communication session
AU2012202123B2 (en) System and method for management of scalability information in scalable video and audio coding systems using control messages
CN116648918A (zh) 视频解码器初始化信息
CA2763089C (en) System and method for management of scalability information in scalable video and audio coding systems using control messages
WO2022266457A1 (en) Real-time augmented reality communication session
González Cela Robust P2P Live Streaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120807

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141024

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20141118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150210

R150 Certificate of patent or registration of utility model

Ref document number: 5697332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250