JP2014509159A - ビデオ符号化のアクティブレイヤ数のシグナリング - Google Patents

ビデオ符号化のアクティブレイヤ数のシグナリング Download PDF

Info

Publication number
JP2014509159A
JP2014509159A JP2013557846A JP2013557846A JP2014509159A JP 2014509159 A JP2014509159 A JP 2014509159A JP 2013557846 A JP2013557846 A JP 2013557846A JP 2013557846 A JP2013557846 A JP 2013557846A JP 2014509159 A JP2014509159 A JP 2014509159A
Authority
JP
Japan
Prior art keywords
anl
message
router
layer
scalable bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013557846A
Other languages
English (en)
Inventor
ジル・ボイス
ダニー・ホン
Original Assignee
ヴィディオ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィディオ・インコーポレーテッド filed Critical ヴィディオ・インコーポレーテッド
Publication of JP2014509159A publication Critical patent/JP2014509159A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746Control signals issued by the network directed to the server or the client
    • H04N21/64753Control signals issued by the network directed to the server or the client directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化されたピクチャまたはスライスと同期して送信されるデータ構造のスケーラブルビットストリームのアクティブ強化レイヤの数に関する情報の説明がここに開示される。ビデオ符号化のためのシステムおよび方法は、アクティブレイヤメッセージの数を受信して復号化する。ビデオ符号化のための方法であって:デコーダおよびルータの少なくとも1つで、少なくとも1つのアクティブレイヤ数(ANL)を受信および復号化するステップ;を具備する。

Description

本願は、2011年3月10日に出願された“Signaling Number of Active Layers in Video Coding”という名称の米国仮出願第61/451462号の優先権を主張し、その開示は、その全体を参照することによって本明細書に組込まれる。
本願は、ビデオ符号化に関し、具体的に、符号化されたピクチャまたはスライスと共に送信されるデータ構造のスケーラブルビットのアクティブ強化レイヤの数に関する情報の表現(representation)に関する。
スケーラブルビデオ符号化は、基本レイヤが1つまたは複数の強化レイヤによって補強できる技術に言及する。基本および強化レイヤ(複数)が連帯して再構成される時、再生成されたビデオ品質は、基本レイヤが孤立して再構成される場合よりも高くなることができる。
スケーラブルビデオ符号化では、複数の形式の強化レイヤタイプは、時間強化レイヤ(フレームレートを増加する)、空間強化レイヤ(空間分解能を増加する)、およびSNR強化レイヤ(信号対ノイズで測定可能な忠実度、SNR比を増加する)を含んで報告されてきた。
図1を参照すると、スケーラブルビデオ符号化では、レイヤの関係は、有向グラフの形式で表すことができる。提供された実施形態では、基本レイヤ(101)(例えば15fpsのCIFフォーマットでもよい)は、時間強化レイヤ(例えば30fpsにフレームレートを増加することができる)によって強化できる。また、空間強化レイヤ(103)は、CIFから4CIFへ空間分解能を増加するのに利用できる。この空間強化レイヤ(103)に基づき別の時間強化レイヤは、30fpsへフレームレートを増加することができる。4CIF、30fps信号を再構成するために、全ての基本レイヤ(101)、空間強化レイヤ(103)、および第2の時間強化レイヤ(104)が提供されるべきである。また、他の組合せは、グラフに示す通り可能である。
階層構造の情報は、ネットワーク状況に応じて特定のレイヤを除去するネットワーク要素に関連して有益なことがある。図2を参照すると、送信エンドポイント(201)が示され、アプリケーションレイヤルータ(202)にスケーラブルビデオストリーム(先に説明した構造を有してもよい)を送信する。アプリケーションレイヤルータは、エンドポイントの機能、ネットワーク状況等の知識に基づき、エンドポイント(203)、(204)へ特定のレイヤを転送するのを省くことができる。その全体が参照によって本明細書に組込まれた米国特許第7593032には、ルータに使用可能な例示的な技術が記載される。
階層化されたビデオは、International Telecommunication Union(“ITU”), Place de Nations,CH-1211 Geneva 20,Switzerlandまたはhttp://www.itu.int/rec/T-REC-H.264から入手可能な、2010年3月のITU−T Rec.H.264“Advanced video coding for generic audiovisual services”に従い符号化でき、その全体が参照によって本明細書に組込まれ、具体的にH.264のスケーラブルビデオ符号化(SVC)拡張機能に従い符号化でき、または例えば現在標準化過程にある“高効率ビデオ符号化”(以下、“HEVC”)に対する最近のスケーラブル拡張機能等のスケーラビリティを支援する他のビデオ符号化技術に従い符号化できる。
H.264によると、各レイヤを示すビットは、1つまたは複数のネットワーク適応レイヤユニット(NALユニット)でカプセル化される。各NALユニットは、NALユニットが属するレイヤを示すことができるヘッダを含むことができる。
しかし、全てのレイヤに属する複数のNALユニットを監視せず、そのコンテンツを分析せず、故に利用可能なレイヤの“ピクチャ”を構築しないと、ルータは、上記説明の通り、階層構造を導くメカニズムを欠くことがある。階層構造の知識がないと、ルータは、特定のレイヤに属するNALユニットを除去するための合理的な選択を行うことができない。
階層構造が使用される時、階層構造は、ビデオ情報を含む最初のビットがルータに到達する前に知られるべきである。SVCに関するRTPペイロードフォーマット(Wenger, Wang, Schieri, Eleftheriadis, “RTP Payload Format for Scalable Video Coding”RFC 6190, http://tools.ietf.org/html/rfc6190から入手可能であり、その全体が参照により本明細書に組込まれる)は、例えばセッション初期化プロトコル(Rosenberg et.al., SIP:Session Initiation Protocol RFC 3261, http://tools.ietf.org/html/rfc3261から入手可能であり、その全体が参照により本明細書に組込まれる)を用いて機能交換メッセージの階層構造を含むスケーラビリティ情報SEIメッセージのコンテンツを統合するためのメカニズムを含む。しかし、このSEIメッセージの復号化は一般に、ビデオ構文のビット指向処理を要求し、それはしばしば、ルータが効率的に準備することができない。SEIメッセージはまた、複雑であり、著しいサイズの場合があり、その構文の詳細は、H.264で3ページに及ぶ。
特に、依存パラメータセット(DPS)の階層構造に関する情報の符号化および復号化技術は、2012年3月7日に出願された、同時係属の米国特許出願第13/414075の“Dependency Parameter Set for Scalable Video Coding”に開示され、その全体が参照により本明細書に組込まれている。特に、基本レイヤ、1つまたは複数の空間強化レイヤ、および/または1つまたは複数のSNR強化レイヤの間の依存性は、効率的に表現できる。
DPSは、図2のような場面での、各種送信および受信エンティティ(例えば、ルータおよびエンドポイント)の間の階層構造を知らせることにおいて、多くの問題を解決できる。しかし、DPSは、任意のパラメータセットのように、元々静的であり、ビットストリームにおけるDPSの発生は、ビットストリームのピクチャまたはスライスと必ずしも同期されず、DPSの使用は一般に、ルータが環境の変化、例えばネットワーク状況の変化に応じて導入することがある動的な階層化の変化を知らせるのに、特にDPSで記述可能な全ての階層構造からの1つまたは複数のレイヤの除去を知らせるのに勧められないものとなる。
受信エンドポイント(203)、(204)は、復号化に必要とされる、できるだけ最良のユーザエクスペリエンスを達成するために、受信しようとしている階層構造に関する正確でタイムリーな情報を受信すべきである。利用可能なそのような情報を用いて、エンドポイントは例えば、特定のレイヤが復号化に利用可能にならないことが知られている時、リソースを変換する(即ち、CPUクロックレートを低減することでバッテリ電力を節約する)ことができる。復号化デバイスはまた、レイヤが利用不可能であることを反映する他のパラメータを調節することができる。例えば、特定のレイヤが受信されていないことが知られている場合、期待されたパケット受信レートは、全てのレイヤが受信されることが期待される時と比べて低くなることがあり、ジッタバッファ(jitter buffer)のサイズおよび類似のデータ構造を適合可能にする。
HVECに関連して、a)ピクチャまたはスライス間でも動的に変更でき、b)ピクチャまたはスライスと同期して伝えられる必要があり、c)復号化プロセスを必要としない、情報の伝送のための高次構文メカニズムは、SEIメッセージである。HVECの高次構文は、委員会の標準のHVECの合意によるITU−T Rec.H.264の高次構文から導出され、H.264により、SEIメッセージは、上記a)、b)およびc)の要件を支援するためのデータ構造である。
SEIメッセージの構文は、全てのSEIメッセージに対して一様に特定されたコンテナフォーマット(container format)において、SEIメッセージ“コンテンツ”が含まれるように定義される。SEIメッセージコンテナフォーマットの作成は、最小ビット指向処理のみを要求する。しかし、コンテンツの作成は、コンテンツの特性に依存して複雑な場合がある。H.264のスケーラビリティ情報SEIメッセージの構文定義は例えば、H.264で使用される構文ダイアグラムの単純な形式で少なくとも3ページに及ぶ。本明細書の多数のパラメータは、ビット指向の処理を要求し、および/または可変長コードである。ルータは、その処理要素が、多数のビット指向パラメータを効率的に扱うよう最適化されていない場合があり、その接続されたエンドポイントに対する全てのリンク上でのネットワーク状況の変化毎にそれらSEIメッセージを効率的に生成できない。
従って、(メッセージを生成または修正する必要性がある)ルータと(それを復号化する必要がある)エンドポイントとの両方に関して単純化されたメッセージフォーマットに対する必要性が存在する。
開示された本発明は、1つの実施形態では、ルータ等のネットワーク要素で効率的な生成を可能にするために固定長コードワードを含むことができるアクティブレイヤメッセージ数(ANL)を提供する。
同じまたは別の実施形態では、アクティブレイヤ数メッセージは、アクティブレイヤ数SEIメッセージ(ANL−SEI)の形式である。
同じまたは別の実施形態では、アクティブレイヤ数メッセージは、ピクチャヘッダ、スライスヘッダ、アクセスユニットデリミタ等のビットストリームにおいて同期して送信される高次構文構造の一部である。
同じまたは別の実施形態では、ANLを含むスケーラブルビットストリームは、ルータにより作成または修正され、ルータのスケーラブルビットストリームのレイヤの除去に応じてルータから別のルータまたはエンドポイントに送信されてもよい。
同じまたは別の実施形態では、ANLのコンテンツは、固定長コードワードからなってもよい。
同じまたは別の実施形態では、ANLは、アクティブ空間強化レイヤの数を示す整数を含んでもよい。
同じまたは別の実施形態では、ANLは、アクティブSNR強化レイヤの数を示す整数を含んでもよい。
開示された本発明のさらなる特徴、性質、および各種利点は、以下の詳細な説明および添付の図から明らかである。
図1は、従来技術に従う階層化ビットストリームの階層構造の概略図である。 図2は、階層化ビデオ符号化を用いるシステムの概略図である。 図3は、本発明の例示的な実施形態によるビデオビットストリームの概略図である。 図4は、本発明の例示的な実施形態による指向情報(orientation information)の例示的な表現の概略図である。 図5は、依存パラメータセット、基本レイヤ、強化レイヤ、およびアクティブレイヤSEIメッセージ数の間の時間における例示的な関係を示すタイミング図である。 図6は、本発明の例示的な実施形態によるコンピュータシステムです。
図は、本開示に組込まれ、その一部を構成する。図面において、同じ参照番号および特徴は、特に言及する場合を除き、図示した実施形態の類似の特徴、要素、コンポーネント、または一部を意味するために使用される。また、開示した本発明は、図を参照してここで説明されるが、それは、例示的な実施形態に関連して行われる。
本発明は、アクティブレイヤ数(Active Number of Layers(ANL))メッセージを作成、送信、受信、および復号化することを含む、ビデオ符号化技法を提供する。例示的な技法は、符号化されたピクチャまたはスライスに同期して送信されるスケーラブルビットストリーム構造のレイヤ数に関連付けられた情報の表現を利用する。
図3は、本発明の例示的な実施形態による、アクティブレイヤ数メッセージ(ANL)(301)のITU−T Rec.H.264で記述された規約に従う構文ダイアグラムを示す。
図4は、本発明の例示的な実施形態による、ANL(401)のITU−T Rec.H.264で記述された規約に従う意味論定義を示す。
同じまたは別の実施形態では、ANLは、アクティブ空間レイヤの数を示す整数を含むことができ(num_active_spatial_layers_minus1+1)(302)(402)、それは、ビットストリームに存在する空間レイヤの数を特定することができる。num_active_spatial_layers_minus1は、0からmax_spatial_layers_minus1を含む範囲でもよい。
同じまたは別の実施形態では、ANLは、アクティブ品質レイヤの数を示す整数を含むことができ(num_active_quality_layers_minus1+1)(303)(403)、それは、spatial_idがnum_active_spatial_layers_minus1に等しい空間レイヤに存在する品質レイヤの数を特定することができる。num_active_quality_layers_minus1は、0からmax_quality_layers_minus1[num_active_spatial_layers_minus1]を含む範囲でもよい。
同じまたは別の実施形態では、ANLは、アクティブ時間レイヤの数を示す整数を含むことができ(num_active_temporal_layers_minus1+1)(304)(404)、それは、ビットストリームに存在するアクティブ時間レイヤの数を特定することができる。
同じまたは別の実施形態では、ANLのコンテンツは、SEIメッセージ、または別のSEIメッセージの一部、例えばより詳細にレイヤの特性またはレイヤのカテゴリ(例えば、時間、空間、SNR)を記述する別のSEIメッセージでもよい。
同じまたは別の実施形態では、ANLは、スライスヘッダ、ピクチャヘッダ、NALユニットヘッダ、アクセスユニットデリミタ等のような、ビットストリームと同期して高次構文構造(high level syntax structure)を伝えるNALユニットの一部でもよい。
図2および5を参照すると、ANLに対する1つの用途として、時系列と、ルータ(202)によって出力されてエンドポイント(203)に送信されるこの時系列に関するデータとが示される。例示的な実施形態では、エンドポイント(203)は、基本レイヤと、この例では1つの空間強化レイヤ(spatial enhancement layer)とを支援するために、スクリーン/ディスプレイウィンドウサイズリソース、計算リソース、およびネットワーク接続を含む。しかし、ルータ(202)とエンドポイント(203)との間のネットワーク状況は、かなりばらつきがあると考えられ、強化レイヤの伝送を可能にする時がある一方でそれを可能にしない時もある。
DPSは、セッションで初期に伝送され(501)、この例では、上記説明した状況に基づき、基本および強化レイヤの存在の可能性を示す情報を含む。
良好なネットワーク状況(502)の時間間隔で、基本および強化レイヤの両方が送信される。
時間点(503)で、ネットワーク状況は、強化レイヤの送信が不可能になるところまで劣化する(ルータ(202)とエンドポイント(203)との間のリンク上の損失が多すぎる)。ルータ(202)は、例えばエンドポイント(203)によって送信されたRTCP受信器レポートを介して、これら損失について学ぶことができる。
時間点(504)で、劣化したネットワーク状況についてルータ(202)が学んだ直後、ルータ(202)は、強化レイヤの送信を停止することを決定する。この決定についてエンドポイント(203)に通知するために、ルータ(202)は、強化レイヤの不在を示すANLを送信する(505)。貧弱なネットワーク状況の時間間隔(506)では、ルータ(202)は、基本レイヤのみ送信するが、良好なネットワーク状況を時々探る。時間点(507)で、ルータ(202)は、ネットワーク状況が改善して再び強化レイヤの送信が可能になったことを学ぶ。従って、時間点(508)で、ルータ(202)は、強化レイヤの存在を示すALNを送信する。エンドポイント(203)はALNの受信時、ルータ(202)が時間点(509)で再び強化レイヤを送信し始める前に、リソースを割り当て、スクリーンレイアウトを変更し、または他のアクティビティを実行してもよい。
説明した内容によると、ここで説明されたビットレート変動制御技法は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを用いて実装されてもよいことが分かる。上記説明したレート推定および制御技法を実装および動作するためのソフトウェア(即ち、命令)は、ファームウェア、メモリ、格納デバイス、マイクロコントローラ、マイクロプロセッサ、集積回路、ASIC、オンラインダウンロード可能なメディア、および他の利用可能なメディアを含むがそれらに限定されない、コンピュータ読取可能な媒体上に提供されてもよい。
コンピュータシステム
上記説明した方法は、コンピュータ読取可能な命令を用いてコンピュータソフトウェアとして実装され、コンピュータ読取可能な媒体に物理的に格納されてもよい。コンピュータソフトウェアは、任意の適切なコンピュータ言語を用いて符号化されてもよい。ソフトウェア命令は、各種コンピュータ上で実行できる。例えば、図6は、本開示の実施形態を実装するのに適切なコンピュータシステム600を示す。
コンピュータシステム600に関して図6に示す要素は、単なる例示であり、本発明の実施形態を実装するコンピュータソフトウェアの使用または機能性の範囲に関して任意の限定を与えることを意図しない。要素の構成は、コンピュータシステムの例示的な実施形態で示した要素の任意の1つまたは組合せに関する任意の従属性または必要性を有するとして解釈されるべきでない。コンピュータ600は、集積回路、印刷回路基板、小型携帯デバイス(例えば、携帯電話またはPDA)、個人コンピュータまたはスーパーコンピュータを含む多くの物理的形状を有することができる。
コンピュータシステム600は、ディスプレイ632、1つまたは複数の入力デバイス633(例えば、キーパッド、キーボード、マウス、スタイラス等)、1つまたは複数の出力デバイス634(例えば、スピーカ)、1つまたは複数の格納デバイス635、各種格納媒体636を含む。
システムバス640は、広範にサブシステムをリンクする。当業者であれば分かるように、“バス”は、共通の機能を与える複数のデジタル信号ラインに言及する。システムバス640は、任意の各種バスアーキテクチャを用いて、メモリバス、周辺機器バス、およびローカルバスを含む、任意のいくつかの種類のバス構造にすることができる。限定的ではない一例として、そのようなアーキテクチャは、業界標準アーキテクチャ(ISA)バス、エンハンスドISA(EISA)バス、マイクロチャネルアーキテクチャ(MCA)バス、ビデオエレクトロニクス標準協会ローカル(VLB)バス、周辺要素相互接続(PCI)バス、PCIエクスプレスバス(PCI−X)、およびアクセラレイテッドグラフィクスポート(AGP)バスを含む。
(複数の)プロセッサ601(中央集積ユニットまたはCPUとしても言及される)は、命令、データ、またはコンピュータアドレスの一時的なローカルストレージのためにキャッシュメモリユニット602を任意に含む。(複数の)プロセッサ601は、メモリ603を含む格納デバイスに接続される。メモリ603は、ランダムアクセスメモリ(RAM)604および読取専用メモリ(ROM)605を含む。当業者であれば分かるように、ROM605は、(複数の)プロセッサ601へ一方向でデータおよび命令を転送するように作動し、RAM604は一般に、双方向でデータおよび命令を転送するように使用される。これら種類のメモリの両方は、以下のように任意の適切なコンピュータ読取可能な媒体を含むことができる。
固定ストレージ608はまた、任意に格納制御ユニット607を介して(複数の)プロセッサ601へ双方向接続される。それは、以下に説明する通り、追加のデータ格納機能を提供し、また任意のコンピュータ読取可能な媒体を含むことができる。ストレージ608は、オペレーティングシステム609、EXEC610、アプリケーションプログラム612、データ611等を格納するために使用でき、一般に、主要ストレージよりも遅い二次格納媒体(ハードディスク等)である。ストレージ608内で維持される情報は、適当なケースでは、メモリ603の仮想メモリとしての標準的な態様で組込まれてもよいことが分かる。
(複数の)プロセッサ601はまた、グラフィクスコントロール621、ビデオインタフェース622、入力インタフェース623、出力インタフェース、格納インタフェース等の各種インタフェースに接続され、これらインタフェースは次いで、適当なデバイスに接続される。一般に、入/出力デバイスは、任意のビデオディスプレイ、トラックボール、マイス、キーボード、マイクロホン、接触感知ディスプレイ、トランスデューサカードリーダ、磁気または紙のテープリーダ、タブレット、スタイラス、音声または手書き認識装置、生体リーダ、または他のコンピュータでもよい。(複数の)プロセッサ601は、ネットワークインタフェース620を用いて別のコンピュ―タまたは通信ネットワーク630に接続されてもよい。そのようなネットワークインタフェース620に関して、CPU601は、ネットワーク630から情報を受信してもよく、または上記方法を実行する間にネットワークに情報を出力してもよいことが分かる。また、本発明の方法の実施形態は、CPU601上で単に実行でき、または処理の一部を共有するリモートCPU601に関連してインターネット等のネットワーク630上で実行できる。
各種実施形態によると、ネットワーク環境では、即ちコンピュータシステム600がネットワーク630に接続される時、コンピュータシステム600は、ネットワーク630にも接続される他のデバイスと通信することができる。通信は、ネットワークインタフェース620を介してコンピュータシステム600へ、およびそこから送信されてもよい。例えば、1つまたは複数のパケットの形式での別のデバイスからの要求または応答等の着信は、ネットワークインタフェース620のネットワーク630から受信でき、処理のためにメモリ603の選択された区画に格納できる。再び1つまたは複数のパケットの形式での別のデバイスへの要求または応答等の発信は、メモリ603の選択された区画に格納でき、ネットワークインタフェース620でネットワーク630に送出できる。(複数の)プロセッサ601は、処理のためにメモリ603に格納されたこれら通信パケットにアクセスできる。
また、本発明の実施形態はさらに、各種コンピュータ実装された動作を実行するためにその上にコンピュータコードを有するコンピュータ読取可能な媒体を備えたコンピュータ格納製品に関する。メディアおよびコンピュータコードは、本発明の目的にために特に設計および構成でき、またはコンピュータソフトウェア技術の当業者にとって周知および利用可能なものでもよい。コンピュータ読取可能な媒体の例は、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープ等の磁気メディア;CD−ROMおよびホログラフィックデバイス等の光学メディア;フロプティカルディスク等の磁気光学メディア;および特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、ROMおよびRAMデバイス等の、プログラムコードを格納および実行するように特に構成されたハードウェアデバイス;を含むが、それらに限定されない。コンピュータコードの例は、コンパイラによって作成等された機械コード、およびインタープリタを用いてコンピュータによって実行される高次(high-level)コードを含むファイルを含む。当業者であればまた、既に説明した本発明に関連して使用される用語“コンピュータ読取可能な媒体”が伝送媒体、搬送波、または他の一過性の信号を含まないことが分かる。
限定的ではなく一例として、アーキテクチャ600を有するコンピュータシステムは、メモリ603等の1つまたは複数の有形なコンピュータ読取可能な媒体で具現されたソフトウェアを実行する(複数の)プロセッサ601による機能性を提供することができる。本発明の各種実施形態を実装するソフトウェアは、メモリ603に格納され、(複数の)プロセッサ601によって実行されてもよい。コンピュータ読取可能な媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスを含むことができる。メモリ603は、(複数の)大容量の格納デバイス635等の1つまたは複数の他のコンピュータ読取可能な媒体から、または通信インタフェースを介して1つまたは複数の他のソースからソフトウェアを読み取ることができる。ソフトウェアは、メモリ603に格納されたデータ構造を定めること、およびソフトウェアによって定めたプロセスに従いそのようなデータ構造を修正することを含む、本明細書で説明した特定のプロセスまたは特定のプロセスの一部を(複数の)プロセッサ601に実行させることができる。追加として、または代わりに、コンピュータシステムは、本明細書で説明した特定のプロセスまたは特定のプロセスの一部を実行するためにソフトウェアの一部またはソフトウェアと共に動作可能な、回路で有線接続された論理回路または回路で具現された論理回路による機能性を提供することができる。ソフトウェアへの言及は、論理、および適当な場合にはその逆を含んでもよい。コンピュータ読取可能な媒体への言及は、実行のためにソフトウェアを格納する回路(集積回路(IC)等)、実行ために論理回路を具現する回路、または適当な場合にはそれら両方を含むことができる。本発明は、ハードウェアおよびソフトウェアの任意の適切な組み合わせを含む。
本発明は、いくつかの例示的な実施形態を有するが、代替、置換、および各種均等物を有し、それらは、本発明の範囲内にある。また、本発明の方法および装置を実装する多数の代わりの方法があることが分かる。
600 コンピュータシステム
630 ネットワーク

Claims (18)

  1. ビデオ復号化のための方法であって:
    デコーダおよびルータの少なくとも1つで、少なくとも1つのアクティブレイヤ数(ANL)メッセージを受信および復号化するステップ;
    を具備する方法。
  2. ANLメッセージは、2つまたはそれ以上の固定長のコードワードを含むことを特徴とする請求項1に記載の方法。
  3. 固定長のコードワードの少なくとも1つは、レイヤを表現することを特徴とする請求項2に記載の方法。
  4. 固定長のコードワードの少なくとも1つは、カテゴリの複数のレイヤを表現することを特徴とする請求項2に記載の方法。
  5. カテゴリは、空間レイヤカテゴリ、品質レイヤカテゴリ、および時間レイヤカテゴリからなるグループから選択されることを特徴とする請求項4に記載の方法。
  6. ANLメッセージは、SEIメッセージに含まれることを特徴とする請求項1に記載の方法。
  7. ANLメッセージは、SEIメッセージを具備することを特徴とする請求項1に記載の方法。
  8. ANLメッセージは、アクセスユニットデリミタに含まれることを特徴とする請求項1に記載の方法。
  9. ANLメッセージは、高次構文構造に含まれることを特徴とする請求項1に記載の方法。
  10. ANLメッセージは、アクティブ空間強化レイヤの数を示す整数を含むことを特徴とする請求項1に記載の方法。
  11. ANLメッセージは、アクティブSNR強化レイヤの数を示す整数を含むことを特徴とする請求項1に記載の方法。
  12. ANLメッセージは、アクティブ時間レイヤの数を示す整数を含むことを特徴とする請求項1に記載の方法。
  13. システムは:
    送信エンドポイントと;
    送信エンドポイントに接続されるルータと;
    ルータに接続される受信エンドポイントと;
    を具備し、
    ルータは、送信エンドポイントからスケーラブルビットストリームを受信し、スケーラブルビットストリームのサブセットと、スケーラブルビットストリームのサブセットのレイヤを示す少なくとも1つのANLメッセージとを受信エンドポイントに送信するよう構成されることを特徴とするシステム。
  14. ルータは、スケーラブルビットストリームから少なくとも1つのレイヤを除去し、除去されたレイヤを示す少なくとも1つのANLメッセージを送信することを特徴とする請求項13に記載のシステム。
  15. システムは:
    送信エンドポイントまたはルータと;
    送信エンドポイントまたはルータに接続される受信エンドポイントと;
    を具備し、
    送信エンドポイントまたはルータは:
    フルスケーラブルビットストリームの表示と;
    スケーラブルビットストリームのサブセットと;
    受信エンドポイントに対するスケーラブルビットストリームのサブセットのレイヤを示す少なくとも1つのANLメッセージと;
    を送信することを特徴とするシステム。
  16. フルスケーラブルビットストリームの表示は、依存パラメータセットであることを特徴とする請求項15に記載のシステム。
  17. フルスケーラブルビットストリームの表示は、スケーラビリティ情報SEIメッセージであることを特徴とする請求項15に記載のシステム。
  18. プロセッサに指示して請求項1〜12の何れか1項の方法を実行する命令のセットを具備することを特徴とする非一時的なコンピュータ読取可能な媒体。
JP2013557846A 2011-03-10 2012-03-08 ビデオ符号化のアクティブレイヤ数のシグナリング Pending JP2014509159A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161451462P 2011-03-10 2011-03-10
US61/451,462 2011-03-10
PCT/US2012/028186 WO2012122330A1 (en) 2011-03-10 2012-03-08 Signaling number of active layers in video coding

Publications (1)

Publication Number Publication Date
JP2014509159A true JP2014509159A (ja) 2014-04-10

Family

ID=46795584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013557846A Pending JP2014509159A (ja) 2011-03-10 2012-03-08 ビデオ符号化のアクティブレイヤ数のシグナリング

Country Status (7)

Country Link
US (1) US20120230432A1 (ja)
EP (1) EP2684371A4 (ja)
JP (1) JP2014509159A (ja)
CN (1) CN103503444A (ja)
AU (1) AU2012225416B2 (ja)
CA (1) CA2829603A1 (ja)
WO (1) WO2012122330A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609394B2 (en) * 2012-04-24 2020-03-31 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
WO2014112790A1 (ko) * 2013-01-16 2014-07-24 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
US10063868B2 (en) 2013-04-08 2018-08-28 Arris Enterprises Llc Signaling for addition or removal of layers in video coding
EP3146724A1 (en) 2014-05-21 2017-03-29 ARRIS Enterprises LLC Signaling and selection for the enhancement of layers in scalable video
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US20160021375A1 (en) * 2014-07-16 2016-01-21 Qualcomm Incorporated Transport stream for carriage of video coding extensions
US10708728B2 (en) * 2016-09-23 2020-07-07 Qualcomm Incorporated Adaptive modulation order for multi-user superposition transmissions with non-aligned resources

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009543386A (ja) * 2006-03-27 2009-12-03 ヴィドヨ,インコーポレーテッド スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
CN101292538B (zh) * 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
KR101352978B1 (ko) * 2006-01-16 2014-01-28 고려대학교 산학협력단 향상된 계층간 참조 영상 지정, 복호 방법 및 그 장치
WO2007112384A2 (en) * 2006-03-27 2007-10-04 Vidyo, Inc. System and method for management of scalability information in scalable video and audio coding systems using control messages
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009543386A (ja) * 2006-03-27 2009-12-03 ヴィドヨ,インコーポレーテッド スケーラブルビデオ及びオーディオ符号化システムにおける、制御メッセージを用いた、スケーラビリティ情報の管理のためのシステム及び方法

Also Published As

Publication number Publication date
CN103503444A (zh) 2014-01-08
CA2829603A1 (en) 2012-09-13
AU2012225416A1 (en) 2013-09-26
US20120230432A1 (en) 2012-09-13
EP2684371A4 (en) 2015-02-25
WO2012122330A1 (en) 2012-09-13
AU2012225416B2 (en) 2015-08-27
EP2684371A1 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
JP5833682B2 (ja) スケーラブルなビデオ符号化のための依存性パラメータセット
US10560706B2 (en) High layer syntax for temporal scalability
JP2014509159A (ja) ビデオ符号化のアクティブレイヤ数のシグナリング
JP6425720B2 (ja) コンテンツ配信のための方法及び装置
US8127040B2 (en) Signaling buffer parameters indicative of receiver buffer architecture
US20130016776A1 (en) Scalable Video Coding Using Multiple Coding Technologies
JP2014504118A (ja) 改善されたnalユニットヘッダ
US20130195201A1 (en) Techniques for layered video encoding and decoding
JP2010507346A (ja) スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法
CN110224793B (zh) 一种基于媒体内容的自适应fec方法
JP5344541B2 (ja) データ送信装置、送信方法及びプログラム
KR20170134451A (ko) 멀티 계층 타이밍 동기화 프레임워크
US10567757B2 (en) Dynamic reference picture reconstruction
US20140092995A1 (en) Electronic devices for signaling a random access point picture message
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
WO2015196457A1 (zh) 一种关键帧路由的方法及媒体服务器
US11671976B2 (en) Early notification for transmission of encoded video data
US11539820B2 (en) Signaling and identifying picture boundary in video payload format over IP network
JP2005051707A (ja) 画像データ通信システム及び画像データ通信方法
Kiran et al. Reduction of jitter in 3D video by transmitting over multiple network paths
CN112533027A (zh) 一种医疗软视频系统
Lyonnet et al. Architecture Considerations for Video Conferencing in the Internet with Wireless Links
KR20150079399A (ko) 데이터 전송 디바이스 및 그 전송 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150330