JP2008536420A - スケーラビリティ情報の符号化、格納およびシグナリング - Google Patents
スケーラビリティ情報の符号化、格納およびシグナリング Download PDFInfo
- Publication number
- JP2008536420A JP2008536420A JP2008505913A JP2008505913A JP2008536420A JP 2008536420 A JP2008536420 A JP 2008536420A JP 2008505913 A JP2008505913 A JP 2008505913A JP 2008505913 A JP2008505913 A JP 2008505913A JP 2008536420 A JP2008536420 A JP 2008536420A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- data stream
- scalable
- information
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000011664 signaling Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims 2
- 238000011835 investigation Methods 0.000 claims 2
- 238000007689 inspection Methods 0.000 claims 1
- 241000036569 Carp sprivivirus Species 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 101000873502 Homo sapiens S-adenosylmethionine decarboxylase proenzyme Proteins 0.000 description 3
- 102100035914 S-adenosylmethionine decarboxylase proenzyme Human genes 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 244000309464 bull Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
異なる符号化特性を有するレイヤーを含むように、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法および装置。前記方法は、スケーラブルデータストリームのうちの１つ以上のレイヤーを生成するステップであって、前記符号化特性が、ファイングラニュラリティスケーラビリティ情報、関心領域（ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのうちの少なくとも１つを含むステップと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするステップと、を含む方法である。また、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法であって、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーが、ファイングラニュラリティスケーラビリティ情報、関心領域（ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体のものとは異なる場合があり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーに対してシグナリングされ、前記一組の少なくとも１つの特性は、スケーラブルビットストリーム、スケーラブルビットストリームを含むファイルフォーマットコンテナ、またはスケーラブルビットストリームの少なくとも１つのレイヤーを伝送または制御するための伝送または制御プロトコルとすることが可能である。
【選択図】図２
【選択図】図２
Description
本発明は、少なくとも２つのスケーラビィリティレイヤーを含むスケーラブルデータストリームのデータを符号化、復号化、格納、および伝送するための、符号器、復号器、デバイス、方法、データレコード、モジュール、コンピュータプログラム、およびシステムに関する。
マルチメディアアプリケーションには、ローカル再生、ストリーミングまたはオンデマンド、対話型、およびブロードキャスト/マルチキャストサービスが挙げられる。インターオペラビリティは、各マルチメディアアプリケーションの高速な展開および大規模な市場形成に重要である。高いインターオペラビリティを達成するために、種々の規格が規定されている。
マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。様々な技術に対して様々な規格が規定されている。ビデオの符号化規格には、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ISO/IEC MPEG-4 Visual、ITU-T H.264、またはISO/IEC MPEG-4 AVC（本書では、AVC, AVC/H.264またはH.264/AVCと略記する）、および今後考えられるものとして、ISO/IEC MPEG-21 SVC、China AVS、ITU-T H.265、およびISO/IEC MPEG 3DAVが挙げられる。
利用可能なメディアファイルフォーマット規格には、ISOファイルフォーマット（ISO/IEC 14496-12）、MPEG-4ファイルフォーマット（ISO/IEC 14496-14）、AVCファイルフォーマット（ISO/IEC 14496-15）、および3GPPファイルフォーマット（3GPP TS 26.244）が挙げられる。
3GPP TS 26.140では、3GPPシステム内でのマルチメディアメッセージサービス（Multimedia Messaging Services：MMS）のためのメディアタイプ、フォーマットおよびコーデックを規定している。3GPP TS 26.234では、3GPPシステム内でのパケット交換ストリーミングサービス（Packet-switched Streaming Sservice：PSS）のためのプロトコルおよびコーデックを規定している。進行中の3GPP TS 26.346では、3GPPシステム内でのマルチメディアブロードキャスト/マルチキャストサービス（Multimedia Broadcast/Multicast Service：MBMS）のためのプロトコルおよびコーデックを規定している。
代表的なオーディオおよびビデオの符号化規格では、"プロファイル"および"レベル"を規定している。"プロファイル"は、その規格のアルゴリズム機能のサブセットであり、"レベル"は、復号器のリソース消費に一連の制約を課す符号化パラメータに対する一連の制限である。示されたプロファイルおよびレベルを使用して、メディアストリームの特性をシグナリングし、またメディア復号器の機能をシグナリングすることができる。
プロファイルおよびレベルの組み合わせを通じて、復号器は、復号化を試みずにストリームを復号化できるかどうかを宣言することができ、これによって、復号器がストリームを復号化できない場合に、復号器のクラッシュ、リアルタイムより遅い動作、および/またはバッファのオーバーフローによるデータの破棄を生じる場合がある。プロファイルおよびレベルの各対は、"インターオペラビリティポイント"を形成する。
一部の符号化規格では、スケーラブルビットストリームを作成することができる。意味のある復号化された表現は、スケーラブルビットストリームの特定の部分だけを復号化することによって生成することができる。スケーラブルビットストリームは、ストリーミングサーバー内の予め符合化されたユニキャストストリームの速度整合、および異なる機能および/または異なるネットワーク条件を有する端末への単一のビットストリームの伝送に使用することができる。スケーラブル映像符号化のための他の用途例は、ISO/IEC JTC1 SC29 WG11（MPEG）出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング（2005年1月、香港、中国）に見出すことができる。
スケーラブル符号化技術には、従来の階層化スケーラブル符号化技術およびファイングラニュラリティスケーラブル符号化（Fine Granularity Scalability Coding；FGS符号化）が挙げられる。これらの技術の検討は、Weiping Liの"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁（2001年3月）に見出すことができる。
スケーラブルビデオ符号化は、広範囲の処理能力を有する復号器を用いたシステムにおいて使用される多数のマルチメディアアプリケーションおよびサービスに望ましい機能である。いくつかのタイプのビデオスケーラビリティスキームでは、時間的、空間的および品質スケーラビリティを提案している。これらの提案されたタイプのものは、ベースレイヤーおよび拡張レイヤーから構成される。ベースレイヤーは、ビデオストリームの復号化に必要なデータの最小量であり、拡張レイヤーは、拡張ビデオ信号の提供に必要な追加的なデータである。
H.264/AVCに対するスケーラブル拡張の草案では、現在複数のスケーラブルレイヤーの符号化が可能である。この草案は、JVT-N020、"Scalable video coding - working draft 1"（第14回ミーティング、香港、2005年1月）に記載されており、またMPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"（香港ミーティング、2005年1月）としても知られている。複数のスケーラブルレイヤーの符号化では、ビットストリーム内でシグナリングされる変数DependencyIDを使用して、異なるスケーラブルレイヤーの符号化依存関係を示す。
スケーラブルビットストリーム（Scalable bit stream）は、少なくとも２つのスケーラビリティレイヤー（Scalability layer）、ベースレイヤー（base layer）、および１つ以上の拡張レイヤー（Enhanced layer）を含む。１つのスケーラブルビットストリームが２つ以上のスケーラビリティレイヤーを含む場合は、同じ数の復号化および再生のための別の手段を有する。各レイヤーは、代替的な復号化である。レイヤー0、ベースレイヤーは、第一の代替的な復号化である。レイヤー1、第一の拡張レイヤーは、第二の代替的な復号化である。このパターンは、以降のレイヤーを継続する。一般的に、下位レイヤーは、上位レイヤーに含まれる。例えば、レイヤー0はレイヤー1に含まれ、レイヤー1はレイヤー2に含まれる。
各レイヤーは、ファイングラニュラリティスケーラビリティ（Fine Granularity Scalability：FGS）情報、関心領域（Region-of-Interest：ROI）スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。
従来のシステムでは、ビットストリーム自体で、ファイルフォーマットで、または、伝送プロトコルを通じて、ファイングラニュラリティスケーラビリティ（FGS）情報、関心領域（ROI）スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのようなスケーラブルビットストリームの特定のレイヤーに対するスケーラビリティ情報をシグナリングすることができなかった。
ISO/IEC JTC1 SC29 WG11（MPEG）出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング（2005年1月、香港、中国） Weiping Li"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁（2001年3月） MPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"（香港ミーティング、2005年1月）
ISO/IEC JTC1 SC29 WG11（MPEG）出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング（2005年1月、香港、中国） Weiping Li"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁（2001年3月） MPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"（香港ミーティング、2005年1月）
本発明により、スケーラブルビットストリームを符号化、復号化、格納、および伝送することができ、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。本発明によって、サーバーまたはクライアントは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および前記ビットストリームの検証によるストリームの隠れレイヤーの初期値パラメータセットを分析する必要がなくなり、計算上の複雑さが減じられる。ビットストリームからレイヤー特性を分析することができないデバイスに対して、例えば、ROI情報が必要であるが利用できないときに、本発明によって、前記機能を有効にするデバイスサブユニットの包含が回避される。
本発明の１つの例示的な実施態様では、異なる符号化特性を有する複数のレイヤーを含めるようにスケーラブルデータストリームを符号化するための方法およびデバイスを開示する。前記方法は、前記スケーラブルデータストリームの１つ以上のレイヤーを生成することであって、前記レイヤーは前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられることと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることとを含む。
本発明の別の例示的な実施態様では、スケーラブルビットストリームを符合化するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリームである。前記方法は、少なくとも２つのレイヤーを含むようにスケーラブルビットストリームを生成するステップであって、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であることと、シグナリングすることであって、前記スケーラブルビットストリームにおいて、前記一組の少なくとも１つの特性が、前記少なくとも１つの特性の分析、またはデバイスが、デバイスをクラッシュさせる可能性のある、レイヤーを復号化する機能を有するかどうかを知らなくても、前記スケーラブルビットストリームのレイヤーを復号化しようとするように、前記ストリーム全体とは異なる少なくとも１つのレイヤーに対して、前記一組の少なくとも１つの特性をシグナリングすることとを含む。
本発明の別の例示的な実施態様では、スケーラブルビットストリームを分析するための方法およびデバイスを開示する。少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記一組の少なくとも１つの特性を、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルでシグナリングすることができるように、前記一組の少なくとも１つの特性を分析することを含む。
本発明の別の例示的な実施態様では、スケーラブルビットストリームを変換するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記方法は、前記スケーラブルビットストリームのベースレイヤーを含む非スケーラブルビットストリームを作成することと、前記スケーラブルビットストリームの拡張レイヤーを含む第二のスケーラブルビットストリームを作成することとを含む。
本発明の別の例示的な実施態様では、スケーラブルビットストリームを復号化するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記デバイスは、前記スケーラブルビットストリームを受信するための第一のコンポーネントと、前記スケーラブルビットストリームの少なくとも１つのレイヤーを識別して、前記少なくとも１つのレイヤーの前記一組の少なくとも１つの特性を読み取るための第二のコンポーネントと、前記復号器が、前記一組の少なくとも１つの特性に基づいて、前記少なくとも１つのレイヤーを復号化することができるかどうかを決定するための第三のコンポーネントと、第三のコンポーネントが、前記復号器が前記少なくとも１つのレイヤーを復号化できると決定した場合に、前記少なくとも１つのレイヤーを復号化するための第四のコンポーネントとを備える。
本発明の別の例示的な実施態様では、スケーラブルビットストリームを格納するための方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記スケーラブルビットストリーム内にシグナリングされていない場合に前記少なくとも１つの特性を分析することと、前記ビットストリーム内の前記少なくとも１つの特性の有無に関わらず、前記少なくとも１つの特性および前記スケーラブルビットストリームを、ファイルフォーマット仕様に基づくファイルフォーマットコンテナに格納することとを含む。
本発明の別の例示的な実施態様では、スケーラブルビットストリームの少なくとも１つのレイヤーを伝送する方法およびデバイスを開示し、少なくとも２つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも１つの特性は、ストリーム全体とは異なる少なくとも１つのレイヤーにシグナリングされ、前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、または前記スケーラブルビットストリームを含むファイルフォーマットコンテナとすることが可能である。前記デバイスは、一組の少なくとも１つの受信器に対して復号化および再生を行うための利用可能なレイヤーまたはオルタナティブに関する現在の情報を作成するための第一のコンポーネントであって、前記受信器は、それぞれの受信器グループが少なくとも１つの受信器から構成される、少なくとも１つの受信器グループに分割することが可能である第一のコンポーネントと、前記受信器または受信器グループに関するリクエストおよび/または情報に基づいて、１つの受信器または受信器グループの役目をするように、前記利用可能なレイヤーから少なくとも１つのレイヤーを復号化するための第二のコンポーネントと、前記１つの受信器または受信器グループに対する前記少なくとも１つのレイヤーの伝送および制御のための第三のコンポーネントとを備える。
従来の設計と比較して、提案された設計は、関心領域（ROI）スケーラビリティ情報、バッファ情報、ファイングラニュラリティスケーラビリティ（FGS）情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような種類のスケーラビリティ情報をさらに含むという点においてより完全なものである。
本発明の他の特徴および効果は、以下の詳細な説明から当業者には明らになるだろう。なお、詳細な説明および特定の実施例は、本発明の好適な実施態様を示すものであるが、例示として提供されたものであり、本発明を制限するものではないと理解されたい。本発明の範囲内の様々な変更および改良は、本発明の趣旨から逸脱することなく行うことが可能であり、本発明はそのような全ての変更を含む。
上述の本発明の利点および特徴は、以下の詳細な説明および添付図面を参照することにより明らかになる。
例示的な一実施態様では、本発明は、スケーラブルビットストリームのレイヤーに対して、ストリーム全体とは異なるものとすることが可能な、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性をシグナリングすることによって、上述の問題を解決する。前記一組の少なくとも１つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも１つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。
マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。ビデオ符号化は、本願明細書において本発明の例示的なアプリケーションとして記述されるが、本発明はそれによって制限されるものではない。当業者は、ビデオだけでなく全てのメディアタイプに本発明を使用することができるものと認識されよう。
図2は、本発明の例示的な実施態様における、スケーラブルビットストリーム200の各レイヤーに対する一組の少なくとも１つの特性情報のシグナリングを示す図である。スケーラブルビットストリームの各レイヤーは、レイヤーに対してシグナリングされた一組の少なくとも１つの特性情報によって特徴付けられるので、復号化または伝送するレイヤーを、一組の少なくとも１つの特性情報に基づいて選択することができる。これらの特徴付けは、ヘッダー204に格納することができる。複数のレイヤー202は、スケーラブルビットストリームの複数のレイヤーを表す。
本発明の使用のうちの第一の実施例では、スケーラブルビットストリームが符号化されて、ストリーミングサーバー内に格納される。各レイヤーの、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも１つの特性情報は、格納ファイルでシグナリングされる。利用可能なセッションを記述するとき、サーバーは、ストリーミングクライアントが、理想的なレイヤーがあり、SDP（Session Description Protocol：セッション記述プロトコル）に基づいて、ストリーミング再生のための理想的なレイヤーを選択するかどうかを判断することができるように、同じビットストリーム内の各レイヤーまたはオルタナティブに対するSDP記述を作成することができる。これは、受信器の機能に関する予備的知識がサーバーにない場合に、同じコンテンツから複数のSDP記述を作成するのに好都合であり、これらの記述をオルタナティブと呼ぶ。クライアントは、次いで、その機能に最適な記述を選択することができる。
本発明の使用のうちの第二の実施例では、第一の実施例に記述したようなストリームが、複数の端末にマルチキャストまたはブロードキャストされる。マルチキャスト/ブロードキャストサーバーは、全ての利用可能なレイヤーまたは復号化および再生オルタナティブを通知することができ、それぞれが、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットの組み合わせによって特徴付けられる。クライアントは、次いで、ブロードキャスト/マルチキャストセッションアナウンスによって、理想的なレイヤーがあり、再生に理想的なレイヤーを選択するかどうかを知ることができる。
本発明の使用のうちの第三の実施例では、ローカルな再生アプリケーションの場合、シグナリングされたストリーム全体を復号化することができなくても、依然としてストリームの一部を復号化して再生することが可能である。
図3は、本発明の例示的な一実施態様における、符号化デバイスを示す図である。符号化デバイス304は、未加工のデータストリーム302を受信する。データストリームが符合化され、１つ以上のレイヤーが符号器304のスケーラブルデータ符号器306によって生成される。これらのレイヤーは、次いでシグナリングコンポーネント308によってシグナリングされる。いくつかのレイヤーは、スケーラブルデータ符号器306によってすでにシグナリングされている場合があるので、シグナリングコンポーネントが当該の発生を確認する。符号化特性が示されたデータストリーム310は符号器304から出力されるので、受信デバイス（MMSCまたは復号器）は、データストリームのレイヤーの符号化特性を決定するために信号を読み取ることができる。
図4は、本発明の例示的な一実施態様における、変換器デバイスを示す図である。変換器デバイス404は、スケーラブルデータストリーム402を受信器406で受信する。受信器406はまた、受信したデータストリームのレイヤーに関連付けられた符号化特性インジケータを読み取る。符号化特性比較器410は、符号化特性インジケータを、復号化デバイスまたはデータストリームが送信されるネットワークの既知の特性と比較する。この比較を通して、送信先のデバイスがどのレイヤーを復号化することができるかを決定する。データストリームは、次いで、送信先のデバイスによって復号化可能なデータストリームを作成するために、データストリーム変更子412において修正される。この場合、要素410において送信先のデバイスによる復号化ができないものと決定されたデータストリームからレイヤーを除去しなければならない場合がある。修正したデータストリームは、次いでトランスミッタ414によって伝送される。修正したデータストリーム416は、受信デバイス（MMSCまたは復号器）へ宛てて変換器404から出力される。
図5は、本発明の例示的な一実施態様における、復号器を示す図である。復号化デバイス504は、符号化特性を示されたデータストリーム502を受信器504で受信する。符号化特性識別子510は、受信したデータストリームおよびそれらの対応する符号化特性内の１つ以上のレイヤーを識別する。少なくとも１つのレイヤーの符号化特性に基づいて、復号器機能検査機構512は、復号器が、そのレイヤーを復号化できるかどうかを決定する。復号化できる場合、復号化コンポーネント514は、データストリームのそのレイヤーの復号化を進めることができる。復号化できない場合、復号化コンポーネント514がレイヤーを復号化しないようにするので、復号器の潜在的なクラッシュが回避される。復号化されたデータストリーム516は、図においては、復号器504から出力されるように示されている。
ビットストリームにおけるシグナリング
レイヤー特性は、シーケンスまたはピクチャグループ（Group Of Pictures：GOP）ヘッダー、シーケンスパラメータセット、補足拡張情報（Supplemental Enhancement Information：SEI）メッセージ、ユーザーデータ、および他のシーケンスレベルの構文などを通じた、シーケンスまたはGOPでシグナリングされることが好ましい。
JSVM 1.0（JVT-N023）では、スケーラビリティ情報SEIは、ビットストリームのスケーラビリティ機能の分析において、ビットストリームエクストラクタを支援するように規定される。JSVM 1.0にあるように、SEIは、JSVM基準ソフトウェアにおいて現在のSVCを実装するには特定的過ぎる場合がある。以下のように、任意の符号化されたスライスNAL（Network Abstraction Layer：ネットワーク抽象レイヤー）への構文解析および分析を行わない、以下のシステムレベルオペレーションを可能にする、スケーラビリティ情報のための新しい構文が提案されている（サブピクチャスケーラブルレイヤーに基づいた関心領域スケーラビリティに対してのみ例外）。
- スケーラビリティ情報メタデータをファイルに書き込むファイルフォーマットコンポーザ、
- 全ての可能なスケーラブルプレゼンテーションポイントを受信器に提供するストリーミングサーバー、
- 任意の所望のスケーラブルプレゼンテーションポイントを取り出すビットストリームエクストラクタ、および
- 所望のスケーラブルプレゼンテーションポイントに対して、どのNALユニットを破棄すべきか（したがって、伝送されない）を決定するメディアアウェアネットワーク要素（例、ゲートウェイ）。
- スケーラビリティ情報メタデータをファイルに書き込むファイルフォーマットコンポーザ、
- 全ての可能なスケーラブルプレゼンテーションポイントを受信器に提供するストリーミングサーバー、
- 任意の所望のスケーラブルプレゼンテーションポイントを取り出すビットストリームエクストラクタ、および
- 所望のスケーラブルプレゼンテーションポイントに対して、どのNALユニットを破棄すべきか（したがって、伝送されない）を決定するメディアアウェアネットワーク要素（例、ゲートウェイ）。
新しい構文を表1に示し、以下に説明する。当然、当業者には、別の方法のシグナリングが可能であり、本発明が特定の方法のシグナリングに限定されないことは明らかであろう。カテゴリ（Categories：表1にCで表記）は、最大で３つのスライスデータパーティションへのスライスデータのパーティショニングを規定し、記述子（Descriptor）は、各構文要素の構文解析プロセスを規定するものである。カテゴリおよび記述子は、上述の文書"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"に公開されている。
セマンティックスは、以下のように規定される。存在するときには、このSEIメッセージがIDRアクセスユニットに現われる。メッセージのセマンティックスは、次の同じタイプのSEIメッセージまで有効である。
num_layers_minus1 plus 1は、ビットストリームによってサポートされるスケーラブルレイヤーまたはプレゼンテーションポイントの数を示す。num_layers_minus1の値は0乃至255である。
各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。
スケーラブルレイヤーに対する符号化されたピクチャのそれぞれのマッピングは、サブシーケンス情報SEIメッセージによってシグナリングすることが可能である。
fgs_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーが、ファイングラニュラリティスケーラブル（FGS）レイヤーであることを示す。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。FGSレイヤーの符号化されたスライスNALユニットは、任意のバイト配列位置において省略することができる。
NALユニットヘッダーおよびFGSスライスのスライスヘッダーの切り捨ておよび伝送では品質が改善されないため、メディアアンアウェアネットワーク要素がFGSを行うために、ビットストリームおよび/またはファイルフォーマットにおいて、NALユニットヘッダーおよびFGSスライスに対するスライスヘッダーのサイズを含むこと、および各FGSレイヤーに対する最小の有意なビットレートを必要とする場合がある。
sub_pic_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーがサブピクチャからなり、各サブピクチャがアクセスユニットの符号化されたスライスのサブセットからなることを示す。値が0であれば、スケーラブルレイヤーが全体のアクセスユニットからなることを示す。
符号化されたピクチャの各サブピクチャのスケーラブルレイヤーへのマッピングは、サブピクチャレイヤー情報SEIメッセージによってシグナリングすることが可能である。
sub_region_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーは、ビットストリーム全体によって表される領域全体のサブ領域を示す。値が0であれば、スケーラブルレイヤーがビットストリーム全体によって表される領域全体を表すことを示す。
profile_level_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在しないことを示す。
decoding_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在しないことを示す。
bitrate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在しないことを示す。
frm_rate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在しないことを示す。
frm_size_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在しないことを示す。
layer_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在しないことを示す。
init_parameter_sets_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在しないことを示す。
初期値パラメータとは、セッションの始めに伝送することができるパラメータセットのことである。
メッセージコンポーネントlayer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルのコンプライアンスを示す。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、layer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]のセマンティックスは、それぞれprofile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set2_flag、およびlevel_idcのセマンティックスと同一である。
dependency_id[ i ]およびtemporal_level[ i ]は、レイヤーIDがiであるスケーラブルレイヤーにおけるNALユニットのDependencyIdおよびTemproalLevelに等しい。
avg_bitrate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの平均ビットレートを1000ビット/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_bitrate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_bit_rateのセマンティックスと同一である。
max_bitrate[ i ]は、アクセスユニット除去時間の任意の1秒の時間ウィンドウにおける、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの最大ビットレートを1000ビット/秒で示したものである。
constant_frm_rate_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、avg_frm_rateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。
avg_frm_rate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームレートの平均フレームレートをフレーム/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_frm_rate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_frame_rateのセマンティックスと同一である。
frm_width_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大幅を示す。
frm_height_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大高さを示す。
horizontal_offset[ i ]およびverticial_offset[ i ]は、ビットストリーム全体によって表される領域全体の左上の画素に関連して、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の左上の画素の水平および垂直オフセットをそれぞれ示す。単位は、最も高い空間的分解能のスケールにおけるlumaサンプルのものである。
region_width[ i ]およびregion_height[ i ]は、最も高い空間的分解能のスケールのlumaサンプルにおいて、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の幅および高さをそれぞれ示す。
num_directly_dependent_layers[ i ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するスケーラブルレイヤーの数を示す。num_directly_dependent_layersの値は、0乃至255である。
directly_dependent_layer_id_delta[ i ][ j ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するj番目のスケーラブルレイヤーのレイヤーIDと、iとの差を示す。直接依存するスケーラブルレイヤーのレイヤーIDは、（directly_dependent_layer_id_delta + i）である。
num_init_seq_parameter_set_minus1[ i ] plus 1は、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、初期シーケンスパラメータセットの数を示す。
init_seq_parameter_set_id_delta[ i ][ j ]は、jが0である場合に、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、j番目の初期シーケンスパラメータのseq_parameter_set_idの値を示す。jが0より大きい場合、init_seq_parameter_set_id_delta[ i ][ j ]は、j番目の初期シーケンスパラメータのseq_parameter_set_idの値と、（j-1）番目の初期シーケンスパラメータのseq_parameter_set_idの値との差を示す。初期シーケンスパラメータセットは、理論的に、seq_parameter_set_idの値で昇順に順序付けられる。
スケーラブルレイヤーに対するアクセスユニットのマッピングは、サブシーケンス情報SEIメッセージを使用してシグナリングされる。サブシーケンス情報SEIメッセージにおけるsub_seq_layer_numは、現在のアクセスユニットが属するスケーラブルレイヤーのレイヤーIDを示す。
サブピクチャをスケーラブルレイヤーにマップするために、表2に示されるように新しいSEIメッセージが定義される。
このデザインは単純であるが、ピクチャパラメータセットおよびスライスの構文解析は、動作を制約したスライスグループセットにスライスが属するかどうかを識別する必要がある。別様には、レイヤーIDをシグナリングするようにサブピクチャレベルSEIをデザインすることができる。
存在するときには、このSEIメッセージは、動作を制約したスライスグループセットのSEIメッセージを含む同じSEIペイロード内に現れて、復号化順に、動作を制約したスライスグループセットの後に続く。動作を制約したスライスグループセットのSEIメッセージによって識別されるスライスグループセットを、サブピクチャレイヤー情報のSEIメッセージの関連スライスグループセットと呼ぶ。
layer_idは、関連スライスグループセット内の符号化されたスライスNALユニットが属するスケーラブルレイヤーのレイヤーIDを示す。
別の実施例では、シグナリングのサポートは、シーケンスパラメータセットおよびNALユニットヘッダーまたはスライスヘッダーを使用した以下の方法によって達成することができる。
ファイルフォーマットにおけるシグナリング
シグナリング情報は、1）シグナリングが符号化技術または規格によってサポートされていない、2）シグナリングがサポートされているが存在しない、3）ファイルフォーマット仕様によって、ファイルフォーマットコンテナに含まれるビットストリーム内のいくつかの情報を含むことができない、例えば、AVCファイルフォーマット仕様によって、メディアトラックに格納されたビットストリーム内の3種類のサブシーケンスSEIメッセージを含むことができない、という理由のうちのいずれかによってビットストリーム内に存在できない場合がある。
したがって、ファイルフォーマットで情報のシグナリングをサポートすることが重要である。実際に、情報がビットストリームで利用可能であっても、ファイルフォーマットで利用可能な情報があれば、メディア符号化フォーマットを不可知であるサーバーに対して有用である。
下記のスケーラビリティ構造は、全てのタイプのスケーラブルビデオストリームに使用可能な方法でデザインされているので、ISOベースのメディアファイルフォーマットであるとみなすことが可能である。ファイルを識別するために、ブランド'svc1'を使用して、この拡張がファイル内で使用されていることを示すことができる。
シグナリングをサポートするために、ISOファイルは、grouping_typeが'scif'であるSampleToGroupBox（トラックごと）の内のゼロまたは１つのインスタンスを含まなければならない。このSampleToGroupBoxインスタンスは、各サンプルを１つ以上のスケーラブルレイヤーにマップする。各スケーラブルレイヤーのためのスケーラビリティ情報は、グループ化タイプ'scif'のSampleGroupDescriptionBoxに含まれるサンプルグループ記述エントリ（ScalabilityInfoEntry）に格納される。スケーラビリティ情報は、レイヤーID、プロファイルおよびレベル、ビットレート、フレームレート、バッファパラメータ、および依存関係情報を含む。
また、各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。
ISOベースのメディアファイルフォーマットに対する拡張の構文は、以下のようにすることができる。ScalabilityInfoEntryは、ProfileLevelBox、BitRateBox、FrameRateBox、FrameSizeBox、RectRegionBox、BufferingBox、およびLayerDependencyBoxを含む。これらのボックスの定義を表3および4に示す。
ProfileLevelBoxはスケーラブルレイヤー表現が準拠するプロファイルおよびレベルを含み、BitRateBoxはビットレート情報を含み、FrameRateBoxはフレームレート情報を含み、FrameSizeBoxは空間的分解能情報を含み、BufferingBoxはバッファ情報を含み、LayerDependencyBoxはスケーラブルが依存するレイヤーを含む。ボックスのうちで、BufferingBoxはアブストラクトボックスであり、ISOベースのメディアファイルフォーマットから導出されるファイルフォーマットは、ビデオ符号化規格によって規定されるバッファモデルに基づいて、バッファ情報のデータ構造を定義する。特定のスケーラブルレイヤーに関して、いずれのオプションボックスも存在しない場合は、記述された情報は、最上位のスケーラブルレイヤーと同一である。
セマンティックスは、以下の通りである。layerIdは、以下の情報が記述するスケーラブルレイヤーの識別子を示す。
IsFgsLayerが1であれば、スケーラブルレイヤーがファイングラニュラリティスケーラブル（FGS）レイヤーであり、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。
IsSubsampleLayerが1であれば、スケーラブルレイヤーが、レイヤーにマップされたサンプルのサブサンプルによってのみ形成されることを示す。サブサンプルが前記レイヤーに含まれる情報は、サブサンプル情報ボックスにシグナリングされる。値が0であれば、スケーラブルレイヤーが、レイヤーにマップされるサンプルによって形成される。
profileIdcおよびlevelIdcは、プロファイルおよびレベルをそれぞれ規定し、それらによって、スケーラブルレイヤー表現のビットストリームが準拠する。
avgBitrateは、スケーラブルレイヤー表現のビットストリームの平均ビットレートをビット秒で示す。
maxBitrateは、任意の1秒の時間ウィンドウにおける、スケーラブルレイヤー表現のビットストリームの最大ビットレートをビット/秒で示したものである。
constantFrameRateは、スケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、frameRateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。
frameRateは、frames/(256秒)の単位で平均フレームレートを示す。スケーラブルレイヤープレゼンテーション内の全てのNALユニットは、計算において考慮される。以下、Cは、スケーラブルレイヤー表現におけるフレームの数である。t1は、プレゼンテーション順のスケーラブルレイヤー表現における最初のピクチャのプレゼンテーションタイムスタンプである。t2は、プレゼンテーション順のスケーラブルレイヤー表現における最後のピクチャのプレゼンテーションタイムスタンプである。t1≠t2の場合、frameRateは、frameRate＝round(C×256÷(t2−t1))で計算される。t1＝t2であれば、frameRateは0となる。値がゼロであれば、規定されていないフレームレートを示す。
frm_widthおよびfrm_heightは、lumaサンプルにおいて、スケーラブルレイヤー表現の最大幅と高さをそれぞれ示す。用語"フレーム"は、SVC符号化仕様と同様に解釈される。
horizontal_offsetおよびvertical_offsetは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される領域全体の左上の画素に関連して、スケーラブルレイヤー表現によって表される長方形の領域の左上の画素の水平および垂直オフセットをそれぞれ示す。
region_widthおよびregion_heightは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される同じスケールの領域全体のlumaサンプルにおいて、スケーラブルレイヤー表現によって表される長方形の領域の幅と高さをそれぞれ示す。
entry_countは、以下の表においてエントリの数を示す。
dependencyLayerIdは、現在のスケーラブルレイヤーが直接的または間接的に依存するスケーラブルレイヤーのlayerIdを示す。dependencyLayerIdの値は、現在のスケーラブルレイヤーのlayerIdよりも小さい。現在のスケーラブルレイヤーの表現には、dependencyLayerによって示されるスケーラブルレイヤーの存在が必要である。
サブサンプル情報ボックスの構文を表5に示す。
例示的な一実施態様では、32ビットの予約済みフィールドの内の最初の8ビットを使用して、サブサンプルが属するスケーラブルレイヤー識別子をシグナリングする、すなわち、表6に示されるように、上述の最後の構文要素が２つの構文要素に分割される。
他のファイルフォーマット内にシグナリングをサポートするために、類似した方法を適用することもできる。ISOファイルフォーマットでサポートされていれば、必然的に、MPEG-4ファイルフォーマット、AVCファイルフォーマット、および3GPPファイルフォーマットのような、導出ファイルフォーマットでサポートされる。
発明者らは、ISOベースメディアファイルフォーマットから導出した以下のSVCファイルフォーマット（AVC FF Amd.2）を開発した。
サンプルは、ISOベースメディアファイルフォーマットで以下のように定義される。
非ヒントトラックでは、サンプルは、ビデオの個々のフレーム、時間連続的な一連のビデオフレーム、または時間連続的な圧縮されたオーディオのセクションである。ヒントトラックでは、サンプルは、１つ以上のストリーミングパケットの形成を定義する。トラック内の２つのサンプルは、同じタイムスタンプを共有することができない。
スケーラブルビデオでは、特に空間的および品質スケーラビリティに対して、１つ以上のピクチャ（例、ベースレイヤーピクチャおよび空間的拡張レイヤーピクチャ）が同じタイムスタンプを共有することが可能であるので、トラック内の２つのサンプルは、同じタイムスタンプを共有することができないという上述の制約は適用されない。これらのピクチャが同じサンプル内に作成された場合は、サンプルへの構文解析が常に必要であるので、サーバーがスケーラブル切り捨てを行うには有用でない。
SVC WD 1.0では、ピクチャは、以下のように定義される。
ピクチャは、ピクチャのオーダーカウントおよびDependencyIdの同一値を有する一組のNALユニットから復号化される。対応するNALユニットは、ピクチャの全てのマクロブロックのスライスNALユニット、および場合により、追加的なプログレッシブリファインメントスライスNALユニットを含む。
上述の定義によれば、プログレッシブリファインメントスライス（すなわち、FGSスライス）は、対応するベースレイヤーと同じピクチャ内にある。FGSスライスおよび対応するベースレイヤーが同じサンプル内に作成された場合は、サンプルへの構文解析が非FGSオぺレーションに対しても必要になるので、サーバーがスケーラブル切り捨てを行うには有用でない。したがって、例示的な一実施態様では、各FGS拡張プレーンまたは対応するベースレイヤーは、それ自体のピクチャに分割される。
サブサンプルは、１つのサンプル内の１つ以上の連続的なNALユニットとして定義される。
ProfileLevelBox内の予約済みフィールドの最初の8ビットを使用して、以下のような構文になるように、プロファイル互換性情報を含める。
profile_compatibilityは、SVCビデオ仕様に定義されているように、シーケンスパラメータセット内のprofile_idcとlevel_idcとの間に生じるバイトと全く同じく定義されたバイトである。
以下のスケーラビリティ情報タイプは、SVC符号化フォーマットに特有である。
- DependencyIdおよびTemporalLevel
- 使用済みの初期値パラメータセット
- バッファ情報
- DependencyIdおよびTemporalLevel
- 使用済みの初期値パラメータセット
- バッファ情報
その情報を格納するために、いくつかの新しいボックスを定義して情報を含めることができ、また必要に応じてそれらをScalabilityInfoEntry内に配置することができる。
セマンティックスは、以下の通りである。
dependency_idおよびtemporal_levelは、SVCビデオ仕様に定義されたDependencyIdおよびTemporalLevelのスケーラブルレイヤーの値をそれぞれ示す。
numOfSequenceParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のシーケンスパラメータセットとして使用されるシーケンスパラメータセットの数を示す。
sequenceParameterSetLengthは、SVCビデオ仕様に定義されたシーケンスパラメータセットNALユニットの長さをバイトで示す。
sequenceParameterSetNALUnitは、SVCビデオ仕様に規定されているように、シーケンスパラメータセットNALユニットを含む。シーケンスパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。
numOfPictureParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のピクチャパラメータセットとして使用されるピクチャパラメータセットの数を示す。
pictureParameterSetLengthは、SVCビデオ仕様に定義されたピクチャパラメータセットNALユニットの長さをバイトで示す。
pictureParameterSetNALUnitは、SVCビデオ仕様に規定されているように、ピクチャパラメータセットNALユニットを含む。ピクチャパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。
operation_point_countは、オペレーションポイントの数を規定する。SVC HRDパラメータの値は、各オペレーションポイントに対して別々に規定される。operation_point_countの値は、0を超える値である。
tx_byte_rateは、SVC HRDの符号化されたピクチャバッファ（coded picture buffer：CPB）への入力バイトレート（バイト/秒）を示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するtx_byte_rateの値の8倍であるBitRateの値によって制約される。VCL HRDパラメータの場合、ビットレートの値は、tx_byte_rateの40/6倍である。tx_byte_rateの値は、0を超える値である。
cpb_sizeは、符号化されたピクチャバッファの要求サイズをバイトで示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するcpb_sizeの8倍であるCpbSizeの値によって制約される。VCL HRDパラメータの場合、CpbSizeの値は、cpb_sizeの40/6倍である。
dpb_sizeは、復号化されたピクチャバッファの要求サイズをバイト単位で示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、Min(16, Floor(post_dec_buf_size) / (PicWidthMbs * FrameHeightInMbs * 256 * ChromaFormatFactor)))であるmax_dec_frame_bufferingの値によって制約される。
同じオペレーションポイントのtx_byte_rate、cpb_size、およびdpb_sizeの値の内の少なくとも1組は、スケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルによって、制約セットに適合する。
init_cpb_delayは、第一のアクセスの第一のビットの復号器前のバッファにおける到着時間と、第一のアクセスユニットの復号器前のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、init_cpb_delayである符号化されたピクチャバッファ（CPB）、tr,n( 0 )からの第一のアクセスユニットの公称除去時間の値によって制約される。
init_dpb_delayは、第一の復号化されたピクチャの復号器後のバッファにおける到着時間と、第一の復号化されたピクチャの復号器後のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、クロックティック変数（tc）が1/90,000であると仮定して、SVCビデオ仕様に規定されているように、init_dpb_delayである出力順の第一の復号化されたピクチャに対するdpb_output_delayの値によって制約される。
以下、ファイルフォーマットまたはビットストリームにおけるスケーラビリティ情報の格納のためのいくつかのモチベーションを示す。
１つのスケーラブルストリームに対して数百ものトラックが存在する可能性があるので、レイヤーごとに別個のトラックを使用するのではなく、全てのレイヤーを単一のトラックに含めることが好ましい。
サンプル/ピクチャのスケーラブルレイヤーへのマッピングは、グループ化の概念である。サンプルグループのデザインは、マッピング情報およびスケーラブルレイヤーのスケーラビリティレイヤー情報をシグナリングする簡潔な方法を提供する。
多くのアプリケーションでは、スケーラブルレイヤーのスケーラビリティ情報の一部が、基本ストリーム全体または最上位のスケーラブルレイヤーと全く同じである。異なるオプションボックス内のスケーラビリティ情報を分類してシグナリングすることによって、それらの情報部分を重複して格納する必要がなくなる。加えて、ボックスを使用することは、より多くのスケーラビリティ情報が必要な場合に、新しいボックスをサンプルグループの記述エントリ内に有することによって前記情報を容易に含めることができる、という点においてフレキシブルである。
ストリーミングサーバーがプロファイルPおよびレベルLのスケーラブルストリームを格納していると仮定すると、ストリームのスケーラブルレイヤーはプロファイルP1およびレベルL1となり、L1@P1に準拠する復号器の実装要件は、L@Pに準拠する復号器よりも単純になる。サーバーが、L1@P1に準拠する復号器によってビデオコンテンツをクライアントに供給しようとしている場合、サーバーは、L1@P1に準拠するスケーラブルレイヤーが存在するかどうかを、例えば、仮定的な基準復号器を実行することによって、そのストリームをチェックしなければならず、ストリーミングサーバーに対して更なる実装および計算の複雑化を課すことになる。各スケーラブルレイヤーにシグナリングされるプロファイルおよびレベル情報を有することによって、サーバー実装をさらに簡略化した上述のアプリケーションを可能にする。
ビットレート、フレームレート、およびフレームサイズ情報は、必然的に、ビットレート、時間的および空間的スケーラビリティに必要とされる。領域情報は、N6880に必要とされるような、関心領域（ROI）スケーラビリティのサポートに有用である。
異なるスケーラブルレイヤー表現の復号化には、異なるバッファサイズおよびバッファ遅延が必要である。バッファ情報が存在することによって、スケーラブルレイヤー表現の受信器/復号器が復号化に割り当てるメモリをより少なくするか、または初期値縁を短くすることができ、これらはいずれもエンドユーザエクスペリエンスの改善に有用である。
全ての上位レイヤーが特定のスケーラブルレイヤー表現に必要ではないことは分かっているが、デフォルトではどのレイヤーが不要であるのかは分からない。レイヤー依存関係情報によって、ストリーミングサーバーは、複雑な実装を必要とするストリームの分析を行わずに、不必要な下位レイヤーを送信しないようにできる。
ファイングラニュラリティスケーラビリティを有効にする前記情報は、スケーラブルレイヤーがファイングラニュラリティスケーラブル（FGS）レイヤーであるかどうかを示し、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。
AVC（新たなSVC拡張でない）従来の符号化技術を用いて、例えば動作を制約されたスライスグループセットを使用してROIスケーラビリティを達成することができる。しかし、SVCファイルフォーマットをAVCファイルフォーマットと下位互換としなければならないという、要件（N6880の第4節）がある。この要件を満たしてROIスケーラビリティをサポートするには、ベースレイヤー（ROI領域）および拡張レイヤー（残りの領域）を同じサンプルとしなければならないので、サブサンプル情報が必要である。したがって、サブピクチャレイヤーをこのために用いることができる。
復号化依存関係情報は、スケーラブル拡張レイヤーNALユニットのNALユニットヘッダーに含まれる。いくつかのアプリケーションでは、メディアアウェアネットワーク要素または受信器に、スケーラブルレイヤーを破棄することができる情報を知らせることが望ましい。メディアアウェアネットワーク要素または受信器の不必要なNALユニットの破棄を支援するには、復号化依存関係情報とスケーラブルレイヤー識別子との間のマッピングが必要である。
スケーラブルレイヤー表現は、ストリーム全体の初期値パラメータセットの全てを使用することができないという事実から、それら全てのパラメータセットを送信すると、特に、一般的に、初期値パラメータが帯域外で確実に送信され、受信の確認応答が使用され、再送信が使用される場合があるので、伝送帯域幅を無駄にしたり、初期設定の遅延が長くなったりする場合がある。各スケーラブルレイヤー表現に対する初期値パラメータセットのシグナリングが、この問題を解決する。また、ビットストリームを分析することによって、サーバーが情報を獲得することも可能である。しかし、この場合、サーバーは、メディアアウェアであり、オンザフライでビットストリーム分析を行うことが必要である。
伝送および制御プロトコルにおけるシグナリング
ユニキャストストリーミング（例、3GPP PSS）では、サーバーは、各SDP記述が１つ以上のオルタナティブを含む複数のSDP記述を通じて、または複数のオルタナティブを含む１つのSDP記述を通じて、スケーラビリティ情報に基づいて、同じストリームに対して複数のオルタナティブを作成することができる。受信側端末は、オルタナティブのうちの一つを選択するか、またはいずれも選択しない。１つのオルタナティブを選択すると、サーバーは、どのレイヤーを伝送しなければならないかを承知する。
マルチキャスト/ブロードキャストアプリケーションでは、異なる機能の受信側端末、または１つのストリームの異なるオルタナティブが異なる受信側端末に理想的となる異なるネットワーク条件が存在する場合がある。この場合、受信器を異なるマルチキャスト/ブロードキャストグループに分割することが可能であり、各グループ内の受信器は同じオルタナティブを共有する。この方法を使用することで、各受信側端末に対する利用可能帯域幅を効率的に用いることが可能である。
全ての受信器が同じオルタナティブを共有するマルチキャスト/ブロードキャストグループの場合、ユニキャストの場合と同様に、関連するレイヤーがサーバー側から伝送される。
しかし、２つ以上のマルチキャスト/ブロードキャストグループが存在する場合、サーバーは、各受信器が加入する１つのオルタナティブサービスを選択できるように、サービスアナウンスを通じて、どのオルタナティブが使用可能であるかを示さなければならない。これは、例えば、ユニキャストの場合と同じように、SDPを使用することによって達成することが可能である。
また、１つの特定のマルチキャスト/ブロードキャストグループでは、複数のレイヤーを有する１つのオルタナティブが伝送され、一方で、受信器はレイヤーの内の１つを復号化して残りを破棄することを選択することが可能である。この方法を使用することで、送信されるストリームが少なくなるので、送信装置の利用可能帯域幅を効率的に用いることが可能である。この場合、同じマルチキャスト/ブロードキャストグループによって、サーバーは、異なる受信側端末の異なるプレファレンスを知る必要はない。しかし、それでもサーバーは、受信器がオルタナティブのうちのいずれかを復号化することができるかどうかを決定することができるように、サービスアナウンスを通じてオルタナティブ情報を示す必要がある。
上述の２つの方法を互いに適用することもできる。すなわち、複数のマルチキャスト/ブロードキャストグループを存在させることが可能である。いくつかのグループでは、全ての受信器は、同じオルタナティブを復号化することができ、他のグループでは、いくつかの受信器は、受信したビットストリームデータの一部を破棄することが可能である。組み合わせた方法を使用して、サーバー内で利用可能な帯域幅の効率と、受信器内で利用可能な帯域幅の効率との両方をグローバルに最適化することが可能である。
上述のように、本発明の範囲の実施態様は、コンピュータが実行可能な命令またはそこに格納されるデータ構造を担送または保持するためのコンピュータ可読のメディアを備えたプログラムを含む。当該のコンピュータ可読のメディアは、汎用または専用コンピュータがアクセスできるあらゆる利用可能なメディアとすることができる。一例として、当該のコンピュータ可読のメディアには、RAM、ROM、EPROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、所望のプログラムコードをコンピュータが実行可能な命令で担送または格納に使用でき、汎用または専用コンピュータがアクセスできる他のメディアが挙げられる。ネットワークまたは別の通信接続（有線、無線、または有線と無線の組み合わせ）を通じて情報がコンピュータに伝送または提供されるときに、コンピュータは厳密に、その接続をコンピュータ可読のメディアとみなす。したがって、あらゆる当該の接続は、厳密にコンピュータ可読の媒体と呼ばれる。上述のものの組み合わせも、コンピュータ可読のメディアの範囲に含まれる。コンピュータが実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能または機能グループを実行させる命令およびデータを含む。
本発明を適用することができるシステムの一実施例を図1に示す。システムは、例えば本発明に基づいて符合化されたメディアストリームを含むファイル103を含む格納メディア102を有する送信サーバー101を備える。ファイル103は、１つ以上の信号としてモバイル通信ネットワークのようなネットワーク104に伝送される。ネットワーク104にはゲートウェイ105を存在させることができ、ファイル103を受信して、例えばMMSC107の制御によって、例えばネットワークの基地局106にそれを転送する。受信器108は、信号を受信して、その信号に含まれるスケーラビリティ情報および他の何らかの情報を複合化することができる。
本発明は、ネットワーク化された環境内のコンピュータによって実行されるプログラムコードのような、コンピュータが実行可能な命令を含むプログラムによって、一実施態様において実行することが可能な、一般的な方法ステップのコンテキストで記述される。一般的に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを実行したり、あるいは特定の抽象的データ型を実現する。コンピュータが実行可能な命令、関連するデータ構造、およびプログラムモジュールは、本願明細書に記載された方法のステップを実行するためのプログラムコードの実施例を示すものである。当該の実行可能な命令または関連するデータ構造の特定のシーケンスは、当該のステップに記載された機能を実行するための対応する動作の実施例を示すものである。
本発明のソフトウェアおよびウェブ実装は、様々なデータベース検索ステップ、相関ステップ、比較ステップ、および決定ステップを達成するためのルールベースのロジックおよび他のロジックを有する、標準のプログラム技術によって達成することが可能である。また、本願明細書および請求項で使用される用語"コンポーネント"および"モジュール"は、１つ以上のラインのソフトウェアコード、および/またはハードウェア実装、および/または手動入力を受信するための機器を使用した実行を包含することを意図したものであることに留意されたい。
本発明の実施態様の上述の記述は、図解および説明のために示したものである。本発明を網羅的とする、または開示された厳密な形態に制限することを目的としたものではなく、種々の変更およびバリエーションは、上述の教示に照らして生じうるか、または本発明の実施によって得ることが可能である。これらの実施態様は、本発明のプリンシパルおよびその実用的アプリケーションを説明し、考えられる特定の用途に適したものとして、種々の実施例において、また種々の変更とともに当業者が本発明を利用できるようにするために実施例を選択し、記載したものである。例えば、本発明の実施態様の記述は、主に時間的スケーラビリティに対して示されたものである。しかし、空間的スケーラビリティ、計算スケーラビリティ、および品質（信号対雑音）スケーラビリティのような、あらゆるスケーラビリティに適用可能である。さらに、多数の伝送プロトコルは、本発明を適用することができる。伝送プロトコルのうちのいくつかの限定されない実施例には、セッション記述プロトコル（Session Description Protocol：SDP）、リアルタイムストリーミングプロトコル（Real-Time Streming Protocol：RTSP）、およびセッション開始プロトコル（Session Initilization Protocol：SIP）が挙げられる。
Claims (57)
- 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化する方法であって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（Region-of-interest：ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含む方法。 - 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
- 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
- 前記シグナリングは、少なくとも以下の表、
に基づいて形成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。 - 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
- 前記伝送プロトコルは、セッション記述プロトコル（Session Description protocol：SDP）、リアルタイムストリーミングプロトコル（Real-Time Streaming protocol：RTSP）、およびセッション開始プロトコル（Session Initialization protocol：SIP）のグループのうちの１つである、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項５に記載の方法。
- １つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する方法であって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを受信することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、さらに、
- 少なくとも１つのレイヤーの前記符号化特性を調査することと、
- 前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
- 前記復号化が可能であると決定した場合に、前記少なくとも１つのレイヤーを復号化することと、
をさらに含む方法。 - 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行され、前記調査が前記スケーラブルビットストリームを調査することを含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
- 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行され、前記調査が前記格納されたスケーラブルデータストリームを調査することを含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
- 前記シグナリングは、少なくとも以下の構文、
に基づいて形成される、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。 - 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項７に記載の方法。
- 前記伝送プロトコルは、セッション記述プロトコル（SDP）、リアルタイムストリーミングプロトコル（RTSP）、およびセッション開始プロトコル（SIP）のグループのうちの１つである、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する請求項１１に記載の方法。
- 前記シグナリングがバッファ情報を含む請求項１１に記載の方法であって、
- 復号化に割り当てられるメモリの量を決定するように前記バッファ情報を調査することと、
- 決定された量のメモリを割り当てることと、
を含む、１つの符号化特性を有する少なくとも１つのレイヤーを含むスケーラブルデータストリームを復号化する方法。 - 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
前記スケーラブルデータストリームのうちの少なくとも１つレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための第二のコンポーネントと、を備える符号器。 - 前記シグナリングが前記スケーラブルデータストリームのビットストリーム内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
- 前記シグナリングが前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
- 前記シグナリングが前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行されるように前記第二のコンポーネントが構成される、請求項14に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器。
- 前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
- 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む、第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備える復号器。 - 前記データストリームがビデオデータを含む、異なる符号化特性を有するレイヤーを含むスケーラブルデータストリームを復号化するための請求項１９に記載の復号器。
- スケーラブルデータストリームを実行するデータ構造であって、
第一の符号化特性を有する、データの第一のレイヤーであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む、第一のレイヤーと、
前記第一の符号化特性を識別する、前記第一のレイヤーに関連付けられた第一の表示と、
第二の符号化特性を有する、データの第二のレイヤーと、
前記第二の符号化特性を識別する、前記第二のレイヤーに関連付けられた第二の表示と、を含むデータ構造。 - 前記第一の表示は、前記スケーラブルデータストリームのビットストリームに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
- 前記第一の表示は、前記スケーラブルデータストリームを格納することができるファイルフォーマットに関連付けられる、請求項21に記載の、スケーラブルデータストリームを実行するデータ構造。
- 前記第一の表示は、前記スケーラブルデータストリームを伝送することができる伝送プロトコルに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
- 前記スケーラブルデータストリームはビデオデータを含む、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
- 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのプログラムであって、前記プログラムは、実行時に、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることと、を１つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。 - 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
- 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
- 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
- 前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
- 異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイスであって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための手段であって、前記少なくとも１つのレイヤーが、前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられ、前記少なくとも１つのレイヤーの前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための手段と、を含むデバイス。 - 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
- 前記シグナリングは、前記スケーラブルデータストリームのファイルフォーマットの範囲内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
- 前記シグナリングは、前記スケーラブルデータストリームの伝送プロトコル内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
- 前記データストリームは、ビデオデータを含む、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
- 復号化を容易にするための複数のレイヤーを含むスケーラブルデータストリームを変更するための変換器であって、
前記データストリームを受信して、前記データストリームのレイヤーに関連付けられた符号化特性インジケータを読み取るための第一のコンポーネントであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
どのレイヤーが送信先の復号器によって復号化可能かを決定するように、前記符号化特性インジケータを送信先の復号器の機能と比較するための第二のコンポーネントと、
前記送信先の復号器によって復号化可能とすべき前記データストリームを変更するための第三のコンポーネントと、
前記修正したデータストリームを前記送信先の復号器に伝送するための第四のコンポーネントと、を備える変換器。 - 前記第三のコンポーネントは、前記送信先の復号器による復号化が不可能である前記データストリームのレイヤーを取り除くように構成される、請求項36に記載の復号化を容易にするレイヤーを含むスケーラブルデータストリームを変更するための変換器。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項1に記載の方法。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項14に記載の符号器。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項19に記載の復号器。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項21に記載のデータ構造。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項26に記載のプログラム。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項31に記載のデバイス。
- 前記少なくとも１つのレイヤーが拡張レイヤー（Enhancement Layer）である、請求項37に記載の変換器。
- 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
前記スケーラブルデータストリームのうちの少なくとも１つを生成するための手段であって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための手段と、を含む符号器。 - 異なる符号化特性を有する複数のレイヤーを含む、復号器内のスケーラブルデータストリームを復号化するための方法であって、
前記スケーラブルデータストリームを受信するステップと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を含む方法。 - 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
前記スケーラブルデータストリームを受信するための手段と、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための手段であって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む手段と、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための手段と、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための手段と、を含む復号器。 - 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を備えたデバイスであって、
前記スケーラブルデータストリームを受信するように構成された受信器と、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るように構成された識別子であって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む識別子と、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するように構成された決定手段と、を備え、前記復号器は、前記決定手段が、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するように構成される、デバイス。 - スケーラブルデータストリームを受信器に伝送するためのシステムであって、
異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符号化するための符号器と、
異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器とを備え、
前記符号器は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングするための第二のコンポーネントと、
を備え、
前記復号器は、
前記スケーラブルデータストリームを受信するための第五のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第六のコンポーネントであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む第六のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第七のコンポーネントと、
前記第七のコンポーネントが、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するための第八のコンポーネントと、を備えるシステム。 - 復号器内のスケーラブルデータストリームを復号化するためのプログラムであって、前記データストリームは異なる符号化特性を有する複数のレイヤーを含み、前記プログラムは、実行時に、
前記スケーラブルデータストリームを受信するステップと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を１つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。 - 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのモジュールであって、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む、第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるモジュール。 - 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器のためのモジュールであって、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるモジュール。 - 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化および復号化する方法であって、
前記符号化は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、
前記復号化は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを受信することであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含むことと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーをシグナリングすることと、を含み、
前記方法は、
少なくとも１つのレイヤーの前記符号化特性を調査することと、
前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
前記復号化が可能であると決定した場合に、前記少なくとも１つのレイヤーを復号化するステップと、をさらに含む方法。 - 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器を有するデバイスであって、前記符号器は、
前記スケーラブルデータストリームのうちの少なくとも１つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも１つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む第一のコンポーネントと、
前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるデバイス。 - 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を有するデバイスであって、前記復号器は、
前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
前記スケーラブルデータストリーム内の少なくとも１つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含む第二のコンポーネントと、
前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるデバイス。 - 少なくとも１つのレイヤーを含むスケーラブルデータストリームを含む信号であって、前記少なくとも１つのレイヤーが符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含み、
前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、信号。 - 信号が記録されるキャリアであって、前記信号は、少なくとも１つのレイヤーを含むスケーラブルデータストリームを含み、前記少なくとも１つのレイヤーは、符号化特性によって特徴付けられ、前記符号化特性が、
- ファイングラニュラリティ（Fine Granularity）スケーラビリティ情報、
- 関心領域（ROI）スケーラビリティ情報、
- サブサンプルスケーラブルレイヤー情報、
- 復号化依存関係情報、および
- 初期値パラメータセット、のうちの少なくとも１つを含み、
前記特徴付けられた符号化特性を有する前記少なくとも１つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、キャリア。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US67121505P | 2005-04-13 | 2005-04-13 | |
| PCT/FI2006/050136 WO2006108917A1 (en) | 2005-04-13 | 2006-04-10 | Coding, storage and signalling of scalability information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008536420A true JP2008536420A (ja) | 2008-09-04 |
| JP2008536420A5 JP2008536420A5 (ja) | 2008-12-18 |
Family
ID=37086626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008505913A Withdrawn JP2008536420A (ja) | 2005-04-13 | 2006-04-10 | スケーラビリティ情報の符号化、格納およびシグナリング |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US8774266B2 (ja) |
| EP (1) | EP1869891A4 (ja) |
| JP (1) | JP2008536420A (ja) |
| KR (1) | KR20080006609A (ja) |
| CN (1) | CN101120593A (ja) |
| CA (1) | CA2604203A1 (ja) |
| MX (1) | MX2007012564A (ja) |
| RU (1) | RU2377736C2 (ja) |
| TW (1) | TW200704191A (ja) |
| WO (1) | WO2006108917A1 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013536623A (ja) * | 2010-07-20 | 2013-09-19 | クゥアルコム・インコーポレイテッド | ビデオデータをストリーミングするためのシーケンスデータセットを提供すること |
| WO2013150764A1 (ja) * | 2012-04-03 | 2013-10-10 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
| JP2014504118A (ja) * | 2011-01-14 | 2014-02-13 | ヴィディオ・インコーポレーテッド | 改善されたｎａｌユニットヘッダ |
| JP2014533917A (ja) * | 2011-11-25 | 2014-12-15 | サムスン エレクトロニクス カンパニー リミテッド | 復号化器のバッファ管理のための映像符号化方法及び該装置、その映像復号化方法及び該装置 |
| JP2015019307A (ja) * | 2013-07-12 | 2015-01-29 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| JP2015531570A (ja) * | 2012-10-02 | 2015-11-02 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーダの動作点のためのレイヤ識別子の向上したシグナリング |
| JP2016540415A (ja) * | 2013-10-23 | 2016-12-22 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | マルチレイヤビデオファイルフォーマットの設計 |
| JP2017153087A (ja) * | 2013-01-04 | 2017-08-31 | ソニー株式会社 | 符号化装置及び符号化方法 |
| US10419778B2 (en) | 2013-01-04 | 2019-09-17 | Sony Corporation | JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure |
Families Citing this family (170)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7068729B2 (en) | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| WO2004034589A2 (en) | 2002-10-05 | 2004-04-22 | Digital Fountain, Inc. | Systematic encoding and decoding of chain reaction codes |
| CN101834610B (zh) * | 2003-10-06 | 2013-01-30 | 数字方敦股份有限公司 | 通过通信信道接收从源发射的数据的方法和装置 |
| KR101161193B1 (ko) | 2004-05-07 | 2012-07-02 | 디지털 파운튼, 인크. | 파일 다운로드 및 스트리밍 시스템 |
| US7801383B2 (en) | 2004-05-15 | 2010-09-21 | Microsoft Corporation | Embedded scalar quantizers with arbitrary dead-zone ratios |
| KR100931912B1 (ko) * | 2005-04-13 | 2009-12-15 | 노키아 코포레이션 | 스케일러블 비디오 코딩에서 ｆｇｓ 식별 |
| WO2006125850A1 (en) * | 2005-05-24 | 2006-11-30 | Nokia Corporation | Method and apparatuses for hierarchical transmission/reception in digital broadcast |
| US8422546B2 (en) | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
| US8289370B2 (en) | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
| FR2889004B1 (fr) * | 2005-07-22 | 2007-08-24 | Canon Kk | Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite |
| KR101255226B1 (ko) | 2005-09-26 | 2013-04-16 | 한국과학기술원 | 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법 |
| US8184153B2 (en) * | 2005-09-26 | 2012-05-22 | Electronics And Telecommunications Research Institute | Method and apparatus for defining and reconstructing ROIs in scalable video coding |
| JP5550834B2 (ja) * | 2006-02-13 | 2014-07-16 | デジタル ファウンテン， インコーポレイテッド | 可変ｆｅｃオーバヘッド及び保護期間を利用したストリーミング及びバッファリング |
| US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| WO2007112384A2 (en) * | 2006-03-27 | 2007-10-04 | Vidyo, Inc. | System and method for management of scalability information in scalable video and audio coding systems using control messages |
| US8059721B2 (en) | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| US7974340B2 (en) | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
| US8130828B2 (en) | 2006-04-07 | 2012-03-06 | Microsoft Corporation | Adjusting quantization to preserve non-zero AC coefficients |
| US7995649B2 (en) | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US8503536B2 (en) | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| WO2007134196A2 (en) | 2006-05-10 | 2007-11-22 | Digital Fountain, Inc. | Code generator and decoder using hybrid codes |
| US9198084B2 (en) | 2006-05-26 | 2015-11-24 | Qualcomm Incorporated | Wireless architecture for a traditional wire-based protocol |
| US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| EP2041976A4 (en) * | 2006-07-12 | 2012-06-20 | Nokia Corp | SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES |
| US20080095228A1 (en) * | 2006-10-20 | 2008-04-24 | Nokia Corporation | System and method for providing picture output indications in video coding |
| KR101088772B1 (ko) * | 2006-10-20 | 2011-12-01 | 노키아 코포레이션 | 스케일러블 멀티미디어의 적응 경로들에 대한 포괄적 표시 |
| CN101578884B (zh) | 2007-01-08 | 2015-03-04 | 诺基亚公司 | 提供和使用译码的媒体流的互操作点的预定信令的系统和方法 |
| CN101543018B (zh) | 2007-01-12 | 2012-12-26 | 庆熙大学校产学协力团 | 网络提取层单元的分组格式、使用该格式的视频编解码算法和装置以及使用该格式进行IPv6标签交换的QoS控制算法和装置 |
| WO2008087602A1 (en) | 2007-01-18 | 2008-07-24 | Nokia Corporation | Carriage of sei messages in rtp payload format |
| US8238424B2 (en) | 2007-02-09 | 2012-08-07 | Microsoft Corporation | Complexity-based adaptive preprocessing for multiple-pass video compression |
| US8498335B2 (en) | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| US8243797B2 (en) | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| JP5686594B2 (ja) | 2007-04-12 | 2015-03-18 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | スケーラブル・ビデオ符号化のためのビデオ・ユーザビリティ情報（ｖｕｉ）用の方法及び装置 |
| WO2008125900A1 (en) * | 2007-04-13 | 2008-10-23 | Nokia Corporation | A video coder |
| US20140072058A1 (en) | 2010-03-05 | 2014-03-13 | Thomson Licensing | Coding systems |
| CN103281563B (zh) | 2007-04-18 | 2016-09-07 | 汤姆森许可贸易公司 | 解码方法 |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| KR101482642B1 (ko) * | 2007-05-16 | 2015-01-15 | 톰슨 라이센싱 | 다중-뷰 비디오 코딩(ｍｖｃ) 정보의 디코딩에 슬라이스 그룹들을 이용하기 위한 방법 및 장치 |
| US8331438B2 (en) | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
| US8078568B2 (en) * | 2007-06-25 | 2011-12-13 | Sap Ag | Properties of data elements |
| WO2009003684A1 (en) | 2007-07-02 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for storing and reading a file having a media data container and a metadata container |
| US8667144B2 (en) | 2007-07-25 | 2014-03-04 | Qualcomm Incorporated | Wireless architecture for traditional wire based protocol |
| US9237101B2 (en) | 2007-09-12 | 2016-01-12 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
| EP2037683A1 (en) * | 2007-09-17 | 2009-03-18 | Alcatel Lucent | Process for delivering to a media terminal an adapted video stream by means of an access node |
| MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| BRPI0817420A2 (pt) * | 2007-10-05 | 2013-06-18 | Thomson Licensing | mÉtodos e aparelho para incorporar informaÇço de usabilidade de vÍdeo (vui) em um sistema de codificaÇço de vÍdeo de méltiplas visualizaÇÕes (mvc) |
| KR101345287B1 (ko) | 2007-10-12 | 2013-12-27 | 삼성전자주식회사 | 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치 |
| FR2923124A1 (fr) * | 2007-10-26 | 2009-05-01 | Canon Kk | Procede et dispositif de determination de la valeur d'un delai a appliquer entre l'envoi d'un premier ensemble de donnees et l'envoi d'un second ensemble de donnees |
| US8189933B2 (en) | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
| US8811294B2 (en) | 2008-04-04 | 2014-08-19 | Qualcomm Incorporated | Apparatus and methods for establishing client-host associations within a wireless network |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| FR2932634B1 (fr) * | 2008-06-11 | 2010-08-20 | Alcatel Lucent | Procede de transmission de contenus en couches par des ensembles choisis de stations de base d'une infrastructure radio |
| US8488680B2 (en) * | 2008-07-30 | 2013-07-16 | Stmicroelectronics S.R.L. | Encoding and decoding methods and apparatus, signal and computer program product therefor |
| KR20100036156A (ko) * | 2008-09-29 | 2010-04-07 | 삼성전자주식회사 | 리치미디어 서비스를 제공하는 방법 및 장치 |
| US9398089B2 (en) | 2008-12-11 | 2016-07-19 | Qualcomm Incorporated | Dynamic resource sharing among multiple wireless devices |
| US8102849B2 (en) | 2009-02-12 | 2012-01-24 | Qualcomm, Incorporated | Association procedure to enable multiple multicast streams |
| US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
| US8514931B2 (en) * | 2009-03-20 | 2013-08-20 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method of providing scalable video coding (SVC) video content with added media content |
| WO2010110770A1 (en) * | 2009-03-25 | 2010-09-30 | Thomson Licensing | Method and apparatus for scalable content multicast over a hybrid network |
| JP5072893B2 (ja) * | 2009-03-25 | 2012-11-14 | 株式会社東芝 | 画像符号化方法および画像復号化方法 |
| US20100250764A1 (en) * | 2009-03-31 | 2010-09-30 | Nokia Corporation | Method and Apparatus for Signaling Layer Information of Scalable Media Data |
| US20100250763A1 (en) * | 2009-03-31 | 2010-09-30 | Nokia Corporation | Method and Apparatus for Transmitting Information on Operation Points |
| CN101552913B (zh) | 2009-05-12 | 2011-07-06 | 腾讯科技（深圳）有限公司 | 多路视频通讯系统及处理方法 |
| US9264248B2 (en) | 2009-07-02 | 2016-02-16 | Qualcomm Incorporated | System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment |
| CN102165776B (zh) * | 2009-07-06 | 2012-11-21 | 华为技术有限公司 | 一种可伸缩视频编码文件的传输方法、接收方法及装置 |
| FR2948249B1 (fr) * | 2009-07-20 | 2011-09-23 | Canon Kk | Procedes et dispositifs d'estimation d'un niveau d'utilisation d'un reseau de communication et d'adaptation d'un niveau d'abonnements a des groupes multipoints |
| KR101452859B1 (ko) | 2009-08-13 | 2014-10-23 | 삼성전자주식회사 | 움직임 벡터를 부호화 및 복호화하는 방법 및 장치 |
| KR20110017719A (ko) | 2009-08-14 | 2011-02-22 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| KR101282190B1 (ko) * | 2009-12-11 | 2013-07-04 | 한국전자통신연구원 | 적응형 보안 정책 기반의 스케일러블 영상 서비스 방법 및 장치 |
| US9582238B2 (en) | 2009-12-14 | 2017-02-28 | Qualcomm Incorporated | Decomposed multi-stream (DMS) techniques for video display systems |
| TWI403951B (zh) * | 2010-01-12 | 2013-08-01 | Pegatron Corp | 觸控式電子裝置 |
| CA2786812C (en) * | 2010-01-18 | 2018-03-20 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for supporting playout of content |
| US8908774B2 (en) * | 2010-02-11 | 2014-12-09 | Mediatek Inc. | Method and video receiving system for adaptively decoding embedded video bitstream |
| JP5484132B2 (ja) * | 2010-03-05 | 2014-05-07 | キヤノン株式会社 | 映像処理装置及びその制御方法 |
| US9049497B2 (en) | 2010-06-29 | 2015-06-02 | Qualcomm Incorporated | Signaling random access points for streaming video data |
| US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
| US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| TWI399083B (zh) * | 2010-07-28 | 2013-06-11 | Compal Communication Inc | 具遙控功能之無線通訊系統及其無線通訊模組 |
| US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
| FR2966679A1 (fr) * | 2010-10-25 | 2012-04-27 | France Telecom | Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome, signal et programme d'ordinateur correspondants |
| US8964783B2 (en) | 2011-01-21 | 2015-02-24 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9413803B2 (en) | 2011-01-21 | 2016-08-09 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9582239B2 (en) | 2011-01-21 | 2017-02-28 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
| US9065876B2 (en) | 2011-01-21 | 2015-06-23 | Qualcomm Incorporated | User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays |
| US10135900B2 (en) | 2011-01-21 | 2018-11-20 | Qualcomm Incorporated | User input back channel for wireless displays |
| US10108386B2 (en) | 2011-02-04 | 2018-10-23 | Qualcomm Incorporated | Content provisioning for wireless back channel |
| US8674957B2 (en) | 2011-02-04 | 2014-03-18 | Qualcomm Incorporated | User input device for wireless back channel |
| US9503771B2 (en) | 2011-02-04 | 2016-11-22 | Qualcomm Incorporated | Low latency wireless display for graphics |
| US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
| US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
| US8848804B2 (en) * | 2011-03-04 | 2014-09-30 | Vixs Systems, Inc | Video decoder with slice dependency decoding and methods for use therewith |
| AU2012225416B2 (en) * | 2011-03-10 | 2015-08-27 | Vidyo, Inc. | Signaling number of active layers in video coding |
| TWI425442B (zh) * | 2011-04-14 | 2014-02-01 | Univ Nat Central | Method of Reconstructing Three - dimensional Housing Model on Aeronautical Mapping System |
| TWI482502B (zh) * | 2011-04-19 | 2015-04-21 | Etron Technology Inc | 影像互動裝置、互動式影像操作系統、及相關互動式影像操作方法 |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
| US9525998B2 (en) | 2012-01-06 | 2016-12-20 | Qualcomm Incorporated | Wireless display with multiscreen service |
| US9648317B2 (en) | 2012-01-30 | 2017-05-09 | Qualcomm Incorporated | Method of coding video and storing video content |
| US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
| US9565431B2 (en) * | 2012-04-04 | 2017-02-07 | Qualcomm Incorporated | Low-delay video buffering in video coding |
| ES2789024T3 (es) * | 2012-04-12 | 2020-10-23 | Velos Media Int Ltd | Gestión de datos de extensión |
| KR20130116782A (ko) | 2012-04-16 | 2013-10-24 | 한국전자통신연구원 | 계층적 비디오 부호화에서의 계층정보 표현방식 |
| CA2870989C (en) * | 2012-04-23 | 2018-11-20 | Panasonic Intellectual Property Corporation Of America | Encoding method, decoding method, encoding apparatus, decoding apparatus, and encoding and decoding apparatus |
| US9762903B2 (en) * | 2012-06-01 | 2017-09-12 | Qualcomm Incorporated | External pictures in video coding |
| US9313486B2 (en) | 2012-06-20 | 2016-04-12 | Vidyo, Inc. | Hybrid video coding techniques |
| RU2612577C2 (ru) * | 2012-07-02 | 2017-03-09 | Нокиа Текнолоджиз Ой | Способ и устройство для кодирования видеоинформации |
| US9602827B2 (en) * | 2012-07-02 | 2017-03-21 | Qualcomm Incorporated | Video parameter set including an offset syntax element |
| US20140003534A1 (en) * | 2012-07-02 | 2014-01-02 | Sony Corporation | Video coding system with temporal scalability and method of operation thereof |
| CN104412598A (zh) * | 2012-07-06 | 2015-03-11 | 夏普株式会社 | 发信号通知基于子图片的假想参考解码器参数的电子设备 |
| TWI482494B (zh) * | 2012-07-09 | 2015-04-21 | Wistron Corp | 頻道資訊提示方法及系統以及電腦可讀取儲存媒體 |
| CN103546826B (zh) * | 2012-07-16 | 2017-07-21 | 上海贝尔股份有限公司 | 视频业务的传输方法和装置 |
| US9357272B2 (en) | 2012-08-03 | 2016-05-31 | Intel Corporation | Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation |
| US9491456B2 (en) * | 2012-09-24 | 2016-11-08 | Qualcomm Incorporated | Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages |
| US9432664B2 (en) * | 2012-09-28 | 2016-08-30 | Qualcomm Incorporated | Signaling layer identifiers for operation points in video coding |
| US8989508B2 (en) | 2012-09-28 | 2015-03-24 | Sharp Kabushiki Kaisha | Electronic device for signaling a sub-picture buffer parameter |
| US9936196B2 (en) | 2012-10-30 | 2018-04-03 | Qualcomm Incorporated | Target output layers in video coding |
| EP2934014A4 (en) * | 2012-12-13 | 2016-07-13 | Sony Corp | TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEIVER METHOD |
| WO2014098704A1 (en) * | 2012-12-21 | 2014-06-26 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-layer video stream decoding |
| ES2648970T3 (es) * | 2012-12-21 | 2018-01-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Codificación y decodificación de flujo de video multicapa |
| US9774927B2 (en) | 2012-12-21 | 2017-09-26 | Telefonaktiebolaget L M Ericsson (Publ) | Multi-layer video stream decoding |
| US10805605B2 (en) | 2012-12-21 | 2020-10-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Multi-layer video stream encoding and decoding |
| US9294777B2 (en) * | 2012-12-30 | 2016-03-22 | Qualcomm Incorporated | Progressive refinement with temporal scalability support in video coding |
| US9661341B2 (en) | 2013-01-07 | 2017-05-23 | Microsoft Technology Licensing, Llc | Syntax and semantics for buffering information to simplify video splicing |
| GB2509954B (en) * | 2013-01-18 | 2016-03-23 | Canon Kk | Method of displaying a region of interest in a video stream |
| GB2509953B (en) * | 2013-01-18 | 2015-05-20 | Canon Kk | Method of displaying a region of interest in a video stream |
| US9516306B2 (en) * | 2013-03-27 | 2016-12-06 | Qualcomm Incorporated | Depth coding modes signaling of depth data for 3D-HEVC |
| KR20140122191A (ko) * | 2013-04-05 | 2014-10-17 | 삼성전자주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
| US20140301463A1 (en) * | 2013-04-05 | 2014-10-09 | Nokia Corporation | Method and apparatus for video coding and decoding |
| US20140307803A1 (en) | 2013-04-08 | 2014-10-16 | Qualcomm Incorporated | Non-entropy encoded layer dependency information |
| CN105144768B (zh) | 2013-04-26 | 2019-05-21 | 英特尔Ip公司 | 频谱共享情境中的共享频谱重新分配 |
| CN108650514A (zh) * | 2013-07-14 | 2018-10-12 | 夏普株式会社 | 瓦片对齐信令和一致性约束 |
| JP6330667B2 (ja) * | 2013-08-09 | 2018-05-30 | ソニー株式会社 | 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法 |
| WO2015047162A1 (en) * | 2013-09-26 | 2015-04-02 | Telefonaktiebolaget L M Ericsson (Publ) | Hybrid codec scalable video |
| KR102246546B1 (ko) | 2013-10-12 | 2021-04-30 | 삼성전자주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
| GB2519746B (en) * | 2013-10-22 | 2016-12-14 | Canon Kk | Method, device and computer program for encapsulating scalable partitioned timed media data |
| CN112887735B (zh) * | 2014-01-03 | 2024-04-02 | 康普英国有限公司 | 用于hevc扩展处理的条件解析扩展语法 |
| US9386275B2 (en) * | 2014-01-06 | 2016-07-05 | Intel IP Corporation | Interactive video conferencing |
| CN105900401B (zh) * | 2014-01-07 | 2020-03-06 | 佳能株式会社 | 用于对层间依赖性进行编码的方法、装置和计算机程序 |
| WO2015140401A1 (en) * | 2014-03-17 | 2015-09-24 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
| CN105163120B (zh) * | 2014-06-09 | 2018-09-25 | 浙江大学 | 一种假设解码器中输入码流缓冲区的输入和输出/从缓冲区获取数据的方法及装置、传输视频码流的方法 |
| US9516220B2 (en) | 2014-10-02 | 2016-12-06 | Intel Corporation | Interactive video conferencing |
| US10021346B2 (en) | 2014-12-05 | 2018-07-10 | Intel IP Corporation | Interactive video conferencing |
| BR112017017792A2 (ja) * | 2015-02-27 | 2018-04-10 | Sony Corporation | A sending set, a transmission method, a receiving set, and a receiving method |
| GB2538997A (en) * | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | A method, an apparatus, a computer program for video coding |
| EP3416392A4 (en) | 2016-02-09 | 2019-09-18 | Sony Interactive Entertainment Inc. | VIDEO DISPLAY SYSTEM |
| US9924131B1 (en) | 2016-09-21 | 2018-03-20 | Samsung Display Co., Ltd. | System and method for automatic video scaling |
| US11979340B2 (en) | 2017-02-12 | 2024-05-07 | Mellanox Technologies, Ltd. | Direct data placement |
| WO2018186550A1 (ko) * | 2017-04-05 | 2018-10-11 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| US12058309B2 (en) | 2018-07-08 | 2024-08-06 | Mellanox Technologies, Ltd. | Application accelerator |
| US20180367589A1 (en) * | 2017-06-14 | 2018-12-20 | Mellanox Technologies, Ltd. | Regrouping of video data by a network interface controller |
| US11252464B2 (en) * | 2017-06-14 | 2022-02-15 | Mellanox Technologies, Ltd. | Regrouping of video data in host memory |
| KR20210107128A (ko) * | 2019-01-09 | 2021-08-31 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 비디오 인코더, 비디오 디코더 및 대응하는 방법 |
| CN113260488B (zh) * | 2019-02-01 | 2024-08-06 | 索尼集团公司 | 解码装置、解码方法和程序 |
| US10846551B2 (en) * | 2019-02-06 | 2020-11-24 | Apical Limited | Video data processing |
| EP3939318A1 (en) * | 2019-03-11 | 2022-01-19 | VID SCALE, Inc. | Sub-picture bitstream extraction and reposition |
| GB2587365B (en) * | 2019-09-24 | 2023-02-22 | Canon Kk | Method, device, and computer program for coding and decoding a picture |
| AU2021275492A1 (en) * | 2020-05-22 | 2022-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Subpicture-related video coding concepts |
| CN112565815B (zh) * | 2020-10-16 | 2022-05-24 | 腾讯科技（深圳）有限公司 | 文件封装方法、文件传输方法、文件解码方法及相关设备 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69128772T2 (de) | 1990-09-19 | 1998-08-06 | Philips Electronics N.V., Eindhoven | System mit einem aufzeichnungsträger und einer wiedergabevorrichtung |
| US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
| US6501797B1 (en) * | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
| US6263022B1 (en) | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
| US6639943B1 (en) | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| JP2004515132A (ja) * | 2000-11-23 | 2004-05-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化方法及び対応するエンコーダ |
| US6904035B2 (en) | 2000-11-29 | 2005-06-07 | Nokia Corporation | Mobile system, terminal and interface, as well as methods for providing backward compatibility to first and second generation mobile systems |
| MXPA04007020A (es) * | 2002-01-23 | 2004-10-11 | Nokia Corp | Agrupamiento de cuadros de imagen para codificacion de video. |
| KR100491445B1 (ko) | 2002-04-12 | 2005-05-25 | 한국과학기술원 | Ｍｐｅｇ-4 ｆｇｓ 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치 |
| US20040006575A1 (en) * | 2002-04-29 | 2004-01-08 | Visharam Mohammed Zubair | Method and apparatus for supporting advanced coding formats in media files |
| EP1500002A1 (en) | 2002-04-29 | 2005-01-26 | Sony Electronics Inc. | Supporting advanced coding formats in media files |
| WO2004008733A2 (en) * | 2002-07-15 | 2004-01-22 | Nokia Corporation | Method for error concealment in video sequences |
| ATE435567T1 (de) | 2003-08-29 | 2009-07-15 | Koninkl Philips Electronics Nv | System und verfahren zur codierung und decodierung von daten der verbesserungsebene durch verwendung deskriptiver modellparameter |
| KR20050042399A (ko) * | 2003-11-03 | 2005-05-09 | 삼성전자주식회사 | 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법 |
| EP1692872A1 (en) * | 2003-12-03 | 2006-08-23 | Koninklijke Philips Electronics N.V. | System and method for improved scalability support in mpeg-2 systems |
| US7586924B2 (en) * | 2004-02-27 | 2009-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream |
| US20050254575A1 (en) * | 2004-05-12 | 2005-11-17 | Nokia Corporation | Multiple interoperability points for scalable media coding and transmission |
| US7801220B2 (en) * | 2005-01-07 | 2010-09-21 | Microsoft Corporation | In-band wavelet video coding with spatial scalability |
-
2006
- 2006-04-10 CN CNA2006800047478A patent/CN101120593A/zh active Pending
- 2006-04-10 RU RU2007141755/09A patent/RU2377736C2/ru active
- 2006-04-10 MX MX2007012564A patent/MX2007012564A/es active IP Right Grant
- 2006-04-10 CA CA002604203A patent/CA2604203A1/en not_active Abandoned
- 2006-04-10 WO PCT/FI2006/050136 patent/WO2006108917A1/en active Application Filing
- 2006-04-10 JP JP2008505913A patent/JP2008536420A/ja not_active Withdrawn
- 2006-04-10 KR KR1020077026308A patent/KR20080006609A/ko not_active IP Right Cessation
- 2006-04-10 EP EP06725911.9A patent/EP1869891A4/en not_active Ceased
- 2006-04-11 TW TW095112758A patent/TW200704191A/zh unknown
- 2006-04-13 US US11/404,106 patent/US8774266B2/en active Active
-
2014
- 2014-06-26 US US14/315,946 patent/US9332254B2/en active Active
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015053703A (ja) * | 2010-07-20 | 2015-03-19 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオデータをストリーミングするためのシーケンスデータセットを提供すること |
| JP2013536623A (ja) * | 2010-07-20 | 2013-09-19 | クゥアルコム・インコーポレイテッド | ビデオデータをストリーミングするためのシーケンスデータセットを提供すること |
| US9253240B2 (en) | 2010-07-20 | 2016-02-02 | Qualcomm Incorporated | Providing sequence data sets for streaming video data |
| US9131033B2 (en) | 2010-07-20 | 2015-09-08 | Qualcomm Incoporated | Providing sequence data sets for streaming video data |
| JP2014504118A (ja) * | 2011-01-14 | 2014-02-13 | ヴィディオ・インコーポレーテッド | 改善されたｎａｌユニットヘッダ |
| US9560370B2 (en) | 2011-11-25 | 2017-01-31 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| US9967570B2 (en) | 2011-11-25 | 2018-05-08 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| US10499062B2 (en) | 2011-11-25 | 2019-12-03 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| JP2014533917A (ja) * | 2011-11-25 | 2014-12-15 | サムスン エレクトロニクス カンパニー リミテッド | 復号化器のバッファ管理のための映像符号化方法及び該装置、その映像復号化方法及び該装置 |
| US10218984B2 (en) | 2011-11-25 | 2019-02-26 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| US9769483B2 (en) | 2011-11-25 | 2017-09-19 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| US9699471B2 (en) | 2011-11-25 | 2017-07-04 | Samsung Electronics Co., Ltd. | Image coding method and device for buffer management of decoder, and image decoding method and device |
| US9693032B2 (en) | 2012-04-03 | 2017-06-27 | Sun Patent Trust | Image encoding method, image decoding method, image encoding device, and image decoding device |
| WO2013150764A1 (ja) * | 2012-04-03 | 2013-10-10 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
| US10027943B2 (en) | 2012-04-03 | 2018-07-17 | Sun Patent Trust | Image encoding method, image decoding method, image encoding device, and image decoding device |
| US10582183B2 (en) | 2012-04-03 | 2020-03-03 | Sun Patent Trust | Image encoding method, image decoding method, image encoding device, and image decoding device |
| JP2015531570A (ja) * | 2012-10-02 | 2015-11-02 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | ビデオコーダの動作点のためのレイヤ識別子の向上したシグナリング |
| JP2017153087A (ja) * | 2013-01-04 | 2017-08-31 | ソニー株式会社 | 符号化装置及び符号化方法 |
| US10419778B2 (en) | 2013-01-04 | 2019-09-17 | Sony Corporation | JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure |
| JP2015019307A (ja) * | 2013-07-12 | 2015-01-29 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| JP2016540415A (ja) * | 2013-10-23 | 2016-12-22 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | マルチレイヤビデオファイルフォーマットの設計 |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2007012564A (es) | 2007-11-15 |
| RU2377736C2 (ru) | 2009-12-27 |
| EP1869891A1 (en) | 2007-12-26 |
| US9332254B2 (en) | 2016-05-03 |
| US20060256851A1 (en) | 2006-11-16 |
| RU2007141755A (ru) | 2009-05-20 |
| TW200704191A (en) | 2007-01-16 |
| KR20080006609A (ko) | 2008-01-16 |
| CA2604203A1 (en) | 2006-10-19 |
| WO2006108917A1 (en) | 2006-10-19 |
| US20140307802A1 (en) | 2014-10-16 |
| EP1869891A4 (en) | 2014-06-11 |
| US8774266B2 (en) | 2014-07-08 |
| CN101120593A (zh) | 2008-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9332254B2 (en) | Coding, storage and signalling of scalability information | |
| AU2005242601B2 (en) | Multiple interoperability points for scalable media coding and transmission | |
| CN107750461B (zh) | 生成描述数据以及获得媒体数据和元数据的方法和装置 | |
| US11159802B2 (en) | Signaling and selection for the enhancement of layers in scalable video | |
| US7552227B2 (en) | Stream switching based on gradual decoder refresh | |
| US10567734B2 (en) | Processing omnidirectional media with dynamic region-wise packing | |
| CN110915221B (zh) | 发送装置、发送方法、接收装置、以及接收方法 | |
| KR102117805B1 (ko) | 전방향성 미디어 포맷을 이용한 미디어 데이터 프로세싱 | |
| US11863767B2 (en) | Transporting HEIF-formatted images over real-time transport protocol | |
| US20240163461A1 (en) | Transporting heif-formatted images over real-time transport protocol |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081028 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20110201 |