JP2008536420A - スケーラビリティ情報の符号化、格納およびシグナリング - Google Patents

スケーラビリティ情報の符号化、格納およびシグナリング Download PDF

Info

Publication number
JP2008536420A
JP2008536420A JP2008505913A JP2008505913A JP2008536420A JP 2008536420 A JP2008536420 A JP 2008536420A JP 2008505913 A JP2008505913 A JP 2008505913A JP 2008505913 A JP2008505913 A JP 2008505913A JP 2008536420 A JP2008536420 A JP 2008536420A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
layer
data stream
scalable
information
scalable data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008505913A
Other languages
English (en)
Inventor
ミスカ ハンヌクセラ
イェクィ ワン
Original Assignee
ノキア コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/4302Content synchronization processes, e.g. decoder synchronization
    • H04N21/4305Synchronizing client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets

Abstract

異なる符号化特性を有するレイヤーを含むように、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法および装置。前記方法は、スケーラブルデータストリームのうちの1つ以上のレイヤーを生成するステップであって、前記符号化特性が、ファイングラニュラリティスケーラビリティ情報、関心領域(ROI)スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのうちの少なくとも1つを含むステップと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするステップと、を含む方法である。また、スケーラブルデータストリームを符号化、復号化、格納、および伝送するための方法であって、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーが、ファイングラニュラリティスケーラビリティ情報、関心領域(ROI)スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体のものとは異なる場合があり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーに対してシグナリングされ、前記一組の少なくとも1つの特性は、スケーラブルビットストリーム、スケーラブルビットストリームを含むファイルフォーマットコンテナ、またはスケーラブルビットストリームの少なくとも1つのレイヤーを伝送または制御するための伝送または制御プロトコルとすることが可能である。
【選択図】図2

Description

本発明は、少なくとも2つのスケーラビィリティレイヤーを含むスケーラブルデータストリームのデータを符号化、復号化、格納、および伝送するための、符号器、復号器、デバイス、方法、データレコード、モジュール、コンピュータプログラム、およびシステムに関する。

マルチメディアアプリケーションには、ローカル再生、ストリーミングまたはオンデマンド、対話型、およびブロードキャスト/マルチキャストサービスが挙げられる。インターオペラビリティは、各マルチメディアアプリケーションの高速な展開および大規模な市場形成に重要である。高いインターオペラビリティを達成するために、種々の規格が規定されている。

マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。様々な技術に対して様々な規格が規定されている。ビデオの符号化規格には、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ISO/IEC MPEG-4 Visual、ITU-T H.264、またはISO/IEC MPEG-4 AVC(本書では、AVC, AVC/H.264またはH.264/AVCと略記する)、および今後考えられるものとして、ISO/IEC MPEG-21 SVC、China AVS、ITU-T H.265、およびISO/IEC MPEG 3DAVが挙げられる。

利用可能なメディアファイルフォーマット規格には、ISOファイルフォーマット(ISO/IEC 14496-12)、MPEG-4ファイルフォーマット(ISO/IEC 14496-14)、AVCファイルフォーマット(ISO/IEC 14496-15)、および3GPPファイルフォーマット(3GPP TS 26.244)が挙げられる。

3GPP TS 26.140では、3GPPシステム内でのマルチメディアメッセージサービス(Multimedia Messaging Services:MMS)のためのメディアタイプ、フォーマットおよびコーデックを規定している。3GPP TS 26.234では、3GPPシステム内でのパケット交換ストリーミングサービス(Packet-switched Streaming Sservice:PSS)のためのプロトコルおよびコーデックを規定している。進行中の3GPP TS 26.346では、3GPPシステム内でのマルチメディアブロードキャスト/マルチキャストサービス(Multimedia Broadcast/Multicast Service:MBMS)のためのプロトコルおよびコーデックを規定している。

代表的なオーディオおよびビデオの符号化規格では、"プロファイル"および"レベル"を規定している。"プロファイル"は、その規格のアルゴリズム機能のサブセットであり、"レベル"は、復号器のリソース消費に一連の制約を課す符号化パラメータに対する一連の制限である。示されたプロファイルおよびレベルを使用して、メディアストリームの特性をシグナリングし、またメディア復号器の機能をシグナリングすることができる。

プロファイルおよびレベルの組み合わせを通じて、復号器は、復号化を試みずにストリームを復号化できるかどうかを宣言することができ、これによって、復号器がストリームを復号化できない場合に、復号器のクラッシュ、リアルタイムより遅い動作、および/またはバッファのオーバーフローによるデータの破棄を生じる場合がある。プロファイルおよびレベルの各対は、"インターオペラビリティポイント"を形成する。

一部の符号化規格では、スケーラブルビットストリームを作成することができる。意味のある復号化された表現は、スケーラブルビットストリームの特定の部分だけを復号化することによって生成することができる。スケーラブルビットストリームは、ストリーミングサーバー内の予め符合化されたユニキャストストリームの速度整合、および異なる機能および/または異なるネットワーク条件を有する端末への単一のビットストリームの伝送に使用することができる。スケーラブル映像符号化のための他の用途例は、ISO/IEC JTC1 SC29 WG11(MPEG)出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング(2005年1月、香港、中国)に見出すことができる。

スケーラブル符号化技術には、従来の階層化スケーラブル符号化技術およびファイングラニュラリティスケーラブル符号化(Fine Granularity Scalability Coding;FGS符号化)が挙げられる。これらの技術の検討は、Weiping Liの"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁(2001年3月)に見出すことができる。

スケーラブルビデオ符号化は、広範囲の処理能力を有する復号器を用いたシステムにおいて使用される多数のマルチメディアアプリケーションおよびサービスに望ましい機能である。いくつかのタイプのビデオスケーラビリティスキームでは、時間的、空間的および品質スケーラビリティを提案している。これらの提案されたタイプのものは、ベースレイヤーおよび拡張レイヤーから構成される。ベースレイヤーは、ビデオストリームの復号化に必要なデータの最小量であり、拡張レイヤーは、拡張ビデオ信号の提供に必要な追加的なデータである。

H.264/AVCに対するスケーラブル拡張の草案では、現在複数のスケーラブルレイヤーの符号化が可能である。この草案は、JVT-N020、"Scalable video coding - working draft 1"(第14回ミーティング、香港、2005年1月)に記載されており、またMPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"(香港ミーティング、2005年1月)としても知られている。複数のスケーラブルレイヤーの符号化では、ビットストリーム内でシグナリングされる変数DependencyIDを使用して、異なるスケーラブルレイヤーの符号化依存関係を示す。

スケーラブルビットストリーム(Scalable bit stream)は、少なくとも2つのスケーラビリティレイヤー(Scalability layer)、ベースレイヤー(base layer)、および1つ以上の拡張レイヤー(Enhanced layer)を含む。1つのスケーラブルビットストリームが2つ以上のスケーラビリティレイヤーを含む場合は、同じ数の復号化および再生のための別の手段を有する。各レイヤーは、代替的な復号化である。レイヤー0、ベースレイヤーは、第一の代替的な復号化である。レイヤー1、第一の拡張レイヤーは、第二の代替的な復号化である。このパターンは、以降のレイヤーを継続する。一般的に、下位レイヤーは、上位レイヤーに含まれる。例えば、レイヤー0はレイヤー1に含まれ、レイヤー1はレイヤー2に含まれる。

各レイヤーは、ファイングラニュラリティスケーラビリティ(Fine Granularity Scalability:FGS)情報、関心領域(Region-of-Interest:ROI)スケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。

従来のシステムでは、ビットストリーム自体で、ファイルフォーマットで、または、伝送プロトコルを通じて、ファイングラニュラリティスケーラビリティ(FGS)情報、関心領域(ROI)スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのようなスケーラブルビットストリームの特定のレイヤーに対するスケーラビリティ情報をシグナリングすることができなかった。
ISO/IEC JTC1 SC29 WG11(MPEG)出力文書N6880、"Applications and Requirements for Scalable Video Coding"、第71回MPEGミーティング(2005年1月、香港、中国) Weiping Li"Overview of fine granularity scalability in MPEG-4 video standard"、IEEE Transactions on Circuits and Systems for Video Technology、11巻、No. 3、301-317頁(2001年3月) MPEG文書w6901、"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"(香港ミーティング、2005年1月)

本発明により、スケーラブルビットストリームを符号化、復号化、格納、および伝送することができ、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーにシグナリングされ、前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも1つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。本発明によって、サーバーまたはクライアントは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および前記ビットストリームの検証によるストリームの隠れレイヤーの初期値パラメータセットを分析する必要がなくなり、計算上の複雑さが減じられる。ビットストリームからレイヤー特性を分析することができないデバイスに対して、例えば、ROI情報が必要であるが利用できないときに、本発明によって、前記機能を有効にするデバイスサブユニットの包含が回避される。

本発明の1つの例示的な実施態様では、異なる符号化特性を有する複数のレイヤーを含めるようにスケーラブルデータストリームを符号化するための方法およびデバイスを開示する。前記方法は、前記スケーラブルデータストリームの1つ以上のレイヤーを生成することであって、前記レイヤーは前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられることと、前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることとを含む。

本発明の別の例示的な実施態様では、スケーラブルビットストリームを符合化するための方法およびデバイスを開示し、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーにシグナリングされ、前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリームである。前記方法は、少なくとも2つのレイヤーを含むようにスケーラブルビットストリームを生成するステップであって、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であることと、シグナリングすることであって、前記スケーラブルビットストリームにおいて、前記一組の少なくとも1つの特性が、前記少なくとも1つの特性の分析、またはデバイスが、デバイスをクラッシュさせる可能性のある、レイヤーを復号化する機能を有するかどうかを知らなくても、前記スケーラブルビットストリームのレイヤーを復号化しようとするように、前記ストリーム全体とは異なる少なくとも1つのレイヤーに対して、前記一組の少なくとも1つの特性をシグナリングすることとを含む。

本発明の別の例示的な実施態様では、スケーラブルビットストリームを分析するための方法およびデバイスを開示する。少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記一組の少なくとも1つの特性を、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも1つのレイヤーの伝送または制御のための伝送または制御プロトコルでシグナリングすることができるように、前記一組の少なくとも1つの特性を分析することを含む。

本発明の別の例示的な実施態様では、スケーラブルビットストリームを変換するための方法およびデバイスを開示し、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーにシグナリングされ、前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも1つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記方法は、前記スケーラブルビットストリームのベースレイヤーを含む非スケーラブルビットストリームを作成することと、前記スケーラブルビットストリームの拡張レイヤーを含む第二のスケーラブルビットストリームを作成することとを含む。

本発明の別の例示的な実施態様では、スケーラブルビットストリームを復号化するための方法およびデバイスを開示し、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーにシグナリングされ、前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも1つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。前記デバイスは、前記スケーラブルビットストリームを受信するための第一のコンポーネントと、前記スケーラブルビットストリームの少なくとも1つのレイヤーを識別して、前記少なくとも1つのレイヤーの前記一組の少なくとも1つの特性を読み取るための第二のコンポーネントと、前記復号器が、前記一組の少なくとも1つの特性に基づいて、前記少なくとも1つのレイヤーを復号化することができるかどうかを決定するための第三のコンポーネントと、第三のコンポーネントが、前記復号器が前記少なくとも1つのレイヤーを復号化できると決定した場合に、前記少なくとも1つのレイヤーを復号化するための第四のコンポーネントとを備える。

本発明の別の例示的な実施態様では、スケーラブルビットストリームを格納するための方法およびデバイスを開示し、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能である。前記方法は、前記スケーラブルビットストリーム内にシグナリングされていない場合に前記少なくとも1つの特性を分析することと、前記ビットストリーム内の前記少なくとも1つの特性の有無に関わらず、前記少なくとも1つの特性および前記スケーラブルビットストリームを、ファイルフォーマット仕様に基づくファイルフォーマットコンテナに格納することとを含む。

本発明の別の例示的な実施態様では、スケーラブルビットストリームの少なくとも1つのレイヤーを伝送する方法およびデバイスを開示し、少なくとも2つのスケーラビリティレイヤーが存在し、各レイヤーは、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性によって特徴付けられ、ストリーム全体とは異なるものとすることが可能であり、前記一組の少なくとも1つの特性は、ストリーム全体とは異なる少なくとも1つのレイヤーにシグナリングされ、前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリーム、または前記スケーラブルビットストリームを含むファイルフォーマットコンテナとすることが可能である。前記デバイスは、一組の少なくとも1つの受信器に対して復号化および再生を行うための利用可能なレイヤーまたはオルタナティブに関する現在の情報を作成するための第一のコンポーネントであって、前記受信器は、それぞれの受信器グループが少なくとも1つの受信器から構成される、少なくとも1つの受信器グループに分割することが可能である第一のコンポーネントと、前記受信器または受信器グループに関するリクエストおよび/または情報に基づいて、1つの受信器または受信器グループの役目をするように、前記利用可能なレイヤーから少なくとも1つのレイヤーを復号化するための第二のコンポーネントと、前記1つの受信器または受信器グループに対する前記少なくとも1つのレイヤーの伝送および制御のための第三のコンポーネントとを備える。

従来の設計と比較して、提案された設計は、関心領域(ROI)スケーラビリティ情報、バッファ情報、ファイングラニュラリティスケーラビリティ(FGS)情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような種類のスケーラビリティ情報をさらに含むという点においてより完全なものである。

本発明の他の特徴および効果は、以下の詳細な説明から当業者には明らになるだろう。なお、詳細な説明および特定の実施例は、本発明の好適な実施態様を示すものであるが、例示として提供されたものであり、本発明を制限するものではないと理解されたい。本発明の範囲内の様々な変更および改良は、本発明の趣旨から逸脱することなく行うことが可能であり、本発明はそのような全ての変更を含む。

上述の本発明の利点および特徴は、以下の詳細な説明および添付図面を参照することにより明らかになる。

好適な実施形態の詳細な説明

例示的な一実施態様では、本発明は、スケーラブルビットストリームのレイヤーに対して、ストリーム全体とは異なるものとすることが可能な、FGS情報、ROIスケーラビリティ情報、サブサンプルスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性をシグナリングすることによって、上述の問題を解決する。前記一組の少なくとも1つの特性のシグナリングは、前記スケーラブルビットストリーム、前記スケーラブルビットストリームを含むファイルフォーマットコンテナ、または前記スケーラブルビットストリームの少なくとも1つのレイヤーの伝送または制御のための伝送または制御プロトコルとすることが可能である。

マルチメディアアプリケーションに関連する技術には、とりわけ、メディア符号化、格納、および伝送が挙げられる。メディアの種類には、音声、オーディオ、画像、ビデオ、グラフィックス、およびタイムテキストが挙げられる。ビデオ符号化は、本願明細書において本発明の例示的なアプリケーションとして記述されるが、本発明はそれによって制限されるものではない。当業者は、ビデオだけでなく全てのメディアタイプに本発明を使用することができるものと認識されよう。

図2は、本発明の例示的な実施態様における、スケーラブルビットストリーム200の各レイヤーに対する一組の少なくとも1つの特性情報のシグナリングを示す図である。スケーラブルビットストリームの各レイヤーは、レイヤーに対してシグナリングされた一組の少なくとも1つの特性情報によって特徴付けられるので、復号化または伝送するレイヤーを、一組の少なくとも1つの特性情報に基づいて選択することができる。これらの特徴付けは、ヘッダー204に格納することができる。複数のレイヤー202は、スケーラブルビットストリームの複数のレイヤーを表す。

本発明の使用のうちの第一の実施例では、スケーラブルビットストリームが符号化されて、ストリーミングサーバー内に格納される。各レイヤーの、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットのような一組の少なくとも1つの特性情報は、格納ファイルでシグナリングされる。利用可能なセッションを記述するとき、サーバーは、ストリーミングクライアントが、理想的なレイヤーがあり、SDP(Session Description Protocol:セッション記述プロトコル)に基づいて、ストリーミング再生のための理想的なレイヤーを選択するかどうかを判断することができるように、同じビットストリーム内の各レイヤーまたはオルタナティブに対するSDP記述を作成することができる。これは、受信器の機能に関する予備的知識がサーバーにない場合に、同じコンテンツから複数のSDP記述を作成するのに好都合であり、これらの記述をオルタナティブと呼ぶ。クライアントは、次いで、その機能に最適な記述を選択することができる。

本発明の使用のうちの第二の実施例では、第一の実施例に記述したようなストリームが、複数の端末にマルチキャストまたはブロードキャストされる。マルチキャスト/ブロードキャストサーバーは、全ての利用可能なレイヤーまたは復号化および再生オルタナティブを通知することができ、それぞれが、ファイングラニュラリティスケーラビリティ情報、関心領域スケーラビリティ情報、サブサンプルまたはサブピクチャスケーラブルレイヤー情報、復号化依存関係情報、および初期値パラメータセットの組み合わせによって特徴付けられる。クライアントは、次いで、ブロードキャスト/マルチキャストセッションアナウンスによって、理想的なレイヤーがあり、再生に理想的なレイヤーを選択するかどうかを知ることができる。

本発明の使用のうちの第三の実施例では、ローカルな再生アプリケーションの場合、シグナリングされたストリーム全体を復号化することができなくても、依然としてストリームの一部を復号化して再生することが可能である。

図3は、本発明の例示的な一実施態様における、符号化デバイスを示す図である。符号化デバイス304は、未加工のデータストリーム302を受信する。データストリームが符合化され、1つ以上のレイヤーが符号器304のスケーラブルデータ符号器306によって生成される。これらのレイヤーは、次いでシグナリングコンポーネント308によってシグナリングされる。いくつかのレイヤーは、スケーラブルデータ符号器306によってすでにシグナリングされている場合があるので、シグナリングコンポーネントが当該の発生を確認する。符号化特性が示されたデータストリーム310は符号器304から出力されるので、受信デバイス(MMSCまたは復号器)は、データストリームのレイヤーの符号化特性を決定するために信号を読み取ることができる。

図4は、本発明の例示的な一実施態様における、変換器デバイスを示す図である。変換器デバイス404は、スケーラブルデータストリーム402を受信器406で受信する。受信器406はまた、受信したデータストリームのレイヤーに関連付けられた符号化特性インジケータを読み取る。符号化特性比較器410は、符号化特性インジケータを、復号化デバイスまたはデータストリームが送信されるネットワークの既知の特性と比較する。この比較を通して、送信先のデバイスがどのレイヤーを復号化することができるかを決定する。データストリームは、次いで、送信先のデバイスによって復号化可能なデータストリームを作成するために、データストリーム変更子412において修正される。この場合、要素410において送信先のデバイスによる復号化ができないものと決定されたデータストリームからレイヤーを除去しなければならない場合がある。修正したデータストリームは、次いでトランスミッタ414によって伝送される。修正したデータストリーム416は、受信デバイス(MMSCまたは復号器)へ宛てて変換器404から出力される。

図5は、本発明の例示的な一実施態様における、復号器を示す図である。復号化デバイス504は、符号化特性を示されたデータストリーム502を受信器504で受信する。符号化特性識別子510は、受信したデータストリームおよびそれらの対応する符号化特性内の1つ以上のレイヤーを識別する。少なくとも1つのレイヤーの符号化特性に基づいて、復号器機能検査機構512は、復号器が、そのレイヤーを復号化できるかどうかを決定する。復号化できる場合、復号化コンポーネント514は、データストリームのそのレイヤーの復号化を進めることができる。復号化できない場合、復号化コンポーネント514がレイヤーを復号化しないようにするので、復号器の潜在的なクラッシュが回避される。復号化されたデータストリーム516は、図においては、復号器504から出力されるように示されている。

ビットストリームにおけるシグナリング

レイヤー特性は、シーケンスまたはピクチャグループ(Group Of Pictures:GOP)ヘッダー、シーケンスパラメータセット、補足拡張情報(Supplemental Enhancement Information:SEI)メッセージ、ユーザーデータ、および他のシーケンスレベルの構文などを通じた、シーケンスまたはGOPでシグナリングされることが好ましい。

JSVM 1.0(JVT-N023)では、スケーラビリティ情報SEIは、ビットストリームのスケーラビリティ機能の分析において、ビットストリームエクストラクタを支援するように規定される。JSVM 1.0にあるように、SEIは、JSVM基準ソフトウェアにおいて現在のSVCを実装するには特定的過ぎる場合がある。以下のように、任意の符号化されたスライスNAL(Network Abstraction Layer:ネットワーク抽象レイヤー)への構文解析および分析を行わない、以下のシステムレベルオペレーションを可能にする、スケーラビリティ情報のための新しい構文が提案されている(サブピクチャスケーラブルレイヤーに基づいた関心領域スケーラビリティに対してのみ例外)。
- スケーラビリティ情報メタデータをファイルに書き込むファイルフォーマットコンポーザ、
- 全ての可能なスケーラブルプレゼンテーションポイントを受信器に提供するストリーミングサーバー、
- 任意の所望のスケーラブルプレゼンテーションポイントを取り出すビットストリームエクストラクタ、および
- 所望のスケーラブルプレゼンテーションポイントに対して、どのNALユニットを破棄すべきか(したがって、伝送されない)を決定するメディアアウェアネットワーク要素(例、ゲートウェイ)。

新しい構文を表1に示し、以下に説明する。当然、当業者には、別の方法のシグナリングが可能であり、本発明が特定の方法のシグナリングに限定されないことは明らかであろう。カテゴリ(Categories:表1にCで表記)は、最大で3つのスライスデータパーティションへのスライスデータのパーティショニングを規定し、記述子(Descriptor)は、各構文要素の構文解析プロセスを規定するものである。カテゴリおよび記述子は、上述の文書"Working Draft 1.0 of 14496-10: 200x/AMD1 Scalable Video Coding"に公開されている。

セマンティックスは、以下のように規定される。存在するときには、このSEIメッセージがIDRアクセスユニットに現われる。メッセージのセマンティックスは、次の同じタイプのSEIメッセージまで有効である。

num_layers_minus1 plus 1は、ビットストリームによってサポートされるスケーラブルレイヤーまたはプレゼンテーションポイントの数を示す。num_layers_minus1の値は0乃至255である。

各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。

スケーラブルレイヤーに対する符号化されたピクチャのそれぞれのマッピングは、サブシーケンス情報SEIメッセージによってシグナリングすることが可能である。

fgs_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーが、ファイングラニュラリティスケーラブル(FGS)レイヤーであることを示す。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。FGSレイヤーの符号化されたスライスNALユニットは、任意のバイト配列位置において省略することができる。

NALユニットヘッダーおよびFGSスライスのスライスヘッダーの切り捨ておよび伝送では品質が改善されないため、メディアアンアウェアネットワーク要素がFGSを行うために、ビットストリームおよび/またはファイルフォーマットにおいて、NALユニットヘッダーおよびFGSスライスに対するスライスヘッダーのサイズを含むこと、および各FGSレイヤーに対する最小の有意なビットレートを必要とする場合がある。

sub_pic_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーがサブピクチャからなり、各サブピクチャがアクセスユニットの符号化されたスライスのサブセットからなることを示す。値が0であれば、スケーラブルレイヤーが全体のアクセスユニットからなることを示す。

符号化されたピクチャの各サブピクチャのスケーラブルレイヤーへのマッピングは、サブピクチャレイヤー情報SEIメッセージによってシグナリングすることが可能である。

sub_region_layer_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーは、ビットストリーム全体によって表される領域全体のサブ領域を示す。値が0であれば、スケーラブルレイヤーがビットストリーム全体によって表される領域全体を表すことを示す。

profile_level_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するプロファイルおよびレベル情報が、SEIメッセージ内に存在しないことを示す。

decoding_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する復号化依存関係情報が、SEIメッセージ内に存在しないことを示す。

bitrate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するビットレート情報が、SEIメッセージ内に存在しないことを示す。

frm_rate_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームレート情報が、SEIメッセージ内に存在しないことを示す。

frm_size_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するフレームサイズ情報が、SEIメッセージ内に存在しないことを示す。

layer_dependency_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対するレイヤー依存関係情報が、SEIメッセージ内に存在しないことを示す。

init_parameter_sets_info_present_flag[ i ]が1であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在することを示す。値が0であれば、レイヤーIDがiであるスケーラブルレイヤーに対する初期値パラメータセット情報が、SEIメッセージ内に存在しないことを示す。

初期値パラメータとは、セッションの始めに伝送することができるパラメータセットのことである。

メッセージコンポーネントlayer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルのコンプライアンスを示す。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、layer_profile_idc[ i ]、layer_constraint_set0_flag[ i ]、layer_constraint_set1_flag[ i ]、layer_constraint_set2_flag[ i ]、layer_constraint_set3_flag[ i ]、およびlayer_level_idc[ i ]のセマンティックスは、それぞれprofile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set2_flag、およびlevel_idcのセマンティックスと同一である。

dependency_id[ i ]およびtemporal_level[ i ]は、レイヤーIDがiであるスケーラブルレイヤーにおけるNALユニットのDependencyIdおよびTemproalLevelに等しい。

avg_bitrate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの平均ビットレートを1000ビット/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_bitrate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_bit_rateのセマンティックスと同一である。

max_bitrate[ i ]は、アクセスユニット除去時間の任意の1秒の時間ウィンドウにおける、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームの最大ビットレートを1000ビット/秒で示したものである。

constant_frm_rate_idc[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、avg_frm_rateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。

avg_frm_rate[ i ]は、レイヤーIDがiであるスケーラブルレイヤー表現のビットストリームレートの平均フレームレートをフレーム/秒で示したものである。本願明細書においてターゲットのビットストリームがスケーラブルレイヤー表現のビットストリームである場合を除いて、accurate_statistics_flagが1であれば、avg_frm_rate[ i ]のセマンティックスは、サブシーケンスレイヤー特性SEIメッセージ内のaverage_frame_rateのセマンティックスと同一である。

frm_width_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大幅を示す。

frm_height_in_mbs_minus1[ i ] plus 1は、マクロブロックにおいて、レイヤーIDがiであるスケーラブルレイヤー表現内の符号化されたフレームの最大高さを示す。

horizontal_offset[ i ]およびverticial_offset[ i ]は、ビットストリーム全体によって表される領域全体の左上の画素に関連して、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の左上の画素の水平および垂直オフセットをそれぞれ示す。単位は、最も高い空間的分解能のスケールにおけるlumaサンプルのものである。

region_width[ i ]およびregion_height[ i ]は、最も高い空間的分解能のスケールのlumaサンプルにおいて、レイヤーIDがiであるスケーラブルレイヤー表現によって表される長方形領域の幅および高さをそれぞれ示す。

num_directly_dependent_layers[ i ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するスケーラブルレイヤーの数を示す。num_directly_dependent_layersの値は、0乃至255である。

directly_dependent_layer_id_delta[ i ][ j ]は、レイヤーIDがiであるスケーラブルレイヤーが直接依存するj番目のスケーラブルレイヤーのレイヤーIDと、iとの差を示す。直接依存するスケーラブルレイヤーのレイヤーIDは、(directly_dependent_layer_id_delta + i)である。

num_init_seq_parameter_set_minus1[ i ] plus 1は、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、初期シーケンスパラメータセットの数を示す。

init_seq_parameter_set_id_delta[ i ][ j ]は、jが0である場合に、レイヤーIDがiであるスケーラブルレイヤー表現を復号化するための、j番目の初期シーケンスパラメータのseq_parameter_set_idの値を示す。jが0より大きい場合、init_seq_parameter_set_id_delta[ i ][ j ]は、j番目の初期シーケンスパラメータのseq_parameter_set_idの値と、(j-1)番目の初期シーケンスパラメータのseq_parameter_set_idの値との差を示す。初期シーケンスパラメータセットは、理論的に、seq_parameter_set_idの値で昇順に順序付けられる。

スケーラブルレイヤーに対するアクセスユニットのマッピングは、サブシーケンス情報SEIメッセージを使用してシグナリングされる。サブシーケンス情報SEIメッセージにおけるsub_seq_layer_numは、現在のアクセスユニットが属するスケーラブルレイヤーのレイヤーIDを示す。

サブピクチャをスケーラブルレイヤーにマップするために、表2に示されるように新しいSEIメッセージが定義される。

このデザインは単純であるが、ピクチャパラメータセットおよびスライスの構文解析は、動作を制約したスライスグループセットにスライスが属するかどうかを識別する必要がある。別様には、レイヤーIDをシグナリングするようにサブピクチャレベルSEIをデザインすることができる。

存在するときには、このSEIメッセージは、動作を制約したスライスグループセットのSEIメッセージを含む同じSEIペイロード内に現れて、復号化順に、動作を制約したスライスグループセットの後に続く。動作を制約したスライスグループセットのSEIメッセージによって識別されるスライスグループセットを、サブピクチャレイヤー情報のSEIメッセージの関連スライスグループセットと呼ぶ。

layer_idは、関連スライスグループセット内の符号化されたスライスNALユニットが属するスケーラブルレイヤーのレイヤーIDを示す。

別の実施例では、シグナリングのサポートは、シーケンスパラメータセットおよびNALユニットヘッダーまたはスライスヘッダーを使用した以下の方法によって達成することができる。

ファイルフォーマットにおけるシグナリング

シグナリング情報は、1)シグナリングが符号化技術または規格によってサポートされていない、2)シグナリングがサポートされているが存在しない、3)ファイルフォーマット仕様によって、ファイルフォーマットコンテナに含まれるビットストリーム内のいくつかの情報を含むことができない、例えば、AVCファイルフォーマット仕様によって、メディアトラックに格納されたビットストリーム内の3種類のサブシーケンスSEIメッセージを含むことができない、という理由のうちのいずれかによってビットストリーム内に存在できない場合がある。

したがって、ファイルフォーマットで情報のシグナリングをサポートすることが重要である。実際に、情報がビットストリームで利用可能であっても、ファイルフォーマットで利用可能な情報があれば、メディア符号化フォーマットを不可知であるサーバーに対して有用である。

下記のスケーラビリティ構造は、全てのタイプのスケーラブルビデオストリームに使用可能な方法でデザインされているので、ISOベースのメディアファイルフォーマットであるとみなすことが可能である。ファイルを識別するために、ブランド'svc1'を使用して、この拡張がファイル内で使用されていることを示すことができる。

シグナリングをサポートするために、ISOファイルは、grouping_typeが'scif'であるSampleToGroupBox(トラックごと)の内のゼロまたは1つのインスタンスを含まなければならない。このSampleToGroupBoxインスタンスは、各サンプルを1つ以上のスケーラブルレイヤーにマップする。各スケーラブルレイヤーのためのスケーラビリティ情報は、グループ化タイプ'scif'のSampleGroupDescriptionBoxに含まれるサンプルグループ記述エントリ(ScalabilityInfoEntry)に格納される。スケーラビリティ情報は、レイヤーID、プロファイルおよびレベル、ビットレート、フレームレート、バッファパラメータ、および依存関係情報を含む。

また、各スケーラブルレイヤーは、レイヤーIDに関連付けられる。レイヤーIDは、以下のように割り当てられる。レイヤーIDが大きくなるほど上位レイヤーを示す。値が0であれば、最下位レイヤーを示す。レイヤーの復号化およびプレゼンテーションは、任意の上位レイヤーに依存せずに、下位レイヤーに依存することが可能である。したがって、レイヤー1の復号化およびプレゼンテーションを、レイヤー0に依存することが可能であり、レイヤー2の復号化およびプレゼンテーションを、レイヤー0および1に依存することが可能である、などのように最下位レイヤーを単独で復号化して示すことができる。スケーラブルレイヤー表現には、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーの存在が必要である。以下、スケーラブルレイヤー自体、およびスケーラブルレイヤーが直接的または間接的に依存する全ての下位レイヤーを、集合的にスケーラブルレイヤー表現と呼ぶ。

ISOベースのメディアファイルフォーマットに対する拡張の構文は、以下のようにすることができる。ScalabilityInfoEntryは、ProfileLevelBox、BitRateBox、FrameRateBox、FrameSizeBox、RectRegionBox、BufferingBox、およびLayerDependencyBoxを含む。これらのボックスの定義を表3および4に示す。

ProfileLevelBoxはスケーラブルレイヤー表現が準拠するプロファイルおよびレベルを含み、BitRateBoxはビットレート情報を含み、FrameRateBoxはフレームレート情報を含み、FrameSizeBoxは空間的分解能情報を含み、BufferingBoxはバッファ情報を含み、LayerDependencyBoxはスケーラブルが依存するレイヤーを含む。ボックスのうちで、BufferingBoxはアブストラクトボックスであり、ISOベースのメディアファイルフォーマットから導出されるファイルフォーマットは、ビデオ符号化規格によって規定されるバッファモデルに基づいて、バッファ情報のデータ構造を定義する。特定のスケーラブルレイヤーに関して、いずれのオプションボックスも存在しない場合は、記述された情報は、最上位のスケーラブルレイヤーと同一である。

セマンティックスは、以下の通りである。layerIdは、以下の情報が記述するスケーラブルレイヤーの識別子を示す。

IsFgsLayerが1であれば、スケーラブルレイヤーがファイングラニュラリティスケーラブル(FGS)レイヤーであり、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。値が0であれば、スケーラブルレイヤーがFGSレイヤーではないことを示す。

IsSubsampleLayerが1であれば、スケーラブルレイヤーが、レイヤーにマップされたサンプルのサブサンプルによってのみ形成されることを示す。サブサンプルが前記レイヤーに含まれる情報は、サブサンプル情報ボックスにシグナリングされる。値が0であれば、スケーラブルレイヤーが、レイヤーにマップされるサンプルによって形成される。

profileIdcおよびlevelIdcは、プロファイルおよびレベルをそれぞれ規定し、それらによって、スケーラブルレイヤー表現のビットストリームが準拠する。

avgBitrateは、スケーラブルレイヤー表現のビットストリームの平均ビットレートをビット秒で示す。

maxBitrateは、任意の1秒の時間ウィンドウにおける、スケーラブルレイヤー表現のビットストリームの最大ビットレートをビット/秒で示したものである。

constantFrameRateは、スケーラブルレイヤー表現のフレームレートがコンスタントであるかどうかを示す。以下に規定されるように、スケーラブルレイヤー表現の時間的セクションが計算に使用されるものはどれでも、frameRateの値がコンスタントであれば、フレームレートはコンスタントであり、そうでない場合、フレームレートは非コンスタントである。値が0であれば非コンスタントなフレームレートを示し、値が1であればコンスタントなフレームレートを示し、値が2であればフレームレートがコンスタントであるかどうかが明らかではないことを示す。constantFrameRateの値は、0乃至2である。

frameRateは、frames/(256秒)の単位で平均フレームレートを示す。スケーラブルレイヤープレゼンテーション内の全てのNALユニットは、計算において考慮される。以下、Cは、スケーラブルレイヤー表現におけるフレームの数である。t1は、プレゼンテーション順のスケーラブルレイヤー表現における最初のピクチャのプレゼンテーションタイムスタンプである。t2は、プレゼンテーション順のスケーラブルレイヤー表現における最後のピクチャのプレゼンテーションタイムスタンプである。t1≠t2の場合、frameRateは、frameRate=round(C×256÷(t2−t1))で計算される。t1=t2であれば、frameRateは0となる。値がゼロであれば、規定されていないフレームレートを示す。

frm_widthおよびfrm_heightは、lumaサンプルにおいて、スケーラブルレイヤー表現の最大幅と高さをそれぞれ示す。用語"フレーム"は、SVC符号化仕様と同様に解釈される。

horizontal_offsetおよびvertical_offsetは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される領域全体の左上の画素に関連して、スケーラブルレイヤー表現によって表される長方形の領域の左上の画素の水平および垂直オフセットをそれぞれ示す。

region_widthおよびregion_heightは、lumaサンプルにおいて、最上位のスケーラブルレイヤー表現によって表される同じスケールの領域全体のlumaサンプルにおいて、スケーラブルレイヤー表現によって表される長方形の領域の幅と高さをそれぞれ示す。

entry_countは、以下の表においてエントリの数を示す。

dependencyLayerIdは、現在のスケーラブルレイヤーが直接的または間接的に依存するスケーラブルレイヤーのlayerIdを示す。dependencyLayerIdの値は、現在のスケーラブルレイヤーのlayerIdよりも小さい。現在のスケーラブルレイヤーの表現には、dependencyLayerによって示されるスケーラブルレイヤーの存在が必要である。

サブサンプル情報ボックスの構文を表5に示す。

例示的な一実施態様では、32ビットの予約済みフィールドの内の最初の8ビットを使用して、サブサンプルが属するスケーラブルレイヤー識別子をシグナリングする、すなわち、表6に示されるように、上述の最後の構文要素が2つの構文要素に分割される。

他のファイルフォーマット内にシグナリングをサポートするために、類似した方法を適用することもできる。ISOファイルフォーマットでサポートされていれば、必然的に、MPEG-4ファイルフォーマット、AVCファイルフォーマット、および3GPPファイルフォーマットのような、導出ファイルフォーマットでサポートされる。

発明者らは、ISOベースメディアファイルフォーマットから導出した以下のSVCファイルフォーマット(AVC FF Amd.2)を開発した。

サンプルは、ISOベースメディアファイルフォーマットで以下のように定義される。

非ヒントトラックでは、サンプルは、ビデオの個々のフレーム、時間連続的な一連のビデオフレーム、または時間連続的な圧縮されたオーディオのセクションである。ヒントトラックでは、サンプルは、1つ以上のストリーミングパケットの形成を定義する。トラック内の2つのサンプルは、同じタイムスタンプを共有することができない。

スケーラブルビデオでは、特に空間的および品質スケーラビリティに対して、1つ以上のピクチャ(例、ベースレイヤーピクチャおよび空間的拡張レイヤーピクチャ)が同じタイムスタンプを共有することが可能であるので、トラック内の2つのサンプルは、同じタイムスタンプを共有することができないという上述の制約は適用されない。これらのピクチャが同じサンプル内に作成された場合は、サンプルへの構文解析が常に必要であるので、サーバーがスケーラブル切り捨てを行うには有用でない。

SVC WD 1.0では、ピクチャは、以下のように定義される。

ピクチャは、ピクチャのオーダーカウントおよびDependencyIdの同一値を有する一組のNALユニットから復号化される。対応するNALユニットは、ピクチャの全てのマクロブロックのスライスNALユニット、および場合により、追加的なプログレッシブリファインメントスライスNALユニットを含む。

上述の定義によれば、プログレッシブリファインメントスライス(すなわち、FGSスライス)は、対応するベースレイヤーと同じピクチャ内にある。FGSスライスおよび対応するベースレイヤーが同じサンプル内に作成された場合は、サンプルへの構文解析が非FGSオぺレーションに対しても必要になるので、サーバーがスケーラブル切り捨てを行うには有用でない。したがって、例示的な一実施態様では、各FGS拡張プレーンまたは対応するベースレイヤーは、それ自体のピクチャに分割される。

サブサンプルは、1つのサンプル内の1つ以上の連続的なNALユニットとして定義される。

ProfileLevelBox内の予約済みフィールドの最初の8ビットを使用して、以下のような構文になるように、プロファイル互換性情報を含める。

profile_compatibilityは、SVCビデオ仕様に定義されているように、シーケンスパラメータセット内のprofile_idcとlevel_idcとの間に生じるバイトと全く同じく定義されたバイトである。

以下のスケーラビリティ情報タイプは、SVC符号化フォーマットに特有である。
- DependencyIdおよびTemporalLevel
- 使用済みの初期値パラメータセット
- バッファ情報

その情報を格納するために、いくつかの新しいボックスを定義して情報を含めることができ、また必要に応じてそれらをScalabilityInfoEntry内に配置することができる。

セマンティックスは、以下の通りである。

dependency_idおよびtemporal_levelは、SVCビデオ仕様に定義されたDependencyIdおよびTemporalLevelのスケーラブルレイヤーの値をそれぞれ示す。

numOfSequenceParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のシーケンスパラメータセットとして使用されるシーケンスパラメータセットの数を示す。

sequenceParameterSetLengthは、SVCビデオ仕様に定義されたシーケンスパラメータセットNALユニットの長さをバイトで示す。

sequenceParameterSetNALUnitは、SVCビデオ仕様に規定されているように、シーケンスパラメータセットNALユニットを含む。シーケンスパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。

numOfPictureParameterSetsは、スケーラブルレイヤー表現を復号化するための初期の一組のピクチャパラメータセットとして使用されるピクチャパラメータセットの数を示す。

pictureParameterSetLengthは、SVCビデオ仕様に定義されたピクチャパラメータセットNALユニットの長さをバイトで示す。

pictureParameterSetNALUnitは、SVCビデオ仕様に規定されているように、ピクチャパラメータセットNALユニットを含む。ピクチャパラメータセットは、許容されるギャップを有するパラメータセット識別子の昇順で生じる。

operation_point_countは、オペレーションポイントの数を規定する。SVC HRDパラメータの値は、各オペレーションポイントに対して別々に規定される。operation_point_countの値は、0を超える値である。

tx_byte_rateは、SVC HRDの符号化されたピクチャバッファ(coded picture buffer:CPB)への入力バイトレート(バイト/秒)を示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するtx_byte_rateの値の8倍であるBitRateの値によって制約される。VCL HRDパラメータの場合、ビットレートの値は、tx_byte_rateの40/6倍である。tx_byte_rateの値は、0を超える値である。

cpb_sizeは、符号化されたピクチャバッファの要求サイズをバイトで示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、NAL HRDパラメータに対するcpb_sizeの8倍であるCpbSizeの値によって制約される。VCL HRDパラメータの場合、CpbSizeの値は、cpb_sizeの40/6倍である。

dpb_sizeは、復号化されたピクチャバッファの要求サイズをバイト単位で示す。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、Min(16, Floor(post_dec_buf_size) / (PicWidthMbs * FrameHeightInMbs * 256 * ChromaFormatFactor)))であるmax_dec_frame_bufferingの値によって制約される。

同じオペレーションポイントのtx_byte_rate、cpb_size、およびdpb_sizeの値の内の少なくとも1組は、スケーラブルレイヤー表現のビットストリームのプロファイルおよびレベルによって、制約セットに適合する。

init_cpb_delayは、第一のアクセスの第一のビットの復号器前のバッファにおける到着時間と、第一のアクセスユニットの復号器前のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、SVCビデオ仕様に規定されているように、init_cpb_delayである符号化されたピクチャバッファ(CPB)、tr,n( 0 )からの第一のアクセスユニットの公称除去時間の値によって制約される。

init_dpb_delayは、第一の復号化されたピクチャの復号器後のバッファにおける到着時間と、第一の復号化されたピクチャの復号器後のバッファからの除去時間との間に必要な遅延を示す。90 kHzクロックの単位である。スケーラブルレイヤー表現のビットストリームは、クロックティック変数(tc)が1/90,000であると仮定して、SVCビデオ仕様に規定されているように、init_dpb_delayである出力順の第一の復号化されたピクチャに対するdpb_output_delayの値によって制約される。

以下、ファイルフォーマットまたはビットストリームにおけるスケーラビリティ情報の格納のためのいくつかのモチベーションを示す。

1つのスケーラブルストリームに対して数百ものトラックが存在する可能性があるので、レイヤーごとに別個のトラックを使用するのではなく、全てのレイヤーを単一のトラックに含めることが好ましい。

サンプル/ピクチャのスケーラブルレイヤーへのマッピングは、グループ化の概念である。サンプルグループのデザインは、マッピング情報およびスケーラブルレイヤーのスケーラビリティレイヤー情報をシグナリングする簡潔な方法を提供する。

多くのアプリケーションでは、スケーラブルレイヤーのスケーラビリティ情報の一部が、基本ストリーム全体または最上位のスケーラブルレイヤーと全く同じである。異なるオプションボックス内のスケーラビリティ情報を分類してシグナリングすることによって、それらの情報部分を重複して格納する必要がなくなる。加えて、ボックスを使用することは、より多くのスケーラビリティ情報が必要な場合に、新しいボックスをサンプルグループの記述エントリ内に有することによって前記情報を容易に含めることができる、という点においてフレキシブルである。

ストリーミングサーバーがプロファイルPおよびレベルLのスケーラブルストリームを格納していると仮定すると、ストリームのスケーラブルレイヤーはプロファイルP1およびレベルL1となり、L1@P1に準拠する復号器の実装要件は、L@Pに準拠する復号器よりも単純になる。サーバーが、L1@P1に準拠する復号器によってビデオコンテンツをクライアントに供給しようとしている場合、サーバーは、L1@P1に準拠するスケーラブルレイヤーが存在するかどうかを、例えば、仮定的な基準復号器を実行することによって、そのストリームをチェックしなければならず、ストリーミングサーバーに対して更なる実装および計算の複雑化を課すことになる。各スケーラブルレイヤーにシグナリングされるプロファイルおよびレベル情報を有することによって、サーバー実装をさらに簡略化した上述のアプリケーションを可能にする。

ビットレート、フレームレート、およびフレームサイズ情報は、必然的に、ビットレート、時間的および空間的スケーラビリティに必要とされる。領域情報は、N6880に必要とされるような、関心領域(ROI)スケーラビリティのサポートに有用である。

異なるスケーラブルレイヤー表現の復号化には、異なるバッファサイズおよびバッファ遅延が必要である。バッファ情報が存在することによって、スケーラブルレイヤー表現の受信器/復号器が復号化に割り当てるメモリをより少なくするか、または初期値縁を短くすることができ、これらはいずれもエンドユーザエクスペリエンスの改善に有用である。

全ての上位レイヤーが特定のスケーラブルレイヤー表現に必要ではないことは分かっているが、デフォルトではどのレイヤーが不要であるのかは分からない。レイヤー依存関係情報によって、ストリーミングサーバーは、複雑な実装を必要とするストリームの分析を行わずに、不必要な下位レイヤーを送信しないようにできる。

ファイングラニュラリティスケーラビリティを有効にする前記情報は、スケーラブルレイヤーがファイングラニュラリティスケーラブル(FGS)レイヤーであるかどうかを示し、そのビットストリームデータユニットを任意のバイト配列位置において省略することができる。

AVC(新たなSVC拡張でない)従来の符号化技術を用いて、例えば動作を制約されたスライスグループセットを使用してROIスケーラビリティを達成することができる。しかし、SVCファイルフォーマットをAVCファイルフォーマットと下位互換としなければならないという、要件(N6880の第4節)がある。この要件を満たしてROIスケーラビリティをサポートするには、ベースレイヤー(ROI領域)および拡張レイヤー(残りの領域)を同じサンプルとしなければならないので、サブサンプル情報が必要である。したがって、サブピクチャレイヤーをこのために用いることができる。

復号化依存関係情報は、スケーラブル拡張レイヤーNALユニットのNALユニットヘッダーに含まれる。いくつかのアプリケーションでは、メディアアウェアネットワーク要素または受信器に、スケーラブルレイヤーを破棄することができる情報を知らせることが望ましい。メディアアウェアネットワーク要素または受信器の不必要なNALユニットの破棄を支援するには、復号化依存関係情報とスケーラブルレイヤー識別子との間のマッピングが必要である。

スケーラブルレイヤー表現は、ストリーム全体の初期値パラメータセットの全てを使用することができないという事実から、それら全てのパラメータセットを送信すると、特に、一般的に、初期値パラメータが帯域外で確実に送信され、受信の確認応答が使用され、再送信が使用される場合があるので、伝送帯域幅を無駄にしたり、初期設定の遅延が長くなったりする場合がある。各スケーラブルレイヤー表現に対する初期値パラメータセットのシグナリングが、この問題を解決する。また、ビットストリームを分析することによって、サーバーが情報を獲得することも可能である。しかし、この場合、サーバーは、メディアアウェアであり、オンザフライでビットストリーム分析を行うことが必要である。

伝送および制御プロトコルにおけるシグナリング

ユニキャストストリーミング(例、3GPP PSS)では、サーバーは、各SDP記述が1つ以上のオルタナティブを含む複数のSDP記述を通じて、または複数のオルタナティブを含む1つのSDP記述を通じて、スケーラビリティ情報に基づいて、同じストリームに対して複数のオルタナティブを作成することができる。受信側端末は、オルタナティブのうちの一つを選択するか、またはいずれも選択しない。1つのオルタナティブを選択すると、サーバーは、どのレイヤーを伝送しなければならないかを承知する。

マルチキャスト/ブロードキャストアプリケーションでは、異なる機能の受信側端末、または1つのストリームの異なるオルタナティブが異なる受信側端末に理想的となる異なるネットワーク条件が存在する場合がある。この場合、受信器を異なるマルチキャスト/ブロードキャストグループに分割することが可能であり、各グループ内の受信器は同じオルタナティブを共有する。この方法を使用することで、各受信側端末に対する利用可能帯域幅を効率的に用いることが可能である。

全ての受信器が同じオルタナティブを共有するマルチキャスト/ブロードキャストグループの場合、ユニキャストの場合と同様に、関連するレイヤーがサーバー側から伝送される。

しかし、2つ以上のマルチキャスト/ブロードキャストグループが存在する場合、サーバーは、各受信器が加入する1つのオルタナティブサービスを選択できるように、サービスアナウンスを通じて、どのオルタナティブが使用可能であるかを示さなければならない。これは、例えば、ユニキャストの場合と同じように、SDPを使用することによって達成することが可能である。

また、1つの特定のマルチキャスト/ブロードキャストグループでは、複数のレイヤーを有する1つのオルタナティブが伝送され、一方で、受信器はレイヤーの内の1つを復号化して残りを破棄することを選択することが可能である。この方法を使用することで、送信されるストリームが少なくなるので、送信装置の利用可能帯域幅を効率的に用いることが可能である。この場合、同じマルチキャスト/ブロードキャストグループによって、サーバーは、異なる受信側端末の異なるプレファレンスを知る必要はない。しかし、それでもサーバーは、受信器がオルタナティブのうちのいずれかを復号化することができるかどうかを決定することができるように、サービスアナウンスを通じてオルタナティブ情報を示す必要がある。

上述の2つの方法を互いに適用することもできる。すなわち、複数のマルチキャスト/ブロードキャストグループを存在させることが可能である。いくつかのグループでは、全ての受信器は、同じオルタナティブを復号化することができ、他のグループでは、いくつかの受信器は、受信したビットストリームデータの一部を破棄することが可能である。組み合わせた方法を使用して、サーバー内で利用可能な帯域幅の効率と、受信器内で利用可能な帯域幅の効率との両方をグローバルに最適化することが可能である。

上述のように、本発明の範囲の実施態様は、コンピュータが実行可能な命令またはそこに格納されるデータ構造を担送または保持するためのコンピュータ可読のメディアを備えたプログラムを含む。当該のコンピュータ可読のメディアは、汎用または専用コンピュータがアクセスできるあらゆる利用可能なメディアとすることができる。一例として、当該のコンピュータ可読のメディアには、RAM、ROM、EPROM、EEPROM、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、所望のプログラムコードをコンピュータが実行可能な命令で担送または格納に使用でき、汎用または専用コンピュータがアクセスできる他のメディアが挙げられる。ネットワークまたは別の通信接続(有線、無線、または有線と無線の組み合わせ)を通じて情報がコンピュータに伝送または提供されるときに、コンピュータは厳密に、その接続をコンピュータ可読のメディアとみなす。したがって、あらゆる当該の接続は、厳密にコンピュータ可読の媒体と呼ばれる。上述のものの組み合わせも、コンピュータ可読のメディアの範囲に含まれる。コンピュータが実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに特定の機能または機能グループを実行させる命令およびデータを含む。

本発明を適用することができるシステムの一実施例を図1に示す。システムは、例えば本発明に基づいて符合化されたメディアストリームを含むファイル103を含む格納メディア102を有する送信サーバー101を備える。ファイル103は、1つ以上の信号としてモバイル通信ネットワークのようなネットワーク104に伝送される。ネットワーク104にはゲートウェイ105を存在させることができ、ファイル103を受信して、例えばMMSC107の制御によって、例えばネットワークの基地局106にそれを転送する。受信器108は、信号を受信して、その信号に含まれるスケーラビリティ情報および他の何らかの情報を複合化することができる。

本発明は、ネットワーク化された環境内のコンピュータによって実行されるプログラムコードのような、コンピュータが実行可能な命令を含むプログラムによって、一実施態様において実行することが可能な、一般的な方法ステップのコンテキストで記述される。一般的に、プログラム・モジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを実行したり、あるいは特定の抽象的データ型を実現する。コンピュータが実行可能な命令、関連するデータ構造、およびプログラムモジュールは、本願明細書に記載された方法のステップを実行するためのプログラムコードの実施例を示すものである。当該の実行可能な命令または関連するデータ構造の特定のシーケンスは、当該のステップに記載された機能を実行するための対応する動作の実施例を示すものである。

本発明のソフトウェアおよびウェブ実装は、様々なデータベース検索ステップ、相関ステップ、比較ステップ、および決定ステップを達成するためのルールベースのロジックおよび他のロジックを有する、標準のプログラム技術によって達成することが可能である。また、本願明細書および請求項で使用される用語"コンポーネント"および"モジュール"は、1つ以上のラインのソフトウェアコード、および/またはハードウェア実装、および/または手動入力を受信するための機器を使用した実行を包含することを意図したものであることに留意されたい。

本発明の実施態様の上述の記述は、図解および説明のために示したものである。本発明を網羅的とする、または開示された厳密な形態に制限することを目的としたものではなく、種々の変更およびバリエーションは、上述の教示に照らして生じうるか、または本発明の実施によって得ることが可能である。これらの実施態様は、本発明のプリンシパルおよびその実用的アプリケーションを説明し、考えられる特定の用途に適したものとして、種々の実施例において、また種々の変更とともに当業者が本発明を利用できるようにするために実施例を選択し、記載したものである。例えば、本発明の実施態様の記述は、主に時間的スケーラビリティに対して示されたものである。しかし、空間的スケーラビリティ、計算スケーラビリティ、および品質(信号対雑音)スケーラビリティのような、あらゆるスケーラビリティに適用可能である。さらに、多数の伝送プロトコルは、本発明を適用することができる。伝送プロトコルのうちのいくつかの限定されない実施例には、セッション記述プロトコル(Session Description Protocol:SDP)、リアルタイムストリーミングプロトコル(Real-Time Streming Protocol:RTSP)、およびセッション開始プロトコル(Session Initilization Protocol:SIP)が挙げられる。

本発明を適用することができるシステムを示す図である。 本発明の例示的な一実施態様における、スケーラブルビットストリームに対する一組の少なくとも1つの特性情報のシグナリングを示す図である。 本発明の例示的な一実施態様における、符号化デバイスを示す図である。 本発明の例示的な一実施態様における、変換器デバイスを示す図である。 本発明の例示的な一実施態様における、復号器デバイスを示す図である。

Claims (57)

  1. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化する方法であって、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成することであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(Region-of-interest:ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングすることと、を含む方法。
  2. 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
  3. 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
  4. 前記シグナリングは、少なくとも以下の表、
    に基づいて形成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
  5. 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項1に記載の方法。
  6. 前記伝送プロトコルは、セッション記述プロトコル(Session Description protocol:SDP)、リアルタイムストリーミングプロトコル(Real-Time Streaming protocol:RTSP)、およびセッション開始プロトコル(Session Initialization protocol:SIP)のグループのうちの1つである、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化する請求項5に記載の方法。
  7. 1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する方法であって、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを受信することであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングすることと、を含み、さらに、
    - 少なくとも1つのレイヤーの前記符号化特性を調査することと、
    - 前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
    - 前記復号化が可能であると決定した場合に、前記少なくとも1つのレイヤーを復号化することと、
    をさらに含む方法。
  8. 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行され、前記調査が前記スケーラブルビットストリームを調査することを含む、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する請求項7に記載の方法。
  9. 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行され、前記調査が前記格納されたスケーラブルデータストリームを調査することを含む、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する請求項7に記載の方法。
  10. 前記シグナリングは、少なくとも以下の構文、
    に基づいて形成される、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する請求項7に記載の方法。
  11. 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する請求項7に記載の方法。
  12. 前記伝送プロトコルは、セッション記述プロトコル(SDP)、リアルタイムストリーミングプロトコル(RTSP)、およびセッション開始プロトコル(SIP)のグループのうちの1つである、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する請求項11に記載の方法。
  13. 前記シグナリングがバッファ情報を含む請求項11に記載の方法であって、
    - 復号化に割り当てられるメモリの量を決定するように前記バッファ情報を調査することと、
    - 決定された量のメモリを割り当てることと、
    を含む、1つの符号化特性を有する少なくとも1つのレイヤーを含むスケーラブルデータストリームを復号化する方法。
  14. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
    前記スケーラブルデータストリームのうちの少なくとも1つレイヤーを生成するための第一のコンポーネントであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む、第一のコンポーネントと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングするための第二のコンポーネントと、を備える符号器。
  15. 前記シグナリングが前記スケーラブルデータストリームのビットストリーム内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
  16. 前記シグナリングが前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行されるように前記第二のコンポーネントが構成される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
  17. 前記シグナリングが前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行されるように前記第二のコンポーネントが構成される、請求項14に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器。
  18. 前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項14に記載の符号器。
  19. 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
    前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む、第二のコンポーネントと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
    前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備える復号器。
  20. 前記データストリームがビデオデータを含む、異なる符号化特性を有するレイヤーを含むスケーラブルデータストリームを復号化するための請求項19に記載の復号器。
  21. スケーラブルデータストリームを実行するデータ構造であって、
    第一の符号化特性を有する、データの第一のレイヤーであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む、第一のレイヤーと、
    前記第一の符号化特性を識別する、前記第一のレイヤーに関連付けられた第一の表示と、
    第二の符号化特性を有する、データの第二のレイヤーと、
    前記第二の符号化特性を識別する、前記第二のレイヤーに関連付けられた第二の表示と、を含むデータ構造。
  22. 前記第一の表示は、前記スケーラブルデータストリームのビットストリームに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
  23. 前記第一の表示は、前記スケーラブルデータストリームを格納することができるファイルフォーマットに関連付けられる、請求項21に記載の、スケーラブルデータストリームを実行するデータ構造。
  24. 前記第一の表示は、前記スケーラブルデータストリームを伝送することができる伝送プロトコルに関連付けられる、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
  25. 前記スケーラブルデータストリームはビデオデータを含む、スケーラブルデータストリームを実行する請求項21に記載のデータ構造。
  26. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのプログラムであって、前記プログラムは、実行時に、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成することであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングすることと、を1つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。
  27. 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
  28. 前記シグナリングは、前記スケーラブルデータストリームを格納することができるファイルフォーマットの範囲内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
  29. 前記シグナリングは、前記スケーラブルデータストリームを伝送することができる伝送プロトコル内で実行される、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
  30. 前記データストリームは、ビデオデータを含む、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するための請求項26に記載のプログラム。
  31. 異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイスであって、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成するための手段であって、前記少なくとも1つのレイヤーが、前記スケーラブルデータストリームの符号化特性とは異なる符号化特性によって特徴付けられ、前記少なくとも1つのレイヤーの前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む手段と、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための手段と、を含むデバイス。
  32. 前記シグナリングは、前記スケーラブルデータストリームのビットストリーム内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
  33. 前記シグナリングは、前記スケーラブルデータストリームのファイルフォーマットの範囲内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
  34. 前記シグナリングは、前記スケーラブルデータストリームの伝送プロトコル内で実行される、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
  35. 前記データストリームは、ビデオデータを含む、請求項31に記載の、異なる符号化特性を有するレイヤーを含むようにスケーラブルデータストリームを符合化するためのデバイス。
  36. 復号化を容易にするための複数のレイヤーを含むスケーラブルデータストリームを変更するための変換器であって、
    前記データストリームを受信して、前記データストリームのレイヤーに関連付けられた符号化特性インジケータを読み取るための第一のコンポーネントであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む、第一のコンポーネントと、
    どのレイヤーが送信先の復号器によって復号化可能かを決定するように、前記符号化特性インジケータを送信先の復号器の機能と比較するための第二のコンポーネントと、
    前記送信先の復号器によって復号化可能とすべき前記データストリームを変更するための第三のコンポーネントと、
    前記修正したデータストリームを前記送信先の復号器に伝送するための第四のコンポーネントと、を備える変換器。
  37. 前記第三のコンポーネントは、前記送信先の復号器による復号化が不可能である前記データストリームのレイヤーを取り除くように構成される、請求項36に記載の復号化を容易にするレイヤーを含むスケーラブルデータストリームを変更するための変換器。
  38. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項1に記載の方法。
  39. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項14に記載の符号器。
  40. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項19に記載の復号器。
  41. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項21に記載のデータ構造。
  42. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項26に記載のプログラム。
  43. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項31に記載のデバイス。
  44. 前記少なくとも1つのレイヤーが拡張レイヤー(Enhancement Layer)である、請求項37に記載の変換器。
  45. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器であって、
    前記スケーラブルデータストリームのうちの少なくとも1つを生成するための手段であって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む手段と、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングするための手段と、を含む符号器。
  46. 異なる符号化特性を有する複数のレイヤーを含む、復号器内のスケーラブルデータストリームを復号化するための方法であって、
    前記スケーラブルデータストリームを受信するステップと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を含む方法。
  47. 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器であって、
    前記スケーラブルデータストリームを受信するための手段と、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための手段であって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む手段と、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための手段と、
    前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための手段と、を含む復号器。
  48. 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を備えたデバイスであって、
    前記スケーラブルデータストリームを受信するように構成された受信器と、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るように構成された識別子であって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む識別子と、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するように構成された決定手段と、を備え、前記復号器は、前記決定手段が、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するように構成される、デバイス。
  49. スケーラブルデータストリームを受信器に伝送するためのシステムであって、
    異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符号化するための符号器と、
    異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器とを備え、
    前記符号器は、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む第一のコンポーネントと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングするための第二のコンポーネントと、
    を備え、
    前記復号器は、
    前記スケーラブルデータストリームを受信するための第五のコンポーネントと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第六のコンポーネントであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む第六のコンポーネントと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第七のコンポーネントと、
    前記第七のコンポーネントが、前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できると決定した場合に、前記レイヤーを復号化するための第八のコンポーネントと、を備えるシステム。
  50. 復号器内のスケーラブルデータストリームを復号化するためのプログラムであって、前記データストリームは異なる符号化特性を有する複数のレイヤーを含み、前記プログラムは、実行時に、
    前記スケーラブルデータストリームを受信するステップと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取ることであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができるかどうかを決定することと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化することができると決定された場合に、前記レイヤーを復号化することと、を1つ以上のデバイスに実行させるための機械可読のプログラムコードを含む、プログラム。
  51. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するためのモジュールであって、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む、第一のコンポーネントと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるモジュール。
  52. 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器のためのモジュールであって、
    前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む第二のコンポーネントと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
    前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるモジュール。
  53. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化および復号化する方法であって、
    前記符号化は、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成することであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングすることと、を含み、
    前記復号化は、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを受信することであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含むことと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーをシグナリングすることと、を含み、
    前記方法は、
    少なくとも1つのレイヤーの前記符号化特性を調査することと、
    前記調査に基づいて前記レイヤーの復号化が可能であるかどうかを決定することと、
    前記復号化が可能であると決定した場合に、前記少なくとも1つのレイヤーを復号化するステップと、をさらに含む方法。
  54. 異なる符号化特性を有する複数のレイヤーを含むようにスケーラブルデータストリームを符合化するための符号器を有するデバイスであって、前記符号器は、
    前記スケーラブルデータストリームのうちの少なくとも1つのレイヤーを生成するための第一のコンポーネントであって、前記少なくとも1つのレイヤーは符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む第一のコンポーネントと、
    前記レイヤー全体の復号化を必要とせずに復号器によって読み取り可能であるように、前記特徴付けられた符号化特性を有する前記レイヤーをシグナリングするための第二のコンポーネントと、を備えるデバイス。
  55. 異なる符号化特性を有する複数のレイヤーを含むスケーラブルデータストリームを復号化するための復号器を有するデバイスであって、前記復号器は、
    前記スケーラブルデータストリームを受信するための第一のコンポーネントと、
    前記スケーラブルデータストリーム内の少なくとも1つのレイヤーを識別して、その符号化特性の前記レイヤーに関連付けられた表示を読み取るための第二のコンポーネントであって、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含む第二のコンポーネントと、
    前記復号器が前記符号化特性に基づいて前記レイヤーを復号化できるかどうかを決定するための第三のコンポーネントと、
    前記第三のコンポーネントが、前記復号器は前記符号化特性に基づいて前記レイヤーを復号化することができると決定した場合に、前記レイヤーを復号化するための第四のコンポーネントと、を備えるデバイス。
  56. 少なくとも1つのレイヤーを含むスケーラブルデータストリームを含む信号であって、前記少なくとも1つのレイヤーが符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含み、
    前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、信号。
  57. 信号が記録されるキャリアであって、前記信号は、少なくとも1つのレイヤーを含むスケーラブルデータストリームを含み、前記少なくとも1つのレイヤーは、符号化特性によって特徴付けられ、前記符号化特性が、
    - ファイングラニュラリティ(Fine Granularity)スケーラビリティ情報、
    - 関心領域(ROI)スケーラビリティ情報、
    - サブサンプルスケーラブルレイヤー情報、
    - 復号化依存関係情報、および
    - 初期値パラメータセット、のうちの少なくとも1つを含み、
    前記特徴付けられた符号化特性を有する前記少なくとも1つのレイヤーは、レイヤー全体の復号化を必要とせずに復号器によって読み取り可能な形態である、キャリア。
JP2008505913A 2005-04-13 2006-04-10 スケーラビリティ情報の符号化、格納およびシグナリング Granted JP2008536420A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US67121505 true 2005-04-13 2005-04-13
PCT/FI2006/050136 WO2006108917A1 (en) 2005-04-13 2006-04-10 Coding, storage and signalling of scalability information

Publications (1)

Publication Number Publication Date
JP2008536420A true true JP2008536420A (ja) 2008-09-04

Family

ID=37086626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008505913A Granted JP2008536420A (ja) 2005-04-13 2006-04-10 スケーラビリティ情報の符号化、格納およびシグナリング

Country Status (8)

Country Link
US (2) US8774266B2 (ja)
EP (1) EP1869891A4 (ja)
JP (1) JP2008536420A (ja)
KR (1) KR20080006609A (ja)
CN (1) CN101120593A (ja)
CA (1) CA2604203A1 (ja)
RU (1) RU2377736C2 (ja)
WO (1) WO2006108917A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013536623A (ja) * 2010-07-20 2013-09-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
WO2013150764A1 (ja) * 2012-04-03 2013-10-10 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2014504118A (ja) * 2011-01-14 2014-02-13 ヴィディオ・インコーポレーテッド 改善されたnalユニットヘッダ
JP2014533917A (ja) * 2011-11-25 2014-12-15 サムスン エレクトロニクス カンパニー リミテッド 復号化器のバッファ管理のための映像符号化方法及び該装置、その映像復号化方法及び該装置
JP2015019307A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2015531570A (ja) * 2012-10-02 2015-11-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーダの動作点のためのレイヤ識別子の向上したシグナリング
JP2017153087A (ja) * 2013-01-04 2017-08-31 ソニー株式会社 符号化装置及び符号化方法

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
KR101143282B1 (ko) 2002-10-05 2012-05-08 디지털 파운튼, 인크. 연쇄 반응 코드의 체계적 인코딩 및 디코딩
CN101834610B (zh) * 2003-10-06 2013-01-30 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法和装置
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
CN101180831A (zh) * 2005-05-24 2008-05-14 诺基亚公司 用于数字广播中分级传输/接收的方法和装置
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
FR2889004B1 (fr) * 2005-07-22 2007-08-24 Canon Kk Procede et dispositif de traitement d'une sequence d'images numeriques a scalabilite spatiale ou en qualite
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
KR101255226B1 (ko) 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 roi 설정, 복원을위한 장치 및 방법
US9136983B2 (en) * 2006-02-13 2015-09-15 Digital Fountain, Inc. Streaming and buffering using variable FEC overhead and protection periods
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2007134196A3 (en) 2006-05-10 2008-03-06 Digital Fountain Inc Code generator and decoder using hybrid codes
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
CN101507281B (zh) 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
CN101601305B (zh) * 2006-10-20 2013-01-23 诺基亚公司 用于可伸缩多媒体的自适应路径的通用指示
EP2100459A4 (en) 2007-01-08 2012-09-26 Nokia Corp System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
WO2008085013A1 (en) * 2007-01-12 2008-07-17 University-Industry Cooperation Group Of Kyung Hee University Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format
EP3182709A1 (en) 2007-01-18 2017-06-21 Nokia Technologies Oy Carriage of sei message in rtp payload format
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
EP2153658B1 (en) * 2007-04-13 2013-08-14 Nokia Corporation A video coder
KR101813848B1 (ko) 2007-04-18 2017-12-29 돌비 인터네셔널 에이비 코딩 시스템
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
WO2008143746A3 (en) * 2007-05-16 2009-02-19 Thomson Licensing Methods and apparatus for the use of slice groups in encoding multi-view video coding (mvc) information
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8078568B2 (en) * 2007-06-25 2011-12-13 Sap Ag Properties of data elements
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
EP2037683A1 (en) * 2007-09-17 2009-03-18 Alcatel Lucent Process for delivering to a media terminal an adapted video stream by means of an access node
WO2009048503A3 (en) * 2007-10-05 2009-05-28 Thomson Licensing Methods and apparatus for incorporating video usability information (vui) within a multi-view video (mvc) coding system
KR101345287B1 (ko) * 2007-10-12 2013-12-27 삼성전자주식회사 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화방법 및 장치
FR2923124A1 (fr) 2007-10-26 2009-05-01 Canon Kk Procede et dispositif de determination de la valeur d'un delai a appliquer entre l'envoi d'un premier ensemble de donnees et l'envoi d'un second ensemble de donnees
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
FR2932634B1 (fr) * 2008-06-11 2010-08-20 Alcatel Lucent Procede de transmission de contenus en couches par des ensembles choisis de stations de base d'une infrastructure radio
US8488680B2 (en) * 2008-07-30 2013-07-16 Stmicroelectronics S.R.L. Encoding and decoding methods and apparatus, signal and computer program product therefor
KR20100036156A (ko) * 2008-09-29 2010-04-07 삼성전자주식회사 리치미디어 서비스를 제공하는 방법 및 장치
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US8102849B2 (en) * 2009-02-12 2012-01-24 Qualcomm, Incorporated Association procedure to enable multiple multicast streams
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
US20120005304A1 (en) * 2009-03-25 2012-01-05 Thomson Licensing Method and apparatus for scalable content multicast over a hybrid network
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US20100250764A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Signaling Layer Information of Scalable Media Data
US20100250763A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Method and Apparatus for Transmitting Information on Operation Points
CN101552913B (zh) 2009-05-12 2011-07-06 腾讯科技(深圳)有限公司 多路视频通讯系统及处理方法
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
CN102165776B (zh) 2009-07-06 2012-11-21 华为技术有限公司 一种可伸缩视频编码文件的传输方法、接收方法及装置
FR2948249B1 (fr) * 2009-07-20 2011-09-23 Canon Kk Procedes et dispositifs d'estimation d'un niveau d'utilisation d'un reseau de communication et d'adaptation d'un niveau d'abonnements a des groupes multipoints
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101282190B1 (ko) * 2009-12-11 2013-07-04 한국전자통신연구원 적응형 보안 정책 기반의 스케일러블 영상 서비스 방법 및 장치
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US8908774B2 (en) * 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
JP5484132B2 (ja) 2010-03-05 2014-05-07 キヤノン株式会社 映像処理装置及びその制御方法
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US8848804B2 (en) * 2011-03-04 2014-09-30 Vixs Systems, Inc Video decoder with slice dependency decoding and methods for use therewith
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US20130195173A1 (en) 2012-01-30 2013-08-01 Qualcomm Incorporated Method of coding video and storing video content
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
CN107743236A (zh) * 2012-04-12 2018-02-27 瑞典爱立信有限公司 扩展数据处理
KR20130116782A (ko) * 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
KR101678321B1 (ko) * 2012-07-02 2016-11-21 노키아 테크놀로지스 오와이 비디오 코딩을 위한 방법 및 장치
CN104412598A (zh) * 2012-07-06 2015-03-11 夏普株式会社 发信号通知基于子图片的假想参考解码器参数的电子设备
CN103546826B (zh) * 2012-07-16 2017-07-21 上海贝尔股份有限公司 视频业务的传输方法和装置
US9357272B2 (en) * 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9491456B2 (en) * 2012-09-24 2016-11-08 Qualcomm Incorporated Coded picture buffer removal times signaled in picture and sub-picture timing supplemental enhancement information messages
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
US9936196B2 (en) 2012-10-30 2018-04-03 Qualcomm Incorporated Target output layers in video coding
KR20150094619A (ko) * 2012-12-13 2015-08-19 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
RU2610670C1 (ru) * 2012-12-21 2017-02-14 Телефонактиеболагет Л М Эрикссон (Пабл) Кодирование и декодирование многоуровневого видеопотока
US9774927B2 (en) 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9294777B2 (en) * 2012-12-30 2016-03-22 Qualcomm Incorporated Progressive refinement with temporal scalability support in video coding
US9661341B2 (en) * 2013-01-07 2017-05-23 Microsoft Technology Licensing, Llc Syntax and semantics for buffering information to simplify video splicing
GB2509954B (en) * 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9516306B2 (en) * 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN105308962A (zh) * 2013-04-05 2016-02-03 三星电子株式会社 多层视频编码方法和装置以及多层视频解码方法和装置
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
CN105144768A (zh) * 2013-04-26 2015-12-09 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
JP6330667B2 (ja) * 2013-08-09 2018-05-30 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
KR20150043217A (ko) * 2013-10-12 2015-04-22 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
GB2519746B (en) * 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
US9386275B2 (en) * 2014-01-06 2016-07-05 Intel IP Corporation Interactive video conferencing
CN105163120B (zh) * 2014-06-09 2018-09-25 浙江大学 一种假设解码器中输入码流缓冲区的输入和输出/从缓冲区获取数据的方法及装置、传输视频码流的方法
US9924131B1 (en) 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0500913B1 (en) 1990-09-19 1998-01-21 Philips Electronics N.V. System comprising a record carrier and a reading device
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6501797B1 (en) * 1999-07-06 2002-12-31 Koninklijke Phillips Electronics N.V. System and method for improved fine granular scalable video using base layer coding information
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
CN1401189A (zh) * 2000-11-23 2003-03-05 皇家菲利浦电子有限公司 视频编码方法和相应的编码器
US6904035B2 (en) 2000-11-29 2005-06-07 Nokia Corporation Mobile system, terminal and interface, as well as methods for providing backward compatibility to first and second generation mobile systems
KR100959573B1 (ko) * 2002-01-23 2010-05-27 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
GB2403835B (en) 2002-04-29 2005-11-23 Sony Electronics Inc Apparatus and method for providing supplemental enhancement information associated with multimedia data
KR100491445B1 (ko) 2002-04-12 2005-05-25 한국과학기술원 Mpeg-4 fgs 비디오를 위한 사각영역 기반형의선택적 향상기법에 의한 부호화/복호화 방법 및 장치
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
KR20050042399A (ko) * 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
EP1692872A1 (en) * 2003-12-03 2006-08-23 Philips Electronics N.V. System and method for improved scalability support in mpeg-2 systems
US7586924B2 (en) * 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7801220B2 (en) * 2005-01-07 2010-09-21 Microsoft Corporation In-band wavelet video coding with spatial scalability

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
JP2013536623A (ja) * 2010-07-20 2013-09-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
US9253240B2 (en) 2010-07-20 2016-02-02 Qualcomm Incorporated Providing sequence data sets for streaming video data
JP2015053703A (ja) * 2010-07-20 2015-03-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオデータをストリーミングするためのシーケンスデータセットを提供すること
JP2014504118A (ja) * 2011-01-14 2014-02-13 ヴィディオ・インコーポレーテッド 改善されたnalユニットヘッダ
JP2014533917A (ja) * 2011-11-25 2014-12-15 サムスン エレクトロニクス カンパニー リミテッド 復号化器のバッファ管理のための映像符号化方法及び該装置、その映像復号化方法及び該装置
US9699471B2 (en) 2011-11-25 2017-07-04 Samsung Electronics Co., Ltd. Image coding method and device for buffer management of decoder, and image decoding method and device
US9560370B2 (en) 2011-11-25 2017-01-31 Samsung Electronics Co., Ltd. Image coding method and device for buffer management of decoder, and image decoding method and device
US9769483B2 (en) 2011-11-25 2017-09-19 Samsung Electronics Co., Ltd. Image coding method and device for buffer management of decoder, and image decoding method and device
US9967570B2 (en) 2011-11-25 2018-05-08 Samsung Electronics Co., Ltd. Image coding method and device for buffer management of decoder, and image decoding method and device
US9693032B2 (en) 2012-04-03 2017-06-27 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
WO2013150764A1 (ja) * 2012-04-03 2013-10-10 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2015531570A (ja) * 2012-10-02 2015-11-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーダの動作点のためのレイヤ識別子の向上したシグナリング
JP2017153087A (ja) * 2013-01-04 2017-08-31 ソニー株式会社 符号化装置及び符号化方法
JP2015019307A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date Type
WO2006108917A1 (en) 2006-10-19 application
RU2377736C2 (ru) 2009-12-27 grant
EP1869891A1 (en) 2007-12-26 application
US9332254B2 (en) 2016-05-03 grant
US20140307802A1 (en) 2014-10-16 application
US20060256851A1 (en) 2006-11-16 application
CN101120593A (zh) 2008-02-06 application
KR20080006609A (ko) 2008-01-16 application
CA2604203A1 (en) 2006-10-19 application
EP1869891A4 (en) 2014-06-11 application
RU2007141755A (ru) 2009-05-20 application
US8774266B2 (en) 2014-07-08 grant

Similar Documents

Publication Publication Date Title
US20110064146A1 (en) Media extractor tracks for file format track selection
US20120023250A1 (en) Arranging sub-track fragments for streaming video data
US20080013620A1 (en) Scalable video coding and decoding
US20130170561A1 (en) Method and apparatus for video coding and decoding
US6463445B1 (en) Multimedia information retrieval system and method including format conversion system and method
US6674477B1 (en) Method and apparatus for processing a data series including processing priority data
US20070016594A1 (en) Scalable video coding (SVC) file format
US20120020413A1 (en) Providing frame packing type information for video coding
US20040006575A1 (en) Method and apparatus for supporting advanced coding formats in media files
US20110099594A1 (en) Streaming encoded video data
US20070291837A1 (en) System And Method For Management Of Scalability Information In Scalable Video And Audio Coding Systems Using Control Messages
US20080175325A1 (en) System and method for providing and using predetermined signaling of interoperability points for transcoded media streams
US20130060911A1 (en) Streaming of multimedia data from multiple sources
US20070183494A1 (en) Buffering of decoded reference pictures
US20120016965A1 (en) Video switching for streaming video data
US20130091251A1 (en) Network streaming of media data
US20120042090A1 (en) Manifest file updates for network streaming of coded multimedia data
US20100153395A1 (en) Method and Apparatus For Track and Track Subset Grouping
US20120023249A1 (en) Providing sequence data sets for streaming video data
US20120016917A1 (en) Media container file management
US20070201549A1 (en) Backward-compatible aggregation of pictures in scalable video coding
US20040172478A1 (en) Video stream switching
US20080095230A1 (en) Generic indication of adaptation paths for scalable multimedia
US20120013746A1 (en) Signaling data for multiplexing video components
US7552227B2 (en) Stream switching based on gradual decoder refresh

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110201