JP2019525677A - メディアデータストリーミングのためのｓｅｉトラックのシステムレベルシグナリング - Google Patents

メディアデータストリーミングのためのｓｅｉトラックのシステムレベルシグナリング Download PDF

Info

Publication number
JP2019525677A
JP2019525677A JP2019510781A JP2019510781A JP2019525677A JP 2019525677 A JP2019525677 A JP 2019525677A JP 2019510781 A JP2019510781 A JP 2019510781A JP 2019510781 A JP2019510781 A JP 2019510781A JP 2019525677 A JP2019525677 A JP 2019525677A
Authority
JP
Japan
Prior art keywords
information
system level
level information
elementary stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019510781A
Other languages
English (en)
Other versions
JP2019525677A5 (ja
Inventor
ストックハマー、トーマス
ワン、イェ−クイ
ルサノフスキー、ドミトロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2019525677A publication Critical patent/JP2019525677A/ja
Publication of JP2019525677A5 publication Critical patent/JP2019525677A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4351—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reassembling additional data, e.g. rebuilding an executable program from recovered modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一例では、メディアデータを検索するためのデバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを含み、この１つまたは複数のプロセッサは、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出することと、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをデバイスの１つまたは複数の他の処理ユニットに送ることとを行うように構成される。【選択図】図５

Description

関連出願
[0001] 本願は、２０１６年８月２４日付で出願された米国仮出願第６２／３７９，１４５号の利益を主張し、この全内容は、参照によりここに組み込まれる。
[0002] 本開示は、符号化されたメディアデータ（encoded media data）のトランスポート（transport）に関する。
[0003] デジタルメディア能力（Digital media capabilities）は、デジタルテレビ、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラまたは衛星無線電話、ビデオテレビ会議デバイス、および同様のものを含む、広範囲のデバイスに組み込まれることができる。デジタルビデオデバイスは、より効率的にデジタルビデオ情報を送信および受信するために、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、またはＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ１０，アドバンスドビデオコーディング（ＡＶＣ：Advanced Video Coding）、（高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）とも呼ばれる）ＩＴＵ−Ｔ Ｈ．２６５で定義されている規格およびそのような規格の拡張に記載されているもののような、ビデオ符号化（例えば、圧縮）技法をインプリメント（implement）する。
[0004] メディアデータが符号化された後、このメディアデータは、送信または記憶のためにパケット化され得る。メディアデータは、国際標準化機構（ＩＳＯ）ベースメディアファイルフォーマット（Base Media File Format）のような多様な規格およびそれらの拡張のうちの任意のものに適合するメディアファイルにアセンブルし得る。
[0005] 一般に、本開示は、メディアビットストリーム（media bitstream）のシステムレベル（system level）で情報を送信または受信（例えば、生成または解析）するための技法を説明し、ここで、この情報は、メディアビットストリームによってカプセル化（encapsulate）されたビデオエレメンタリストリーム（video elementary stream）の付加拡張情報（ＳＥＩ：supplemental enhancement information）メッセージを表す。情報は、ビデオエレメンタリストリームにおけるクローズドキャプション（closed caption）のためのＳＥＩメッセージの存在（presence）、システムレベルで動作するユニットがクローズドキャプションをレンダリング（rendering）できる必要があるかどうか、クローズドキャプションのための記述情報（descriptive information）、クローズドキャプションの複数のセットがビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ：high dynamic range）フォーマットのためのマスタリングカラーボリューム情報（mastering color volume information）、ＨＤＲフォーマットのためのコンテンツ輝度レベル情報（content light level information）、ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ：color remapping information）メッセージ、またはＨＤＲフォーマットのための専有情報（proprietary information）、のうちの１つまたは複数を示す。
[0006] 一例では、メディアデータを検索（retrieve）する方法は、クライアントデバイス（client device）のストリーミングクライアント（streaming client）が、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報（system level information）を解析（parse）することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプ（payload type）とを含むことを示す、ストリーミングクライアントが、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出（extract）することと、ストリーミングクライアントが、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをクライアントデバイスの１つまたは複数の処理ユニット（processing unit）に送ることとを含む。
[0007] 別の例では、メディアデータを検索するためのデバイス（device）は、回路（circuitry）においてインプリメントされる１つまたは複数のプロセッサ（processor）を含み、この１つまたは複数のプロセッサは、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出することと、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをデバイスの１つまたは複数の他の処理ユニットに送ることとを行うように構成される。
[0008] 別の例では、メディアデータを検索するためのデバイスは、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析するための手段と、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出するための手段と、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをデバイスの１つまたは複数の処理ユニットに送るための手段とを含む。
[0009] 別の例では、コンピュータ読取可能な記憶媒体（computer-readable storage medium）は、命令を記憶しており、これら命令は、実行されると、デバイスのプロセッサに、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出することと、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをデバイスの１つまたは複数の処理ユニットに送ることとを行わせる。
[0010] 別の例では、メディアデータを送信する方法は、コンテンツ作成デバイス（content preparation device）のカプセル化ユニット（encapsulation unit）が、コンテンツ作成デバイスのビデオエンコーダ（video encoder）からビデオエレメンタリストリームを受信することと、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、カプセル化ユニットが、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、カプセル化ユニットが、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化することと、カプセル化ユニットが、メディアビットストリームのためのシステムレベル情報を生成（generate）することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を含む。
[0011] 別の例では、メディアデータを送信するためのデバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを含み、この１つまたは複数のプロセッサは、ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化することと、メディアビットストリームのためのシステムレベル情報を生成することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を行うように構成される。
[0012] 別の例では、メディアデータを送信するためのデバイスは、ビデオエンコーダからビデオエレメンタリストリームを受信するための手段と、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定するための手段と、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化するための手段と、メディアビットストリームのためのシステムレベル情報を生成するための手段と、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を含む。
[0013] 別の例では、コンピュータ読取可能な記憶媒体は、命令を記憶しており、これら命令は、実行されると、プロセッサに、ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化することと、メディアビットストリームのためのシステムレベル情報を生成することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を行わせる。
[0014] １つまたは複数の例の詳細は、添付の図面および以下の説明で示される。他の特徴、目的、および利点は、本説明および図面からおよび特許請求の範囲から明らかになるであろう。
[0015] 図１は、ネットワークを通してメディアデータをストリーミングするための技法をインプリメントする例となるシステムを例示するブロック図である。 [0016] 図２は、検索ユニット（retrieval unit）の構成要素の例となるセットを例示するブロック図である。 [0017] 図３、例となるマルチメディアコンテンツ（multimedia content）の要素を例示する概念図である。 [0018] 図４は、表現のセグメント（segment of a representation）に対応し得る、例となるビデオファイル（video file）の要素を例示するブロック図である。 [0019] 図５は、本開示の技法にしたがってメディアデータをトランスポートするための例となる方法を例示するフローチャートである。
詳細な説明
[0020] 一般に、本開示は、メディアデータをトランスポートするときにシステムレベルで付加拡張情報（ＳＥＩ）メッセージデータをシグナリング（signaling）するための技法を説明する。システムレベルは一般に、ネットワーク抽象レイヤ（ＮＡＬ：network abstraction layer）ユニットおよびカプセル化されたＮＡＬユニットに対応し得、これらは、ネットワークを介してトランスポートされ得る。例えば、システムレベルは、ＭＰＥＧ−２システム（例えば、ＭＰＥＧ−２トランスポートストリーム（ＴＳ：Transport Stream））、ＭＰＥＧメディアトランスポート（ＭＭＴ：MPEG Media Transport）、および／または動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ：Dynamic Adaptive Streaming over HTTP）に対応し得る。
[0021] ＮＡＬユニットは、ビデオコード化レイヤ（ＶＣＬ：Video Coding Layer）ＮＡＬユニットと非ＶＣＬ ＮＡＬユニットとに分類され得る。ＶＣＬユニットは、コア圧縮エンジンを含み得、ブロック、マクロブロック（macroblock）、符号化ユニット（ＣＵ：coding unit）、および／またはスライスレベルデータを含み得る。他のＮＡＬユニットは、非ＶＣＬ ＮＡＬユニットであり得る。いくつかの例では、通常、プライマリコード化ピクチャ（primary coded picture）として表される、１つの時間インスタンス中のコード化されたピクチャは、１つまたは複数のＮＡＬユニットを含み得るアクセスユニット（access unit）に含まれ得る。
[0022] 非ＶＣＬ ＮＡＬユニットは、とりわけ、パラメータセットＮＡＬユニットと、ＳＥＩ ＮＡＬユニットとを含み得る。パラメータセットは、（シーケンスパラメータセット（ＳＰＳ：sequence parameter set）中の）シーケンスレベルのヘッダ情報と、（ピクチャパラメータセット（ＰＰＳ：picture parameter set）中の）希に変化するピクチャレベルのヘッダ情報とを含み得る。パラメータセット（例えば、ＰＰＳおよびＳＰＳ）の場合、希に変化する情報は、シーケンスまたはピクチャごとに繰り返される必要がないため、コード化効率（coding efficiency）が改善され得る。さらに、パラメータセットの使用は、重要なヘッダ情報の帯域外送信（out-of-band transmission）を可能にし得、これにより、誤り耐性（error resilience）のための冗長伝送（redundant transmission）が必要となるのを回避する。帯域外送信の例では、パラメータセットＮＡＬユニットは、ＳＥＩ ＮＡＬユニットのような他のＮＡＬユニットとは異なるチャネル上で送信され得る。
[0023] ＳＥＩメッセージは、ＶＣＬ ＮＡＬユニットから、コード化されたピクチャサンプルを復号するのに必要でない情報を含み得るが、復号、表示、誤り耐性、および他の目的に関するプロセスを支援し得る。ＳＥＩメッセージは、非ＶＣＬ ＮＡＬユニットに含まれ得る。ＳＥＩメッセージは、いくつかの標準仕様の規範的な部分であり、ゆえに、標準準拠のデコーダインプリメンテーションに対して常に必須であるとは限らない。ＳＥＩメッセージは、シーケンスレベルのＳＥＩメッセージまたはピクチャレベルのＳＥＩメッセージであり得る。いくつかのシーケンスレベルの情報は、ＳＶＣの例でのスケーラビリティ情報（scalability information）ＳＥＩメッセージおよびＭＶＣでのビュースケーラビリティ情報（view scalability information）ＳＥＩメッセージのような、ＳＥＩメッセージに含まれ得る。これらの例となるＳＥＩメッセージは、例えば、動作点の抽出および動作点の特性についての情報を伝達し得る。
[0024] ＰＰＳおよびＳＰＳのようなパラメータセットは、ビデオユーザビリティ情報（ＶＵＩ：video usability information）を含み得る。ＶＵＩは一般に、例えば、ピクチャがいつ復号および提示されるべきかといった、ピクチャのためのタイミングについての情報を提供する。ＶＵＩは、アスペクト比、原色、および同様のもののような、復号されたピクチャの表示に関する他のデータも提供し得る。さらに、ＶＵＩは、プロフィール（）、ティア（tier）、およびレベル情報のような情報を示し得、これは、一般に、対応するビデオデータ（video data）をコード化するためにどのコーディングツールが有効にされ、どのコーディングツールが無効にされるかを示す。
[0025] ゆえに、ＳＥＩおよびＶＵＩは、多種多様な目的のために、ビデオビットストリーム（video bitstream）におけるビデオデータの用途を拡張するために、ビデオビットストリームに挿入されることができる情報のセットである。ＳＥＩメッセージは、例えば、信号の表示およびレンダリングについての情報を含み得る。ＳＥＩメッセージの様々な例は、ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ（アドバンスドビデオコーディング）およびＩＴＵ−Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）において定義されている。ＳＥＩメッセージタイプは、関連するビデオコーディング仕様（例えば、Ｈ．２６４またはＨ．２６５）において定義されているペイロードタイプインデックス（payload type index）によって識別される。ＳＥＩメッセージはさらには、登録によって非公開ユーザデータを配信するために使用され得、そのため、かなりの量の情報が配信され得る。ＳＥＩメッセージは、重要な情報を含み得る。この情報が存在する場合、メディアエンジンがデータにアクセスすることができるか、メディアエンジンクライアントがデータにアクセスすることを許可されるかのいずれかである。
[0026] 適切な動作のために、システムレイヤ（system layer）がＳＥＩメッセージを解析し、これらＳＥＩメッセージから情報を抽出する必要のあるケースが存在し得る。しかしながら、本開示の技法なしでは、ビデオエレメンタリストリームが特定のＳＥＩメッセージを含むかどうか、および、クライアントが、システムにアクセスできるようになるためにＳＥＩメッセージ中の情報を処理するよう要求されるかどうかをシステムレイヤでシグナリングする方法は現在存在しない。
[0027] メディアデータをストリーミングするとき、オーディオ、ビデオ、および／またはタイムドテキスト（timed text）（または、クローズドキャプション）のような様々なタイプのメディアデータがメディアストリーム（media stream）に含まれ得る。タイムドテキスト／クローズドキャプションデータシグナリングは、例えば、ＣＥＡ−６０８、ＣＥＡ−７０８、およびＥＩＡ−６０８のような様々な規格にしたがって実行され得る。クローズドキャプションの存在およびビデオトラック（video track）のＳＥＩメッセージ内でのそれらの搬送は、ＡＮＳＩ／ＳＣＴＥ１２８−１ ２０１３，セクション８．１ Encoding and transport of caption, active format description (AFD) and bar data、において定義されている。そのようなシグナリングは、ビデオトラックが、ＣＥＡ−６０８／７０８クローズドキャプションを搬送するＳＥＩメッセージを含み得ることを示し得る。４の値を有するＳＥＩメッセージシンタックスエレメント（syntax element） payload_type は、Ｒｅｃ．ＩＴＵ−Ｔ Ｔ．３５ベースのＳＥＩメッセージが使用中であることを示すために使用される。システムレベルでのキャプションの存在のシグナリングは、特定のケースでは規制問題とかなり関連している。ＤＡＳＨ−ＩＦは、ＤＡＳＨ ＭＰＤにおいてこれをシグナリングする方法を定義している（DASH-IF IOP Guidelines Clause 6.4.3参照）が、これは、他のシステムでは利用不可能である。
[0028] Common Media Application Format，clause 9.5「Video Elementary Stream Embedded Captions」には次のように示されている：
・ＭＰＥＧ Ｆｉｌｅ Ｓｙｓｔｅｍｓグループは、Ｐａｒｔ３０の計画されている改正およびＩＳＯＢＭＦＦでのビデオＳＥＩ ＮＡＬユニットにおけるキャプションデータ（caption data）の存在をシグナリングする方法を指定している。この改正は、ＣＭＡＦが公表されるとここで参照できるようになることが予想される。
・マニフェスト（Manifest）が、ＳＥＩに記憶されたクローズドキャプションの存在および含まれるサービスおよび言語をシグナリングすることが推奨される。プレーヤは、ユーザまたはプレーヤがオーディオアクセシビリティについてのプリファレンスを示す場合、キャプションを含むようにシグナリングされたトラック（Track）を自動的に選択し得る。
[0029] ゆえに、このシグナリングをファイルフォーマットレベル（file format level）で提供することとシステムレベルで提供することとの間にはギャップが存在する。特定のケースでは、システムレベルで動作するデバイスは、例えば、ＤＡＳＨクライアントのケースで行われるように、レンダリングのためにＳＥＩメッセージを抽出しなければならない。したがって、システムレベル情報は、重要である。
[0030] 本開示は、メディアデータをストリーミングするための従来の技法に以下が欠けていることを認識する：
・以下を示すファイルフォーマットレベルでの信号：
−ビデオエレメンタリストリームにおけるＣＥＡ−６０８／７０８のためのＳＥＩメッセージの存在、
−システムレベルがキャプションをレンダリングできる必要があること、
−キャプションの言語のような追加情報またはＳＥＩメッセージに含まれる他の情報、
−（例えば、異なる言語のための）複数のキャプションが存在し得ること。
・上記のすべてをサポートするためのＭＰＤ／ＤＡＳＨ／ＳＹＳＴＥＭシステムレベルでの信号。
・上記すべてをサポートするためのＭＰＥＧ−２ ＴＳレベルでの信号。
・上記のすべてをサポートするためのＭＭＴシステムレベルでの信号。
[0031] ウルトラＨＤおよび高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）技術の到来は、いくつかの異なるメディアフォーマットおよびそれらを記述するメタデータ（metadata）をビデオコーディングコミュニティにもたらした。ＨＤＲが標準ダイナミックレンジ（ＳＤＲ：standard dynamic range）と異なる例となる特性は、以下のものである：原色（ＢＴ．２０２０またはＰ３がＢＴ．７０９の代わりに使用される）、変換特性（ＳＭＰＴＥ ＳＴ ２０８４（ＰＱ）またはＨＬＧがＢＴ．７０９の代わりに使用される）、および色変換マトリックス（ＢＴ．２０２０またはＸＹＺがＢＴ．７０９の代わりに使用される）。これらは典型的に、ビデオエレメンタリストリームにおいてＶＵＩ情報を通してシグナリングされ、例えば、ＩＳＯ／ＩＥＣ２３００１−８：２０１６にしたがって、コーデック非依存コードポイント（ＣＩＣＰ：Coding-Independent Code Point）メッセージを使用して、これをＭＰＤレベルに伝播する既存の方法が存在する。ＨＤＲ技法は、例えば、広色域（ＷＣＧ：wide color gamut）を含み得る。
[0032] 例えば、ＢＴ．２０２０プライマリおよび伝達関数（ＶＵＩコード９）およびＰＱ変換特性（ＶＵＩコード１４）の使用をシグナリングするために、コンテンツ作成デバイスは、以下の特性をAdaptationSetにアタッチすることができる：
・<SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:ColorPrimaries " value="9"/>
・<SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:TransferCharacteristics" value="14"/>
・<SupplementalProperty schemeIdUri="urn:mpeg:mpegB:cicp:MatrixCoefficients " value="9"/>
[0033] このメカニズムは、ＭＰＥＧによって定義されているＣＩＣＰ記述子（descriptor）および付加特性に依拠する。
[0034] 追加のＳＥＩメッセージが、ＨＤＲのために提供され得る。そのようなＳＥＩメッセージは、いくつかのＨＤＲフォーマットにとって重要であり得る情報のような追加の特性を示し得る。そのような情報は、例えば、ＳＴ２０８６によって定義されているようなマスタリングカラーボリューム情報および／またはＭａｘＦＡＬＬおよび／またはＭａｘＣＬＬパラメータのようなコンテンツ輝度レベル情報を含み得る。ＨＤＲのためのＳＥＩメッセージはまた、ＥＴＳＩ ＴＳ １０３ ４３３またはＥＴＳＩ ＣＣＭ ＩＳＧにおいて定義されているもののような、色再マッピング情報（ＣＲＩ）メッセージおよび／または専有メッセージ（proprietary message）を含み得る。さらに、ＨＤＲのためのＳＥＩメッセージは、ガンマドメイン（gamma-domain）の色値と、再生ドメイン（reproduction domain）における対象とする輝度レベル（light level）との間でのマッピングを確立するためのマスタリングカラーボリューム情報、および／または、ディスプレイおよびコンテンツ特性を前提としてそのようなマッピングがどの範囲まで可能であり得るかを決定するために使用され得るコンテンツ輝度レベル情報を含み得る。
[0035] いくつかの業界団体は、いわゆる「ＨＤＲ−１０」フォーマットを規定することを提案している。これらの団体には、ブルーレイディスクアソシエーション、ＤＥＣＥ、およびウルトラＨＤフォーラムが含まれる。そのようなメタデータ（metadata）が存在することなく作られたフォーマットのインスタンスも存在する。このメタデータが存在していない場合、ＰＱ（perceptual quantization）値は、光強度レベルに直接関係していると考えられ得、これは、異なるレンダリングを必要とし得る。ウルトラＨＤフォーラムは、このバリエーションのＵＨＤフォーマットを「ＰＱ１０」として分類する。
[0036] 異なるディスプレイ技術（例えば、ＬＣＤ、ＡＭＯＬＥＤ、および同様のもの）は、異なる光域を効率的に再生し得る。いくつかの動的なバックライトＬＣＤディスプレイは、数千ニト（nit）を提供することができるが、他のものは、数百に制限される。ディスプレイのブラックレベル、反射率、および実効コントラストもまた、ディスプレイ技術によって大幅に異なる。ディスプレイは、それらの色域、白色点、ネイティブＥＯＴＦ、およびインターフェースの能力も異なる。さらに、ディスプレイ技術は、様々なデータフォーマットおよびインターフェース能力をサポートし得る。
[0037] 両方のフォーマットそしてまたディスプレイおよびインターフェース能力のバリエーションを前提として、プレイバックのためのコンテンツのターゲティング／選択のいくつかの機能は、当然ながらロジックシステムレイヤ（logic system layer）に位置している。例えば、ＵＨＤコンテンツを受信するとき、ＤＡＳＨプレーヤは、利用可能なディスプレイおよびこのディスプレイへのインターフェース前提として、コンテンツが適切にレンダリングされることができるかどうかを決定することと、ＨＤＲマスタリングされたコンテンツの複数の利用可能なセットから、ＨＤＲマスタリングされたコンテキストの好適なセットを選択することと（ここで、好適なセットは、利用可能なディスプレイ上で最良に再生されることとなる１つであり得る）、ＳＤＲストリーム存在するとき（例えば、ディスプレイの能力を考慮して）ＳＤＲの使用がＨＤＲよりも良好であるかどうかを決定することと、他の懸念事項、を行うように構成される必要があり得る。
[0038] 本開示の技法は、ＩＳＯベースメディアファイルフォーマット（ISO Base Media File Format）、スケーラブルビデオコーディング（ＳＶＣ：Scalable Video Coding）ファイルフォーマット、アドバンスドビデオコーディング（ＡＶＣ）ファイルフォーマット、第３世代パートナーシッププロジェクト（３ＧＰＰ（登録商標））ファイルフォーマット、および／またはマルチビュービデオコーディング（ＭＶＣ：Multiview Video Coding）ファイルフォーマット、または他の類似したビデオファイルフォーマットのうちの任意のものにしたがってカプセル化されたビデオデータに適合するビデオファイルに適用され得る。
[0039] ＨＴＴＰストリーミングでは、頻繁に使用される動作は、ＨＥＡＤ、ＧＥＴ、および部分的ＧＥＴを含む。ＨＥＡＤ動作は、ユニフォームリソースロケータ（ＵＲＬ：uniform resource locator）またはユニフォームリソースネーム（ＵＲＮ：uniform resource name）に関連するペイロードを検索することなく、所与のＵＲＬまたはＵＲＮに関連するファイル（file）のヘッダを検索する。ＧＥＴ動作は、所与のＵＲＬまたはＵＲＮに関連するファイル全体を検索する。部分的ＧＥＴ動作は、入力パラメータとしてバイト範囲を受信し、ファイルの連続バイト数を検索し得、ここで、バイト数は、受信したバイト範囲に対応する。ゆえに、ムービーフラグメント（movie fragment）は、部分的ＧＥＴ動作が１つまたは複数の個々のムービーフラグメントを得ることができるため、ＨＴＴＰストリーミングのために提供され得る。１つのムービーフラグメント中に、異なるトラックのいくつかのトラックフラグメント（track fragment）が存在し得る。ＨＴＴＰストリーミングでは、メディアプレゼンテーション（media presentation）は、クライアントにアクセス可能な構造化されたデータ群である。クライアント（client）は、ストリーミングサービスをユーザに提示するために、メディアデータ情報を要求およびダウンロードし得る。
[0040] ＨＴＴＰストリーミングを使用して３ＧＰＰデータをストリーミングする例では、マルチメディアコンテンツのビデオおよび／またはオーディオデータについて複数の表現（representation）が存在し得る。以下で説明されるように、異なる表現は、異なるコード化特性（例えば、ビデオコーディング規格の異なるプロフィールまたはレベル）、異なるコーディング規格または（マルチビューおよび／またはスケーラブル拡張のような）コーディング規格の拡張、または異なるビットレート（bitrate）に対応し得る。そのような表現のマニフェストは、メディアプレゼンテーション記述（ＭＰＤ：Media Presentation Description）データ構造において定義され得る。メディアプレゼンテーションは、ＨＴＴＰストリーミングクライアントデバイスにアクセス可能な構造化されたデータ群に対応し得る。ＨＴＴＰストリーミングクライアントデバイスは、ストリーミングサービスをクライアントデバイスのユーザに提示するために、メディアデータ情報を要求およびダウンロードし得る。メディアプレゼンテーションは、ＭＰＤデータ構造において記述され得、これは、ＭＰＤの更新を含み得る。
[0041] メディアプレゼンテーションは、一連の１つまたは複数の期間（Period）を含み得る。各期間は、次の期間の開始までまたは最後の期間の場合にはメディアプレゼンテーションの終了まで継続し得る。各期間は、同じメディアコンテンツについて１つまたは複数の表現を含み得る。表現は、オーディオ、ビデオ、タイムドテキスト、または他のそのようなデータの多数の代替的な符号化されたバージョンのうちの１つであり得る。表現は、符号化タイプ（encoding type）によって、例えば、ビデオデータの場合には、ビットレート、分解能（resolution）、および／またはコーデック（codec）、およびオーディオデータの場合には、ビットレート、言語、および／またはコーデックによって、異なり得る。表現という用語は、特定の方法で符号化され、マルチメディアコンテンツの特定の期間に対応する符号化されたオーディオまたはビデオデータのセクションを指すために使用され得る。
[0042] 特定の期間の表現は、この表現が属する適応セットを示すＭＰＤ中の属性によって示されるグループに割り当てられ得る。同じ適応セット中の表現は一般に、例えば、帯域幅適応を実行するために、クライアントデバイスが動的およびシームレスにこれら表現同士で切り替えることができる点で、互いの代替であると考えられる。例えば、特定の期間についてのビデオデータの各表現は、表現の任意のものが、対応する期間についてのマルチメディアコンテンツの、ビデオデータまたはオーディオデータのようなメディアデータを表すために復号に対して選択され得るように、同じ適応セットに割り当てられ得る。１つの期間内のメディアコンテンツは、存在する場合、グループ０からの１つの表現によって、または、いくつかの例では、非ゼログループからのせいぜい１つの表現の組合せによって表され得る。期間の各表現のためのタイミングデータは、この期間の開始時間に対して表され得る。
[0043] 表現は、１つまたは複数のセグメントを含み得る。各表現が初期設定セグメントを含み得るか、表現の各セグメントが、自己初期化式であり得る。存在するとき、初期設定セグメントは、表現にアクセスするための初期設定情報を含み得る。一般に、初期設定セグメントは、メディアデータを含まない。セグメントは、ユニフォームリソースロケータ（ＵＲＬ）、ユニフォームリソースネーム（ＵＲＮ）、またはユニフォームリソースアイデンティファイア（ＵＲＩ：uniform resource identifier）のような識別子によって一意に参照され得る。ＭＰＤは、各セグメントについて識別子を提供し得る。いくつかの例では、ＭＰＤはまた、ＵＲＬ、ＵＲＮ、またはＵＲＩによってアクセス可能なファイル内のセグメントのデータに対応し得る範囲属性の形式でバイト範囲を提供し得る。
[0044] 異なるタイプのメディアデータの実質的に同時の検索のために異なる表現が選択され得る。例えば、クライアントデバイスは、セグメントが検索されるオーディオ表現、ビデオ表現、およびタイムドテキスト表現を選択し得る。いくつかの例では、クライアントデバイスは、帯域幅適応を実行するための特定の適応セットを選択し得る。すなわち、クライアントデバイスは、ビデオ表現を含む適応セット、オーディオ表現を含む適応セット、および／またはタイムドテキストを含む適応セットを選択し得る。代替的に、クライアントデバイスは、特定のタイプの媒体（例えば、ビデオ）についての適応セットを選択し、他のタイプの媒体（例えば、オーディオおよび／またはタイムドテキスト）についての表現を直接選択し得る。
[0045] 図１は、ネットワークを通してメディアデータをストリーミングするための技法をインプリメントする例となるシステム１０を例示するブロック図である。この例では、システム１０は、コンテンツ作成デバイス２０と、サーバデバイス（server device）６０と、クライアントデバイス４０とを含む（２１０）。クライアントデバイス４０およびサーバデバイス６０は、インターネットを備え得るネットワーク７４によって通信可能に結合される。いくつかの例では、コンテンツ作成デバイス２０およびサーバデバイス６０もまた、ネットワーク７４または別のネットワークによって結合され得るか、または直接的に通信可能に結合され得る。いくつかの例では、コンテンツ作成デバイス２０およびサーバデバイス６０は、同じデバイスを構成し得る。
[0046] コンテンツ作成デバイス２０は、図１の例では、オーディオソース２２とビデオソース２４とを備える。オーディオソース２２は、例えば、オーディオエンコーダ（audio encoder）２６によって符号化されることとなるキャプチャされたオーディオデータを表す電気信号を作り出すマイクロフォンを備え得る。代替的に、オーディオソース２２は、前に記録されたオーディオデータを記憶する記憶媒体、コンピュータ化されたシンセサイザのようなオーディオデータ生成器、またはオーディオデータの任意の他のソースを備え得る。ビデオソース２４は、ビデオエンコーダ２８によって符号化されることとなるビデオデータを作り出すビデオカメラ、前に記録されたビデオデータで符号化される記憶媒体、コンピュータグラフィックスソースのようなビデオデータ生成ユニット（video data generation unit）、またはビデオデータの任意の他のソースを備え得る。コンテンツ作成デバイス２０は、必ずしも、すべての例でサーバデバイス６０に通信可能に結合されるわけではないが、サーバデバイス６０によって読み取られる別個の媒体にマルチメディアコンテンツを記憶し得る。
[0047] 未加工のオーディオおよびビデオデータは、アナログまたはデジタルデータを備え得る。アナログデータは、オーディオエンコーダ２６および／またはビデオエンコーダ２８によって符号化される前にデジタル化され得る。オーディオソース２２は、話し手（speaking participant）が話している最中にこの話し手からオーディオデータを取得し得、同時に、ビデオソース２４が、この話し手のビデオデータを取得し得る。他の例では、オーディオソース２２は、記憶されたオーディオデータを備えるコンピュータ読取可能な記憶媒体を備え得、ビデオソース２４は、記憶されたビデオデータを備えるコンピュータ読取可能な記憶媒体を備え得る。このように、本開示で説明される技法は、ライブの、ストリーミングの、リアルタイムのオーディオおよびビデオデータに、またはアーカイブされた、事前に記録されたオーディオおよびビデオデータに適用され得る。
[0048] ビデオフレーム（video frame）に対応するオーディオフレーム（audio frame）は、一般に、ビデオフレーム内に含まれるビデオデータがビデオソース２４によってキャプチャ（または、生成）されると同時にオーディオソース２２によってキャプチャ（または、生成）されるオーディオデータを含むオーディオフレームである。例えば、一般に話し手が話すことでオーディオデータを作り出している最中に、オーディオソース２２は、このオーディオデータをキャプチャし、同時に、すなわち、オーディオソース２２がオーディオデータをキャプチャしている間に、ビデオソース２４は、話し手のビデオデータをキャプチャする。ゆえに、オーディオフレームは、１つまたは複数の特定のビデオフレームに時間的に対応し得る。したがって、ビデオフレームに対応するオーディオフレームは一般に、オーディオデータおよびビデオデータが同時にキャプチャされた状況であって、オーディオフレームおよびビデオフレームが、それぞれ、同時にキャプチャされたオーディオデータおよびビデオデータが備える状況に対応する。
[0049] いくつかの例では、オーディオエンコーダ２６は、符号化されたオーディオフレームについてのオーディオデータが記録された時間を表す、符号化された各オーディオフレームにおけるタイムスタンプ（timestamp）を符号化し得、同様に、ビデオエンコーダ２８は、符号化されたビデオフレームについてのビデオデータが記録された時間を表す、符号化された各ビデオフレームにおけるタイムスタンプを符号化し得る。そのような例では、ビデオフレームに対応するオーディオフレームは、タイムスタンプを備えるオーディオフレームと、同じタイムスタンプを備えるビデオフレームとを備え得る。コンテンツ作成デバイス２０は、内部クロックを含み得、この内部クロックは、そこからオーディオエンコーダ２６および／またはビデオエンコーダ２８がタイムスタンプを生成し得るか、またはオーディオソース２２およびビデオソース２４が、それぞれオーディオデータおよびビデオデータをタイムスタンプと関連付けるために使用し得る。
[0050] いくつかの例では、オーディオソース２２は、オーディオデータが記録された時間に対応するデータをオーディオエンコーダ２６に送り得、ビデオソース２４は、ビデオデータが記録された時間に対応するデータをビデオエンコーダ２８に送り得る。いくつかの例では、オーディオエンコーダ２６は、オーディオデータが記録された絶対時間を必ずしも示すことなく、符号化されたオーディオデータの相対的な時間順序を示すために、符号化されたオーディオデータ中のシーケンス識別子（sequence identifier）を符号化し得、同様に、ビデオエンコーダ２８もまた、符号化されたビデオデータの相対的な時間順序付けを示すためにシーケンス識別子を使用し得る。同様に、いくつかの例では、シーケンス識別子は、マッピングされるか、またはそうでなければタイムスタンプと相関され得る。
[0051] オーディオエンコーダ２６は一般に、符号化されたオーディオデータのストリームを作り出し、ビデオエンコーダ２８は、符号化されたビデオデータのストリームを作り出す。（オーディオであろうとビデオであろうと）データの各個々のストリームは、エレメンタリストリームと呼ばれ得る。エレメンタリストリームは、表現の、単一のデジタルにコード化された（場合によっては圧縮された）成分である。例えば、表現のコード化されたビデオまたはオーディオ部分は、エレメンタリストリームであることができる。エレメンタリストリームは、ビデオファイル内にカプセル化される前に、パケット化エレメンタリストリーム（ＰＥＳ：packetized elementary stream）に変換され得る。同じ表現内では、一方のエレメンタリストリームに属するＰＥＳパケットを他方と区別するためにストリームＩＤが使用され得る。エレメンタリストリームのデータの基本単位（basic unit）は、パケット化エレメンタリストリーム（ＰＥＳ）パケットである。ゆえに、コード化されたビデオデータは一般に、エレメンタリビデオストリームに対応する。同様に、オーディオデータは、１つまたは複数のそれぞれのエレメンタリストリームに対応する。
[0052] ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣおよび来たる高効率ビデオコーディング（ＨＥＶＣ）規格のような多くのビデオコーディング規格は、エラーのないビットストリームのためにシンタックス（syntax）、セマンティックス（semantics）、および復号プロセスを定義し、それらはいずれも、特定のプロフィールまたはレベルに適合する。ビデオコーディング規格は、典型的に、エンコーダを指定しないが、エンコーダは、生成されたビットストリームがデコーダに対して規格準拠していることを保証するというタスクが課せられる。ビデオコーディング規格のコンテキストでは、「プロフィール（profile）」は、アルゴリズム、特徴、またはツールおよびそれらに適用される制約のサブセットに対応する。Ｈ．２６４規格よって定義されているように、例えば、「プロフィール」は、Ｈ．２６４規格によって規定されている全体的なビットストリームシンタクスのサブセットである。「レベル（level）」は、例えば、デコーダメモリおよび計算のような、デコーダリソース消費の制限に対応し、これらは、ピクチャの分解能、ビットレート、およびブロック処理レートに関する。プロフィールは、profile_idc（プロフィールインジケータ）値でシグナリングされ得、レベルは、level_idc（レベルインジケータ）値でシグナリングされ得る。
[0053] Ｈ．２６４規格は、例えば、所与のプロフィールのシンタックスによって課された境界内で、復号されたピクチャの指定のサイズのような、ビットストリーム中のシンタックスエレメントによって得られた値に依存してエンコーダおよびデコーダの性能の大きな変動を必要とする可能性が依然としてあることを認識する。Ｈ．２６４規格は、多くのアプリケーションで、特定のプロフィール内のシンタックスのすべての仮説上の用途に対処できるデコーダをインプリメントすることが実用的でも経済的でもないことをさら認識する。したがって、Ｈ．２６４規格は、ビットストリーム中のシンタックスエレメントの値に課された制約の指定されたセットとして、「レベル」を定義する。これらの制約は、値に対する単純な制限であり得る。代替的に、これらの制約は、値の算術的組合せ（例えば、ピクチャ幅にピクチャ高さを乗じたものに、１秒あたりに復号されるピクチャの数を乗じたもの）に対する制約の形をとり得る。Ｈ．２６４規格は、個々のインプリメンテーションが、サポートされるプロフィールごとに異なるレベルをサポートし得ることをさらに提供する。
[0054] プロフィールに適合するデコーダは、本来、このプロフィールにおいて定義されているすべての特徴をサポートする。例えば、コーディング特徴として、Ｂピクチャコーディングは、Ｈ．２６４／ＡＶＣの基本のプロフィールにおいてサポートされていないが、Ｈ．２６４／ＡＶＣの他のプロフィールではサポートされている。レベルに適合するデコーダは、このレベルにおいて定義されている制限を超えてリソースを要求しないすべてのビットストリームを復号できるべきである。プロフィールおよびレベルの定義は、解釈に役立ち得る。例えば、ビデオ送信中、一対のプロフィールおよびレベル定義が、送信セッション全体について、交渉され、同意され得る。より具体的には、Ｈ．２６４／ＡＶＣでは、レベルは、処理される必要のあるマクロブロック（macroblock）の数、復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）サイズ、コード化ピクチャバッファ（ＣＰＢ：coded picture buffer）サイズ、垂直動きベクトル範囲（vertical motion vector range）、２つの連続したＭＢあたりの動きベクトルの最大数、およびＢブロックが８×８未満の画素のサブマクロブロック区分を有することができるかどうかに対する制限を定義し得る。このように、デコーダは、デコーダがビットストリームを適切に復号できるかどうかを決定し得る。
[0055] 図１の例では、コンテンツ作成デバイス２０のカプセル化ユニット（encapsulation unit）３０は、ビデオエンコーダ２８から、コード化されたビデオデータを備えるエレメンタリストリームを受信し、オーディオエンコーダ２６から、コード化されたオーディオデータを備えるエレメンタリストリームを受信する。いくつかの例では、ビデオエンコーダ２８およびオーディオエンコーダ２６は各々、符号化されたデータからＰＥＳパケットを形成するためにパケタイザ（packetizer）を含み得る。他の例では、ビデオエンコーダ２８およびオーディオエンコーダ２６は各々、符号化されたデータからＰＥＳパケットを形成するためにそれぞれのパケタイザとインターフェース接続し得る。さらに他の例では、カプセル化ユニット３０は、符号化されたオーディオおよびビデオデータからＰＥＳパケットを形成するためにパケタイザを含み得る。
[0056] ビデオエンコーダ２８は、画素分解能、フレームレート、様々なコーディング規格への適合性、様々なコーディング規格についての様々なプロフィールおよび／またはプロフィールのレベルへの適合性、（例えば、二次元または三次元プレイバックのための）１つまたは複数のビューを有する表現のような様々な特性または他のそのような特性で、および、様々なビットレートで、マルチメディアコンテンツの異なる表現を作り出すために、多様な方法でマルチメディアコンテンツのビデオデータを符号化し得る。本開示で使用される場合、表現は、オーディオデータ、ビデオデータ、（例えば、クローズドキャプション用の）テキストデータ、または他のそのようなデータのうちの１つを備え得る。表現は、オーディオエレメンタリストリーム（audio elementary stream）またはビデオエレメンタリストリームのようなエレメンタリストリームを含み得る。各ＰＥＳパケットは、ＰＥＳパケットが属するエレメンタリストリームを識別するstream_idを含み得る。カプセル化ユニット３０は、エレメンタリストリームを様々な表現のビデオファイル（例えば、セグメント）にアセンブルすることを担う。
[0057] カプセル化ユニット３０は、オーディオエンコーダ２６およびビデオエンコーダ２８から表現のエレメンタリストリームのためにＰＥＳパケットを受信し、このＰＥＳパケットから、対応するネットワーク抽象レイヤ（ＮＡＬ）ユニットを形成する。Ｈ．２６４／ＡＶＣ（アドバンスドビデオコーディング）の例では、コード化されたビデオセグメントは、ＮＡＬユニットに編成され得、これは、ビデオテレフォニ、記憶、ブロードキャスト、またはストリーミングのような、「ネットワークフレンドリー」ビデオ表現アドレッシングアプリケーションを提供する。
[0058] 加えて、カプセル化ユニット３０は、表現の特性を記述するメディアプレゼンテーション記述（ＭＰＤ）のようなマニフェストファイル（manifest file）を形成し得る。カプセル化ユニット３０は、拡張可能マークアップ言語（ＸＭＬ）にしたがってＭＰＤをフォーマットし得る。
[0059] カプセル化ユニット３０は、マニフェストファイル（例えば、ＭＰＤ）とともに、マルチメディアコンテンツの１つまたは複数の表現についてのデータを出力インターフェース３２に提供し得る。出力インターフェース３２は、ネットワークインターフェース、または、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＣＤまたはＤＶＤライタまたはバーナ、磁気またはフラッシュ記憶媒体へのインターフェース、またはメディアデータを記憶または送信するための他のインターフェースのような、記憶媒体に書き込むためのインターフェースを備え得る。カプセル化ユニット３０は、マルチメディアコンテンツの表現の各々のデータを出力インターフェース３２に提供し得、これは、ネットワーク送信または記憶媒体を通してこのデータをサーバデバイス６０に送り得る。図１の例では、サーバデバイス６０は、それぞれのマニフェストファイル６６および１つまたは複数の表現６８Ａ〜６８Ｎ（表現６８）を各々含む様々なマルチメディアコンテンツ６４を記憶する記憶媒体６２を含む。いくつかの例では、出力インターフェース３２はまた、データをネットワーク７４に直接送り得る。
[0060] いくつかの例では、表現６８は、複数の適応セットに分けられ得る。すなわち、表現６８の様々なサブセットは、コーデック、プロフィールとレベル、分解能、ビューの数、セグメントのためのファイルフォーマット、例えば、スピーカによって、復号および提示されるべきオーディオデータおよび／または表現で表示されることとなるテキストの言語または他の特性を識別し得るテキストタイプ情報、適応セットにおける表現のためのシーンのカメラ角度または実世界のカメラ視点を説明し得るカメラ角度情報、特定のオーディエンスについてのコンテンツ適合性を説明するレーティング情報（rating information）、または同様のもののような、特性のそれぞれの共通セットを含み得る。
[0061] マニフェストファイル６６は、特定の適応セットに対応する表現６８のサブセットおよびこれら適応セットについての共通の特性を示すデータを含み得る。マニフェストファイル６６はまた、適応セットの個々の表現について、ビットレートのような個々の特性を表すデータを含み得る。このように、適応セットは、簡略化されたネットワーク帯域幅適応を提供し得る。適応セット中の表現は、マニフェストファイル６６の適応セットセレメントの子エレメントを使用して示され得る。
[0062] サーバデバイス６０は、要求処理ユニット（Request processing unit）７０と、ネットワークインターフェース７２とを含む。いくつかの例では、サーバデバイス６０は、複数のネットワークインターフェースを含み得る。さらに、サーバデバイス６０の特徴のうちの任意のものまたはすべてが、ルータ、ブリッジ、プロキシデバイス、スイッチ、または他のデバイスのようなコンテンツ配信ネットワークの他のデバイス上でインプリメントされ得る。いくつかの例では、コンテンツ配信ネットワークの中間デバイスは、マルチメディアコンテンツ６４のデータをキャッシュし、サーバデバイス６０のそれらに実質的に適合する構成要素を含み得る。一般に、ネットワークインターフェース７２は、ネットワーク７４を介してデータを送受信するように構成される。
[0063] 要求処理ユニット７０は、記憶媒体６２のデータについて、クライアントデバイス４０のようなクライアントデバイスからネットワーク要求を受信するように構成される。例えば、要求処理ユニット７０は、Ｒ．Ｆｉｅｌｄｉｎｇ等による、ＲＦＣ２６１６，「Hypertext Transfer Protocol - HTTP/1.1」，ネットワークワーキンググループ，ＩＥＴＦ，１９９９年６月、に記載されているハイパーテキスト転送プロトコル（ＨＴＴＰ）バージョン１．１をインプリメントし得る。すなわち、要求処理ユニット７０は、ＨＴＴＰ ＧＥＴまたは部分的ＧＥＴ要求を受信し、この要求に応答してマルチメディアコンテンツ６４のデータを提供するように構成され得る。要求は、例えば、表現６８のうちの１つの表現のセグメントを、このセグメントのＵＲＬを使用して指定し得る。いくつかの例では、要求はまた、セグメントの１つまたは複数のバイト範囲を指定し得、ゆえに、部分的ＧＥＴ要求を備える。要求処理ユニット７０は、表現６８のうちの１つの表現のセグメントのヘッダデータを提供するために、ＨＴＴＰ ＨＥＡＤ要求をサービスするようにさらに構成され得る。いずれのケースでも、要求処理ユニット７０は、要求されたデータを、クライアントデバイス４０のような要求側デバイスに提供するために要求を処理するように構成され得る。
[0064] 追加的にまたは代替的に、要求処理ユニット７０は、ｅＭＢＭＳのような、ブロードキャストまたはマルチキャストプロトコルを介してメディアデータを配信するように構成され得る。コンテンツ作成デバイス２０は、説明した方法と実質的に同じ方法でＤＡＳＨセグメントおよび／またはサブセグメントを作成し得るが、サーバデバイス６０は、ｅＭＢＭＳまたは別のブロードキャストまたはマルチキャストネットワークトランスポートプロトコルを使用して、これらのセグメントまたはサブセグメントを配信し得る。例えば、要求処理ユニット７０は、クライアントデバイス４０から、マルチキャストグループ参加要求を受信するように構成され得る。すなわち、サーバデバイス６０は、マルチキャストグループに関連するインターネットプロトコル（ＩＰ）アドレスを、特定のメディアコンテンツ（例えば、ライブのイベントのブロードキャスト）に関連する、クライアントデバイス４０を含むクライアントデバイスにアドバタイズ（advertise）し得る。次に、クライアントデバイス４０は、マルチキャストグループに参加したいという要求を提出し得る。この要求は、ネットワーク７４、例えば、ネットワーク７４を構成するルータ、全体にわたって伝播され得、それにより、これらルータは、マルチキャストグループに関連するＩＰアドレス宛のトラフィックをクライアントデバイス４０のような加入クライアントデバイスに向けさせられる。
[0065] 図１の例に例示されているように、マルチメディアコンテンツ６４は、メディアプレゼンテーション記述（ＭＰＤ）に対応し得るマニフェストファイル６６を含む。マニフェストファイル６６は、異なる代替的な表現６８（例えば、異なる量を有するビデオサービス）の記述を含み得、この記述は、例えば、コーデック情報、プロフィール値、レベル値、ビットレート、および表現６８の他の記述的特性を含み得る。クライアントデバイス４０は、表現６８のセグメントにどのようにアクセスするかを決定するために、メディアプレゼンテーションのＭＰＤを検索し得る。
[0066] 特に、検索ユニット５２は、ビデオデコーダ４８の復号能力およびビデオ出力４４のレンダリング能力を決定するために、クライアントデバイス４０の構成データ（図示せず）を検索し得る。構成データはまた、クライアントデバイス４０のユーザによって選択された言語プリファレンス、クライアントデバイス４０のユーザによって設定された奥行きプリファレンス（depth preference）に対応する１つまたは複数のカメラ視点、および／またはクライアントデバイス４０のユーザによって選択されたレーティングプリファレンス（rating preference）のうちの任意のものまたはすべてを含み得る。検索ユニット５２は、例えば、ＨＴＴＰ ＧＥＴおよび部分的ＧＥＴ要求を提出するように構成されたウェブブラウザまたはメディアクライアントを備え得る。検索ユニット５２は、クライアントデバイス４０の１つまたは複数のプロセッサまたは処理ユニット（図示せず）によって実行されるソフトウェア命令に対応し得る。いくつかの例では、検索ユニット５２を参照して説明された機能性のすべてまたは一部は、ハードウェアにおいて、または、ハードウェア、ソフトウェア、および／またはファームウェアの組合せにおいてインプリメントされ得、ここで、必須のハードウェアは、ソフトウェアまたはファームウェアのための命令を実行するために提供され得る。
[0067] 検索ユニット５２は、クライアントデバイス４０の復号能力およびレンダリング能力を、マニフェストファイル６６の情報によって示される表現６８の特性と比較し得る。検索ユニット５２は、表現６８の特性を決定するために、マニフェストファイル６６の少なくとも一部を最初に検索し得る。例えば、検索ユニット５２は、１つまたは複数の適応セットの特性を記述するマニフェストファイル６６の一部を要求し得る。検索ユニット５２は、クライアントデバイス４０のコーディング能力およびレンダリング能力によって満たされることができる特性を有する表現６８のサブセット（例えば、適応セット）を選択し得る。次いで、検索ユニット５２は、適応セット中の表現についてビットレートを決定し、現在利用可能なネットワーク帯域幅の量を決定し、このネットワーク帯域幅によって満たされることができるビットレートを有する表現のうちの１つからセグメントを検索し得る。
[0068] 本開示の技法にしたがって、カプセル化ユニット３０は、カプセル化されたビデオビットストリーム（encapsulated video bitstream）に含まれるデータを表すシグナリングされた情報を含むコーデック非依存コードポイント（ＣＩＣＰ）メッセージを提供し得、検索ユニット５２は、それを受信し得る。例えば、ＣＩＣＰメッセージは、以下のうちの任意のものまたはすべてを示し得る：ＣＥＡ−６０８／７０８のためのＳＥＩメッセージがビデオエレメンタリストリームに含まれるかどうか、システムレベルがクローズドキャプションをレンダリングすることができなければならないかどうか、クローズドキャプションの言語またはＳＥＩメッセージに別で含まれている他の情報、および／または（例えば、異なる言語のための）複数のクローズドキャプションが存在するかどうか。追加的にまたは代替的に、ＣＩＣＰメッセージは、マスタリングカラーボリューム情報、コンテンツ輝度レベル情報、ＣＲＩメッセージ、マスタリングカラーボリューム情報のためのマッピング情報、および／またはＨＤＲのためのＳＥＩメッセージに含まれている専有メッセージ（proprietary message）を表すシグナリングを含み得る。
[0069] このようにＣＩＣＰメッセージを使用することで、シグナリングされるデータは、対応するメディアデータをコード化するために使用されるコーデックから独立しているであろう。加えて、ＣＩＣＰメッセージは、例えば、マニフェストファイル６６に含まれ得る。ＣＩＣＰメッセージは、不可欠性および付加情報をサポートするために使用されることができる。ＣＩＣＰメッセージはまた、この情報について詳細なセマンティックスを定義することができる。しかしながら、本開示は、ＣＩＣＰメッセージがメタデータに固有あり得、ＳＥＩメッセージをカバーするものではなく、（例えば、ＩＳＯ ＢＭＦＦファイルフォーマット情報における）ファイルフォーマットレベルでのシグナリングのためには一般に使用されないことを認識する。
[0070] 加えてまたは代替として、カプセル化ユニット３０は、ＩＳＯ／ＩＥＣ２３００９−１にしたがってＤＡＳＨ記述子を提供し、検索ユニット３０は、それを受信し得る。そのような記述子（descriptor）は、カプセル化されたビデオビットストリームに含まれるデータを表すシグナリングされた情報を含み得る。例えば、ＤＡＳＨ記述子は、以下のうちの任意のものまたはすべてを示し得る：ＣＥＡ−６０８／７０８のためのＳＥＩメッセージがビデオエレメンタリストリームに含まれるかどうか、システムレベルがクローズドキャプションをレンダリングすることができなければならないかどうか、クローズドキャプションの言語またはＳＥＩメッセージに別で含まれている他の情報、および／または（例えば、異なる言語のための）複数のクローズドキャプションが存在するかどうか。追加的にまたは代替的に、ＤＡＳＨ記述子は、マスタリングカラーボリューム情報、コンテンツ輝度レベル情報、ＣＲＩメッセージ、マスタリングカラーボリューム情報のためのマッピング情報、および／またはＨＤＲのためのＳＥＩメッセージに含まれている専有メッセージを表すシグナリングを含み得る。
[0071] このようにＤＡＳＨ記述子を使用することで、シグナリングされるデータは、対応するメディアデータをコード化するために使用されるコーデックから独立しているであろう。加えて、ＤＡＳＨ記述子は、（マニフェストファイル６６に対応し得る）ＤＡＳＨ ＭＰＤにおいてシグナリングされ得る。ＤＡＳＨ記述子は、不可欠性および付加情報をサポートするために使用されることができる。ＤＡＳＨ記述子はまた、この情報についてＤＡＳＨ中の詳細なセマンティックスを定義することができる。しかしながら、本開示は、ＤＡＳＨ記述子がすべてのＳＥＩメッセージはカバーするわけではなく、（例えば、ＩＳＯ ＢＭＦＦファイルフォーマット情報における）ファイルフォーマットレベルでのシグナリングのためには一般に使用されず、ＤＡＳＨだけに固有なわけではなく、広く利用できるようになると予想されないことを認識する。
[0072] 加えてまたは代替として、カプセル化ユニット３０は、例えば、ＤＡＳＨセグメントまたは他のそのようなストリーミングされたファイルのためのＩＳＯ ＢＭＦＦファイルフォーマット情報において、ファイルフォーマットデータ（file format data）の一部としてサンプルエントリ情報（sample entry information）を提供し、検索ユニット３０は、それを受信し得る。そのようなサンプルエントリ情報は、搬送されるＳＥＩペイロードをシグナリングするための詳細な能力を有するサンプルエントリとして、フォーメーションを組んで（例えば、ＩＳＯ／ＩＥＣ１４４９６−１５にしたがって）、ＡＶＣまたはＨＥＶＣファイルフォーマットに追加され得、各ペイロードは、他に何が追加されるかについてのさらなる詳細を定義することができる。
[0073] そのようなサンプルエントリ情報は、対応するメディアデータをコード化するために使用されるコーデックから独立しているであろう。サンプルエントリ情報は、（マニフェストファイル６６に対応し得る）ＤＡＳＨ ＭＰＤにおいてシグナリングされ得る。そのようなサンプルエントリ情報は、すべての既存のおよび将来のＳＥＩメッセージをカバーし得る。サンプルエントリ情報は、必ずしも、＠ｃｏｄｅｃパラメータだがファイルフォーマットレベルおよびＤＡＳＨレベルでの情報のシグナリングを可能にするわけではない。しかしながら、本開示は、サンプルエントリ情報が、不可欠性および付加情報をサポートするために使用されない可能性があり、仕様テキストにおいて定義するのに複雑であり得ることを認識する。
[0074] 加えてまたは代替として、カプセル化ユニット３０は、以下のうちの１つまたは複数をシグナリングする文字列シンタックス（string syntax）を提供し、検索ユニット３０は、それを受信し得る：エレメンタリストリームが１つまたは複数のＳＥＩメッセージペイロードタイプ（SEI message payload type）を含むこと、含まれる各ペイロードタイプがシグナリングされること、各タイプについての、追加情報をシグナリングする（好ましくは、非常に単純なベースで、例えば、何らかの静的に含まれている情報（some static contained information）を指定する）ために使用されることができるユーザ定義されたフィールド（user defined field）のオプション、および／またはユーザ定義されたデータ（user defined data）上のペイロードタイプ４。そのような情報は、ファイルフォーマットレベルでシグナリングされ得る。この信号はまた、例えば、ＤＡＳＨ ＭＰＤ（または、一般にマニフェストファイル６６）において、システムレイヤによって継承（inherit）され得る。
[0075] さらに、上述したシステムレベル情報を生成するために、カプセル化ユニット３０は、どのＳＥＩメッセージが、ＳＥＩメッセージについてのペイロードタイプとともに、ビデオエレメンタリストリーム中に含まれているかを決定し、ビデオエレメンタリストリームに含まれているＳＥＩメッセージを示すようにシステムレベル情報を生成し得る。同様に、検索ユニット５２は、クライアントデバイス４０の能力（例えば、クライアントデバイス４０が、ＳＥＩメッセージのデータを使用することができるかどうか）を決定し、システムレベル情報によって示されるようなＳＥＩメッセージのシグナリングされた情報と能力とに基づいて、適切な媒体ストリーム（例えば、適応セットおよび／または適応セットの表現）を選択し得る。
[0076] 上述したシステムレベル情報は、単独でまたは任意の組合せで、どのＳＥＩメッセージがビットストリームまたはエレメンタリストリーム中に存在する（または存在し得る）かを示し得る。そのようなシステムレベル情報は、例えば、存在する（または存在し得る）ＳＥＩメッセージのタイプの数および／またはＳＥＩメッセージタイプのアレイ（array）を含み得る。各タイプは、例えば、１６ビットの負でない整数によってまたは可変長でコード化された値によって表され得る。
[0077] コード化されるビデオビットストリームでは、ビデオビットストリーム中にどのＳＥＩメッセージが存在する（または存在し得る）かについての情報は、例えば、（例えば、ＨＥＶＣで規定されているような）ビデオパラメータセット、（例えば、ＨＥＶＣまたはＨ．２６４／ＡＶＣで規定されているような）シーケンスパラメータセット、またはシーケンスレベルのＳＥＩメッセージのようなパラメータセットにおいてシグナリングされ得る。
[0078] ファイルフォーマットＤＡＳＨ ＭＰＤ、ＭＰＥＧ−２ ＴＳ、および／またはＭＭＴでは、どのＳＥＩメッセージがトラック（track）中のビデオエレメンタリビットストリーム（video elementary bitstream）に存在する（または存在し得る）かを示す情報は、以下のうちの１つまたは複数においてシグナリングされ得る：新たなボックス（）、例えば、「SeiMsgInfoBox」、これは、例えば、オプションのボックスとして、視覚サンプルエントリ（visual sample entry）に含まれることができる、新たなオプションのＭＩＭＥパラメータ、これは、例えば、「seimsgtypes」と称され、このボックスは、「コーデック」パラメータの一部としてまたはそれと並列に含まれることができ、これは、次いで、ＤＡＳＨ ＭＰＤまたは他のマニフェストファイルに含まれることができる、適応セットまたは表現レベルにおける新たなまたは既存のＤＡＳＨ ＭＰＤエレメントまたは記述子、新たなまたは既存のシーケンスレベルのＭＰＥＧ−２ ＴＳ記述子、および／または新たなまたは既存のシーケンスレベルのＭＭＴ記述子。
[0079] 様々なタイプのＳＥＩメッセージが、ビットストリームに含まれ得る。ＳＥＩメッセージは、例えば、ＨＤＲおよび／またはＷＣＧのための情報を有するＳＥＩメッセージを含み得る。ＳＥＩメッセージにおいて、したがって、本開示の技法に係るシステムレベル情報において、シグナリングされ得る特性は、追加的にまたは代替的に、以下のうちの任意のものまたはすべてを含み得る：例えば、（マスタリングディスプレイの原色および白色点（コンテンツの記述）および／またはマスタリングディスプレイ輝度の最小値および／または最大値（コンテンツの記述）を含み得る）ＳＴ２０８６によって定義されているようなマスタリングカラーボリューム情報、コンテンツ輝度レベル情報（例えば、コンテンツの所与のセグメントについての最大輝度レベル（コンテンツの記述）および／またはコンテンツの所与のセグメントについての最大平均フレーム輝度レベル（コンテンツの記述）を表し得るＭａｘＦＵＬＬおよび／またはＭａｘＣＬＬパラメータ）、例えば、ＨＥＶＣにおいて定義されているような色再マッピング情報（例えば、ターゲット表現のプライマリ（出力の記述））、ターゲット表現の変換特性（出力の記述）、および／または色再マッピングＩＤ（いくつかのエコシステムにおけるアプリケーションＩＤの記述）、および／または例えば、（原色および／またはターゲットディスプレイの最小／最大輝度（出力の記述）を含み得る）ＳＴ２０９４−１０，２０，３０，４０において定義されているようなカラーボリューム変換のためのＨＤＲダイナミックメタデータ。
[0080] 一例では、ビットストリーム中に複数のＳＥＩエンティティが存在し得る。各ＳＥＩは、異なるディスプレイ能力をターゲットにし得る。ＳＥＩメッセージ中にカプセル化されたパラメータは、本開示の技法にしたがって、システムレベルにおいて利用可能にされ得る。すなわち、カプセル化ユニット３０は、システムレベルでＳＥＩメッセージに別で含まれている情報のうちの任意のものまたはすべてを提供し得、検索ユニット５２は、それを受信し得る。ゆえに、クライアントデバイス４０のようなエンドデバイスは、選択されたビットストリームが、例えば、ビデオ出力４４の能力と一致する特性を有するように、ＳＥＩメッセージ情報を表すシステムレベル情報に基づいて、好適なビットストリーム（例えば、表現６８のうちの１つ）を選択し得る。
[0081] 別の例では、ビットリーム中に、例えば、フィードバックチャネルを有するシステム中に、単一のＳＥＩエンティティが存在し得る。単一のビットストリームは、エンコーダ側で（例えば、サーバデバイス６０またはコンテンツ作成デバイス２０において）利用可能であり得る。フィードバックチャネルを通して提供される（および、例えば、サーバデバイス６０によって受信される）デコーダ能力（例えば、ビデオデコーダ４８の能力）に基づいて、（ビデオエンコーダ２８のような）ビデオエンコーダは、このデコーダ能力にしたがって適応を提供するために、ビストリームＳＥＩメッセージのデータをカプセル化し得る。ＳＥＩメッセージのパラメータは、本開示の技法にしたがって、システムレベルでシグナリングされ得る。
[0082] 一般に、より高いビットレートの表現は、より高い品質のビデオプレイバックを生み出し得、より低いビットレートの表現は、利用可能なネットワーク帯域幅が減少するときに十分な品質のビデオプレイバックを提供し得る。したがって、利用可能なネットワーク帯域幅が比較的高いとき、検索ユニット５２は、比較的高いビットレートトの表現からデータを検索し得、利用可能なネットワーク帯域幅が低いとき、検索ユニット５２は、比較的低いビットレートの表現からデータを検索し得る。このように、クライアントデバイス４０は、ネットワーク７４の変化するネットワーク帯域幅利用可能性に順応しつつ、ネットワーク７４を通してマルチメディアデータをストリーミングし得る。
[0083] 追加的にまたは代替的に、検索ユニット５２は、ｅＭＢＭＳまたはＩＰマルチキャストのようなブロードキャストまたはマルチキャストネットワークプロトコルにしたがってデータを受信するように構成され得る。そのような例では、検索ユニット５２は、特定のメディアコンテンツに関連するマルチキャストネットワークに参加したいという要求を提出し得る。マルチキャストグループに参加した後、検索ユニット５２は、サーバデバイス６０またはコンテンツ作成デバイス２０にさらなる要求が発行されることなく、このマルチキャストグループのデータを受信し得る。検索ユニット５２は、マルチキャストグループのデータがもはや必要でないとき、例えば、プレイバックを停止するかまたはチャネルを異なるマルチキャストグループに変更するために、マルチキャストグループを出たいという要求を提出し得る。
[0084] ネットワークインターフェース５４は、選択された表現のセグメントのデータを受信し、それを検索ユニット５２に提供し得、この検索ユニットは、次いで、このセグメントをファイルフォーマット処理ユニット５０に提供し得る。ファイルフォーマット処理ユニット５０は、ビデオファイルのエレメントを構成のＰＥＳストリームにデカプセル化（decapsulate）し、符号化されたデータを検索するためにＰＥＳストリームを逆パケット化（depacketize）し、例えば、ストリームのＰＥＳパケットヘッダによって示されるように、符号化されたデータがオーディオストリームの一部であるかビデオストリームの一部であるかに依存して、符号化されたデータをオーディオデコーダ４６またはビデオデコーダ４８のいずれかに送り得る。オーディオデコーダ４６は、符号化されたオーディオデータを復号し、復号されたオーディオデータをオーディオ出力４２に送り、ビデオデコーダ４８は、符号化されたビデオデータを復号し、ストリームの複数のビュー（view）を含み得る復号されたビデオデータをビデオ出力４４に送る。
[0085] ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、検索ユニット５２、およびファイルフォーマット処理ユニット５０は各々、１つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せのような、適用可能な場合、多様な適切な処理回路のうちの任意のものとしてインプリメントされ得る。ビデオエンコーダ２８およびビデオデコーダ４８の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらはいずれも、複合ビデオエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合され得る。同様に、オーディオエンコーダ２６およびオーディオデコーダ４６の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらはいずれも、複合ＣＯＤＥＣの一部として統合され得る。ビデオエンコーダ２８、ビデオデコーダ４８、オーディオエンコーダ２６、オーディオデコーダ４６、カプセル化ユニット３０、検索ユニット５２、および／またはファイルフォーマット処理ユニット５０を含む装置は、集積回路、マイクロプロセッサ、および／またはセルラ電話のようなワイヤレス通信デバイスを備え得る。
[0086] クライアントデバイス４０、サーバデバイス６０、および／またはコンテンツ作成デバイス２０は、本開示の技法にしたがって動作するように構成され得る。例示を目的として、本開示は、クライアントデバイス４０およびサーバデバイス６０を参照してこれらの技法を説明する。しかしながら、コンテンツ作成デバイス２０が、サーバデバイス６０の代わりに（または、それらに加えて）、これらの技法を実行するように構成され得ることは理解されるべきである。
[0087] カプセル化ユニット３０は、ＮＡＬユニットが属するプログラムを識別するヘッダに加え、ペイロード、例えば、オーディオデータ、ビデオデータ、またはＮＡＬユニットが対応するトランスポートまたはプログラムストリームを記述するデータ、を備えるＮＡＬユニットを形成し得る。例えば、Ｈ．２６４／ＡＶＣでは、ＮＡＬユニットは、１バイトのヘッダと、変化するサイズのペイロードとを含む。ペイロード中にビデオデータを含んでいるＮＡＬユニットは、様々な粒度レベルのビデオデータを備え得る。例えば、ＮＡＬユニットは、ビデオデータの１つのブロック、複数のブロック、ビデオデータのスライス、またはビデオデータのピクチャ全体を備え得る。カプセル化ユニット３０は、エレメンタリストリームのＰＥＳパケットの形式で、ビデオエンコーダ２８から、符号化されたビデオデータを受信し得る。カプセル化ユニット３０は、各エレメンタリストリームを対応するプログラムと関連付け得る。
[0088] カプセル化ユニット３０はまた、複数のＮＡＬユニットからアクセスユニットをアセンブルし得る。一般に、アクセスユニットは、ビデオデータのフレームを表すための１つまたは複数のＮＡＬユニット、その上、そのようなオーディオデータが利用可能な場合にはフレームに対応するオーディオデータを備え得る。アクセスユニットは一般に、１つの出力時間インスタンスについてのすべてのＮＡＬユニット、例えば、１つの時間インスタンスについてのすべてのオーディオおよびビデオデータ、を含む。例えば、各ビューが、毎秒２０フレーム（ｆｐｓ）というフレームレートを有する場合、各時間インスタンスは、０．０５秒の時間インターバルに対応し得る。この時間インターバルの間、同じアクセスユニット（同じ時間インスタンス）のすべてのビューについての特定のフレームが、一斉にレンダリングされ得る。一例では、アクセスユニットは、プライマリコード化ピクチャとして表され得る、１つの時間インスタンスにおいて、コード化されたピクチャを備え得る。
[0089] したがって、アクセスユニットは、共通の時間インスタンスのすべてのオーディオおよびビデオフレーム、例えば、時間Ｘに対応するすべてのビュー、を備え得る。本開示はまた、特定のビューの符号化されたピクチャを、「ビュー成分（view component）」と呼び得る。すなわち、ビュー成分は、特定の時間における特定のビューについての符号化されたピクチャ（またはフレーム）を備え得る。したがって、アクセスユニットは、共通の時間インスタンスのすべてのビュー成分を備えるものとして定義され得る。アクセスユニットの復号順序は、必ずしも、出力または表示順序と同じである必要はない。
[0090] メディアプレゼンテーションは、異なる代替的な表現（例えば、異なる量を有するビデオサービス）の記述を含み得るメディアプレゼンテーション記述（ＭＰＤ）を含み得、この記述は、例えば、コーデック情報、プロフィール値、およびレベル値を含み得る。ＭＰＤは、マニフェストファイル６６のようなマニフェストファイルの一例である。クライアントデバイス４０は、様々なプレゼンテーションのムービーフラグメントにどのようにアクセスするかを決定するために、メディアプレゼンテーションのＭＰＤを検索し得る。ムービーフラグメントは、ビデオファイルのムービーフラグメントボックス（ｍｏｏｆ ｂｏｘｅｓ）に位置し得る。
[0091] （例えば、ＭＰＤを備え得る）マニフェストファイル６６は、表現６８のセグメントの利用可能性をアドバタイズし得る。すなわち、ＭＰＤは、表現６８のうちの１つの表現の第１のセグメントが利用可能になる実測時間を示す情報に加え、表現６８内のセグメントの持続時間を示す情報を含み得る。このように、クライアントデバイス４０の検索ユニット５２は、特定のセグメントに先行するセグメントの開始時間と持続時間とに基づいて、各セグメントがいつ利用可能であるかを決定し得る。
[0092] カプセル化ユニット３０が、受信したデータに基づいて、ＮＡＬユニットおよび／またはアクセスユニットをビデオファイルにアセンブルした後、カプセル化ユニット３０は、出力のためにビデオファイルを出力インターフェース３２に渡す。いくつかの例では、カプセル化ユニット３０は、ビデオファイルをローカルに記憶するか、またはビデオファイルを直接クライアントデバイス４０に送るのではなく出力インターフェース３２を介してビデオファイルをリモートサーバに送り得る。出力インターフェース３２は、例えば、送信機、トランシーバ、例えば、光学ドライブのような、データをコンピュータ読取可能な媒体に書き込むためのデバイス、磁気媒体ドライブ（例えば、フロッピー（登録商標）ドライブ）、ユニバーサルシリアルバス（ＵＳＢ）ポート、ネットワークインターフェース、または他の出力インターフェースを備え得る。出力インターフェース３２は、例えば、送信信号、磁気媒体、光学媒体、メモリ、フラッシュドライブ、または他のコンピュータ読取可能な媒体のようなコンピュータ読取可能な媒体にビデオファイルを出力する。
[0093] ネットワークインターフェース５４は、ネットワーク７４を介してＮＡＬユニットまたはアクセスユニットを受信し、検索ユニット５２を介して、これらＮＡＬユニットまたはアクセスユニットをファイルフォーマット処理ユニット５０に提供し得る。ファイルフォーマット処理ユニット５０は、ビデオファイルのエレメントを構成のＰＥＳストリームにデカプセル化し、符号化されたデータを検索するためにＰＥＳストリームを逆パケット化し、例えば、ストリームのＰＥＳパケットヘッダによって示されるように、符号化されたデータがオーディオストリームの一部であるかビデオストリームの一部であるかに依存して、符号化されたデータをオーディオデコーダ４６またはビデオデコーダ４８のいずれかに送り得る。オーディオデコーダ４６は、符号化されたオーディオデータを復号し、復号されたオーディオデータをオーディオ出力４２に送り、ビデオデコーダ４８は、符号化されたビデオデータを復号し、ストリームの複数のビューを含み得る復号されたビデオデータをビデオ出力４４に送る。
[0094] このように、コンテンツ作成デバイス２０および／またはサーバデバイス６０は、メディアデータを送信するためのデバイスの例を表し、このデバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを含み、この１つまたは複数のプロセッサは、ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化することと、メディアビットストリームのためのシステムレベル情報を生成することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を行うように構成される。
[0095] 同様に、クライアントデバイス４０は、メディアデータを検索するためのデバイスの例を表し、これは、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析するための手段と、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出するための手段と、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをデバイスの１つまたは複数の処理ユニットに送るための手段とを含む。
[0096] 図２は、図１の検索ユニット５２の構成要素の例となるセットをより詳細に例示するブロック図である。この例では、検索ユニット５２は、ｅＭＢＭＳミドルウェアユニット１００と、ＤＡＳＨクライアント１１０と、メディアアプリケーション１１２とを含む。
[0097] この例では、ｅＭＢＭＳミドルウェアユニット１００は、ｅＭＢＭＳ受信ユニット１０６と、キャッシュ１０４と、サーバユニット１０２とをさらに含む。この例では、ｅＭＢＭＳ受信ユニット１０６は、例えば、http://tools.ietf.org/html/rfc6726で入手可能な、Ｔ．Ｐａｉｌａ等による「FLUTE-File Delivery over Unidirectional Transport」，ネットワークワーキンググループ，ＲＦＣ６７２６，２０１２年１１月、に記載されているＦＬＵＴＥ（File Delivery over Unidirectional Transport）にしたがって、ｅＭＢＭＳを介してデータを受信するように構成される。すなわち、ｅＭＢＭＳ受信ユニット１０６は、例えば、ＢＭ−ＳＣとして機能し得るサーバデバイス６０からブロードキャストを介してファイルを受信し得る。
[0098] ｅＭＢＭＳミドルウェアユニット１００が、ファイルについてのデータを受信すると、ｅＭＢＭＳミドルウェアユニットは、受信したデータをキャッシュ１０４に記憶し得る。キャッシュ１０４は、フラッシュメモリ、ハードディスク、ＲＡＭ、または任意の他の適切な記憶媒体のようなコンピュータ読取可能な記憶媒体を備え得る。
[0099] ローカルサーバユニット１０２は、ＤＡＳＨクライアント１１０のためのサーバとして機能し得る。例えば、ローカルサーバユニット１０２は、ＭＰＤファイルまたは他のマニフェストファイルをＤＡＳＨクライアント１１０に提供し得る。ローカルサーバユニット１０２は、ＭＰＤファイル中のセグメントについての利用可能時間（availability times）、およびセグメントが検索されることができるハイパーリンクをアドバタイズし得る。これらのハイパーリンクは、クライアントデバイス４０に対応するローカルホストアドレスプレフィックス（例えば、ＩＰｖ４の１２７．０．０．１）を含み得る。このように、ＤＡＳＨクライアント１１０は、ＨＴＴＰ ＧＥＴまたは部分的ＧＥＴ要求を使用して、ローカルサーバユニット１０２からセグメントを要求し得る。例えば、リンクhttp://127.0.0.1/rep1/seg3から入手可能なセグメントの場合、ＤＡＳＨクライアント１１０は、http://127.0.0.1/rep1/seg3についての要求を含むＨＴＴＰ ＧＥＴ要求を構築し、この要求をローカルサーバユニット１０２に提出し得る。ローカルサーバユニット１０２は、要求されたデータをキャッシュ１０４から検索し、そのような要求に応答して、このデータをＤＡＳＨクライアント１１０に提供し得る。
[0100] 図３は、例となるマルチメディアコンテンツ１２０のエレメントを例示する概念図である。マルチメディアコンテンツ１２０は、マルチメディアコンテンツ６４（図１）または記憶媒体６２に記憶されている別のマルチメディアコンテンツに対応し得る。図３の例では、マルチメディアコンテンツ１２０は、メディアプレゼンテーション記述（ＭＰＤ）１２２と複数の表現１２４Ａ〜１２４Ｎ（表現１２４）とを含む。表現１２４Ａは、オプションのヘッダデータ１２６とセグメント（segment）１２８Ａ〜１２８Ｎ（セグメント１２８）とを含み、表現１２４Ｎは、オプションのヘッダデータ１３０とセグメント１３２Ａ〜１３２Ｎ（セグメント１３２）とを含む。Ｎという文字は、便宜上、表現１２４の各々における最後のムービーフラグメントを指定するために使用される。いくつかの例では、表現１２４間には異なる数のムービーフラグメントが存在し得る。
[0101] ＭＰＤ１２２は、表現１２４とは別のデータ構造を備え得る。ＭＰＤ１２２は、図１のマニフェストファイル６６に対応し得る。同様に、表現１２４は、図２の表現６８に対応し得る。一般に、ＭＰＤ１２２は、コーディングおよびレンダリング特性のような、表現１２４の特性、適応セット、ＭＰＤ１２２が対応するプロフィール、テキストタイプ情報、カメラ角度情報、レーティング情報、トリックモード情報（trick mode information）（例えば、時間的サブシーケンスを含む表現を示す情報）、および／または、リモート期間を検索するための（例えば、プレイバック中のメディアコンテンツへのターゲットにされたアドバタイズメント挿入のための）情報を一般的に記述するデータを含み得る。
[0102] ヘッダデータ１２６は、存在するとき、セグメント１２８の特性、例えば、ランダムアクセスポイント（ＲＡＰ：random access point、これは、ストリームアクセスポイント（ＳＡＰ：stream access point）とも呼ばれる）の時間ロケーション、セグメント１２８のうちのどれがランダムアクセスポイントを含むか、セグメント１２８内のランダムアクセスポイントに対するバイトオフセット、セグメント１２８のユニフォームリソースロケータ（ＵＲＬ）、またはセグメント１２８の他の態様、を記述し得る。ヘッダデータ１３０は、存在するとき、セグメント１３２について同様の特性を記述し得る。追加的にまたは代替的に、そのような特性は、ＭＰＤ１２２内に十分に含まれ得る。
[0103] セグメント１２８、１３２は、１つまたは複数のコード化されたビデオサンプルを含み、それの各々が、ビデオデータのフレームまたはスライスを含み得る。セグメント１２８のコード化されたビデオサンプルの各々は、同様の特性、例えば、高さ、幅、および帯域幅要件、を有し得る。そのような特性は、図３の例ではそのようなデータは例示されていないが、ＭＰＤ１２２のデータによって記述され得る。ＭＰＤ１２２は、本開示で説明されたシグナリングされる情報のうちの任意のものまたはすべての追加に伴って、３ＧＰＰ仕様によって記述されているような特性を含み得る。
[0104] セグメント１２８、１３２の各々は、ユニフォームリソースロケータ（ＵＲＬ）に関連付けられ得る。ゆえに、セグメント１２８、１３２の各々は、ＤＡＳＨのようなストリーミングネットワークプロトコルを使用して、独立して検索し可能であり得る。このように、クライアントデバイス４０のような宛先デバイスは、セグメント１２８または１３２を検索するために、ＨＴＴＰ ＧＥＴ要求を使用し得る。いくつかの例では、クライアントデバイス４０は、セグメント１２８または１３２の特定のバイト範囲を検索するために、ＨＴＴＰ部分的ＧＥＴ要求を使用し得る。
[0105] 本開示の技法にしたがって、ＭＰＤ１２２は、それぞれの表現１２４によってカプセル化されたそれぞれのビデオエレメンタリストリームの付加拡張情報（ＳＥＩ）メッセージを表すシステムレベル情報を含み得る。例えば、ＭＰＤ１２２は、ＣＩＣＰメッセージ、ＤＡＳＨ記述子、またはシンタックスエレメントを含む文字列のうちの１つまたは複数を含み得る。情報は、ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、システムレベルで動作するユニットがクローズドキャプションをレンダリングできる必要があるかどうか、クローズドキャプションのための記述情報、クローズドキャプションの複数のセットがビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、またはＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を表し得る。
[0106] 図４は、図３のセグメント１１４、１２４のうちの１つのような、表現のセグメントに対応し得る、例となるビデオファイル１５０のエレメントを例示するブロック図である。セグメント１２８、１３２の各々は、図４の例において例示されるデータの配列に実質的に適合するデータを含み得る。ビデオファイル１５０は、セグメントをカプセル化すると考えられ得る。
[0107] 上で説明したように、ＩＳＯベースメディアファイルフォーマットおよびそれの拡張に係るビデオファイルは、「ボックス（box）」と呼ばれる一連のオブジェクトにデータを記憶する。図４の例では、ビデオファイル１５０は、ファイルタイプ（ＦＴＹＰ）ボックス１５２、ムービー（ＭＯＯＶ）ボックス１５４、セグメントインデックス（ｓｉｄｘ）ボックス１６２、ムービーフラグメント（ＭＯＯＦ）ボックス１６４、およびムービーフラグメントランダムアクセス（ＭＦＲＡ）ボックス１６６を含む。図４はビデオファイルの例を表すが、他のメディアファイルが、ＩＳＯベースメディアファイルフォーマットおよびその拡張にしたがって、ビデオファイル１５０のデータに類似して構造化される他のタイプのメディアデータ（例えば、オーディオデータ、タイムドテキストデータ、または同様のもの）を含み得ることは理解されるべきである。
[0108] ファイルタイプ（ＦＴＹＰ）ボックス１５２は一般に、ビデオファイル１５０のためのファイルタイプを記述する。ファイルタイプボックス１５２は、ビデオファイル１５０についての最良の用途を記述する仕様を識別するデータを含み得る。ファイルタイプボックス１５２は、代替的に、ＭＯＯＶボックス１５４、ムービーフラグメントボックス１６４、および／またはＭＦＲＡボックス１６６の前に配置され得る。
[0109] いくつかの例では、ビデオファイル１５０のようなセグメントは、ＦＴＹＰボックス１５２の前にＭＰＤ更新ボックス（update box）（図示せず）を含み得る。ＭＰＤ更新ボックスは、ＭＰＤを更新するための情報と共に、ビデオファイル１５０を含む表現に対応するＭＰＤが更新されるべきであることを示す情報を含み得る。例えば、ＭＰＤ更新ボックスは、ＭＰＤを更新するために使用されるべきリソースについてのＵＲＩまたはＵＲＬを提供し得る。別の例として、ＭＰＤ更新ボックスは、ＭＰＤを更新するためのデータを含み得る。いくつかの例では、ＭＰＤ更新ボックスは、ビデオファイル１５０のセグメントタイプ（ＳＴＹＰ）ボックス（図示せず）の直後にあり、ここで、ＳＴＹＰボックスは、ビデオファイル１５０についてのセグメントタイプを定義し得る。以下でより詳細に述べられる図７が、ＭＰＤ更新ボックスに関する追加情報を提供する。
[0110] 図４の例では、ＭＯＯＶボックス１５４は、ムービーヘッダ（ＭＶＨＤ）ボックス１５６と、トラック（ＴＲＡＫ）ボックス１５８と、１つまたは複数のムービー拡張（ＭＶＥＸ）ボックス１６０とを含む。一般に、ＭＶＨＤボックス１５６は、ビデオファイル１５０の一般の特性を記述し得る。例えば、ＭＶＨＤボックス１５６は、ビデオファイル１５０がいつ最初に作られたか、ビデオファイル１５０がいつ最後に修正されたか、ビデオファイル１５０のタイムスケール、ビデオファイル１５０のためのプレイバックの持続時間を記述するデータまたはビデオファイル１５０を一般に記述する他のデータを含み得る。
[0111] ＴＲＡＫボックス１５８は、ビデオファイル１５０のトラックについてのデータを含み得る。ＴＲＡＫボックス１５８は、ＴＲＡＫボックス１５８に対応するトラックの特性を記述するトラックヘッダ（ＴＫＨＤ）ボックスを含み得る。いくつかの例では、ＴＲＡＫボックス１５８は、コード化されたビデオピクチャを含み得、他の例では、トラックのコード化されたビデオピクチャは、ＴＲＡＫボックス１５８および／またはｓｉｄｘボックス１６２のデータによって参照され得るムービーフラグメント１６４に含まれ得る。
[0112] いくつかの例では、ビデオファイル１５０は、１つよりも多くのトラックを含み得る。したがって、ＭＯＯＶボックス１５４は、ビデオファイル１５０中のトラックの数に等しい数のＴＲＡＫボックスを含み得る。ＴＲＡＫボックス１５８は、ビデオファイル１５０の対応するトラックの特性を記述し得る。例えば、ＴＲＡＫボックス１５８は、対応するトラックのための時間および／または空間情報を記述し得る。ＭＯＯＶボックス１５４のＴＲＡＫボックス１５８に類似したＴＲＡＫボックスは、カプセル化ユニット３０（図３）がビデオファイル１５０のようなビデオファイル中にパラメータセットトラックを含めるとき、パラメータセットトラックの特性を記述し得る。カプセル化ユニット３０は、パラメータセットトラックを記述するＴＲＡＫボックス内で、パラメータセットトラック中のシーケンスレベルのＳＥＩメッセージの存在をシグナリングし得る。
[0113] ＭＶＥＸボックス１６０は、例えば、ビデオファイル１５０が、もしあれば、ＭＯＯＶボックス１５４内に含まれているビデオデータに加えて、ムービーフラグメント１６４を含むことをシグナリングするために、対応するムービーフラグメント１６４の特性を記述し得る。ビデオデータをストリーミングするコンテキストでは、コード化されたビデオピクチャは、ＭＯＯＶボックス１５４よりもむしろムービーフラグメント１６４に含まれ得る。したがって、すべてのコード化されたビデオサンプルは、ＭＯＯＶボックス１５４よりもむしろムービーフラグメント１６４中に含まれ得る。
[0114] ＭＯＯＶボックス１５４は、ビデオファイル１５０中のムービーフラグメント１６４の数に等しい数のＭＶＥＸボックス１６０を含み得る。ＭＶＥＸボックス１６０の各々は、ムービーフラグメント１６４のうちの対応する１つのムービーフラグメントの特性を記述し得る。例えば、各ＭＶＥＸボックスは、ムービーフラグメント１６４のうちの対応する１つのムービーフラグメントのための時間持続時間を記述するムービー拡張ヘッダボックス（ＭＥＨＤ）ボックスを含み得る。
[0115] 上で述べたように、カプセル化ユニット３０は、実際のコード化されたビデオデータを含まないビデオサンプル中にシーケンスデータセットを記憶し得る。ビデオサンプルは一般に、特定の時間インスタンスで、コード化されたピクチャの表現であるアクセスユニットに対応し得る。ＡＶＣのコンテキストでは、コード化されたピクチャは、アクセスユニットのすべての画素を構築するために情報を含む１つまたは複数のＶＣＬ ＮＡＬユニットおよびＳＥＩメッセージのような他の関連する非ＶＣＬ ＮＡＬユニットを含む。したがって、カプセル化ユニット３０は、シーケンスレベルのＳＥＩメッセージを含み得るシーケンスデータセットを、ムービーフラグメント１６４のうちの１つ中に含め得る。カプセル化ユニット３０は、ムービーフラグメント１６４のうちの１つに対応するＭＶＥＸボックス１６０のうちの１つ内で、ムービーフラグメント１６４のうちの１つに存在しているとして、シーケンスデータセットおよび／またはシーケンスレベルのＳＥＩメッセージの存在をさらにシグナリングし得る。
[0116] ＳＩＤＸボックス１６２は、ビデオファイル１５０のオプションのエレメントである。すなわち、３ＧＰＰファイルフォーマットまたは他のそのようなファイルフォーマットに適合するビデオファイルは、必ずしも、ＳＩＤＸボックス１６２を含むわけではない。３ＧＰＰファイルフォーマットの例にしたがって、ＳＩＤＸボックスは、セグメント（例えば、ビデオファイル１５０内に含まれているセグメント）のサブセグメントを識別するために使用され得る。３ＧＰＰファイルフォーマットは、サブセグメントを次のように定義する：「対応するメディアデータボックスを有する１つまたは複数の連続したムービーフラグメントボックスの自己完結型セット、ムービーフラグメントボックスによって参照されるデータを含むメディアデータボックスは、このムービーフラグメントボックスに続き、同じトラックについての情報を含む次のムービーフラグメントボックスに先行しなければならない。」
３ＧＰＰファイルフォーマットはまた、ＳＩＤＸボックスが以下であることを示す：「ボックスによって記録に残される（サブ）セグメントのサブセグメントへの参照のシーケンスを含む。参照されるサブセグメントは、プレゼンテーション時間が連続している。同様に、セグメントインデックスボックスによって参照されるバイトは、セグメント内で常に連続している。参照されるサイズは、参照される材料におけるバイト数のカウントを与える。」
[0117] ＳＩＤＸボックス１６２は一般に、ビデオファイル１５０に含まれているセグメントの１つまたは複数のサブセグメントを表す情報を提供する。例えば、そのような情報は、サブセグメントが開始および／または終了するプレイバック時間、サブセグメントのためのバイトオフセット、サブセグメントがストリームアクセスポイント（ＳＡＰ）を含むか（例えば、それから開始するか）どうか、ＳＡＰについてのタイプ（例えば、ＳＡＰが瞬間デコーダリフレッシュ（ＩＤＲ：instantaneous decoder refresh）ピクチャであるか、クリーンランダムアクセス（ＣＲＡ：clean random access）ピクチャであるか、途切れたリンクアクセス（ＢＬＡ：broken link access）ピクチャであるか、同様のものであるか）、サブセグメントにおける（プレイバック時間および／またはバイトオフセットの観点からの）ＳＡＰの位置、および同様のものを含み得る。
[0118] ムービーフラグメント１６４は、１つまたは複数のコード化されたビデオピクチャを含み得る。いくつかの例では、ムービーフラグメント１６４は、１つまたは複数のピクチャグループ（ＧＯＰ：groups of pictures）を含み得、これらの各々は、多数のコード化されたビデオピクチャ、例えば、フレームまたはピクチャ、を含み得る。加えて、上で説明しように、ムービーフラグメント１６４は、いくつかの例では、シーケンスデータセットを含み得る。ムービーフラグメント１６４の各々は、ムービーフラグメントヘッダボックス（ＭＦＨＤ、図４には図示されない）を含み得る。ＭＦＨＤボックスは、ムービーフラグメントのシーケンス番号のような、対応するムービーフラグメントの特性を記述し得る。ムービーフラグメント１６４は、ビデオファイル１５０中に、シーケンス番号順に含まれ得る。
[0119] ＭＦＲＡボックス１６６は、ビデオファイル１５０のムービーフラグメント１６４内のランダムアクセスポイントを記述し得る。これは、例えば、実行することがビデオファイル１５０によってカプセル化されたセグメント内の特定の時間ロケーション（すなわち、プレイバック回数）を探し求めるように、トリックモード（trick mode）を実行するのを支援し得る。ＭＦＲＡボックス１６６は、一般にオプションであり、いくつかの例では、ビデオファイルに含まれる必要はない。同様に、クライアントデバイス４０のようなクライアントデバイスは、必ずしも、ビデオファイル１５０のビデオデータを正確に復号および表示するためにＭＦＲＡボックス１６６を参照する必要があるわけでない。ＭＦＲＡボックス１６６は、ビデオファイル１５０のトラックの数に等しいか、またはいくつかの例では、ビデオファイル１５０のメディアトラック（例えば、非ヒントトラック（non-hint track））の数に等しい数のトラックフラグメントランダムアクセス（ＴＦＲＡ：track fragment random access）ボックス（図示せず）を含み得る。
[0120] いくつかの例では、ムービーフラグメント１６４は、ＩＤＲピクチャのような１つまたは複数のストリームアクセスポイント（ＳＡＰ）を含み得る。同様に、ＭＦＲＡボックス１６６は、ＳＡＰのビデオファイル１５０内のロケーションのインジケーションを提供し得る。したがって、ビデオファイル１５０の時間的サブシーケンスは、ビデオファイル１５０のＳＡＰから形成され得る。時間的サブシーケンスはまた、ＳＡＰに依存するＰフレームおよび／またはＢフレームのような他のピクチャを含み得る。時間的サブシーケンスのフレームおよび／またはスライスは、サブシーケンスの他のフレーム／スライスに依存する時間的サブシーケンスのフレーム／スライスが適切に復号されることができるように、セグメント内に配列され得る。例えば、データの階層的配列では、他のデータの予測に対して使用されるデータもまた、時間的サブシーケンスに含まれ得る。
[0121] 本開示の技法にしたがって、ビデオファイル１５０は、ビデオエレメンタリストリームの付加拡張情報（ＳＥＩ）メッセージを表すシステムレベル情報を含み得る。一般に、ムービーフラグメント１６４は、ビデオエレメンタリストリームのそれぞれの部分を表す。ＳＥＩメッセージを表すシステムレベル情報は、例えば、ＭＯＯＶボックス１５４またはビデオファイル１５０の別個のボックス（図示せず）に含まれ得る。
[0122] 図５は、本開示の技法にしたがってメディアデータをトランスポートするための例となる方法を例示するフローチャートである。説明および例示の目的上、図５の方法は、図１のコンテンツ作成デバイス２０およびクライアントデバイス４０を参照して説明される。しかしながら、他の例では、他のデバイスがこの方法または同様の方法を実行するように構成され得ることは理解されるべきである。例えば、サーバデバイス６０が図５の方法を実行し得る。追加的に、上で述べたように、図１のサーバデバイス６０およびコンテンツ作成デバイス２０の機能性は、単一のデバイスに統合され得る。
[0123] 最初に、コンテンツ作成デバイス２０は、ビデオエレメンタリストリームを符号化し得る（２００）。代替的に、コンテンツ作成デバイス２０は、ビデオエレメンタリストリームを符号化し、符号化されたビデオエレメンタリストリームをコンテンツ作成デバイス２０に送り得る。コンテンツ作成デバイス２０はまた、ビデオエレメンタリストリームのためのＳＥＩメッセージを形成し得る（２０２）。ＳＥＩメッセージの形成は、符号化プロセスの一部または別個のプロセスであり得る。コンテンツ作成デバイス２０は、例えば、関連するビデオコーディング規格に基づいて、ＳＥＩメッセージについてのペイロードタイプをさらに決定し得る（２０４）。
[0124] 例えば、コンテンツ作成デバイス２０は、ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、システムレベルで動作するユニットがクローズドキャプションをレンダリングできる必要があるかどうか、クローズドキャプションのための記述情報、クローズドキャプションの複数のセットがビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、またはＨＤＲフォーマットのための専有情報、のうちの任意のものまたはすべてを示すように、システムレベル情報を形成し得る。
[0125] 次いで、コンテンツ作成デバイス２０は、ＳＥＩメッセージがビデオエレメンタリストリームに含まれていることと、ＳＥＩメッセージについてのペイロードタイプとを示すシステムレベル（例えば、ＭＰＥＧ−２レベルまたはファイルフォーマットレベル）情報を形成し得る（２０６）。次いで、コンテンツ作成デバイス２０は、ファイルフォーマットに適合するファイルのように、ビットストリームにおいてビデオエレメンタリストリームおよびシステムレベル情報をカプセル化し得る（２０８）。次いで、コンテンツ作成デバイス２０は、ビットストリームまたはその一部をクライアントデバイス４０に送り得る。例えば、ビットストリームの一部は、ＳＥＩメッセージがビデオエレメンタリストリーム中に存在していることを示すシステムレベル情報と、ＳＥＩメッセージについてのペイロードタイプとを含む部分であり得る。ビットストリームを送るために、コンテンツ作成デバイス２０は、最初に、サーバデバイス６０にビットストリームを送り得、サーバデバイス６０は、例えば、クライアントデバイス４０からのＨＴＴＰ ＧＥＴまたは部分的ＧＥＴ要求に応答して、最終的に、このビットストリームまたはその一部をクライアントデバイス４０に送り得る。
[0126] 次いで、クライアントデバイス４０は、ビットストリームまたはその一部を受信し得る（２１２）。クライアントデバイス４０は、ＳＥＩメッセージを示すシステムレベル情報と、ＳＥＩメッセージについてのペイロードタイプとを抽出するためにビットストリーム（またはその一部）を解析し得る。システムレベル情報は、１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージに含まれているためクライアントデバイス４０は、システムレベル情報を抽出するために１つまたは複数のＣＩＣＰメッセージを解析し得る。いくつかの例では、ＣＩＣＰメッセージまたは他のシステムレベル情報は、メディアプレゼンテーション記述（ＭＰＤ）のようなマニフェストファイルに含まれ得る。いくつかの例では、システムレベル情報は、ファイルフォーマット情報および／またはシステムレベル情報のＤＡＳＨ記述子に含まれ得る。
[0127] クライアントデバイス４０は、ＳＥＩメッセージとＳＥＩメッセージのペイロードタイプとを識別するためにビットストリームのシステムレベル情報を使用し（２１４）、最終的に、ビデオエレメンタリストリームからＳＥＩメッセージを検索および抽出し得る（２１６）。例えば、クライアントデバイス４０によって受信されたビットストリームがＳＥＩメッセージを含み得るか、または代替的に、クライアントデバイス４０が、特にＳＥＩメッセージを検索したいという特定の要求（例えば、ＨＴＴＰ ＧＥＴまたは部分的ＧＥＴ）を使用し得る。
[0128] 次いで、クライアントデバイス４０は、ＳＥＩメッセージを使用してビデオエレメンタリストリームのメディアデータを検索および処理し得る（２１８）。いくつかの例では、クライアントデバイス４０は、最初に、ＳＥＩメッセージを使用して、ビデオエレメンタリストリームがクライアントデバイス４０に対して好適であるかどうかを、例えば、クライアントデバイス４０のレンダリング能力に基づいて、ビデオエレメンタリストリームが適切にレンダリングされることができるかどうかまたはビデオエレメンタリストリームが他のビデオエレメンタリストリームより良好かどうかを決定し得る。ゆえに、ビデオエレメンタリストリームが、クライアントデバイス４０に対して好適である場合、クライアントデバイス４０は、このビデオエレメンタリストリームを検索し得るが、ビデオエレメンタリストリームが好適でない場合（または、異なるビデオエレメンタリストリームがクライアントデバイス４０に対してより好適である場合）、クライアントデバイス４０は、異なる（より好適な）ビデオエレメンタリストリームを検索し得る。ゆえに、クライアントデバイス４０は、ビットストリームの残りの部分を検索するかどうかを決定するためにシステムレベル情報を使用し得る。
[0129] さらに、クライアントデバイス４０はまた、ＳＥＩメッセージの従来の使用にしたがって、レンダリング中またはビデオエレメンタリストリームのメディアデータの復号に続く他のプロセス中、ＳＥＩメッセージを使用し得る。特に、クライアントデバイス４０のファイルフォーマット処理ユニット５０は、ＳＥＩメッセージを抽出し、復号されたビデオデータを、ＳＥＩメッセージを使用してレンダリングし得るビデオデコーダ４８および／またはビデオ出力４４のような、クライアントデバイス４０の好適なユニットにＳＥＩメッセージを送り得る。
[0130] このように、図５の方法は、メディアデータを検索する方法の例を表し、この方法は、クライアントデバイスのストリーミングクライアントが、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、ストリーミングクライアントが、システムレベル情報から１つまたは複数のＳＥＩメッセージおよびペイロードタイプを抽出することと、ストリーミングクライアントが、１つまたは複数のＳＥＩメッセージおよびペイロードタイプをクライアントデバイスの１つまたは複数の処理ユニットに送ることとを含む。
[0131] 同様に、図５の方法はまた、ビデオデータを送信する方法の例を表し、この方法は、コンテンツ作成デバイスのカプセル化ユニットが、コンテンツ作成デバイスのビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、カプセル化ユニットが、１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、カプセル化ユニットが、メディアビットストリームにおいてビデオエレメンタリストリームをカプセル化することと、カプセル化ユニットが、メディアビットストリームのためのシステムレベル情報を生成することと、ここで、システムレベル情報は、ビデオエレメンタリストリームが１つまたは複数のＳＥＩメッセージとＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、を含む。
[0132] １つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せでインプリメントされ得る。ソフトウェアでインプリメントされる場合、これらの機能は、１つまたは複数の命令またはコードとして、コンピュータ読取可能な媒体に記憶されるか、またはそれを通して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ読取可能な媒体は、例えば、通信プロトコルにしたがった、ある場所から別の場所へのコンピュータプログラムの移送を容易にする任意の媒体を含む通信媒体またはデータ記憶媒体のような有体の媒体に対応するコンピュータ読取可能な記憶媒体を含み得る。このように、コンピュータ読取可能な媒体は一般に、（１）非一時的である有形のコンピュータ読取可能な記憶媒体または（２）信号もしくは搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法のインプリメンテーションのための命令、コード、および／またはデータ構造を検索するために、１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされることができる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ読取可能な媒体を含み得る。
[0133] 限定ではなく例として、このようなコンピュータ読取可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、フラッシュメモリ、またはデータ構造もしくは命令の形式で所望のプログラムコードを記憶もしくは搬送するために使用可能でありかつコンピュータによってアクセス可能な任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ読取可能な媒体と称される。例えば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、電波、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、電波、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ読取可能な記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的な媒体を含むのではなく、代わりに、非一時的な有形の記憶媒体を対象としていることは理解されるべきである。本明細書で使用される場合、ディスク（disk）およびディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイディスクを含み、ここで、ディスク（disk）は、通常磁気的にデータを再生し、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
[0134] 命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の同等の集積またはディスクリート論理回路のような１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造または本明細書で説明された技法のインプリメンテーションに適切な任意の他の構造のうちの任意のものを指し得る。加えて、いくつかの態様では、本明細書で説明された機能性は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供され得るか、複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理エレメントにおいて十分にインプリメントされ得る。
[0135] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、多種多様な種類のデバイスまたは装置においてインプリメントされ得る。様々な構成要素、モジュール、またはユニットは、本開示では、開示された技法を実行するように構成されたデバイスの機能的な態様を強調するために説明されているが、必ずしも異なるハードウェアユニットによる実現を必要とするわけではない。むしろ、上で説明したように、様々なユニットは、コーデックハードウェアユニットに組み合わせられるか、または、適切なソフトウェアおよび／またはファームウェアと併せて、上で説明した１つまたは複数のプロセッサを含む、相互動作するハードウェアユニットの集合によって提供され得る。
[0136] 様々な例が説明されている。これらの例および他の例は、以下の特許請求の範囲の範囲内である。
[0136] 様々な例が説明されている。これらの例および他の例は、以下の特許請求の範囲の範囲内である。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
メディアデータを検索する方法であって、
クライアントデバイスのストリーミングクライアントが、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
前記ストリーミングクライアントが、前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
前記ストリーミングクライアントが、前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記クライアントデバイスの１つまたは複数の処理ユニットに送ることと
を備える方法。
［Ｃ２］
前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、Ｃ１に記載の方法。
［Ｃ３］
前記ストリーミングクライアントが、前記システムレベル情報に基づいて、前記メディアビットストリームを検索するかどうかを決定することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、Ｃ１に記載の方法。
［Ｃ５］
前記システムレベル情報を解析することは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを解析することを備える、Ｃ１に記載の方法。
［Ｃ６］
前記ＣＩＣＰメッセージを解析することは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を解析することを備える、Ｃ５に記載の方法。
［Ｃ７］
前記システムレベル情報を解析することは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子を含むメディアプレゼンテーション記述（ＭＰＤ）を解析することを備える、Ｃ１に記載の方法。
［Ｃ８］
前記システムレベル情報を解析することは、ファイルフォーマットデータに含まれるサンプルエントリ情報を解析することを備え、前記サンプルエントリ情報は、前記システムレベル情報を含む、Ｃ１に記載の方法。
［Ｃ９］
前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、Ｃ８に記載の方法。
［Ｃ１０］
前記システムレベル情報を解析することは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を解析することを備える、Ｃ１に記載の方法。
［Ｃ１１］
前記文字列は、前記ビデオエレメンタリストリームが複数のＳＥＩメッセージペイロードタイプのうちの１つまたは複数を含むかどうか、前記ＳＥＩメッセージの含まれるペイロードタイプがシグナリングされるかどうか、または前記ペイロードタイプのうちの１つまたは複数についてのユーザ定義されたフィールド、のうちの１つまたは複数を示す情報を含む、Ｃ１０に記載の方法。
［Ｃ１２］
前記文字列が前記メディアビットストリームのシステムレイヤ情報によって継承されるかどうかを示す情報を解析することをさらに備える、Ｃ１０に記載の方法。
［Ｃ１３］
メディアデータを検索するためのデバイスであって、前記デバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、
ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の他の処理ユニットに送ることと
を行うように構成される、デバイス。
［Ｃ１４］
前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、Ｃ１３に記載のデバイス。
［Ｃ１５］
前記１つまたは複数のプロセッサは、前記システムレベル情報に基づいて、前記メディアビットストリームを検索するかどうかを決定するようにさらに構成される、Ｃ１３に記載のデバイス。
［Ｃ１６］
前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、Ｃ１３に記載のデバイス。
［Ｃ１７］
前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを解析するように構成される、Ｃ１３に記載のデバイス。
［Ｃ１８］
前記ＣＩＣＰメッセージを解析するために、前記１つまたは複数のプロセッサは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を解析するように構成される、Ｃ１７に記載のデバイス。
［Ｃ１９］
前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子を含むメディアプレゼンテーション記述（ＭＰＤ）を解析するように構成される、Ｃ１３に記載のデバイス。
［Ｃ２０］
前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、ファイルフォーマットデータに含まれるサンプルエントリ情報を解析するように構成され、前記サンプルエントリ情報は、前記システムレベル情報を含む、Ｃ１３に記載のデバイス。
［Ｃ２１］
前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を解析する備えるように構成される、Ｃ１３に記載のデバイス。
［Ｃ２２］
メディアデータを検索するためのデバイスであって、
ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析するための手段と、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出するための手段と、
前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の処理ユニットに送るための手段と
を備えるデバイス。
［Ｃ２３］
命令を記憶しているコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、
ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の処理ユニットに送ることと
を行わせる、コンピュータ読取可能な記憶媒体。
［Ｃ２４］
メディアデータを送信する方法であって、
コンテンツ作成デバイスのカプセル化ユニットが、前記コンテンツ作成デバイスのビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
前記カプセル化ユニットが、前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
前記カプセル化ユニットが、メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
前記カプセル化ユニットが、前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
を備える方法。
［Ｃ２５］
前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、Ｃ２４に記載の方法。
［Ｃ２６］
前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、Ｃ２４に記載の方法。
［Ｃ２７］
前記システムレベル情報を生成することは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを生成することを備える、Ｃ２４に記載の方法。
［Ｃ２８］
前記ＣＩＣＰメッセージを生成することは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）生成することを備える、Ｃ２７に記載の方法。
［Ｃ２９］
前記システムレベル情報を生成することは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子をシグナリングするメディアプレゼンテーション記述（ＭＰＤ）を生成することを備える、Ｃ２４に記載の方法。
［Ｃ３０］
前記システムレベル情報を生成することは、ファイルフォーマットデータに含まれるサンプルエントリ情報を生成することを備え、前記サンプルエントリ情報は、前記システムレベル情報を含む、Ｃ２４に記載の方法。
［Ｃ３１］
前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、Ｃ３０に記載の方法。
［Ｃ３２］
前記システムレベル情報を生成することは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を生成することを備える、Ｃ２４に記載の方法。
［Ｃ３３］
前記文字列は、前記ビデオエレメンタリストリームが複数のＳＥＩメッセージペイロードタイプのうちの１つまたは複数を含むかどうか、前記ＳＥＩメッセージの含まれるペイロードタイプがシグナリングされるかどうか、または前記ペイロードタイプのうちの１つまたは複数についてのユーザ定義されたフィールド、のうちの１つまたは複数を示す情報を含む、Ｃ３２に記載の方法。
［Ｃ３４］
前記文字列が前記メディアビットストリームのシステムレイヤ情報によって継承されるかどうかを示す情報を生成することをさらに備える、Ｃ３２に記載の方法。
［Ｃ３５］
メディアデータを送信するためのデバイスであって、前記デバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、
ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
を行うように構成される、デバイス。
［Ｃ３６］
前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、Ｃ３５に記載のデバイス。
［Ｃ３７］
前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、Ｃ３５に記載のデバイス。
［Ｃ３８］
前記システムレベル情報を生成するために、前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを生成するように構成される、Ｃ３５に記載のデバイス。
［Ｃ３９］
前記１つまたは複数のプロセッサは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を生成するように構成される、Ｃ３８に記載のデバイス。
［Ｃ４０］
前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子をシグナリングするメディアプレゼンテーション記述（ＭＰＤ）を生成するように構成される、Ｃ３５に記載のデバイス。
［Ｃ４１］
前記１つまたは複数のプロセッサは、ファイルフォーマットデータに含まれるサンプルエントリ情報を生成するように構成され、前記サンプルエントリ情報は、前記システムレベル情報を含む、Ｃ３５に記載のデバイス。
［Ｃ４２］
前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、Ｃ４１に記載のデバイス。
［Ｃ４３］
前記１つまたは複数のプロセッサは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を生成するように構成される、Ｃ３５に記載のデバイス。
［Ｃ４４］
メディアデータを送信するためのデバイスであって、
ビデオエンコーダからビデオエレメンタリストリームを受信するための手段と、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定するための手段と、
メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化するための手段と、
前記メディアビットストリームのためのシステムレベル情報を生成するための手段と、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
を備えるデバイス。
［Ｃ４５］
命令を記憶しているコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、プロセッサに、
ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
を行わせる、コンピュータ読取可能な記憶媒体。

Claims (45)

  1. メディアデータを検索する方法であって、
    クライアントデバイスのストリーミングクライアントが、ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
    前記ストリーミングクライアントが、前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
    前記ストリーミングクライアントが、前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記クライアントデバイスの１つまたは複数の処理ユニットに送ることと
    を備える方法。
  2. 前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、請求項１に記載の方法。
  3. 前記ストリーミングクライアントが、前記システムレベル情報に基づいて、前記メディアビットストリームを検索するかどうかを決定することをさらに備える、請求項１に記載の方法。
  4. 前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、請求項１に記載の方法。
  5. 前記システムレベル情報を解析することは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを解析することを備える、請求項１に記載の方法。
  6. 前記ＣＩＣＰメッセージを解析することは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を解析することを備える、請求項５に記載の方法。
  7. 前記システムレベル情報を解析することは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子を含むメディアプレゼンテーション記述（ＭＰＤ）を解析することを備える、請求項１に記載の方法。
  8. 前記システムレベル情報を解析することは、ファイルフォーマットデータに含まれるサンプルエントリ情報を解析することを備え、前記サンプルエントリ情報は、前記システムレベル情報を含む、請求項１に記載の方法。
  9. 前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、請求項８に記載の方法。
  10. 前記システムレベル情報を解析することは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を解析することを備える、請求項１に記載の方法。
  11. 前記文字列は、前記ビデオエレメンタリストリームが複数のＳＥＩメッセージペイロードタイプのうちの１つまたは複数を含むかどうか、前記ＳＥＩメッセージの含まれるペイロードタイプがシグナリングされるかどうか、または前記ペイロードタイプのうちの１つまたは複数についてのユーザ定義されたフィールド、のうちの１つまたは複数を示す情報を含む、請求項１０に記載の方法。
  12. 前記文字列が前記メディアビットストリームのシステムレイヤ情報によって継承されるかどうかを示す情報を解析することをさらに備える、請求項１０に記載の方法。
  13. メディアデータを検索するためのデバイスであって、前記デバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、
    ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
    前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
    前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の他の処理ユニットに送ることと
    を行うように構成される、デバイス。
  14. 前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、請求項１３に記載のデバイス。
  15. 前記１つまたは複数のプロセッサは、前記システムレベル情報に基づいて、前記メディアビットストリームを検索するかどうかを決定するようにさらに構成される、請求項１３に記載のデバイス。
  16. 前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、請求項１３に記載のデバイス。
  17. 前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを解析するように構成される、請求項１３に記載のデバイス。
  18. 前記ＣＩＣＰメッセージを解析するために、前記１つまたは複数のプロセッサは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を解析するように構成される、請求項１７に記載のデバイス。
  19. 前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子を含むメディアプレゼンテーション記述（ＭＰＤ）を解析するように構成される、請求項１３に記載のデバイス。
  20. 前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、ファイルフォーマットデータに含まれるサンプルエントリ情報を解析するように構成され、前記サンプルエントリ情報は、前記システムレベル情報を含む、請求項１３に記載のデバイス。
  21. 前記システムレベル情報を解析するために、前記１つまたは複数のプロセッサは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を解析する備えるように構成される、請求項１３に記載のデバイス。
  22. メディアデータを検索するためのデバイスであって、
    ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析するための手段と、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
    前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出するための手段と、
    前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の処理ユニットに送るための手段と
    を備えるデバイス。
  23. 命令を記憶しているコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、
    ビデオエレメンタリストリームをカプセル化するメディアビットストリームのシステムレベル情報を解析することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが１つまたは複数の付加拡張情報（ＳＥＩ）メッセージと前記ＳＥＩメッセージの各々についてのペイロードタイプとを含むことを示す、
    前記システムレベル情報から前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを抽出することと、
    前記１つまたは複数のＳＥＩメッセージおよび前記ペイロードタイプを前記デバイスの１つまたは複数の処理ユニットに送ることと
    を行わせる、コンピュータ読取可能な記憶媒体。
  24. メディアデータを送信する方法であって、
    コンテンツ作成デバイスのカプセル化ユニットが、前記コンテンツ作成デバイスのビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
    前記カプセル化ユニットが、前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
    前記カプセル化ユニットが、メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
    前記カプセル化ユニットが、前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
    を備える方法。
  25. 前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、請求項２４に記載の方法。
  26. 前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、請求項２４に記載の方法。
  27. 前記システムレベル情報を生成することは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを生成することを備える、請求項２４に記載の方法。
  28. 前記ＣＩＣＰメッセージを生成することは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）生成することを備える、請求項２７に記載の方法。
  29. 前記システムレベル情報を生成することは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子をシグナリングするメディアプレゼンテーション記述（ＭＰＤ）を生成することを備える、請求項２４に記載の方法。
  30. 前記システムレベル情報を生成することは、ファイルフォーマットデータに含まれるサンプルエントリ情報を生成することを備え、前記サンプルエントリ情報は、前記システムレベル情報を含む、請求項２４に記載の方法。
  31. 前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、請求項３０に記載の方法。
  32. 前記システムレベル情報を生成することは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を生成することを備える、請求項２４に記載の方法。
  33. 前記文字列は、前記ビデオエレメンタリストリームが複数のＳＥＩメッセージペイロードタイプのうちの１つまたは複数を含むかどうか、前記ＳＥＩメッセージの含まれるペイロードタイプがシグナリングされるかどうか、または前記ペイロードタイプのうちの１つまたは複数についてのユーザ定義されたフィールド、のうちの１つまたは複数を示す情報を含む、請求項３２に記載の方法。
  34. 前記文字列が前記メディアビットストリームのシステムレイヤ情報によって継承されるかどうかを示す情報を生成することをさらに備える、請求項３２に記載の方法。
  35. メディアデータを送信するためのデバイスであって、前記デバイスは、回路においてインプリメントされる１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサは、
    ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
    前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
    メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
    前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
    を行うように構成される、デバイス。
  36. 前記システムレベル情報は、前記ビデオエレメンタリストリームにおけるクローズドキャプションのためのＳＥＩメッセージの存在、前記システムレベルで動作するユニットが前記クローズドキャプションをレンダリングできる必要があるかどうか、前記クローズドキャプションのための記述情報、クローズドキャプションの複数のセットが前記ビデオエレメンタリストリーム中に存在するかどうか、高ダイナミックレンジ（ＨＤＲ）フォーマットのためのマスタリングカラーボリューム情報、前記ＨＤＲフォーマットのためのコンテンツ輝度レベル情報、前記ＨＤＲフォーマットのための色再マッピング情報（ＣＲＩ）メッセージ、または前記ＨＤＲフォーマットのための専有情報、のうちの１つまたは複数を示す、請求項３５に記載のデバイス。
  37. 前記システムレベル情報は、前記メディアビットストリームに含まれる前記ビデオエレメンタリストリームのビデオデータをカプセル化するファイルについてのファイルフォーマットレベル、前記メディアビットストリームについてのマニフェストファイル、前記メディアビットストリームのＭＰＥＧ−２トランスポートストリーム（ＴＳ）レベル、前記メディアビットストリームのＭＰＥＧメディアトランスポート（ＭＭＴ）レベル、または前記メディアビットストリームの動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）レベルのうちの１つまたは複数における情報を備える、請求項３５に記載のデバイス。
  38. 前記システムレベル情報を生成するために、前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数のコーデック非依存コードポイント（ＣＩＣＰ）メッセージを生成するように構成される、請求項３５に記載のデバイス。
  39. 前記１つまたは複数のプロセッサは、前記ＣＩＣＰメッセージを含むメディアプレゼンテーション記述（ＭＰＤ）を生成するように構成される、請求項３８に記載のデバイス。
  40. 前記１つまたは複数のプロセッサは、前記システムレベル情報を含む１つまたは複数の動的適応ストリーミングオーバＨＴＴＰ（ＤＡＳＨ）記述子をシグナリングするメディアプレゼンテーション記述（ＭＰＤ）を生成するように構成される、請求項３５に記載のデバイス。
  41. 前記１つまたは複数のプロセッサは、ファイルフォーマットデータに含まれるサンプルエントリ情報を生成するように構成され、前記サンプルエントリ情報は、前記システムレベル情報を含む、請求項３５に記載のデバイス。
  42. 前記ファイルフォーマットデータは、前記メディアビットストリームのＩＳＯベースメディアファイルフォーマット（ＢＭＦＦ）ファイルのデータを備える、請求項４１に記載のデバイス。
  43. 前記１つまたは複数のプロセッサは、前記システムレベル情報についての値を有するシンタックスエレメントを含む文字列を生成するように構成される、請求項３５に記載のデバイス。
  44. メディアデータを送信するためのデバイスであって、
    ビデオエンコーダからビデオエレメンタリストリームを受信するための手段と、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
    前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定するための手段と、
    メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化するための手段と、
    前記メディアビットストリームのためのシステムレベル情報を生成するための手段と、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
    を備えるデバイス。
  45. 命令を記憶しているコンピュータ読取可能な記憶媒体であって、前記命令は、実行されると、プロセッサに、
    ビデオエンコーダからビデオエレメンタリストリームを受信することと、ここで、前記ビデオエレメンタリストリームは、１つまたは複数の付加拡張情報（ＳＥＩ）メッセージを含む、
    前記１つまたは複数のＳＥＩメッセージの各々についてのペイロードタイプを決定することと、
    メディアビットストリームにおいて前記ビデオエレメンタリストリームをカプセル化することと、
    前記メディアビットストリームのためのシステムレベル情報を生成することと、ここで、前記システムレベル情報は、前記ビデオエレメンタリストリームが前記１つまたは複数のＳＥＩメッセージと前記ＳＥＩメッセージの各々についての前記ペイロードタイプとを含むことを示す、
    を行わせる、コンピュータ読取可能な記憶媒体。
JP2019510781A 2016-08-24 2017-08-24 メディアデータストリーミングのためのｓｅｉトラックのシステムレベルシグナリング Pending JP2019525677A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662379145P 2016-08-24 2016-08-24
US62/379,145 2016-08-24
US15/684,676 US10834153B2 (en) 2016-08-24 2017-08-23 System level signaling of SEI tracks for media data streaming
US15/684,676 2017-08-23
PCT/US2017/048444 WO2018039469A1 (en) 2016-08-24 2017-08-24 System level signaling of sei tracks for media data streaming

Publications (2)

Publication Number Publication Date
JP2019525677A true JP2019525677A (ja) 2019-09-05
JP2019525677A5 JP2019525677A5 (ja) 2020-09-10

Family

ID=61244138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019510781A Pending JP2019525677A (ja) 2016-08-24 2017-08-24 メディアデータストリーミングのためのｓｅｉトラックのシステムレベルシグナリング

Country Status (9)

Country Link
US (1) US10834153B2 (ja)
EP (1) EP3504878B1 (ja)
JP (1) JP2019525677A (ja)
KR (1) KR102549656B1 (ja)
CN (1) CN109644282B (ja)
BR (1) BR112019003284A2 (ja)
CA (1) CA3031679A1 (ja)
TW (1) TW201813411A (ja)
WO (1) WO2018039469A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming
JPWO2018066355A1 (ja) 2016-10-04 2019-07-25 ソニー株式会社 受信装置、送信装置、及び、データ処理方法
CN111566694A (zh) * 2018-01-11 2020-08-21 杜比实验室特许公司 内容扫描自适应元数据的光水平管理
WO2019192509A1 (en) 2018-04-03 2019-10-10 Huawei Technologies Co., Ltd. Media data processing method and apparatus
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN114630138B (zh) * 2022-03-14 2023-12-08 上海哔哩哔哩科技有限公司 配置信息下发方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008545351A (ja) * 2005-07-06 2008-12-11 トムソン ライセンシング 画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置
JP2010279031A (ja) * 2009-05-29 2010-12-09 Thomson Licensing ビットストリームに透かし支援データを挿入する方法、及び透かし支援データを含むビットストリーム
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258544B2 (en) * 2010-06-27 2016-02-09 Lg Electronics Inc. Digital receiver and method for processing caption data in the digital receiver
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
RU2612577C2 (ru) * 2012-07-02 2017-03-09 Нокиа Текнолоджиз Ой Способ и устройство для кодирования видеоинформации
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
US9736507B2 (en) * 2013-11-13 2017-08-15 Lg Electronics Inc. Broadcast signal transmission method and apparatus for providing HDR broadcast service
US20160295220A1 (en) * 2013-11-21 2016-10-06 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
US10880565B2 (en) * 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US20170324981A1 (en) * 2014-06-19 2017-11-09 Sharp Kabushiki Kaisha Method for decoding a video bitstream
US10834153B2 (en) * 2016-08-24 2020-11-10 Qualcomm Incorporated System level signaling of SEI tracks for media data streaming

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008545351A (ja) * 2005-07-06 2008-12-11 トムソン ライセンシング 画像系列及びロゴを含むビデオコンテンツを符号化する方法及び装置
JP2010279031A (ja) * 2009-05-29 2010-12-09 Thomson Licensing ビットストリームに透かし支援データを挿入する方法、及び透かし支援データを含むビットストリーム
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US10834153B2 (en) 2020-11-10
KR20190039724A (ko) 2019-04-15
BR112019003284A2 (pt) 2019-06-04
CN109644282B (zh) 2021-10-15
WO2018039469A1 (en) 2018-03-01
KR102549656B1 (ko) 2023-06-30
US20180063574A1 (en) 2018-03-01
TW201813411A (zh) 2018-04-01
EP3504878A1 (en) 2019-07-03
CN109644282A (zh) 2019-04-16
CA3031679A1 (en) 2018-03-01
EP3504878B1 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
KR102614207B1 (ko) Mime 타입 파라미터들을 이용하는 네트워크 비디오 스트리밍에서의 중요 비디오 정보 시그널링
JP7142626B2 (ja) メディアストリーミングのためのセグメントチャンクの検索およびアクセス
CN110447234B (zh) 用于处理媒体数据及产生位流的方法、装置及存储媒体
CN110089122B (zh) 用于检索媒体数据的方法、媒体装置及计算机可读存储媒体
US11665219B2 (en) Processing media data using a generic descriptor for file format boxes
JP2018532146A (ja) コーディングされたオーディオデータのトランスポート
CN112154672B (zh) 一种检索媒体数据的方法、设备及可读存储介质
KR102549656B1 (ko) 미디어 데이터 스트리밍을 위한 sei 트랙들의 시스템 레벨 시그널링
JP6903688B2 (ja) サンプルエントリーおよびランダムアクセス
JP2019520742A (ja) サンプルエントリーおよびランダムアクセス
TW202127897A (zh) 用於串流傳輸媒體資料的多解碼器介面
CN110870323B (zh) 使用全向媒体格式处理媒体数据

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220301