JP2016522622A - 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送 - Google Patents

動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送 Download PDF

Info

Publication number
JP2016522622A
JP2016522622A JP2016512119A JP2016512119A JP2016522622A JP 2016522622 A JP2016522622 A JP 2016522622A JP 2016512119 A JP2016512119 A JP 2016512119A JP 2016512119 A JP2016512119 A JP 2016512119A JP 2016522622 A JP2016522622 A JP 2016522622A
Authority
JP
Japan
Prior art keywords
media
segments
metadata
segment
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016512119A
Other languages
English (en)
Other versions
JP6064251B2 (ja
Inventor
シャオボ・ツァン
シン・ワン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2016522622A publication Critical patent/JP2016522622A/ja
Application granted granted Critical
Publication of JP6064251B2 publication Critical patent/JP6064251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

プロセッサによって実行されるとネットワークデバイスにメディアプレゼンテーション記述(MPD)を獲得させるコンピュータプログラム製品であって、MPDは、複数の適応セットからの1つまたは複数のセグメントを取得する命令と、MPDにおいて提供される命令に従って、第1の適応セットからの1つまたは複数のセグメントを求める第1のセグメント要求を送る命令と、第1の適応セットからのセグメントを受け取る命令と、第1の適応セットからの1つまたは複数のセグメントに基づいて、第2の適応セットからの1つまたは複数のセグメントを選択する命令と、第2の適応セットからの1つまたは複数のセグメントを要求する第2のセグメント要求を送る命令と、第2のセグメント要求に応答して第2の適応セットからの1つまたは複数の選択されたセグメントを受け取る命令とを含み、第1の適応セットは時限メタデータ情報を含み、第2の適応セットはメディアコンテンツを含む。

Description

関連出願の相互参照
本出願は、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、Shaobo Zhangらにより2013年7月19日に出願された、「Signaling and Carriage of Quality Information of Streaming Content」という名称の米国仮特許出願第61/856532号の利益を主張するものである。
連邦政府資金による研究開発の記載
適用外
マイクロフィッシュ付録の参照
適用外
メディアコンテンツのプロバイダや配給元は、様々なデバイス（テレビ、ノートブックコンピュータ、デスクトップコンピュータ、モバイルハンドセットなど）に適した様々な暗号化方式および／または符号化方式を用いて加入者やユーザへ様々なメディアコンテンツを届けることができる。動的適応型ハイパーテキスト転送プロトコルストリーミング（Dynamic adaptive streaming over hypertext transfer protocol（HTTP）（DASH））は、「Information Technology-Generic Coding of Moving Pictures and Associated Audio Information: Systems」という名称の、国際標準化機構（International Organization for Standardization（ISO））／国際電気標準会議（International Electrotechnical Commission（IEC））13818-1に記載されている、MPEG（Moving Picture Expert Group）-2規格ファミリに属する、ISOベース・メディア・ファイル・フォーマット（Base Media File Format）（ISO-BMFF）およびMPEGトランスポートストリームのためのマニフェストフォーマット、メディアプレゼンテーション記述（media presentation description（MPD））、およびセグメントフォーマットを定義している。DASHシステムは、「Information Technology-Dynamic Adaptive Streaming over HTTP (DASH)-part 1: Media Presentation Description and Segment Formats」という名称の、国際標準化機構（ISO）／国際電気標準会議（IEC）23009-1に記載されているDASH規格に従って実装することができる。
従来のDASHシステムは、メディアコンテンツまたは表現の複数のビットレート選択肢がサーバ上で利用可能であることを必要としうる。それら選択可能な表現は、固定ビットレート（constant bitrate（CBR））または可変ビットレート（variable bitrate（VBR））の符号化バージョンとすることができる。CBR表現では、ビットレートを制御することができ、ほぼ一定とすることができるが、その品質は、ビットレートが十分に高くない限り、著しく変動しうる。ビデオエンコーダがある指定されたビットレートを有するビットストリームを生成しながら一貫した品質を届けるためには、ニュースチャネルにおけるスポーツ場面／静止場面の切換えのようなコンテンツの変更が難しい場合がある。VBR表現では、より複雑な場面にはより高いビットレート割り振り、あまり複雑ではない場面にはより少数のビットを割り振ることができる。無制約のVBR表現を用いる場合には、符号化コンテンツの品質が一定にならない可能性があり、かつ／または1つもしくは複数の制限（最大帯域幅など）が生じうる。品質の変動は、コンテンツ符号化に固有のものであり、DASHアプリケーションに特有のものではないと考えられる。
加えて、利用可能帯域幅は絶えず変化している可能性があり、このことは、メディアコンテンツのストリーミングにとっての課題となりうる。従来の適応方式は、デバイスの能力（復号能力や表示解像度など）やユーザの好み（言語や字幕スーパーなど）に適応するように構成することができる。従来のDASHシステムにおいては、異なるビットレートを有する選択可能な表現を切り換えることによって変化する利用可能帯域幅への適応を可能とすることができる。表現またはセグメントのビットレートは、利用可能帯域幅に一致させることができる。しかし、ある表現のビットレートがメディアコンテンツの品質と直接的な相関関係を有しない場合もある。複数の表現のビットレートがこれらの表現の相対的品質を表し、表現内のセグメントの品質に関する情報を提供しない場合もある。例えば、同じビットレートについて、高品質レベルを各場面について低ビットレートで（低い空間的複雑度や低い動きレベルなどで）符号化することもでき、低品質レベルを高ビットレートの場面で符号化することもできる。よって、帯域幅変動は、同じビットレートについて相対的に低い体感品質を生じさせる。また、相対的に高い帯域幅が使用されず、または必要とされない場合には、帯域幅が無駄になることもある。また、積極的な帯域幅消費が、結果としてサポートできるユーザ数の制限、高帯域幅消費、および／または高電力消費をもたらすこともある。
ある実施形態において、本開示はメディア表現適応方法を含み、本メディア表現適応方法は、複数のメディアセグメントおよび該複数のメディアセグメントと関連付けられた複数のメタデータセグメントを取得するための情報を含むメディアプレゼンテーション記述（MPD）を獲得するステップであって、複数のメタデータセグメントは、複数のメディアセグメントと関連付けられた時限メタデータ情報を含む、MPDを獲得するステップと、MPDにおいて提供された情報に従ってメタデータセグメントのうちの1つまたは複数を求めるメタデータセグメント要求を送るステップと、1つまたは複数のメタデータセグメントを受け取るステップと、1つまたは複数のメディアセグメントの時限メタデータ情報に基づいて1つまたは複数のメディアセグメントを選択するステップと、選択されたメディアセグメントを要求するメディアセグメント要求を送るステップと、メディアセグメント要求に応答して選択されたメディアセグメントを受け取るステップと、を含む
別の実施形態において、本開示は、非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品を含み、プロセッサによって実行されると、ネットワークデバイスに、複数の適応セットからの1つまたは複数のセグメントを取得するための情報を含むMPDを獲得させ、MPDにおいて提供される情報に従って、第2の適応セット内の複数のセグメントと関連付けられた時限メタデータ情報を含む第1の適応セットからの1つまたは複数のセグメントを求める第1のセグメント要求を送らせ、第1の適応セットからのセグメントを受け取らせ、第1の適応セットからの1つまたは複数のセグメントに基づいて、第2の適応セット内の複数のセグメントの中から、メディアコンテンツを含む1つまたは複数のセグメントを選択させ、第2の適応セットからの1つまたは複数のセグメントを要求する第2のセグメント要求を送らせ、第2のセグメント要求に応答して第2の適応セットからの1つまたは複数の選択されたセグメントを受け取らせる。
さらに別の実施形態において、本開示は、第1の適応セットからの複数のメディアセグメント、および第2の適応セットからの複数のメタデータセグメントを取得するための情報を含むMPDに従ったメディア表現適応のための装置を含み、本装置は、メモリと、メモリに結合されたプロセッサとを含み、メモリは、プロセッサによって実行されると、装置に、MPDに従ったメタデータセグメント要求を送らせ、メディアセグメントのうちの1つまたは複数と関連付けられた時限メタデータ情報を含む1つまたは複数のメタデータセグメントを受け取らせ、メタデータ情報を用いて1つまたは複数のメディアセグメントを選択させ、1つまたは複数のメディアセグメントを要求するメディアセグメント要求を送らせ、MPDに従った1つまたは複数のメディアセグメントを受け取らせる命令を含む。
上記その他の特徴は、以下の詳細な説明を添付の図面および特許請求の範囲と併せて読めばより明確に理解されるであろう。
本開示をより十分に理解するために、次に、添付の図面および詳細な説明と関連して理解される以下の簡単な説明を参照する。添付の図面および詳細な説明において、類似の参照番号は類似の部分を表す。
動的適応型ハイパーテキスト転送プロトコル（HTTP）ストリーミング（DASH）システムの一実施形態の概略図である。 ネットワークエレメントの一実施形態の概略図である。 DASH適応方法の一実施形態のプロトコル図である。 メディアプレゼンテーション記述の一実施形態の概略図である。 サンプルレベルのメタデータ関連付けの一実施形態の概略図である。 トラック・ラン・レベルのメタデータ関連付けの一実施形態の概略図である。 トラック・フラグメント・レベルのメタデータ関連付けの一実施形態の概略図である。 動画フラグメントレベルのメタデータ関連付けの一実施形態の概略図である。 サブセグメントレベルのメタデータ関連付けの一実施形態の概略図である。 メディア・セグメント・レベルのメタデータ関連付けの一実施形態の概略図である。 適応セットレベルのメタデータ関連付けの一実施形態の概略図である。 メディア・サブセグメント・レベルのメタデータ関連付けの一実施形態の概略図である。 DASHクライアントによって使用される表現適応方法の一実施形態の流れ図である。 メタデータ情報を用いる表現適応方法の一実施形態の流れ図である。 メタデータ情報を用いる表現適応方法の別の実施形態の流れ図である。 サーバによって使用される表現適応方法の別の実施形態の流れ図である。
以下に1つまたは複数の実施形態の例示的実装を示すが、開示のシステムおよび／または方法は、現在公知であるかどうか、または実在するかどうかにかかわらず、任意の数の技法を用いて実装されうることをはじめに理解すべきである。本開示は、いかなる点においても、本明細書において示し、説明する設計例および実装例を含む、以下に示す例示的実装、図面、および技法だけに限定されるべきでなく、添付の特許請求の範囲および各請求項の均等物の全範囲の範囲内で変更されうる。
本明細書において開示するのは、動的適応型ハイパーテキスト転送プロトコル（HTTP）ストリーミング（DASH）システムにおいてメディアコンテンツのためのメタデータ情報（品質情報など）を伝達し、シグナリングするための様々な実施形態である。特に、DASHシステムにおける表現適応のためのメタデータ情報を伝達し、かつ／またはシグナリングするのに、複数の表現間の関連付けが用いられうる。複数の表現間の関連付けは、表現レベルで、かつ／または適応セットレベルで実装することができる。例えば、関連付けは、メディアコンテンツに対応する第1の表現と、メタデータ情報に対応する第2の表現との間のものとすることができる。メタデータ情報を含む適応セットを、メタデータセットと呼ぶことができる。DASHクライアントは、メタデータセットを使用して、メディアコンテンツおよび複数のメディアセグメントを含む適応セットと関連付けられたメタデータ情報を取得することにより、表現適応判断を行うことができる。
ある実施形態においては、適応セット関連付けにより、メタデータ情報が帯域外シグナリングを用いて伝達されること、および／または外部インデックスファイルを用いたメタデータ情報の搬送と可能とすることができる。帯域外シグナリングの使用は、メタデータ情報の追加、削除、および／または変更がメディアデータに及ぼす影響を低減することができる。メタデータ情報は、ライブサービスおよび／またはオンデマンドサービスを効率よくサポートするために、セグメントレベルまたはサブセグメントレベルでシグナリングすることができる。メタデータ情報は、1つまたは複数のメディアセグメントが要求される前に、別個に取得することができる。例えば、メタデータ情報は、メディアコンテンツがストリーミングを開始する前に入手することができる。メタデータ情報は、ビットレート情報と品質情報とを相関させるための相互参照の必要を低減させることができるメディアデータのための他のアクセス情報（サブセグメントのサイズや持続期間など）と共に提供することができる。メタデータ情報を用いた適応判断により、ストリーミングされるコンテンツの品質変動を低減させることができ、体感品質を改善することができ、帯域幅をより効率よく使用することができる。メタデータ情報は、条件付で使用し、変更し、かつ／または生成することができ、メディアデータのストリーミングの動作に影響を及ぼさない。メディアプレゼンテーション記述（MPD）更新の頻度を低減させることもできる。メディアコンテンツおよびメタデータ情報は、コンテンツプレゼンテーションの異なる段階において生成することができ、かつ／または別々の人によって生成することができる。メタデータ情報を使用すれば、再生リストとテンプレートの両方においてユニフォーム・リソース・ロケータ（uniform resource locator（URL））の表示および／または生成をサポートすることができる。メタデータ情報は、MPD内のセグメントごとにシグナリングされず、そうでなければ、メタデータ情報はMPDを増大させることになりうる。メタデータ情報は、始動遅延に著しい影響を及ぼさず、ネットワークトラフィックの消費を可能な限り少なくすることができる。
図1は、本開示の実施形態が動作しうるDASHシステム100の一実施形態の概略図である。DASHシステム100は、一般に、コンテンツソース102、HTTPサーバ104、ネットワーク106、および1つまたは複数のDASHクライアント108を含むことができる。そうした実施形態においては、HTTPサーバ104およびDASHクライアント108は、ネットワーク106を介して相互にデータ通信することができる。加えて、HTTPサーバ104は、コンテンツソース102ともデータ通信することができる。あるいは、DASHシステム100は、1つまたは複数の追加的なコンテンツソース102および／またはHTTPサーバ104をさらに含むこともできる。ネットワーク106は、有線チャネルおよび／または無線チャネルに沿ってHTTPサーバ104とDASHクライアント108との間でデータ通信を提供するように構成された任意のネットワークを含むことができる。例えば、ネットワーク106は、インターネットや移動電話ネットワークとすることができる。DASHシステム100によって実行される動作の記述は、一般に、1つまたは複数のDASHクライアント108のインスタンスに関するものである。なお、DASHという用語の使用は、本開示全体を通して、HTTPライブストリーミング（HTTP Live Streaming（HLS））、マイクロソフト・スムーズ・ストリーミング（Microsoft Smooth Streaming）、インターネット情報サービス（Internet Information Services（IIS））といった任意の適応型ストリーミングを含むことができ、3GP（third generation partnership）-DASHまたはMPEG（moving picture expert group）-DASHのみを表すものとして限定されてはならない。
コンテンツソース102は、メディアコンテンツのプロバイダや配給元とすることができ、それらのメディアコンテンツのプロバイダや配給元は、様々なデバイス（テレビ、ノートブックコンピュータ、デスクトップコンピュータ、および／またはモバイルハンドセットなど）に適した様々な暗号化方式および／または符号化方式を用いて加入者やユーザへ様々なメディアコンテンツを配布するように構成することができる。コンテンツソース102は、複数のメディアエンコーダおよび／もしくはメディアデコーダ（コーデックなど）、メディアプレーヤ、ビデオ・フレーム・レート、空間分解能、ビットレート、ビデオフォーマット、またはこれらの組み合わせをサポートするように構成することができる。メディアコンテンツは、ソースプレゼンテーションまたはオリジナルプレゼンテーションから様々なユーザに適した様々な他の表現へ変換することができる。
HTTPサーバ104は、任意のネットワークノード、例えば、HTTPを介して1つまたは複数のDASHクライアント108と通信するように構成されているコンピュータサーバとすることができる。HTTPサーバ104は、HTTPを介してデータを送受信するように構成されたサーバDASHモジュール（DASH module（DM））110を含むことができる。ある実施形態においては、HTTPサーバ104は、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、「Information Technology-Dynamic Adaptive Streaming over HTTP (DASH)-part 1: Media Presentation Description and Segment Formats」という名称の、国際標準化機構（ISO）／国際電気標準会議（IEC）23009-1に記載されているDASH規格に従って動作するように構成することができる。HTTPサーバ104は、メディアコンテンツを（例えば、メモリもしくはキャッシュに）記憶し、かつ／またはメメディア・コンテンツ・セグメントを転送するように構成することができる。各セグメントは、複数のビットレートおよび／または表現として符号化することができる。HTTPサーバ104は、コンテンツ配信ネットワーク（content delivery network（CDN））の一部分を形成することができ、CDNは、コンテンツを配信する目的で複数のバックボーンにわたって複数のデータセンタにおいて配備されたサーバの配給システムをいう。CDNは、1つまたは複数のHTTPサーバ104を含むことができる。図1にはHTTPサーバ104が示されているが、他のDASHサーバ、例えば、オリジンサーバ、ウェブサーバ、および／または任意の他の適切なタイプのサーバがメディアコンテンツを記憶していてもよい。
DASHクライアント108は、任意のネットワークノード、例えば、HTTPを介してHTTPサーバ104と通信するように構成されているハードウェアデバイスとすることができる。DASHクライアント108は、ノートブックコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、移動電話、または任意の他のデバイスとすることができる。DASHクライアント108は、MPDを構文解析してメディアコンテンツに関する情報、例えば、プログラムのタイミング、メディアコンテンツの可用性、メディアのタイプ、解像度、最小帯域幅および／もしくは最大帯域幅、メディアコンポーネントの様々な符号化選択肢の有無、アクセシビリティ機能および必要なデジタル著作権管理（digital right management（DRM））、ネットワーク上の各メディアコンポーネント（オーディオ・データ・セグメントやビデオ・データ・セグメント）の位置、ならびに／またはメディアコンテンツの他の特性などを取得するように構成することができる。また、DASHクライアント108は、MPDから取得された情報に従ってメディアコンテンツの適切な符号化バージョンを選択し、HTTPサーバ104上に位置するメディアセグメントをフェッチすることによって、メディアコンテンツをストリーミングするように構成することもできる。メディアセグメントは、メディアコンテンツからのオーディオサンプルおよび／または画像サンプルを含むことができる。DASHクライアント108は、クライアントDM112、アプリケーション114、およびグラフィカル・ユーザ・インターフェース（graphical user interface（GUI））116を含むことができる。クライアントDM112は、HTTPおよびDASHプロトコル（ISO/IEC 23009-1など）を介してデータを送受信するように構成することができる。クライアントDM112は、DASHアクセスエンジン（DASH access engine（DAE））118およびメディア出力（media output（ME））120を含むことができる。DAE118は、HTTPサーバ104（サーバDM110など）から生データを受け取り、そのデータを視聴用のフォーマットへ構築するための主要コンポーネントとして構成することができる。例えば、DAE118は、MPEGコンテナフォーマットのデータをタイミングデータと共にフォーマットし、次いで、フォーマットされたデータをME120へ出力することができる。ME120は、コンテンツと関連付けられた初期設定、再生、および他の機能を果たすことができ、当該コンテンツをアプリケーション114へ出力することができる。
アプリケーション114は、コンテンツをダウンロードし、提示するように構成されたインターフェースを備えるウェブブラウザまたは他のアプリケーションとすることができる。アプリケーション114は、DASHクライアント108と関連付けられたユーザにアプリケーション114の様々な機能が見えるように、GUI116に結合することができる。一実施形態においては、アプリケーション114は、ユーザがコンテンツを検索するための単語列を入力することができるように、検索バーを含むことができる。アプリケーション114がメディアプレーヤである場合には、アプリケーション114は、ユーザが動画を検索するための単語列を入力することができるように、検索バーを含むことができる。アプリケーション114は、検索結果のリストを提示することができ、ユーザは、検索結果の中から所望のコンテンツ（動画など）を選択することができる。選択され次第、アプリケーション114は、コンテンツをダウンロードするためのクライアントDM112への命令を送ることができる。クライアントDM112は、コンテンツをダウンロードし、アプリケーション114へ出力するためにコンテンツを処理することができる。例えば、アプリケーション114は、GUI116がコンテンツの時間的進行状況示す進行状況バーを表示するためのGUI116への命令を提供することができる。GUI116は、ユーザがアプリケーション114を操作することができるようにアプリケーション114の機能を表示するように構成された任意のGUIとすることができる。上述のように、GUI116は、ユーザがダウンロードすべきコンテンツを選択することができるように、アプリケーション114の様々な機能を表示することができる。GUI116は、次いで、ユーザから見えるようにコンテンツを表示することができる。
図2は、図1に示すDASHシステム100の少なくとも一部分を介してデータトラフィックを搬送し、処理するのに使用することができるネットワークエレメント200の一実施形態の概略図である。本開示において記述される機構／方法の少なくとも一部は、ネットワークエレメントにおいて実装することができる。例えば、本開示の機構／方法は、ハードウェア、ファームウェア、および／またはハードウェア上で実行するようにインストールされるソフトウェアにおいて実装することができる。ネットワークエレメント200は、ネットワーク、システム、および／またはドメインを介してデータを搬送する任意のデバイス（例えば、サーバ、クライアント、基地局、ユーザ機器、モバイル通信デバイスなど）とすることができる。さらに、ネットワーク「エレメント」、ネットワーク「ノード」、ネットワーク「デバイス」、ネットワーク「コンポーネント」、ネットワーク「モジュール」という用語、および／または類似した用語は、ネットワークデバイスを一般的に記述するのに区別なく使用することができ、本開示内で特に明記し、かつ／または求めない限り、特定の意味または特殊な意味を有するものではない。ある実施形態においては、ネットワークエレメント200は、適応セット内のメタデータ情報を伝達し、DASHを実装し、かつ／またはHTTP接続を確立し、HTTP接続を介して通信するように構成された装置とすることができる。例えば、ネットワークエレメント200は、図1に記載されているHTTPサーバ104もしくはDASHクライアント108とすることができ、またはHTTPサーバ104もしくはDASHクライアント108に組み込むことができる。
ネットワークエレメント200は、送受信機（Tx/Rx）220に結合された1つまたは複数の下流側ポート210を含むことができ、Tx/Rx220は、送信機、受信機、または送信機と受信機の組み合わせとすることができる。Tx/Rx220は、下流側ポート210を介して他のネットワークノードからフレームを送信し、かつ／または受信することができる。同様に、ネットワークエレメント200は、複数の上流側ポート240に結合された別のTx/Rx220も含むことができ、Tx/Rx220は、上流側ポート240を介して他のノードからフレームを送信し、かつ／または受信することができる。下流側ポート210および／または上流側ポート240は、電気的な、かつ／または光学的な送信側コンポーネントおよび／または受信側コンポーネントを含むことができる。別の実施形態においては、ネットワークエレメント200は、Tx/Rx220に結合された1つまたは複数のアンテナを含むことができる。Tx/Rx220は、1つまたは複数のアンテナを介して無線で他のネットワークエレメントからデータ（パケットなど）を送信し、かつ／または受信することができる。
プロセッサ230は、Tx/Rx220に結合することができ、フレームを処理し、かつ／またはパケットをどのノードへ送るべきか（送信すべきか）決定するように構成することができる。一実施形態においては、プロセッサ230は、1つまたは複数のマルチコアプロセッサおよび／またはメモリモジュール250を含むことができ、メモリモジュール250は、データストア、バッファなどとして機能することができる。プロセッサ230は、汎用プロセッサとして実装することもでき、1つまたは複数の特定用途向け集積回路（application specific integrated circuits（ASICs））、フィールド・プログラマブル・ゲート・アレイ（field-programmable gate arrays（FPGAs））、および／またはデジタル信号プロセッサ（digital signal processors（DSPs））の一部とすることもできる。単一のプロセッサとして例示されているが、プロセッサ230は、単一のプロセッサに限定されず、複数のプロセッサを含むことができる。プロセッサ230は、メタデータ情報を伝達し、かつ／またはシグナリングするための適応方式のいずれかを実装するように構成することができる。
図2には、メモリモジュール250が、プロセッサ230に結合されており、様々なタイプのデータを記憶するように構成された非一時的な媒体としうることが例示されている。メモリモジュール250は、二次記憶装置、読取り専用メモリ（read-only memory（ROM））、およびランダム・アクセス・メモリ（random-access memory（RAM））を含むメモリデバイスを含むことができる。二次記憶装置は、典型的には、1つまたは複数のディスクドライブ、光ドライブ、ソリッドステートドライブ（solid-state drives（SSDs））、および／またはテープドライブで構成され、データの不揮発性記憶のために、また、RAMがすべての作業データを保持するのに十分な大きさではない場合のオーバフロー記憶装置として使用される。二次記憶装置は、RAMにロードされたプログラムが実行のために選択されるときに、そうしたプログラムを記憶するのに使用することができる。ROMは、命令、およびおそらくは、プログラム実行中に読み出されるデータを記憶するのに使用される。ROMは、典型的には、二次記憶装置の大きなメモリ容量と比べて小さいメモリ容量を有する不揮発性メモリデバイスである。RAMは、揮発性データを記憶し、おそらくは、命令を記憶するのに使用される。ROMへのアクセスもRAMへのアクセスも、通常は、二次記憶装置へのアクセスよりも高速である。
メモリモジュール250は、本明細書において記述されるシステムおよび方法を実行するための命令を収容するのに使用することができる。ある実施形態においては、メモリモジュール250は、プロセッサ230上で実装されうる表現適応モジュール260またはメタデータモジュール270を含むことができる。ある実施形態においては、表現適応モジュール260は、メタデータ情報（品質情報など）を用いてメディア・コンテンツ・セグメントについての表現を選択するためにクライアント上で実装することができる。別の実施形態においては、メタデータモジュール270は、メタデータ情報およびメディア・コンテンツ・セグメントを関連付け、かつ／または1つもしくは複数のクライアントに伝達するためにサーバ上で実装することができる。
ネットワークエレメント200上へ実行可能命令をプログラミングし、かつ／またはロードすることによって、プロセッサ230、キャッシュ、および長期記憶のうちの少なくとも1つが変更され、ネットワークエレメント200の一部を特定の機械または装置へ、例えば、本開示が教示する新規の機能を有するマルチコア転送アーキテクチャへ変換することが理解される。実行可能なソフトウェアをコンピュータへロードすることによって実装できる機能を、当分野で知られている周知の設計規則によってハードウェア実装へ変換することができることは電気工学技術およびソフトウェア工学技術の基本である。ある概念をソフトウェアで実装するか、それともハードウェアで実装するかの判断は、通常、ソフトウェアドメインからハードウェアドメインへの変換に伴ういかなる問題よりも、製造すべきユニットの設計および数の安定性の考慮事項にかかっている。一般に、まだ頻繁に変更される設計は、ソフトウェアとして実装されるのが好ましいと考えられる。というのは、ハードウェア実装を設計し直すことは、ソフトウェア設計を設計し直すより高くつくからである。一般に、大量生産されることになる安定した設計は、ハードウェアで（例えばASICで）実装されるのが好ましいと考えられる。というのは、大規模な生産工程では、ハードウェア実装はソフトウェア実装よりも安くつくと考えられるからである。多くの場合、設計は、ソフトウェアの形態として開発し、試験し、次いでその後に、当分野で知られている周知の設計規則によって、ソフトウェアの命令を配線するASICとしての等価のハードウェア実装へ変換することができる。新しいASICによって制御される機械が特定の機械または装置であるのと同様に、実行可能命令でプログラムされ、かつ／または実行可能命令がロードされたコンピュータも特定の機械または装置とみなすことができる。
本開示のいかなる処理も、プロセッサ（汎用マルチコアプロセッサなど）にコンピュータプログラムを実行させることによって実装することができる。この場合には、任意のタイプの非一時的コンピュータ可読媒体を用いて、コンピュータプログラム製品をコンピュータまたはネットワークデバイスに提供することができる。コンピュータプログラム製品は、コンピュータまたはネットワークデバイスにおいて非一時的コンピュータ可読媒体に記憶することができる。非一時的コンピュータ可読媒体は、任意のタイプの有形の記憶媒体を含む。非一時的コンピュータ可読媒体の例には、磁気記憶媒体（例えば、フロッピー(登録商標)ディスク、磁気テープ、ハード・ディスク・ドライブなど）、光磁気記憶媒体（光磁気ディスクなど）、CD-ROM（compact disc read only memory）、CD-R（compact disc recordable）、CD-R/W（compact disc rewritable）、DVD（digital versatile disc）、Blu-ray（登録商標）ディスク（BD）、および半導体メモリ（例えば、マスクROM、プログラマブルROM（PROM）、消去可能PROM、フラッシュROM、RAM）が含まれる。また、コンピュータプログラム製品は、任意のタイプの一時的コンピュータ可読媒体を用いて、コンピュータまたはネットワークデバイスに提供することもできる。一時的コンピュータ可読媒体の例には、電気信号、光信号、および電磁波が含まれる。一時的コンピュータ可読媒体は、有線通信線（例えば、電線や光ファイバ）または無線通信線を介してコンピュータにプログラムを提供することができる。
図3は、DASH適応方法300の一実施形態のプロトコル図である。一実施形態においては、HTTPサーバ302はDASHクライアント304とデータコンテンツをやりとりすることができる。HTTPサーバ302は、HTTPサーバ104と同様に構成することができ、DASHクライアント304は図1に記載されているDASHクライアント108と同様に構成することができる。HTTPサーバ302は、コンテンツソース（図1に記載されているコンテンツソース102など）からメディアコンテンツを受け取ることができ、かつ／またはメディアコンテンツを生成することができる。例えば、HTTPサーバ302はメディアコンテンツをメモリおよび／またはキャッシュに記憶することができる。ステップ306で、HTTPサーバ302およびDASHクライアント304は、HTTP接続を確立することができる。ステップ308で、DASHクライアント304は、HTTPサーバ302へMPD要求を送ることによってMPDを伝達することができる。MPD要求は、HTTPサーバ302からデータコンテンツのセグメントおよびメタデータ情報をダウンロードし、または受け取るための命令を含むことができる。ステップ310で、HTTPサーバ302は、HTTPを介してDASHクライアント304へMPDを送ることができる。他の実施形態においては、HTTPサーバ302は、HTTPセキュア（HTTP secure（HTTPS））、電子メール、ユニバーサル・シリアル・バス（universal serial bus（USB））・ドライブ、ブロードキャスト、または任意の他のタイプのデータトランスポートを介してMPDを配信することができる。具体的には、図3において、DASHクライアント304は、DAE（図1に記載されているDAE118など）を介してHTTPサーバ302からMPDを受け取ることができ、DAEは、メタデータコンテンツ情報およびデータ・コンテンツ・セグメントを求めるHTTPサーバ302への要求を構築し、かつ／または発行するためにMPDを処理することができる。ステップ306およびステップ308は任意選択とすることができ、他の実施形態においては省略することができる。
ステップ312で、DASHクライアント304は、HTTPサーバ302へメタデータ情報要求を送ることができる。メタデータ情報要求は、1つまたは複数のメディアセグメントと関連付けられたメタデータセット内のメタデータ表現のメタデータセグメント（品質セット、品質セグメント、および／または品質情報など）を求める要求とすることができる。ステップ314で、メタデータ情報要求を受け取ったことに応答して、HTTPサーバ302は、DASHクライアント304へメタデータ情報を送ることができる。
DASHクライアント304は、メタデータ情報を受け取り、処理し、かつ／またはフォーマットすることができる。ステップ316で、DASHクライアント304は、メタデータ情報を使用して、次の表現および／またはストリーミングのための表現を選択することができる。ある実施形態においては、メタデータ情報は、品質情報を含むことができる。DASHクライアント304は、品質情報を使用して、品質情報に基づくユーザにとっての体感品質を最大化する表現レベルを選択することができる。DASHクライアント304および／またはエンドユーザによって、品質閾値が決定され、かつ／または確立されうる。エンドユーザは、性能要件、加入契約、コンテンツに対する関心、これまでの利用可能帯域幅、および／または個人の好みに基づいて品質閾値を決定することができる。DASHクライアント304は、品質閾値以上の品質レベルに対応するメディアセグメントを選択することができる。加えて、DASHクライアント304は、メディアセグメントを選択するために追加情報（利用可能帯域幅やビットレートなど）も考慮することができる。例えば、DASHクライアント304は、所望のメディアセグメントを配信するための利用可能帯域幅の量を考慮することもできる。
ステップ318で、DASHクライアント304は、HTTPサーバ302にメディアセグメントを要求することができる。例えば、MPDによって指示され、または通知されたように、受け取られたメタデータ情報に基づいて、DASHクライアント304は、DAE（図1に記載されているDAE188など）を介してHTTPサーバ302へメディアセグメントを求めるメディアセグメント要求を送ることができる。要求されたメディアセグメントは、メタデータ情報を用いて決定された表現レベルおよび／または適応セットと符合しうる。ステップ320で、メディアセグメント要求を受け取ったことに応答して、HTTPサーバ302は、DASHクライアント304へメディアセグメントを送ることができる。DASHクライアント304は、メディアセグメントを受け取り、処理し、かつ／またはフォーマットすることができる。例えば、メディアセグメントをユーザに提示する（例えば、画像で、かつ／または音声で）ことができる。例えば、バッファ期間後に、アプリケーション（図1に記載されているアプリケーション114など）は、GUI（図1に記載されているGUI116など）を介して見えるようにメディアセグメントを提示することができる。DASHクライアント304は引き続き、ステップ312〜ステップ320に関連して先に開示したのと同様に、HTTPサーバ302へ／HTTPサーバ302からメタデータ情報および／またはメディアセグメントを送り、かつ／または受け取ることができる。
図4は、メディアコンテンツおよび／または静的メタデータ情報をシグナリングするためのMPD400の一実施形態の概略図である。静的メタデータ情報はMPDから獲得することができ、静的メタデータ情報は符号化メディアコンテンツと共に経時的に変化しない。メタデータ情報は、最小帯域幅、フレームレート、オーディオ・サンプリング・レート、および／または他のビットレート情報といった、メディアコンテンツの品質情報および／または性能情報を含むことができる。MPD400は、例えば、図3のステップ306〜ステップ320に記載されているように、メディアコンテンツおよび／または時限メタデータ情報を要求し、かつ／または獲得するための情報を提供するために、HTTPサーバ（図1に記載されているHTTPサーバ104など）からDASHクライアント（図3に記載されているDASHクライアント304など）へ伝達することができる。時限メタデータ情報もMPDから獲得することでき、時限メタデータ情報は符号化メディアコンテンツと共に経時的に変化しない。一実施形態においては、HTTPサーバは、メタデータシグナリングを提供し、かつ／または使用可能にするためにMPD400を生成することができる。MPD400は階層データモデルである。ISO/IEC 23009-1によれば、MPD400を、ストリーミングサービスを提供するためのメディアプレゼンテーションの定式化された記述と呼ぶことができる。さらには、メディアプレゼンテーションを、プレゼンテーションまたはメディアコンテンツを確立するデータの集合と呼ぶこともできる。特に、MPD400は、データコンテンツの各セグメントをダウンロードするためのHTTP URL、すなわちネットワークアドレスを告知するフォーマットを定義することができる。ある実施形態においては、MPD400は、拡張可能なマークアップ言語（Extensible Markup Language（XML））とすることができる。MPD400は、データのセグメントおよびメタデータ情報をダウンロードするための1つまたは複数のHTTPサーバを指し示す複数のURLを含むことができる。
MPD400は、「期間」410、「適応セット」420、「表現」430、「セグメント」440、「下位表現」450、および「サブセグメント」460の各要素を含むことができる。「期間」410は、データコンテンツの期間と関連付けることができる。ISO/IEC 23009-1によれば、「期間」410は、通常、メディアコンテンツの符号化バージョンの一貫したセットが利用可能なメディアコンテンツ期間を表すことができる。言い換えると、利用可能なビットレート、言語、キャプション、字幕スーパーなどのセットは、1つの期間中に変化しない。「適応セット」420は、相互に交換可能な「表現」430のセットを含むことができる。様々な実施形態においては、メタデータ情報を含む「適応セット」420を、メタデータセットと呼ぶことができる。「表現」430は、配信可能なコンテンツ、例えば、1つまたは複数のメディア・コンテンツ・コンポーネントの符号化バージョンを記述することができる。複数の時間的に連続した「セグメント」440は、ストリームまたはトラック（メディア・コンテンツ・ストリームやメディア・コンテンツ・トラックなど）を形成することができる。
DASHクライアント（図1に記載されているDASHクライアント108など）は、ネットワーク状態または他の要因に適応するように「表現」430を切り換えることができる。例えば、DASHクライアントは、特定の「表現」430と関連付けられたメタデータ情報（静的メタデータ情報など）に基づいて、その「表現」430をサポートすることができるかどうか決定することができる。その「表現」430をサポートすることができない場合、DASHクライアントは、サポートすることができる別の「表現」430を選択することができる。「セグメント」440は、URLと関連付けられたデータ単位と呼ぶことができる。言い換えると、「セグメント」440は、一般に、1つのURLを用いて1つのHTTP要求で取得することができる最大のデータ単位とすることができる。DASHクライアントは、DASHクライアントがダウンロードを中止するまで、またはDASHクライアントが別の「表現」430を選択するまで、選択された「表現」430内のセグメントをダウンロードするように構成することができる。「セグメント」440、「下位表現」450、および「サブセグメント」460の各要素についてのさらなる詳細は、ISO/IEC 23009-1に記載されている。
「期間」410、「適応セット」420、「表現」430、「セグメント」440、「下位表現」450、および「サブセグメント」460の各要素は、様々な形のデータコンテンツを参照するのに使用することができる。MPDにおいて、各要素および属性は、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、「XML 1.0, Fifth Edition, 2008」で定義されているものと同様とすることができる。各要素は、1文字目を大文字にすること、またはキャメルケーシング、ならびに太字体によって属性と区別することができるが、本明細書においては、太字体は除かれている。各要素は1つまたは複数の属性を含むことができ、属性は、各要素をさらに定義する特性とすることができる。属性は、前に付く「＠」記号で区別することができる。例えば、「期間」410は、プレゼンテーションタイムライン上で、「期間」410と関連付けられた期間がいつ開始するか指定することができる「＠start」属性を含むことができる。
前述のように、メタデータ情報は、メタデータ情報が符号化メディアストリームと共に経時的に変動する場合には、時限メタデータ情報と呼ぶこともでき、これらの用語は、本開示全体を通して区別なく使用されうる。「期間」410中に、メタデータ情報のための1つまたは複数の適応セットを利用することができる。例えば、表1は、メタデータ情報のための適応セットのリストの一実施形態を含む。例えば、QualitySet、BitrateSet、およびPowerSetは、それぞれ、品質、ビットレート、および電力消費についての時限メタデータを含む適応セットとすることができる。適応セット名は、一般に、当該適応セットによって搬送されるメタデータ情報のタイプを記述することができる。メタデータ情報のための適応セットは、複数のメタデータ表現を含むことができる。ある実施形態においては、QualitySetは、複数の品質表現を含むことができ、これらの品質表現は表2において記述されている。あるいは、メタデータ情報のための適応セットは、複数のビットレート表現を含むBitrateSet、または複数の電力表現を含むPowerSetとすることもできる。
Figure 2016522622
表2においては、メタデータ情報のための適応セットを、期間中にメディアコンテンツのための1つまたは複数の対応する適応セットと共にシグナリングすることができる。ある実施形態においては、時限メタデータ情報のための適応セットを、ほぼ同じ＠id値を有するメディアコンテンツのための適応セットと関連付けることができる。時限メタデータ情報のための適応セットは、1つまたは複数のメディア表現に関する時限メタデータ情報（品質情報など）を含む複数の表現を含むことができ、メディアデータを含まない。よって、メタデータ情報のための適応セットを、メディアコンテンツのための適応セットと区別することができ、メタデータ表現をメディア表現と区別することができる。各メタデータ表現を、例えば、トラック参照（トラック参照ボックス‘cdsc’など）を用いて、1つまたは複数のメディア表現と関連付けることができる。一実施形態においては、関連付けはセットレベルとすることができる。メタデータセットと適応セットとは、ほぼ同じ＠idの値を共有することができる。別の実施形態においては、関連付けは、表現レベルとすることができる。メタデータ表現とメディア表現とは、ほぼ同じ表現＠idの値を共有することができる。メタデータ表現は、複数のメタデータセグメントを含むことができる。各メタデータセグメントを、1つまたは複数のメディアセグメントと関連付けることができる。メタデータセグメントは、メディアセグメントのコンテンツと関連付けられた品質情報を含むことができ、表現適応の間に考慮することができる。メタデータセグメントは、複数のサブセグメントに分割することができる。例えば、メタデータセグメントは、メタデータ情報を文書化するインデックス情報、ならびにサブセグメントの各々についてのアクセス情報を含むことができる。メタデータ表現をシグナリングすることにより、メディアコンテンツのためのどの適応セットおよび／またはメディアコンテンツのための適応セット内のどのメディア表現とそのメタデータ表現が関連付けられているかを特定することができる。適応判断のための情報を収集するのに必要とされる時間を短縮することができ、DASHクライアントは、適応セット内の複数のメディア表現についてのメタデータ情報を一度に取得することができる。複数のタイプのメタデータ情報を同時に提供することができる。例えば、品質情報は、1つまたは複数の品質メトリックから導出されたメディアコンテンツ（メディアセグメントなど）の品質に関する情報を含むことができる。既存のDASH仕様は、大幅な変更なしでメタデータ表現のシグナリングをサポートすることができる。
Figure 2016522622
Figure 2016522622
表3は、品質のための時限メタデータを含む適応セットにおいて記述子として使用されるQualityMetric要素のセマンティクスの一実施形態である。品質表現のための方式は、ユニフォーム・リソース・ネーム（uniform resource name（URN））を、属性＠schemeIdUriの値として用いて示すことができる（urn：mpeg：dash：quality：2013など）。例えば、＠schemeIdUriの値は、urn：mpeg：dash：quality：2013とすることができ、＠valueの値は、品質測定のメトリック（PSNR、MOS、SSIMなど）を示すことができる。
Figure 2016522622
「役割」要素（Representation.Roleなど）は、適応セットにおいて、時限メタデータ情報がメタデータ情報タイプまたは子要素を示すのに使用することができる。メタデータ情報タイプは、それだけに限らないが、品質、電力、ビットレート、解読キー、およびイベントを含むことができる。表4は、「役割」要素のリストの一実施形態を含む。メタデータタイプごとに異なる「役割」値を割り当てることができる。
Figure 2016522622
任意選択で、「役割」要素のうちの1つまたは複数を、メタデータ情報タイプに使用されるメトリックを示す1つまたは複数の追加属性を用いて格調することもできる。表5は、「役割」要素拡張の一実施形態である。
Figure 2016522622
ある実施形態においては、メタデータ情報のための適応セットは、「適応セット」420としてMPD400に位置することができる。メタデータ情報のための適応セットは、メディアコンテンツのための別の適応セットについて定義された要素および／または属性のうちのいくつかを再利用することができる。メタデータ情報のための適応セットは、識別子（＠id属性など）を使用して、メタデータ情報のための適応セットを別の適応セットにリンクし、かつ／またはメタデータ情報のための適応セットに別の適応セットを参照させることができる。メタデータ情報のための適応セットおよび他方の適応セットは、同じ＠id値を共有することができる。別の実施形態においては、メタデータ情報のための適応セットは、表6に示すように、＠assocationIdおよび／または＠associationTypeを設定することによって、その他の適応セットと連係することができる。メタデータ表現は、適応セット内のすべてのメディア表現についての品質情報を提供することができる。メタデータ情報のための適応セットは、期間ごとの他方の適応セットとの対のように見える。
Figure 2016522622
表7および表8は、メタデータ情報セット（「品質セット」など）のための適応セットとメディアコンテンツのための適応セットとの間の関連付けを用いてクライアントに品質情報の存在をシグナリングするためのエントリの一実施形態を形成するように組み合わせることができる。そうした実施形態においては、メタデータ表現は非多重化とすることができる。QualitySetは、「v0」、「v1」、および「v3」の＠id値を有する3つの表現を含むことができる。各表現は、ほぼ同じ＠idの値を有するメディア表現と関連付けことができる。関連付けは、QualitySetとAdaptationSetとの間でセットレベルで実装することができる。例えば、どちらもが「ビデオ」の＠id値を有する場合もある。また、関連付けは、各表現がほぼ同じ＠idの値を共有する表現レベルで実装することもできる。メタデータ情報のための適応セットを、ほぼ同じ識別子（「ビデオ」識別子など）を用いて、メディアコンテンツのための適応セットと関連付けることができる。メタデータ情報のための適応セット内の「役割」要素は、適応セットが1つまたは複数のメタデータ表現を含むことを示すことができる。特に、「役割」要素は、メタデータ情報のための適応セットのメタデータ表現が品質情報を含むことを示すことができる。ある実施形態においては、メタデータ表現は多重化されない。関連付けられた「適応セット」内のメディア表現に対応する各メタデータ表現は、ほぼ同じ識別子（「v0」、「v1」、「v2」など）を共有することができる。代替として、各適応セットが時間整合されている場合には、メタデータ表現は多重化されうる。例えば、各適応セット内の各表現の品質情報およびビットレート情報をメタデータ表現に入れることができる。メタデータ表現内のセグメントURLは、メディア表現に使用されるのとだいたい同様のテンプレートを用いて提供することができるが、パス（BaseURLなど）は異なりうる。ある実施形態においては、メタデータ・セグメント・ファイルの拡張子を「mp4m」とすることができる。
Figure 2016522622
Figure 2016522622
表9および表10は、メタデータセットとメディアコンテンツのための適応セットとの間の関連付けを用いてクライアントに品質情報の存在をシグナリングするためのエントリの別の実施形態を形成するように組み合わせることができる。そうした実施形態においては、メタデータ表現を多重化することができる。MetadataSetは、1つの表現を含むことができる。MetadataSetは、AdaptationSet内のメディア表現（「v0」、「v1」、「v2」など）のための品質情報を含むことができる。関連付けは、AdaptationSetとMetadataSetとの間でセットレベルとすることができる。
Figure 2016522622
Figure 2016522622
メディアプレゼンテーションは、1つまたは複数のファイルに含めることができる。ファイルは、プレゼンテーション全体についてのメタデータを含むことができ、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、「Information technology-Coding of audio-visual objects-Part 12: ISO base media file format」という名称の、ISO/IEC 14496-12に記載されているようにフォーマットすることができる。ある実施形態においては、ファイルは、プレゼンテーションのためのメディアデータをさらに含むことができる。ISOベース・メディア・フォーマットファイル（BMFF）ファイルは、メディアコンテンツの交換、管理、編集、およびプレゼンテーションを円滑化しうる柔軟で拡張可能なフォーマットで、メディアプレゼンテーション（メディアコンテンツの集合など）のための時限メディア情報を搬送することができる。あるいは、別のファイルがプレゼンテーションのためのメディアデータを含むこともできる。ファイルは、ISOファイルとすることも、ISO-BMFFファイルとすることも、画像ファイルとすることも、他のフォーマットとすることもできる。例えば、メディアデータは、複数のJPEG（joint photographic expert group）2000ファイルとすることができる。ファイルは、タイミング情報、フレーミング（位置やサイズなど）情報を含むことができる。ファイルは、メディアトラック（ビデオトラック、オーディオトラック、キャプショントラックなど）およびメタデータトラックを含むことができる。各トラックは、トラックを一意に識別するトラック識別子で識別することができる。ファイルは、一連のオブジェクトおよびサブオブジェクト（別のオブジェクト内のオブジェクトなど）として構築することができる。各オブジェクトを、コンテナボックスと呼ぶことができる。例えば、ファイルは、メタデータボックス、動画ボックス、動画フラグメントボックス、メディアボックス、セグメントボックス、トラック参照ボックス、トラック・フラグメント・ボックス、およびトラック・ラン・ボックスを含むことができる。メディアボックスは、メディアプレゼンテーションのメディアデータ（ビデオ画像フレームおよび／またはオーディオなど）を搬送することができ、動画ボックスは、プレゼンテーションのメタデータを搬送することができる。動画ボックスは、メディアデータと関連付けられたメタデータを搬送する複数のサブボックスを含むことができる。例えば、動画ボックスは、メディアボックス内のビデオデータの記述を搬送するビデオ・トラック・ボックス、メディアボックス内のオーディオデータの記述を搬送するオーディオ・トラック・ボックス、ならびにビデオデータおよび／またはオーディオデータのストリーミングおよび／または再生のためのヒントを搬送するヒントボックスを含むことができる。ファイルおよびファイル内のオブジェクトについてのさらなる詳細は、ISO/IEC 14496-12に記載されているとおりとすることができる。
時限メタデータ情報は、ISO-BMFFフレームワークおよび／またはISO-BMFFボックス構造を用いて記憶し、かつ／または伝達することができる。例えば、時限メタデータ情報は、ISO-BMFFフレームワーク内のトラックを用いて実装することができる。時限メタデータトラックは、時限メタデータトラックが関連付けられているメディアトラックとは異なる動画フラグメントに含めることができる。メタデータトラックは、1つまたは複数のサンプル、1つまたは複数のトラックラン、1つまたは複数のトラックフラグメント、および1つまたは複数の動画フラグメントを含むことができる。メタデータトラック内の時限メタデータ情報は、それだけに限らないが、サンプルレベル、トラック・ラン・レベル、トラック・フラグメント・レベル、動画フラグメントレベル、連続動画フラグメントのグループ（メディアサブセグメントなど）レベル、または本開示を考察すれば当業者によって理解されるはずの任意の他の適切な粒度レベルを含む様々な粒度レベルを用いて、メディアトラック内のメディアコンテンツと関連付けることができる。メディアトラックは、複数の動画フラグメントへ分割することができる。メディアフラグメントの各々は、1つまたは複数のトラックフラグメントを含むことができる。トラックフラグメントは、1つまたは複数のトラックランを含むことができる。トラックランは、複数の連続サンプルを含むことができる。サンプルは、オーディオサンプルおよび／またはビデオサンプルとすることができる。ISO-BMFFフレームワークについてのさらなる詳細は、ISO/IEC 14496-12に記載されているとおりとすることができる。
ある実施形態においては、時限メタデータ情報は、符号化メディアコンテンツのための品質情報を含むことができる。他の実施形態においては、メタデータ情報は、符号化メディアコンテンツのためのビットレート情報、または電力消費情報を含むことができる。品質情報は、メディアコンテンツの符号化品質を意味しうる。符号化メディアデータの品質は、いくつかの粒度レベルで測定し、表すことができる。粒度レベルのいくつかの例には、サンプルの時間間隔、トラックラン（サンプルの集合など）、トラックフラグメント（トラックランの集合など）、動画フラグメント（トラックフラグメントの集合など）、およびサブセグメント（動画フラグメントの集合など）が含まれうる。コンテンツ製作者は、粒度レベルを選択し、選択された粒度レベルにおけるメディアコンテンツの品質メトリックを算出し、それらの品質メトリックをコンテンツサーバ上に記憶することができる。品質情報は、客観測定および／または主観測定とすることができ、ピーク信号対雑音比（peak signal-to-noise ratio（PSNR））、平均オピニオンスコア（mean opinion score（MOS））、構造的類似性（structural similarity（SSIM））指標、フレームの有意性（frame significance （FSIG））、平均信号誤り（mean signal error（MSE））、マルチスケール構造的類似性指標（multi-scale structural similarity index（MS-SSIM））、ビデオ品質の知覚評価（perceptual evaluation of video quality（PEVQ））、ビデオ品質メトリック（video quality metric（VQM））、および／または本開示を考察すれば当業者によって理解されるはずの任意の他の品質メトリックを含むことができる。
ある実施形態においては、品質情報は、メディアファイル内の品質トラックで搬送することができる。品質トラックは、品質メトリックタイプ、粒度レベル、倍率といったパラメータを含むデータ構造によって記述することができる。品質トラック内の各サンプルは品質値を含むことができ、品質値は、品質メトリックタイプのものとすることができる。加えて、各サンプルが品質値のための倍率を示すこともでき、倍率は、品質値の範囲を変倍する増倍率とすることができる。品質トラックは、メタデータ・セグメント・インデックス・ボックスも含むことができ、メタデータ・セグメント・インデックス・ボックスは、ISO/IEC 14496-12で定義されているセグメント・インデックス・ボックスとだいたい同様の構造を含むことができる。あるいは、品質情報は、ISO/IEC 14496-12に記載されているように、メタデータトラックとして搬送することもできる。例えば、ビデオ品質メトリックエントリは、表6に示すようなものとすることができる。品質メトリックは、各サンプルに存在する品質メトリックおよびメトリック値ごとに使用されるフィールドサイズを記述する構造（記述ボックスQualityMetricsConfigurationsBoxなど）に位置することができる。表11において、各サンプルは、宣言されたメトリックに1対1で対応する品質値の配列である。各値は、変数field_size_bytesで示されるバイト数に、必要に応じて、前にゼロを付けることによってパディングすることができる。そうした例においては、変数accuracyは、同じボックス内のサンプルの精度を示す固定小数点14.2数とすることができる。加えて、条件文内の項「0x000001」は、値accuracy（約0.25まで正確であるなど）を示すことができる。整数値である品質メトリック（MOSなど）については、対応する値を1（0x0004など）とすることができる。
Figure 2016522622
表12は、品質情報の全般的記述のための構文法の一実施形態である。変数metric_typeは、品質を表現するメトリック（1：PSNR、2：MOS、または3：SSIMなど）を示すことができる。一実施形態においては、このボックスは、セグメント構造内に（例えば、セグメント・タイプ・ボックス‘styp’の後に）、または動画構造（例えば動画ボックス‘moov’）内に位置することができる。
Figure 2016522622
別の例では、メタデータ表現は、1つまたは複数の「表現」430に関する電力消費情報を含む電力表現とすることができる。例えば、電力消費情報は、帯域幅消費および／または電力要件に基づいてセグメントの電力消費に関する情報を提供することができる。別の実施形態においては、メタデータ情報は、1つまたは複数のメディア表現と関連付けられている暗号化情報および／または解読情報を含むことができる。暗号化情報および／または解読情報は、オンデマンドで取得することができる。例えば、暗号化情報および／または解読情報は、メディアセグメントがダウンロードされ、暗号化および／または解読が必要とされるときに取得することができる。メタデータ情報メトリックについてのさらなる詳細は、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、「Information technology-MPEG systems technologies-Part 10: Carriage of Timed Metadata Metrics of Media in ISO Base Media File Format」という名称の、ISO/IEC CD 23001-10に記載されているとおりとすることができる。メタデータ情報は、同じ位置（同じサーバなど）に記憶することもでき、メディアコンテンツと異なる位置（異なるサーバなど）に記憶することもできる。すなわち、MPD400は、メディアコンテンツおよびメタデータ情報を取得するために1つまたは複数の位置を参照することができる。
表13は、品質セグメントの構文法の一実施形態である。例えば、表13における構文法は、品質セグメントがサブセグメントに分割されていない場合に使用することができる。
Figure 2016522622
表14は、サブセグメントを含む品質セグメントの構文法の一実施形態である。変数quality_valueは、参照されるサブセグメント内のメディアデータの品質を示すことができる。変数scale_factorは、quality_valueの精度を制御することができる。さらなる構文法の詳細は、参照によりその全体が複写された場合と同様に本明細書に組み入れられる、「In Band Signaling for Quality Driven Adaptation」という名称の、ISO/IEC JTC1/SC29/WG11/MPEG2013/m28168に記載されているとおりとすることができる。
Figure 2016522622
表15は、品質メタデータトラックのためのサンプル記述エントリの一実施形態である。quality_metric値は、品質測定に使用されたメトリックを示すことができる。粒度値は、品質メタデータトラックとメディアトラックとの間の関連付けのレベルを示すことができる。例えば、1の値はサンプルレベルの品質記述を示すことができ、2の値はトラック・ラン・レベルの品質記述を示すことができ、3の値はトラック・フラグメント・レベルの品質記述を示すことができ、4の値は動画フラグメントレベルの品質記述を示すことができ、5の値はサブセグメントレベルの品質記述を示すことができる。scale_factor値は、デフォルトの倍率を示すことができる。
Figure 2016522622
表16は、品質メタデータトラックのためのサンプルエントリの一実施形態である。quality_value値は、品質メトリックの値を示すことができる。scale_factor値は、品質メトリックの精度を示すことができる。scale_factor値が約0と等しい場合には、サンプル記述ボックス内のデフォルトのscale_factor値（例えば、表15に記載されているサンプル記述エントリ）を使用することができる。scale_factor値が約0と等しくない場合には、scale_factor値は、サンプル記述ボックス内のデフォルトのscale_factorをオーバーライドすることができる。
Figure 2016522622
図5〜図12は、メディアコンテンツ（メディアトラックなど）とメタデータ情報（メタデータトラックなど）との間の関連付けの様々な実施形態である。図5〜図12は例示のために示すものであり、本開示を考察すれば当業者には理解されるように、メディアコンテンツとメタデータ情報との間の他の関連付けも用いることができる。
図5は、サンプルレベルのメタデータ関連付け500の一実施形態の概略図である。メタデータ関連付け500は、メディアトラック550とメタデータトラック560とを含むことができ、メディアトラック550をメタデータトラック560とサンプルレベルで関連付けるように構成することができる（サンプルレベルの品質記述など）。メディアトラック550および／またはメタデータトラック560は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。メディアトラック550は動画フラグメントボックス502、1つまたは複数のトラック・フラグメント・ボックス506、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス510を含むことができる。メタデータトラック560が品質情報を含むことができる場合、メタデータトラック560を品質トラックと呼ぶこともできる。メタデータトラック560は動画フラグメントボックス504、1つまたは複数のトラック・フラグメント・ボックス508、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス512を含むことができる。そうした実施形態においては、メタデータトラック560のための動画フラグメントボックスの数、各動画フラグメントボックス内のトラック・フラグメント・ボックスの数、各トラック・フラグメント・ボックス内のトラック・ラン・ボックスの数、および各トラック・ラン・ボックス内のサンプルの数は、メタデータトラック560と関連付けられた対応するメディアトラック550内のそれらの数とほぼ同じとすることができる。メタデータトラック560とメディアトラック550との間には、動画フラグメントレベル、トラック・フラグメント・レベル、トラック・ラン・レベル、およびサンプルレベルでほぼ1つの1対1マッピングが存在しうる。メタデータトラック560内のサンプルは、そのメタデータトラック560と関連付けられたメディアトラック550内の対応するサンプルの持続期間に及びうる。
図6は、トラック・ラン・レベルのメタデータ関連付け600の一実施形態の概略図である。メタデータ関連付け600は、メディアトラック650とメタデータトラック660とを含むことができ、メディアトラック650をメタデータトラック660とトラック・ラン・レベルで関連付けるように構成することができる（トラック・ラン・レベルの品質記述など）。メディアトラック650およびメタデータトラック660は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。メディアトラック650は動画フラグメントボックス602、1つまたは複数のトラック・フラグメント・ボックス606、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス610を含むことができる。メタデータトラック660は動画フラグメントボックス604、1つまたは複数のトラック・フラグメント・ボックス608、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス612を含むことができる。そうした実施形態においては、メタデータトラック660のための動画フラグメントボックスの数、各動画フラグメントボックス内のトラック・フラグメント・ボックスの数、および各トラック・フラグメント・ボックス内のトラック・ラン・ボックスの数は、メタデータトラック660と関連付けられた対応するメディアトラック650内のそれらの数とほぼ同じとすることができる。メタデータトラック660とメディアトラック650との間には、動画フラグメントレベル、トラック・フラグメント・レベル、およびトラック・ラン・レベルでほぼ1つの1対1マッピングが存在しうる。メタデータトラック660内のサンプルは、メディアトラック650の対応するトラック・ラン・ボックス内のほぼすべてのサンプルの持続期間のおおよその合計に及びうる。
図7は、トラック・フラグメント・レベルのメタデータ関連付け700の一実施形態の概略図である。メタデータ関連付け700は、メディアトラック750とメタデータトラック760とを含むことができ、メディアトラック750をメタデータトラック760とトラック・フラグメント・レベルで関連付けるように構成することができる（トラック・フラグメント・レベルの品質記述など）。メディアトラック750およびメタデータトラック760は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。メディアトラック750は動画フラグメントボックス702、1つまたは複数のトラック・フラグメント・ボックス706、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス710を含むことができる。メタデータトラック760は動画フラグメントボックス704、1つまたは複数のトラック・フラグメント・ボックス708、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス712を含むことができる。そうした実施形態においては、メタデータトラック760のための動画フラグメントボックスの数、および各動画フラグメントボックス内のトラック・フラグメント・ボックスの数は、メタデータトラック760と関連付けられた対応するメディアトラック750内のそれらの数とほぼ同じとすることができる。メタデータトラック760とメディアトラック750との間には、動画フラグメントレベルおよびトラック・フラグメント・レベルでほぼ1つの1対1マッピングが存在しうる。メタデータトラック760内のサンプルは、メディアトラック750の対応するトラック・フラグメント・ボックス内のほぼすべてのサンプルの持続期間のおおよその合計に及びうる。
図8は、動画フラグメントレベルのメタデータ関連付け800の一実施形態の概略図である。メタデータ関連付け800は、メディアトラック850とメタデータトラック860とを含むことができ、メディアトラック850をメタデータトラック860と動画フラグメントレベルで関連付けるように構成することができる（動画フラグメントレベルの品質記述など）。メディアトラック850およびメタデータトラック860は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。メディアトラック850は動画フラグメントボックス802、1つまたは複数のトラック・フラグメント・ボックス806、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス810を含むことができる。メタデータトラック860は動画フラグメントボックス804、1つまたは複数のトラック・フラグメント・ボックス808、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス812を含むことができる。そうした実施形態においては、メタデータトラック860のための動画フラグメントボックスの数は、メタデータトラック860と関連付けられた対応するメディアトラック850内のそれらの数とほぼ同じとすることができる。メタデータトラック860とメディアトラック850との間には、動画フラグメントレベルでほぼ1つの1対1マッピングが存在しうる。メタデータトラック860内のサンプルは、メディアトラック850の対応する動画フラグメントボックス内のほぼすべてのサンプルの持続期間のおおよその合計に及びうる。
図9は、サブセグメントレベルのメタデータ関連付け900の一実施形態の概略図である。メタデータ関連付け900は、メディアトラック950とメタデータトラック960とを含むことができ、メディアトラック950をメタデータトラック960とサブセグメントレベルで関連付けるように構成することができる（動画フラグメントレベルの品質記述など）。メディアトラック950およびメタデータトラック960は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。サブセグメントレベルの関連付けは、メタデータトラック960と複数の動画フラグメントとの間の関連付けを含むことができる。メディアトラック950は動画フラグメントボックス902、1つまたは複数のトラック・フラグメント・ボックス906、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス910を含むことができる。メタデータトラック960は動画フラグメントボックス904、1つまたは複数のトラック・フラグメント・ボックス908、および複数のサンプルを含む1つまたは複数のトラック・ラン・ボックス912を含むことができる。そうした実施形態においては、メタデータトラック960のための動画フラグメントボックスの数は、メタデータトラック960と関連付けられた対応するメディアトラック950内の動画フラグメントボックスの数より少数とすることができる。ある実施形態においては、メタデータトラック960について、1つのトラック・フラグメント・ボックス908につきほぼ1つのトラック・ラン・ボックス912が生じ、1つのトラック・ラン・ボックス912につきほぼ1つのサンプルが生じうる。
図10は、メディア・セグメント・レベルのメタデータ関連付け1000の一実施形態の概略図である。様々な実施形態において、メタデータ情報は、メディア・セグメント・レベルおよび／またはメディア・サブセグメント・レベルで、メディアコンテンツと関連付けることができる。メタデータ関連付け1000は、メディアセグメント1050とメタデータセグメント1060とを含むことができ、メディアセグメント1050をメタデータセグメント1060とメディア・セグメント・レベルおよびメディア・サブセグメント・レベルで関連付けるように構成することができる。メディアトラック1050およびメタデータトラック1060は、図3に記載されているMPDを用いて獲得することができる。MPDは、図4に記載されているMPD400と同様に構成することができる。メディアセグメント1050は、1つまたは複数の動画フラグメントボックス1008および1つまたは複数のメディア・データ・ボックス1010を含む複数のサブセグメント1020を含むことができる。セグメントインデックス1006を用いてサブセグメント1020のうちの1つまたは複数にインデックスを付けることもできる。同様に、メタデータセグメント1060も、メディアセグメント1050のサブセグメント1020と関連付けられた複数のサブセグメント1022を含むことができる。サブセグメント1022は、動画フラグメントボックス1012、トラック・フラグメント・ボックス1014、トラック・ラン・ボックス1016、およびメディア・データ・ボックス1018を含むことができる。
図11は、適応セットレベルのメタデータ関連付け1100の一実施形態の概略図である。メタデータ関連付け1100は、メディアコンテンツのための適応セット1102とメタデータ情報のための適応セット1104との間の関連付けを含むことができる。メディアコンテンツのための適応セット1102および／またはメタデータ情報のための適応セット1104は、図4に記載されている「適応セット」420と同様に構成することができる。メタデータ情報のための適応セット1104は、メディアコンテンツ1102のための適応セット1102と関連付けられたメタデータ情報を含むことができる。メディアコンテンツのための適応セット1102は、各々が複数のメディアセグメント1110を含む複数のメディア表現1106を含むことができる。メタデータ情報のための適応セット1104は、品質情報を含む「品質セット」とすることができる。メタデータ情報のための適応セット1104は、各々が複数の品質セグメント1112を含む複数の品質表現1108を含むことができる。ある実施形態においては、メディアセグメント1110と品質セグメント1112との間の関連付けは、1対1の関連付けとすることができる。各メディア表現1〜k内の各メディアセグメント（MS）1〜nは、対応する品質表現1〜k内の対応する品質セグメント（QS）1〜nを有しうる。例えば、メディアセグメント1，1は品質セグメント1，1に対応し、メディアセグメント1，2は品質セグメント1，2に対応し、以下同様とすることができる。あるいは、メタデータセグメントが、対応するメディア表現内の複数のメディアセグメントに対応してもよい。例えば、ある品質セグメントが、メディア表現内の連続したメディアセグメントの前半に対応し、後続の品質セグメントが、そのメディア表現内の連続したメディアセグメントの後半に対応してもよい。
図12は、メディア・サブセグメント・レベルのメタデータ関連付け1200の一実施形態の概略図である。一実施形態においては、メタデータセグメント1260を、1つまたは複数のメディアサブセグメント1250と関連付けることができる。メタデータセグメント1260は、「セグメント」440と同様に構成することができ、メディアサブセグメントは、図4に記載されている「サブセグメント」460と同様に構成することができる。図6において、メディアセグメント1250は、複数のメディアサブセグメント1204〜1208を含むことができる。メタデータセグメント1260を、メディアサブセグメント1204〜1208と関連付けることができる。メタデータセグメント1260は、メディアサブセグメント1204〜1208を文書化するための複数のセグメントボックス（セグメント・インデックス・ボックス1212およびセグメント・インデックス・ボックス1214など）を含むことができる。セグメント・インデックス・ボックス1212はメディアサブセグメント1204を文書化することができ、セグメント・インデックス・ボックス1214はメディアサブセグメント1206およびメディアサブセグメント1208を文書化することができる。例えば、セグメント・インデックス・ボックス1212はインデックスS1，1（m_s1）を使用してメディアサブセグメント1204を参照することができ、セグメント・インデックス・ボックス1214はインデックスS2，1（m_s2）およびS2，2（m_s3）を使用して、それぞれ、メディアサブセグメント1206およびメディアサブセグメント1208を参照することができる。
表17は、メタデータ・セグメント・インデックス・ボックス・エントリの一実施形態である。rep_num値は、そのためのメタデータ情報がボックスにおいて提供されうる表現の数を示すことができる。参照される項目がメディアコンテンツ（メディアサブセグメントなど）である場合には、アンカーポイントを、最上位レベルのセグメントの先頭とすることができる。例えば、アンカーポイントは、各メディアセグメントが別々のファイルに記憶されている場合、メディア・セグメント・ファイルの先頭とすることができる。参照される項目がインデックス付きのメディアセグメントである場合には、アンカーポイントは、品質インデックス・セグメント・ボックスの後に続く最初のバイトとすることができる。
Figure 2016522622
図13は、表現適応方法1300の一実施形態の流れ図である。一実施形態においては、表現適応方法1300は、品質情報を用いてメディア・コンテンツ・セグメントについての表現を選択するために、クライアント（図1に記載されているDASHクライアント108など）上で実装することができる。ステップ1302で、方法1300は、データコンテンツのセグメントおよびメタデータ情報をダウンロードし、または受け取るための命令および／または情報を含むMPD（図4に記載されているMPD400など）を要求することができる。ステップ1304で、方法1300は、MPDを受け取ることができる。方法1300は、MPDを構文解析し、時限メタデータ情報（品質情報など）が利用できると判定することができる。例えば、時限メタデータ情報は、1つまたは複数のメタデータ表現に含めることができる。ステップ1302およびステップ1304は任意選択とすることができ、一実施形態では省略することができる。ステップ1306で、方法1300は、品質情報要求を送ることができる。ステップ1308で、方法1300は、品質情報を受け取ることができる。方法1300は、適応セット内の1つまたは複数の表現内のメディアセグメントの品質をマップすることができる。ステップ1310で、方法1300は、品質情報を用いてメディアセグメントを選択することができる。例えば、方法1300は、図3のステップ316に記載されているような動作を使用することができる。加えて、方法1300は、利用可能帯域幅、ビットレート、バッファサイズ、およびストリーミング品質の全般的な滑らかさを考慮することによって、メディアセグメントを選択することもできる。ステップ1312で、方法1300は、品質情報を用いて選択されたメディアセグメントを要求するメディアセグメント要求を送ることができる。ステップ1314で、方法1300は、メディアセグメントを受け取ることができる。方法1300は、ステップ1306〜ステップ1314に関して上記で開示されたのと同様に、引き続き品質情報および／またはメディアセグメントを要求し、かつ／または受け取ることができる。
図14は、時限メタデータ情報を用いる表現適応方法1400の一実施形態の流れ図である。一実施形態においては、表現適応方法1400は、品質情報を用いてメディア・コンテンツ・セグメントについての表現を選択するために、クライアント（図1に記載されているDASHクライアント108など）上で実装することができる。例えば、方法1400は、例えば、図3に記載されているステップ316において、時限メタデータ情報に基づいて要求すべきメディアセグメント表現を選択するために実装することができる。様々な実施形態において性能を改善するためにバッファ閾値を設定し、かつ／または調整することができる。例えば、利用可能帯域幅の変化による再生中断を低減させるために1つまたは複数のバッファ閾値を設定することができる。例えば、下限バッファ閾値を利用可能帯域幅の約20％とすることができ、中間バッファ閾値を利用可能帯域幅の約20％から約80％とすることができ、上限バッファ閾値を利用可能帯域幅の約80％とすることができる。
ステップ1402で、方法1400は、DASHクライアントのためのバッファサイズを決定することができる。ステップ1404で、方法1400は、バッファサイズが下限バッファ閾値より小さいかどうか判定することができる。バッファサイズが下限バッファ閾値より小さい場合には、方法1400は、ステップ1412に進むことができる。そうでない場合には、方法1400は、ステップ1406に進むことができる。ステップ1412で、方法1400は、最低のビットレートを含む表現を選択し、終了することができる。ステップ1404に戻って、バッファサイズが下限バッファ閾値以上である場合には、方法1400は1406に進むことができる。ステップ1406で、方法1400は、バッファサイズが中間バッファ閾値より小さいかどうか判定することができる。バッファサイズが中間バッファ閾値より小さい場合には、方法1400は、ステップ1414に進むことができる。そうでない場合には、方法1400は、ステップ1408に進むことができる。ステップ1414で、方法1400は、利用可能帯域幅についての最低品質レベルを含む表現を選択し、終了することができる。ステップ1406に戻って、バッファサイズが中間バッファ閾値以上である場合には、方法1400は、ステップ1408に進むことができる。ステップ1408で、方法1400は、バッファサイズが上限バッファ閾値より小さいかどうか判定することができる。バッファサイズが上限バッファ閾値より小さい場合には、方法1400は、ステップ1416に進むことができる。そうでない場合には、方法1400は、ステップ1410に進むことができる。ステップ1416で、方法1400は、選択することのできる表現の最大ビットレート（利用可能帯域幅とレートファクタの積など）より低い品質レベルを含む表現を選択し、終了することができる。レートファクタは、利用可能帯域幅に対して選択することができる表現の最大ビットレートを調整するのに使用することができる。一実施形態においては、レートファクタは、1より大きい値（例えば、約1.2）とすることができる。ステップ1408に戻って、バッファサイズが上限バッファ閾値以上である場合には、方法1400は1410に進むことができる。ステップ1410で、方法1400は、利用可能帯域幅についての最高品質レベルを含む表現を選択し、終了することができる。
図15は、時限メタデータ情報を用いる表現適応方法1500の別の実施形態の流れ図である。一実施形態においては、表現適応方法1500は、品質情報を用いてメディア・コンテンツ・セグメントについての表現を選択するために、クライアント（図1に記載されているDASHクライアント108など）上で実装することができる。例えば、方法1500は、例えば、図3に記載されているステップ316において、メタデータ情報に基づいて要求すべきメディアセグメント表現を選択するために実装することができる。一実施形態においては、品質閾値は、これまでダウンロードされたセグメントの全般的品質および／または許容できる品質変化の範囲に基づいて決定することができる。あるいは、品質閾値は、平均利用可能帯域幅に従って決定することもできる。品質上限閾値は、全体品質に許容できる品質変化の範囲の半分を加えたものとして計算することができる。品質下限閾値は、全体品質から許容できる品質変化の範囲の半分を差し引いたものとして計算することができる。
ステップ1502で、方法1500は、現在の利用可能帯域幅を決定することができる。ステップ1504で、方法1500は、利用可能帯域幅と符合する表現からのセグメントを選択することができる。ステップ1506で、方法1500は、セグメントの品質レベルを決定することができる。ステップ1508で、方法1500は、品質レベルが品質上限閾値より高いかどうか判定することができる。品質レベルが品質上限閾値より高い場合には、方法1500はステップ1510に進むことができる。そうでない場合には、方法1500は、ステップ1514に進むことができる。ステップ1510で、方法1500は、現在の表現レベルが最低の品質レベルの表現であるかどうか判定することができる。現在の表現レベルが最低の品質レベルの表現である場合には、方法1500はステップ1526に進むことができる。そうでない場合には、方法1500はステップ1512に進むことができる。ステップ1526で、方法1500は、選択されたセグメントを保持し、終了することができる。ステップ1510に戻って、現在の表現レベルが最低の品質レベルでない場合には、方法1500はステップ1512に進むことができる。ステップ1512で、方法1500は、次に低い品質レベルの表現からの別のセグメントを選択し、ステップ1506に進むことができる。
ステップ1508に戻って、品質レベルが品質上限閾値以下である場合には、方法1500はステップ1514に進むことができる。ステップ1514で、方法1500は、品質レベルが品質下限閾値より低いかどうか判定することができる。品質レベルが品質下限閾値より低い場合には、方法1500はステップ1516に進むことができる。そうでない場合には、方法1500は、ステップ1526に進むことができる。ステップ1516で、方法1500は、現在の表現レベルが最高の品質レベルの表現であるかどうか判定することができる。現在の表現レベルが最高の品質レベルの表現である場合には、方法1500はステップ1526に進むことができる。そうでない場合には、方法1500はステップ1518に進むことができる。ステップ1518で、方法1500は、次に高い品質レベルの表現からの別のセグメントを選択することができる。ステップ1520で、方法1500は、セグメントのビットレートを決定することができる。ステップ1522で、方法1500は、DASHクライアントのバッファレベルを決定することができる。ステップ1524で、方法1500は、バッファレベルがバッファ閾値より高いかどうか判定することができる。バッファレベルがバッファ閾値より高い場合には、方法1500は、ステップ1506に進むことができる。そうでない場合には、方法1500は、ステップ1526に進むことができる。
図16は、表現適応方法1600の別の実施形態の流れ図である。一実施形態においては、表現適応方法1600は、1つまたは複数のクライアント（図1に記載されているDASHクライアント108など）へ品質情報およびメディア・コンテンツ・セグメントを伝達するためにサーバ（図1に記載されているHTTPサーバ104など）上で実装することができる。ステップ1602で、方法1600は、データコンテンツのセグメントおよびメタデータ情報をダウンロードし、または受け取るための命令を含むMPDを求めるMPD要求を受け取ることができる。ステップ1604で、方法1600は、MPDを送ることができる。ステップ1602およびステップ1604は任意選択とすることができ、他の実施形態においては省略することができる。ステップ1606で、方法1600は、品質情報要求を受け取ることができる。ステップ1608で、方法1600は、品質情報を送ることができる。ステップ1610で、方法1600は、メディアセグメント要求を受け取ることができる。ステップ1612で、方法1600は、要求されたメディアセグメントを送ることができる。方法1600は、ステップ1606〜ステップ1612に関して上記で論じたのと同様に、引き続き品質情報および／またはメディアセグメントを受け取り、かつ／または送ることができる。
少なくとも1つの実施形態が本開示されており、当業者によってなされる（1つもしくは複数の）開示の実施形態および／または（1つもしくは複数の）開示の実施形態の特徴の変形、組み合わせ、および／または改変は、本開示の範囲内に含まれる。また、（1つまたは複数の）開示の実施形態の特徴を組み合わせ、統合し、かつ／または省略することによって得られる代替の実施形態も、本開示の範囲内に含まれる。数値的な範囲または限度が明示される場合には、そうした明示的な範囲または限度は、明示される範囲内または限度内に含まれる同様の大きさの繰り返す範囲または限度を含むものと理解すべきである（例えば、「約1から約10まで」は、2、3、4以下同様を含み、「0.10より大」は0.11、0.12、0.13以下同様を含む）。例えば、下限Rl、上限Ruを有する数値範囲が開示される場合には常に、この範囲内に含まれるあらゆる数が明確に開示されている。特に、この範囲内の以下の数が明確に開示されている。R＝Rl＋k＊（Ru−Rl）。式中、kは、1パーセントから100パーセントまでの範囲の変数であり、1パーセントずつ増分する。すなわち、kは、1パーセント、2パーセント、3パーセント、4パーセント、5パーセント、…、50パーセント、51パーセント、52パーセント、…、95パーセント、96パーセント、97パーセント、98パーセント、99パーセント、または100パーセントである。さらに、上記で定義されているような2つのR数で定義されるいかなる数値範囲も明確に開示されている。「about（約）」という用語は、特に指示しない限り、後続の数の±10％を意味する。請求項の任意の要素に関する「任意選択で」という用語の使用は、当該要素が必要であること、あるいは、当該要素が不要であることのどちらの選択肢も当該請求項の範囲内に含まれることを意味する。「comprises」、「includes」、「having」のようなより適用範囲の広い用語の使用は、「consisting of」、「consisting essentially of」、「comprised substantially of」のようなより適用範囲の狭い用語についても対応しうるものと理解すべきである。したがって、保護の範囲は、上記の説明によって限定されるものではなく、添付の特許請求の範囲によって定義されるものであり、その範囲は、各請求項の主題のあらゆる均等物を含むものである。一つ一つの請求項がさらなる開示として本明細書に組み入れられるものであり、各請求項は、本開示の（1つまたは複数の）実施形態である。本開示における参照文献、特に、本願の優先日後の公開日を有するあらゆる参照文献の考察は、当該文献が先行技術であることを認めるものではない。本開示において引用されているすべての特許、特許出願、および出版物の開示は、それらが本開示を補足する例示的、手続き的その他の詳細を提供する限りにおいて、参照により本明細書に組み入れられるものである。
本開示においてはいくつかの実施形態が提供されているが、開示のシステムおよび方法は、本開示の趣旨または範囲を逸脱することなく多くの他の特定の形態として具体化される可能性もあることを理解すべきである。本開示の各例は、限定ではなく例示のためのものとみなすべきであり、その意図は、本明細書に記載される詳細だけに限定すべきではない。例えば、様々な要素またはコンポーネントを、別のシステムにおいて組み合わせ、または統合することもでき、ある特徴を省略し、または実装しない場合もある。
加えて、様々な実施形態において、別個の、または分離したものとして記述され、例示された技法、システム、サブシステム、および方法を、本開示の範囲を逸脱することなく、他のシステム、モジュール、技法、または方法と組み合わせ、または統合することもできる。相互に結合され、または直接結合され、または通信し合うものとして図示され、または論じられた他の項目が、電気的にであれ、機械的にであれ、あるいはそれ以外であれ、何らかのインターフェース、デバイス、または介在コンポーネントを介して間接的に結合され、または通信することも可能である。交換、代用、および変更の他の例も、当業者によって確認され、本明細書において開示される趣旨および範囲を逸脱することなく行うことができるはずである。
100 DASHシステム
102 コンテンツソース
104 HTTPサーバ
106 ネットワーク
108 DASHクライアント
110 DASHモジュール（DM）
112 クライアントDM
114 アプリケーション
116 グラフィカル・ユーザ・インターフェース（GUI）
118 DASHアクセスエンジン（DAE）
120 メディア出力（ME）
200 ネットワークエレメント
210 下流側ポート
220 送受信機（Tx/Rx）
230 プロセッサ
240 上流側ポート
250 メモリモジュール
260 表現適応モジュール
270 メタデータモジュール
302 HTTPサーバ
304 DASHクライアント
400 MPD
410 期間
420 適応セット
430 表現
440 セグメント
450 下位表現要素
460 サブセグメント要素
500 サンプルレベルのメタデータ関連付け
502 動画フラグメントボックス
504 動画フラグメントボックス
506 トラック・フラグメント・ボックス
508 トラック・フラグメント・ボックス
510 トラック・ラン・ボックス
512 トラック・ラン・ボックス
550 メディアトラック
560 メタデータトラック
600 トラック・ラン・レベルのメタデータ関連付け
602 動画フラグメントボックス
604 動画フラグメントボックス
606 トラック・フラグメント・ボックス
608 トラック・フラグメント・ボックス
610 トラック・ラン・ボックス
612 トラック・ラン・ボックス
650 メディアトラック
660 メタデータトラック
700 トラック・フラグメント・レベルのメタデータ関連付け
702 動画フラグメントボックス
706 トラック・フラグメント・ボックス
708 トラック・フラグメント・ボックス
710 トラック・ラン・ボックス
712 トラック・ラン・ボックス
750 メディアトラック
760 メタデータトラック
800 動画フラグメントレベルのメタデータ関連付け
802 動画フラグメントボックス
804 動画フラグメントボックス
806 トラック・フラグメント・ボックス
808 トラック・フラグメント・ボックス
810 トラック・ラン・ボックス
812 トラック・ラン・ボックス
850 メディアトラック
860 メタデータトラック
900 サブセグメントレベルのメタデータ関連付け
902 動画フラグメントボックス
904 動画フラグメントボックス
906 トラック・フラグメント・ボックス
908 トラック・フラグメント・ボックス
910 トラック・ラン・ボックス
912 トラック・ラン・ボックス
950 メディアトラック
960 メタデータトラック
1000 メディア・セグメント・レベルのメタデータ関連付け
1006 セグメントインデックス
1008 動画フラグメントボックス
1010 メディア・データ・ボックス
1012 動画フラグメントボックス
1014 トラック・フラグメント・ボックス
1016 トラック・ラン・ボックス
1018 メディア・データ・ボックス
1020 サブセグメント
1022 サブセグメント
1050 メディアセグメント
1060 メタデータセグメント
1100 適応セットレベルのメタデータ関連付け
1102 メディアコンテンツ
1104 メタデータ情報
1106 メディア表現
1108 品質表現
1110 メディアセグメント
1112 品質セグメント
1200 メディア・サブセグメント・レベルのメタデータ関連付け
1204 メディアサブセグメント
1206 メディアサブセグメント
1208 メディアサブセグメント
1212 セグメント・インデックス・ボックス
1214 セグメント・インデックス・ボックス
1250 メディアセグメント
1260 メタデータセグメント

Claims (20)

  1. 複数のメディアセグメントおよび前記複数のメディアセグメントと関連付けられた複数のメタデータセグメントを取得するための情報を含むメディアプレゼンテーション記述（media presentation description（MPD））を獲得するステップであって、前記複数のメタデータセグメントは前記複数のメディアセグメントと関連付けられた時限メタデータ情報を含む、前記MPDを獲得するステップと、
    前記MPDにおいて提供された前記情報に従って前記メタデータセグメントのうちの1つまたは複数を求めるメタデータセグメント要求を送るステップと、
    前記1つまたは複数のメタデータセグメントを受け取るステップと、
    前記1つまたは複数のメディアセグメントの前記時限メタデータ情報に基づいて1つまたは複数のメディアセグメントを選択するステップと、
    前記選択されたメディアセグメントを要求するメディアセグメント要求を送るステップと、
    前記メディアセグメント要求に応答して前記選択されたメディアセグメントを受け取るステップと、
    を含むメディア表現適応方法。
  2. 前記1つまたは複数のメタデータセグメントは、前記選択されたメディアセグメントと1対1の対応関係を有する、請求項1に記載のメディア表現適応方法。
  3. 前記時限メタデータ情報は、前記複数のメディアセグメントと関連付けられて品質情報を含む、請求項1に記載のメディア表現適応方法。
  4. 前記複数のメタデータセグメントの各々が、動画フラグメントボックス、1つまたは複数のトラック・フラグメント・ボックス、1つまたは複数のトラック・ラン・ボックス、および複数のサンプルを含む、請求項1に記載のメディア表現適応方法。
  5. 前記複数のメタデータセグメントの各々が、前記複数のメディアセグメントのうちの1つにおける複数のサンプルとの1対1の関連付けを有する複数のサンプルを含む、請求項1に記載のメディア表現適応方法。
  6. 前記複数のメタデータセグメントの各々が、前記複数のメディアセグメントのうちの1つにおける1つまたは複数のトラック・ラン・ボックスとの1対1の関連付けを有する1つまたは複数のトラック・ラン・ボックスを含む、請求項1に記載のメディア表現適応方法。
  7. 前記メタデータセグメントの各々が、前記複数のメディアセグメントのうちの1つにおける1つまたは複数のトラック・フラグメント・ボックスとの1対1の関連付けを有する1つまたは複数のトラック・フラグメント・ボックスを含む、請求項1に記載のメディア表現適応方法。
  8. 前記複数のメタデータセグメントの各々が、前記複数のメディアセグメントのうちの1つにおける動画フラグメントボックスとの1対1の関連付けを有する動画フラグメントボックスを含む、請求項1に記載のメディア表現適応方法。
  9. 前記複数のメタデータセグメントの各々が、前記複数のメディアセグメントのうちの1つにおける複数の動画フラグメントボックスと関連付けられた動画フラグメントボックスを含む、請求項1に記載のメディア表現適応方法。
  10. 前記複数のメディアセグメントと関連付けられたビットレート情報を取得するステップをさらに含む、請求項1に記載のメディア表現適応方法。
  11. 利用可能なネットワーク帯域幅に関する情報を取得するステップをさらに含む、請求項1に記載のメディア表現適応方法。
  12. 前記1つまたは複数のメタデータセグメントの時限メタデータ情報に、前記メディアセグメントから独立してアクセスすることができる、請求項1に記載のメディア表現適応方法。
  13. 非一時的コンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品であって、プロセッサによって実行されると、ネットワークデバイスに、
    複数の適応セットからの1つまたは複数のセグメントを取得するための情報を含むメディアプレゼンテーション記述（MPD）を獲得させ、
    前記MPDにおいて提供される前記情報に従って、第2の適応セット内の複数のセグメントと関連付けられた時限メタデータ情報を含む第1の適応セットからの1つまたは複数のセグメントを求める第1のセグメント要求を送らせ、
    前記第1の適応セットからの前記セグメントを受け取らせ、
    前記第1の適応セットからの前記1つまたは複数のセグメントに基づいて、前記第2の適応セット内の前記複数のセグメントの中から、メディアコンテンツを含む1つまたは複数のセグメントを選択させ、
    前記第2の適応セットからの前記1つまたは複数の選択されたセグメントを要求する第2のセグメント要求を送らせ、
    前記第2のセグメント要求に応答して前記第2の適応セットからの前記1つまたは複数の選択されたセグメントを受け取らせるコンピュータプログラム製品。
  14. 前記第1の適応セットは第1の複数の表現を含み、前記第2の適応セットは第2の複数の表現を含み、第1の表現は第2の表現の1つまたは複数にマップされる、請求項13に記載のコンピュータプログラム製品。
  15. 前記第1の表現と前記第2の表現とは1対1の対応関係を有する、請求項14に記載のコンピュータプログラム製品。
  16. 時限メタデータは、前記第2の適応セット内の前記複数のセグメントと関連付けられた品質情報を含む、請求項13に記載のコンピュータプログラム製品。
  17. 時限メタデータは、前記時限メタデータ情報を獲得するのに使用される1つまたは複数のメトリックを含む、請求項13に記載のコンピュータプログラム製品。
  18. 第1の適応セットからの複数のメディアセグメント、および第2の適応セットからの複数のメタデータセグメントを取得するための情報を含むメディアプレゼンテーション記述（MPD）に従ったメディア表現適応のための装置であって、前記装置は、
    メモリと、
    前記メモリに結合されたプロセッサと
    を含み、前記メモリは、前記プロセッサによって実行されると、前記装置に、
    前記MPDに従ってメタデータセグメント要求を送らせ、
    前記メディアセグメントのうちの1つまたは複数と関連付けられた時限メタデータ情報を含む1つまたは複数のメタデータセグメントを受け取らせ、
    メタデータ情報を用いて1つまたは複数のメディアセグメントを選択させ、
    前記選択された1つまたは複数のメディアセグメントを要求するメディアセグメント要求を送らせ、
    前記MPDに従った前記1つまたは複数のメディアセグメントを受け取らせる
    命令を含む、装置。
  19. 前記メタデータセグメントの各々が前記メディアセグメントのうちの1つと1対1の対応関係を有する、請求項18に記載の装置。
  20. 前記第1の適応セットは第1の複数の表現を含み、前記第2の適応セットは第2の複数の表現を含み、第2の表現は第1の表現の1つまたは複数にマップされる、請求項18に記載の装置。
JP2016512119A 2013-07-19 2014-07-18 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送 Active JP6064251B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361856532P 2013-07-19 2013-07-19
US61/856,532 2013-07-19
PCT/US2014/047249 WO2015010056A1 (en) 2013-07-19 2014-07-18 Metadata information signaling and carriage in dynamic adaptive streaming over hypertext transfer protocol

Publications (2)

Publication Number Publication Date
JP2016522622A true JP2016522622A (ja) 2016-07-28
JP6064251B2 JP6064251B2 (ja) 2017-01-25

Family

ID=51383922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512119A Active JP6064251B2 (ja) 2013-07-19 2014-07-18 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送

Country Status (5)

Country Link
US (1) US20150026358A1 (ja)
EP (1) EP2962467A1 (ja)
JP (1) JP6064251B2 (ja)
CN (1) CN105230024B (ja)
WO (1) WO2015010056A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018110361A (ja) * 2017-01-06 2018-07-12 富士ゼロックス株式会社 情報処理装置及び情報処理システム
JP2019022176A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法
KR20190054165A (ko) * 2016-10-10 2019-05-21 캐논 가부시끼가이샤 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP2019179579A (ja) * 2019-07-02 2019-10-17 富士ゼロックス株式会社 ドキュメント管理システム、処理装置及び管理装置
JP2022524073A (ja) * 2019-09-30 2022-04-27 テンセント・アメリカ・エルエルシー Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
JP2022524871A (ja) * 2019-03-14 2022-05-10 ノキア テクノロジーズ オサケユイチア メディアコンテンツにおけるレイトバインディングのための方法および装置
JP2022553964A (ja) * 2020-06-23 2022-12-27 テンセント・アメリカ・エルエルシー ビデオ符号化の方法、装置およびコンピュータプログラム
JP7434561B2 (ja) 2020-10-07 2024-02-20 テンセント・アメリカ・エルエルシー Ｍｐｄ有効期限処理モデル

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
US20150199498A1 (en) * 2014-01-10 2015-07-16 Furturewei Technologies, Inc. Flexible and efficient signaling and carriage of authorization acquisition information for dynamic adaptive streaming
JP2015136057A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
KR102009124B1 (ko) * 2014-01-29 2019-08-08 코닌클리즈케 케이피엔 엔.브이. 이벤트 스트리밍 프레젠테이션 확립
GB2524531B (en) * 2014-03-25 2018-02-07 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US11265359B2 (en) 2014-10-14 2022-03-01 Koninklijke Kpn N.V. Managing concurrent streaming of media streams
US10110652B2 (en) 2014-10-14 2018-10-23 Intel IP Corporation Carriage of media content quality information
US9860294B2 (en) * 2014-12-24 2018-01-02 Intel Corporation Media content streaming
WO2016123721A1 (en) * 2015-02-07 2016-08-11 Zhou Wang Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
US10270823B2 (en) * 2015-02-10 2019-04-23 Qualcomm Incorporated Low latency video streaming
JP6478357B2 (ja) * 2015-02-15 2019-03-06 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メディアストリーミング・オーバー・ハイパーテキストトランスファープロトコルにおけるメディアプレゼンテーションガイドを提供するための方法及び関連する装置
US9955191B2 (en) 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
KR102626634B1 (ko) 2015-09-11 2024-01-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10498368B2 (en) * 2015-11-02 2019-12-03 Mk Systems Usa Inc. Dynamic client-side selection of FEC information
KR102209292B1 (ko) * 2015-11-04 2021-01-29 삼성전자 주식회사 멀티미디어 시스템에서 데이터 제공 방법 및 장치
JP6555151B2 (ja) * 2015-12-15 2019-08-07 株式会社リコー 通信装置および通信システム
CN113014930B (zh) * 2016-01-13 2024-04-26 索尼公司 信息处理设备、信息处理方法和计算机可读记录介质
CN108702534B (zh) * 2016-02-22 2021-09-14 索尼公司 文件生成装置、文件生成方法以及再现装置和再现方法
WO2017145756A1 (ja) 2016-02-22 2017-08-31 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
JP2017157904A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
JP2017157903A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
US10432690B1 (en) 2016-06-03 2019-10-01 Amazon Technologies, Inc. Manifest partitioning
US10116719B1 (en) 2016-06-03 2018-10-30 Amazon Technologies, Inc. Customized dash manifest
US10104143B1 (en) * 2016-06-03 2018-10-16 Amazon Technologies, Inc. Manifest segmentation
GB2560921B (en) * 2017-03-27 2020-04-08 Canon Kk Method and apparatus for encoding media data comprising generated content
US10652300B1 (en) * 2017-06-16 2020-05-12 Amazon Technologies, Inc. Dynamically-generated encode settings for media content
US11025919B2 (en) * 2017-10-03 2021-06-01 Koninklijke Kpn N.V. Client-based adaptive streaming of nonlinear media
EP3721636A1 (en) 2017-12-07 2020-10-14 Koninklijke KPN N.V. Method for adaptive streaming of media
WO2019195101A1 (en) * 2018-04-05 2019-10-10 Futurewei Technologies, Inc. Efficient association between dash objects
EP3776484A4 (en) 2018-04-06 2021-05-05 Huawei Technologies Co., Ltd. ASSOCIATION OF FILE FORMAT OBJECTS AND OBJECTS WITH DYNAMIC ADAPTIVE STREAMING OVER HYPERTEXT TRANSFER PROTOCOL (DASH)
US10771842B2 (en) * 2018-04-09 2020-09-08 Hulu, LLC Supplemental content insertion using differential media presentation descriptions for video streaming
US10904642B2 (en) 2018-06-21 2021-01-26 Mediatek Singapore Pte. Ltd. Methods and apparatus for updating media presentation data
US11272227B1 (en) * 2019-03-25 2022-03-08 Amazon Technologies, Inc. Buffer recovery in segmented media delivery applications
US11882170B2 (en) * 2021-04-19 2024-01-23 Tencent America LLC Extended W3C media extensions for processing dash and CMAF inband events

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013538508A (ja) * 2010-08-10 2013-10-10 クゥアルコム・インコーポレイテッド コード化ビデオデータのネットワークストリーミングのためのマニフェストファイル更新
JP2014506748A (ja) * 2011-01-21 2014-03-17 ネットフリックス・インコーポレイテッド 適応ストリーミングのための様々なビットのビデオストリーム
JP2015527809A (ja) * 2012-08-03 2015-09-17 インテル・コーポレーション ハイパーテキスト転送プロトコルによる品質アウェア適応型ストリーミングのための方法
JP2015531186A (ja) * 2012-07-10 2015-10-29 ヴィド スケール インコーポレイテッド 品質ドリブンストリーミング
JP2016517197A (ja) * 2013-03-06 2016-06-09 インターデイジタル パテント ホールディングス インコーポレイテッド ビデオストリーミングに対する電力認識適応

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2514758B2 (en) * 2004-03-15 2021-06-23 City of Hope Methods and compositions for the specific inhibition of gene expression by double-stranded RNA
US20090119594A1 (en) * 2007-10-29 2009-05-07 Nokia Corporation Fast and editing-friendly sample association method for multimedia file formats
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
WO2011039614A1 (en) * 2009-09-29 2011-04-07 Nokia Corporation Systems, methods and apparatuses for media file streaming
CN102687518B (zh) * 2009-12-11 2016-06-01 诺基亚技术有限公司 用于流媒体文件内表示的描述和定时的装置及方法
EP2551916A1 (en) * 2010-03-25 2013-01-30 Kyocera Corporation Photoelectric conversion device and method for manufacturing photoelectric conversion device
CN102291373B (zh) * 2010-06-15 2016-08-31 华为技术有限公司 元数据文件的更新方法、装置和系统
KR101768222B1 (ko) * 2010-07-20 2017-08-16 삼성전자주식회사 적응적 스트리밍 방식의 컨텐트 송수신 방법 및 장치
US8190677B2 (en) * 2010-07-23 2012-05-29 Seawell Networks Inc. Methods and systems for scalable video delivery
KR101206111B1 (ko) * 2010-09-06 2012-11-28 한국항공대학교산학협력단 스트리밍 콘텐츠 제공 장치 및 방법
US9661104B2 (en) * 2011-02-07 2017-05-23 Blackberry Limited Method and apparatus for receiving presentation metadata
US8924580B2 (en) * 2011-08-12 2014-12-30 Cisco Technology, Inc. Constant-quality rate-adaptive streaming

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013538508A (ja) * 2010-08-10 2013-10-10 クゥアルコム・インコーポレイテッド コード化ビデオデータのネットワークストリーミングのためのマニフェストファイル更新
JP2014506748A (ja) * 2011-01-21 2014-03-17 ネットフリックス・インコーポレイテッド 適応ストリーミングのための様々なビットのビデオストリーム
JP2015531186A (ja) * 2012-07-10 2015-10-29 ヴィド スケール インコーポレイテッド 品質ドリブンストリーミング
JP2015527809A (ja) * 2012-08-03 2015-09-17 インテル・コーポレーション ハイパーテキスト転送プロトコルによる品質アウェア適応型ストリーミングのための方法
JP2016517197A (ja) * 2013-03-06 2016-06-09 インターデイジタル パテント ホールディングス インコーポレイテッド ビデオストリーミングに対する電力認識適応

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JPN6016005909; "ＥＴＳＩ ＴＳ １２６ ２４７ Ｖ１０．２．０ （２０１２-０７）" , 201207, ｐ．１８-５６， ６２-７３, ［ｏｎｌｉｎｅ］ *
JPN6016044107; Ｔｒｕｏｎｇ Ｃｏｎｇ Ｔｈａｎｇ， ｅｔ ａｌ．: '"Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｆ Ａｕｄｉｏｖｉｓｕａｌ Ｃｏｎｔｅｎｔ ｕｓｉｎｇ ＭＰＥＧ ＤＡＳＨ"' ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｖｏｌ．５８， Ｎｏ．１, 201202, ｐ．７８-８５ *
JPN6016044110; "ＤＡＳＨ Ｅｖａｌｕａｔｉｏｎ Ｅｘｐｅｒｉｍｅｎｔ ＃２： ＭＰＤ Ｍｏｄｉｆｉｃａｔｉｏｎ， Ｃｏｒｒｅｃｔｉｏｎｓ， ａｎｄ Ｅｘｔｅｎｓｉｏｎ" ＭＰＥＧ２０１０／Ｍ１８０１０, 201009, ［ｏｎｌｉｎｅ］， ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ *
JPN6016044113; "ＩＳＯ／ＩＥＣ １４４９６-１２：２００８／ＦＤＡＭ ３：２０１１（Ｅ）" Ｓ４-１１０８５２, 20111111, Ｓｅｃｔｉｏｎ Ｃ．１１, ［ｏｎｌｉｎｅ］， ３ＧＰＰ ＴＳＧ-ＳＡ ＷＧ４＃６６ *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263583B2 (ja) 2016-10-10 2023-04-24 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
KR20210052596A (ko) * 2016-10-10 2021-05-10 캐논 가부시끼가이샤 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR20190054165A (ko) * 2016-10-10 2019-05-21 캐논 가부시끼가이샤 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP2019531662A (ja) * 2016-10-10 2019-10-31 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
US10979783B2 (en) 2016-10-10 2021-04-13 Canon Kabushiki Kaisha Methods, devices, and computer programs for improving rendering display during streaming of timed media data
KR102249173B1 (ko) * 2016-10-10 2021-05-10 캐논 가부시끼가이샤 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP2022066370A (ja) * 2016-10-10 2022-04-28 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
KR102286881B1 (ko) * 2016-10-10 2021-08-09 캐논 가부시끼가이샤 시간지정된 미디어 데이터의 스트리밍 동안의 렌더링 디스플레이를 개선하기 위한 방법, 디바이스, 및 컴퓨터 프로그램
JP7035038B2 (ja) 2016-10-10 2022-03-14 キヤノン株式会社 タイムドメディアデータのストリーミング中にレンダリング表示を改善するための方法、デバイス及びコンピュータプログラム
JP2018110361A (ja) * 2017-01-06 2018-07-12 富士ゼロックス株式会社 情報処理装置及び情報処理システム
JP2019022176A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法
JP2022524871A (ja) * 2019-03-14 2022-05-10 ノキア テクノロジーズ オサケユイチア メディアコンテンツにおけるレイトバインディングのための方法および装置
JP7373581B2 (ja) 2019-03-14 2023-11-02 ノキア テクノロジーズ オサケユイチア メディアコンテンツにおけるレイトバインディングのための方法および装置
US11653054B2 (en) 2019-03-14 2023-05-16 Nokia Technologies Oy Method and apparatus for late binding in media content
JP2019179579A (ja) * 2019-07-02 2019-10-17 富士ゼロックス株式会社 ドキュメント管理システム、処理装置及び管理装置
JP2022524073A (ja) * 2019-09-30 2022-04-27 テンセント・アメリカ・エルエルシー Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
JP7246508B2 (ja) 2019-09-30 2023-03-27 テンセント・アメリカ・エルエルシー Ｈｔｔｐによる動的適応ストリーミングのための方法及び装置
JP7371984B2 (ja) 2020-06-23 2023-10-31 テンセント・アメリカ・エルエルシー ビデオ符号化の方法、装置およびコンピュータプログラム
JP2022553964A (ja) * 2020-06-23 2022-12-27 テンセント・アメリカ・エルエルシー ビデオ符号化の方法、装置およびコンピュータプログラム
JP7434561B2 (ja) 2020-10-07 2024-02-20 テンセント・アメリカ・エルエルシー Ｍｐｄ有効期限処理モデル

Also Published As

Publication number Publication date
CN105230024B (zh) 2019-05-24
EP2962467A1 (en) 2016-01-06
JP6064251B2 (ja) 2017-01-25
US20150026358A1 (en) 2015-01-22
CN105230024A (zh) 2016-01-06
WO2015010056A1 (en) 2015-01-22

Similar Documents

Publication Publication Date Title
JP6064251B2 (ja) 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送
US10284612B2 (en) Media quality information signaling in dynamic adaptive video streaming over hypertext transfer protocol
US11006168B2 (en) Synchronizing internet (“over the top”) video streams for simultaneous feedback
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
US9521469B2 (en) Carriage of quality information of content in media formats
CN108540834B (zh) 由用户端设备实现的媒体内容流的方法和装置
US9015468B2 (en) System and method for signaling segment encryption and key derivation for adaptive streaming
US8626870B2 (en) Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof
KR101206698B1 (ko) 스트리밍 콘텐츠 제공 장치 및 방법
US20150019629A1 (en) Just-in-Time Dereferencing of Remote Elements in Dynamic Adaptive Streaming over Hypertext Transfer Protocol
US10863211B1 (en) Manifest data for server-side media fragment insertion
CN107634930B (zh) 一种媒体数据的获取方法和装置
US9705955B2 (en) Period labeling in dynamic adaptive streaming over hypertext transfer protocol
US11647252B2 (en) Identification of elements in a group for dynamic element replacement
EP3092780B1 (en) Signaling and handling of forensic marking for adaptive streaming
Begen Spending" quality"'time with the web video
TWI574558B (zh) 播放複合濃縮串流之方法以及播放器
KR101285058B1 (ko) 스트리밍 콘텐츠 제공 장치 및 방법
JP2004312713A (ja) データ送信装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161130

R150 Certificate of patent or registration of utility model

Ref document number: 6064251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250