JP2018524893A - メディア同期化ウェブインタラクション - Google Patents

メディア同期化ウェブインタラクション Download PDF

Info

Publication number
JP2018524893A
JP2018524893A JP2017565144A JP2017565144A JP2018524893A JP 2018524893 A JP2018524893 A JP 2018524893A JP 2017565144 A JP2017565144 A JP 2017565144A JP 2017565144 A JP2017565144 A JP 2017565144A JP 2018524893 A JP2018524893 A JP 2018524893A
Authority
JP
Japan
Prior art keywords
track
media content
dom
time intervals
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017565144A
Other languages
English (en)
Inventor
マンダヤン、ジリダール・ダティ
ロ、チャールズ・ヌン
ウォーカー、ゴードン・ケント
ストックハマー、トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2018524893A publication Critical patent/JP2018524893A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

メディアコンテンツをレンダリングする例となる方法が、コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することを含む。この方法はまた、メディアコンテンツに関連付けられた複数のトラックを識別することを含む。複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する。この方法は、ストリーミングメディアコンテンツのタイムラインに従って、DOMトラックをレンダリングすることをさらに含む。

Description

関連出願への相互参照
[0001]本願は、2016年6月17日に出願された米国非仮特許出願第15/185,676号の優先権、および2015年6月18日に出願された米国仮特許出願第62/181,700号の利益を主張し、これらは、その全体が、全ての適用可能な目的のために、そして以下にその全体が完全に記載されているかのように、その全体が参照により本明細書に組み込まれる。
[0002]本開示は、一般にストリーミングメディアコンテンツに関し、さらに詳細には、ストリーミングメディアコンテンツと同期化された(timed with)ユーザインタラクションを提供することに関する。
[0003]メディアコンテンツプロバイダまたはディストリビュータ(distributor)は、ストリーミングクライアントにメディアコンテンツをストリーミングし得、これは、テレビジョン、ノートブックコンピュータ、およびモバイルハンドセットなど、様々なユーザエンドデバイスの形態をとり得る。メディアコンテンツは、ネットワーク状態、デバイス能力、およびユーザ選択など、様々な要因に基づいて適応的に、ストリーミングサーバからストリーミングクライアントに配信(delivered)され得る。トランスポートシステム(TS:transport system)の受信の際に、ストリーミングクライアントは、TSをパース(parse)して、その内から情報を抽出し得る。アダプティブストリーミング技術は、ハイパーテキスト転送プロトコルを介した動的アダプティブストリーミング(Dynamic Adaptive Streaming over Hypertext Transfer Protocol)(HTTP)(DASH)、HTTPライブストリーミング(HLS:HTTP Live Streaming)、アダプティブトランスポートストリーミング(ATS:Adaptive Transport Streaming)、またはインターネット情報サービス(IIS:Internet Information Services)スムーズストリーミングなど、インプリメントされているかまたは開発中の様々な技術または規格を含み得る。
[0004]例えば、アダプティブストリーミングの1つのタイプとして、DASHが、国際標準において国際電気標準会議(IEC)および国際標準化機構(ISO)によって定義されている。通常ISO/IEC 23009−1として識別される、この規格は、「情報技術−HTTPを介した動的アダプティブストリーミング(DASH)−パート1:メディアプレゼンテーション記述およびセグメントフォーマット(Information technology- Dynamic adaptive streaming over HTTP (DASH)- Part 1 :Media presentation description and segment formats)」と題されている。
[0005]いくつかの実施形態によると、メディアコンテンツをレンダリングする方法が、コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、メディアコンテンツに関連付けられた複数のトラック(tracks)を識別することと、複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するドキュメントオブジェクトモデル(DOM:Document Object Model)トラックを含み、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応し、ストリーミングメディアコンテンツのタイムラインに従ってDOMトラックをレンダリングすることとを含む。
[0006]いくつかの実施形態によると、メディアコンテンツをレンダリングするためのシステムが、ストリーミングメディアコンテンツを受信するネットワークインタフェースを含む。このシステムはまた、ネットワークインタフェースに結合されたストリーミングメディアプレーヤを含む。ストリーミングメディアプレーヤは、メディアコンテンツに関連付けられた複数のトラックを識別し、ストリーミングメディアコンテンツのタイムラインに従って、DOMトラックをレンダリングする。加えて、複数のトラックは、DOMトラックを含む。DOMトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のUIイベントを指定し、時間間隔のセットは、タイムラインに対応する。
[0007]いくつかの実施形態によると、機械可読媒体が、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、メディアコンテンツに関連付けられた複数のトラックを識別することと、複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のUIイベントを指定するDOMトラックを含み、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応し、ストリーミングメディアコンテンツのタイムラインに従ってDOMトラックをレンダリングすることと、を含む方法を実行させるのに好適する複数の機械可読命令を含む。
[0008]いくつかの実施形態によると、メディアコンテンツをレンダリングするための装置が、ストリーミングメディアコンテンツを受信するための手段を含む。この装置はまた、メディアコンテンツに関連付けられた複数のトラックを識別するための手段を含む。複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のUIイベントを指定するDOMトラックを含む。時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する。この装置は、ストリーミングメディアコンテンツのタイムラインに従って、DOMトラックをレンダリングするための手段をさらに含む。
[0009]いくつかの実施形態によると、メディアコンテンツに関連付けられたDOMトラックを生成する方法が、時間間隔のセットを受信することを含む。各時間間隔は、ストリーミング可能なメディアコンテンツ(streamable media content)の同期化された再生に対応する開始および終了の時間を有する。この方法はまた、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントを決定することを含む。この方法は、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することをさらに含む。
[0010]いくつかの実施形態によると、メディアコンテンツに関連付けられたDOMトラックを生成するためのシステムが、時間間隔のセットを受信するストリーミングサーバを含む。各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する。ストリーミングサーバは、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントを決定する。ストリーミングサーバは、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラックを生成する。
[0011]いくつかの実施形態によると、機械可読媒体が、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、時間間隔のセットを受信することと、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有し、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントを決定することと、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することと、を含む方法を実行させるのに好適する複数の機械可読命令を含む。
[0012]いくつかの実施形態によると、メディアコンテンツに関連付けられたDOMトラックを生成するための装置が、時間間隔のセットを受信するための手段を含む。各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する。この装置はまた、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントを決定するための手段を含む。この装置は、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラックを生成するための手段をさらに含む。
[0013]本明細書の一部をなす添付の図面は、本発明の実施形態を例示し、その説明とともに、本実施形態の原理を説明するためにさらに役立つ。図面において、同様の参照番号は、同一のまたは機能的に類似した要素を示し得る。要素が最初に現われる図面は、概して、対応する参照番号の一番左の桁によって示される。
[0014]図1は、いくつかの実施形態に従って、メディアコンテンツをレンダリングするためのシステムを例示するブロック図である。 [0015]図2は、いくつかの実施形態に従って、DOMトラックを生成するためのプロセスフローを例示するブロック図である。 [0016]図3は、いくつかの実施形態に従って、ビデオビューポート(video viewport)に制限されたレイアウトを含むDOMトラックで指定されるUIイベントの例である。 [0017]図4は、いくつかの実施形態に従って、ビデオビューポートに制限されていないレイアウトを含むDOMトラックで指定されるUIイベントの例である。 [0018]図5は、いくつかの実施形態に従って、ストリーミングメディアコンテンツのためのプロセスフローを例示するブロック図である。 [0019]図6は、いくつかの実施形態に従って、メディアコンテンツをレンダリングする方法を例示する単純化されたフローチャートである。 [0020]図7は、いくつかの実施形態に従って、メディアコンテンツに関連付けられたDOMトラックを生成する方法を例示する単純化されたフローチャートである。 [0021]図8は、いくつかの実施形態に従って、デジタルシグナルプロセッサを含むワイヤレスデバイスを例示するブロック図である。
発明の詳細な説明
I. 概要
II. 例となるシステムアーキテクチャ
III. 例となる方法
IV. 例となるコンピューティングシステム

I.概要
[0022]以下の開示は、本開示の異なる特徴をインプリメントするための多くの異なる実施形態、または例を提供することが理解されるべきである。いくつかの実施形態は、これらの特定の詳細の一部または全てなしに実施され得る。構成要素、モジュール、および配置(arrangements)の特定の例が、本開示を単純化するために以下で説明される。これらは、むろん、単なる例にすぎず、限定するように意図されるものではない。
[0023]いくつかの実施形態では、メディアコンテンツをレンダリングする方法が、コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、メディアコンテンツに関連付けられた複数のトラックを識別することと、複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応し、ストリーミングメディアコンテンツのタイムラインに従ってDOMトラックをレンダリングすることとを含む。
II.例となるシステムアーキテクチャ
[0024]図1は、いくつかの実施形態に従って、メディアコンテンツをレンダリングするためのシステム100を例示するブロック図である。システム100は、ネットワーク108を介して結合されたストリーミングサーバ102、クライアント104、およびメディアコンテンツエンコーダ106を含む。1つのストリーミングサーバ、1つのクライアント、および1つのメディアコンテンツエンコーダが例示されているが、これは、限定するように意図されるものではなく、システム100は、1つまたは複数のストリーミングサーバ、クライアント、および/またはメディアコンテンツエンコーダを含み得る。
[0025]ネットワーク108は、プライベートネットワーク(例えば、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、イントラネットなど)、パブリックネットワーク(例えば、インターネット)、またはこれらの組合せであり得る。ネットワークは、様々な構成を含み、インターネット、ワールドワイドウェブ(World Wide Web)、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つまたは複数の企業に独自の通信プロトコルを使用するプライベートネットワーク、セルラーおよび他のワイヤレスネットワーク、インターネットリレーチャットチャネル(IRC:Internet relay chat channels)、インスタントメッセージング、簡易メール転送プロトコル(SMTP:simple mail transfer protocols)、イーサネット(登録商標)、WiFiおよびHTTP、および前述の様々な組合せを含む様々なプロトコルを使用し得る。
[0026]システム100は、リッチウェブインタラクション(rich Web interactions)をクライアント104のユーザに提供し得る。ストリーミングサーバ102、クライアント104、およびメディアコンテンツエンコーダ106は、特定の(specific)プロトコルを使用して互いに通信し、特定の(particular)フォーマットにおけるファイルを交換する。いくつかのファイルは、特定のコーデックを使用して符号化されたデータを含み、それは、ファイルのサイズを低減させるように設計されている。コンテンツプロバイダ112は、符号化するためにメディアコンテンツエンコーダ106に生メディアファイル(raw media files)110を提供し得る。メディアコンテンツエンコーダ106は、生メディアファイル110(例えば、オーディオおよびビデオファイル)を、ネットワーク108にわたってストリーミングされることができるフォーマットに変換する。コンテンツプロデューサ112は、人間またはコンピューティングデバイスであり得る。メディアコンテンツエンコーダ106が生メディアファイル110を符号化した後、メディアコンテンツエンコーダ106は、データベース116における記憶のために、ストリーミングサーバ102へ符号化されたメディアファイルを送り得る。メディアコンテンツエンコーダ106は、データベース116に記憶されかつストリーミングサーバ102によってアクセス可能であるメディアコンテンツストリームを作り得る。
[0027]クライアント104は、ネットワークインタフェース130、ストリーミングメディアプレーヤ120、およびブラウザ122を含む。ストリーミングメディアプレーヤ120は、ブラウザ122に組み込まれているように例示されるが、これは、限定するように意図されるものではなく、ストリーミングメディアプレーヤ120およびブラウザ122は、相互に対話する(interact)別個の構成要素であり得ることが理解されるべきである。ストリーミングメディアプレーヤ120は、メディアコンテンツストリームをレンダリングすることが可能なクライアントアプリケーションである。メディアコンテンツは、クライアント104によって要求され、ストリーミングサーバ102から受信され得、これは、メディアコンテンツストリームを配信するように設計された1本の専用のソフトウェア(specialized piece of software)であり得る。クライアント104は、手持ち式の携帯電話(例えば、スマートフォン)、携帯情報端末(PDA)、タブレット、デスクトップ、またはラップトップなどの任意のクライアントデバイスであり得る。他のデバイスが、本開示の範囲内にある。
[0028]符号化されたメディアファイル118は、符号化されかつストリーミング可能なバージョンの生メディアファイル110であり得る。符号化されたメディアファイル118は、クライアント104へ送られかつクライアント104によってストリーミングされ得るストリーミングフォーマットである。いくつかの例では、符号化されたメディアファイル118は、複数のトラックを含むメディアファイルにパッケージされる。複数のトラックは、ビデオデータを有するビデオトラック、オーディオデータを有するオーディオトラックなどを含み得る。
[0029]いくつかの例では、コンテンツプロデューサ112は、追加のトラックを作成するために、符号化されたメディアファイル118に対して(または生メディアファイル110に対して)さらなる処理を実行し得る。例えば、コンテンツプロデューサ112は、ビデオおよび/またはオーディオトラックに関連付けられたクローズドキャプショニングデータを有するクローズドキャプショニングトラック、ビデオおよび/またはオーディオトラックに関連付けられたドキュメントオブジェクトモデル(DOM)トラックデータを有するDOMトラック、または他のトラックを作成し得る。DOMトラックは、ストリーミングメディアコンテンツの再生に従って同期化されるウェブユーザインタフェース(UI)イベントを記述するデータの集合を指し得る。一例では、コンテンツプロデューサ112は、メディアコンテンツがクライアント104においてストリーミングされている間に、ある特定のイベントを発生させること(to have certain events occur)を望み得る。加えて、コンテンツプロデューサ112は、ストリーミングメディアコンテンツの同期化された再生と同期してイベントを発生させることを望み得、DOMトラックを生成することによってこれを達成し得る。
[0030]一例では、DOMトラックは、国際標準化機構(ISO)ベースメディアファイルフォーマット(BMFF)で記憶される。この例では、DOMトラックは、別個のトラックとしてムービーヘッダの中でアナウンスされ得る。ISO BMFF初期化セグメントは、単一のムービーヘッダボックス(moov)によって後続される単一のファイルタイプボックス(ftyp)として定義され得る。別の例では、DOMトラックは、ハイパーテキスト転送プロトコルを介した動的アダプティブストリーミング(DASH)におけるリプレゼンテーション(representation)として配信(distributed)される。マルチメディアファイルの1つまたは複数のリプレゼンテーション(すなわち、異なる解像度(resolutions)またはビットレートにおけるバージョン)が利用可能であり得、リプレゼンテーションの選択は、ネットワーク状態、デバイス能力、およびユーザ選択など、様々な要因に基づき得る。この例では、DOMトラックは、クライアントの選択についての別個のアダプテーションセット(adaptation set)として、メディアプレゼンテーション記述(MPD)ファイルにおいてシグナリングされ得る。アダプションセット(adaption set)は、1つまたは複数のメディアコンテンツストリームを含む。リプレゼンテーションは、アダプテーションセットが、異なる方法で符号化された同じコンテンツを含むことを可能にする。別の例では、DOMトラックは、ムービングピクチャーエクスパーツグループ(MPEG:Moving Picture Experts Group)メディアトランスポート(MMT)におけるアセット(asset)として配信される。別の例では、DOMトラックは、MMTにおけるアセットとして配信される。別の例では、DOMトラックは、MPEG−2トランスポートストリームにおけるエレメンタリストリーム(elementary stream)として配信される。
[0031]図2は、いくつかの実施形態に従って、DOMトラックを生成するためのプロセスフロー200を例示するブロック図である。図2は、1つまたは複数のトラックを生成するメディア編集ツール202を含む。いくつかの例では、メディア編集ツール202によって生成された1つまたは複数のトラックは、符号化されたメディアファイル118に含まれる。メディア編集ツール202は、ビデオトラックおよび/またはオーディオトラックに関連付けられたクローズドキャプショニングトラック206を生成するクローズドキャプショニングトラックジェネレータ204を含む。メディア編集ツール202はまた、ビデオトラックおよび/またはオーディオトラックに関連付けられたDOMトラック210を生成するDOMトラックジェネレータ208を含む。クローズドキャプショニングトラック206は、DOMトラック210とは別個のトラックであり得る。
[0032]コンテンツプロデューサ112は、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントとともに、ストリーミングフォーマットにおけるメディアコンテンツの同期化された再生に対応する時間間隔のセットをメディア編集ツール202に提供し得る。UIイベントがある時間間隔中に実行されるべきである場合、UIイベントは、その時間間隔に対応し得る。いくつかの例では、UIイベントは、対応する時間間隔において、ウェブページのコンテキスト中で実行される。メディア編集ツール202は、時間間隔のセットを受信し得、ここで、各時間間隔は、クライアントに提供されることになるストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する。メディア編集ツール202は、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のUIイベントを決定し、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラック210を生成し得る。
[0033]UIイベントは、ストリーミング可能なメディアコンテンツの同期化された再生に従って実行される。DOMトラック210で指定される時間間隔のセットは、ストリーミング可能なメディアコンテンツに関連付けられたビデオトラックおよび/またはオーディオトラックの同期化された再生に対応する。UIイベントに対応しかつDOMトラック210で指定される時間は、DOMトラック210に関連付けられたビデオトラックおよび/またはオーディオトラックのタイムラインに従う。例えば、コンテンツプロデューサ112は、ストリーミング可能なメディアコンテンツにおいて、開始時間11秒および終了時間13秒を有する時間間隔中にUIイベントが発生すること(例えば、ビデオトラックがレンダリングされているのと同じまたは異なるウェブページにおける表示ポップアップ(display popup))を望み得る。この例では、UIイベントは、ビデオトラックが時間11−13秒においてレンダリングされている間に実行される。
[0034]DOMトラック210で指定されるUIイベントは、様々な方法で定義され得る。いくつかの例では、UIイベントは、ストリーミング可能なメディアコンテンツに従って同期化されたウェブコードスニペット(web code snippet)を実行することによって実行される。一例では、UIイベントは、ハイパーテキストマークアップ言語(HTML:HyperText Markup Language)を使用して定義される。別の例では、UIイベントは、JAVASCRIPT(登録商標)を使用して定義される。商標は、それらのそれぞれの所有者の所有権である。
[0035]いくつかの例では、UIイベントは、クライアント104において表示されるウェブページのコンテキスト中で実行される。一例では、UIイベントは、クライアント104において、ビデオ「ビューポート」に制限される。この例では、オブジェクト(例えば、画像、ポップアップ、テキストなど)が、クライアント104において再生(played)されているビデオの上に重ね合わせられ得る。UIイベントは、ビデオトラックを表示するビデオビューポート内で実行され得る。図3は、いくつかの実施形態に従って、ビデオビューポートに制限されたレイアウトを含むDOMトラックで指定されるUIイベントの例である。図3に例示される例では、UIイベント302は、<DOMCueViewportRestricted>と</DOMCueViewportRestricted>のタグで囲まれ、UIイベント302は、JAVASCRIPT(登録商標)を使用して定義される。クライアント104におけるストリーミングメディアプレーヤ120は、UIイベント302が<DOMCueViewportRestricted>と</DOMCueViewportRestricted>のタグで囲まれているので、UIイベント302をビデオビューポート内で実行すべきことを知り得る。
[0036]別の例では、UIイベントは、ビデオビューポートに制限されず、オブジェクトは、ビデオの上に重ね合わされない。一例では、「この製品についてのより多くの情報が必要な場合は、OKを押してください」を含むダイアログボックスが、(例えば、ストリーミングメディアプレーヤ120を介して)クライアント104において表示される。ユーザがダイアログボックス中の「OK」オプションを選択した場合、ブラウザ122は、製品ウェブページにユーザを連れて行く新しいタブを開き得、そこで、ユーザは、製品についてのより多くの情報を得ることができる。例えば、商品またはサービスのプロバイダは、ビジネスを拡大するおよび/または彼らの製品についてのより多くの情報をユーザに提供するために、彼らのオファリング(offerings)についてのより多くの情報を提供することを望み得る。UIイベントは、ビデオトラックを表示するビデオビューポート外で実行され得る。図4は、いくつかの実施形態に従って、ビデオビューポートに制限されていないレイアウトを含むDOMトラックで指定されるUIイベントの例である。図4に例示される例では、UIイベント402および404は、<DOMCue>と</DOMCue>のタグで囲まれている。UIイベント402は、JAVASCRIPT(登録商標)を使用して定義され、UIイベント404は、HTMLを使用して定義される。HTML文書は、UIイベント404の<DOMCue>と</DOMCue>のタグ内に埋め込まれる。クライアント104におけるストリーミングメディアプレーヤ120は、UIイベント402および404が<DOMCue>と</DOMCue>のタグで囲まれているので、UIイベント402および404をビデオビューポート外で実行すべきことを知り得る。
[0037]ストリーミングサーバ102は、ストリーミングクライアントにメディアコンテンツをストリーミングし得、これは、他のデバイスの中でも特に、テレビジョン、ノートブックコンピュータ、およびモバイルハンドセットなど、様々なエンドユーザデバイスの形態をとり得る。図5は、いくつかの実施形態に従って、ストリーミングメディアコンテンツ502のためのプロセスフロー500を例示するブロック図である。図5では、ストリーミングサーバ102は、クライアント104に、いくつかのメディア構成要素を含み得るストリーミングメディアコンテンツ502を送る。図5では、ストリーミングメディアコンテンツ502は、ビデオトラック118A、オーディオトラック118B、クローズドキャプショニングトラック206、およびDOMトラック210を含む複数のトラックを含む。いくつかの例では、ストリーミングメディアコンテンツ502はまた、ストリーミングメディアコンテンツ502に含まれるトラックのリストを提供するメディアプレゼンテーション記述(MDP)ファイル504を含む。MPDファイル504は、例えば、その様々なリプレゼンテーション、ファイルおよび関連する情報がそこから取り出され得るユニフォームリソースロケータ(URL:Uniform Resource Locator)アドレス、および他の特性(characteristics)などの、ストリーミングメディアコンテンツ502を記述する拡張可能なマークアップ言語(XML)ファイルまたは文書であり得る。ストリーミングメディアコンテンツ502に含まれるトラックの各々は、MPDファイル504の中で指定される異なる特性を有し得る。
[0038]ネットワークインタフェース130は、ネットワーク108を介してデータを受信し、ネットワーク108を介してデータを送信する。いくつかの例では、ネットワークインタフェース130は、ストリーミングメディアコンテンツ502を受信し、それをストリーミングメディアプレーヤ120に渡す。ストリーミングメディアプレーヤ120は、ストリーミングメディアコンテンツ502を処理する。MDPファイル504は、ビデオトラック118Aとそのロケーション、オーディオトラック118Bとそのロケーション、クローズドキャプショニングトラック206とそのロケーション、およびDOMトラック210とそのロケーションについての情報をストリーミングメディアプレーヤ120に提供する。ストリーミングメディアプレーヤ120は、ビデオトラック118A、オーディオトラック118B、クローズドキャプショニングトラック206、およびDOMトラック210をストリーミングし得る。
[0039]ストリーミングメディアプレーヤ120は、DOMトラック210を処理およびストリーミングするDOMレンダラ520を含む。DOMレンダラ520は、DOMトラック210をパースおよびレンダリングし、それは、ビデオトラック118A、オーディオトラック118B、および/またはクローズドキャプショニングトラック206と同期化される。DOMレンダラ520は、トラックで指定される時間間隔のセットに従ってDOMトラック210をストリーミングする。例えば、DOMレンダラ520は、DOMトラック210をパースおよび解釈(interprets)し、特定のタグ(例えば、<DOMCue>と</DOMCue>のタグ、<DOMCueViewportRestricted>と</DOMCueViewportRestricted>のタグなど)によってDOMトラック210におけるコマンドを認識する。
[0040]いくつかの実施形態では、DOMレンダラ520は、ストリーミングメディアコンテンツ502に関連付けられた複数のトラックを識別する。図5では、複数のトラックは、DOMトラック210を含み、これは、時間間隔のセットにおいて実行すべき1つまたは複数のUIイベントを指定し、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する。いくつかの例では、UIイベントは、1つまたは複数のウェブページ中で実行される。各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する。DOMレンダラ520は、ストリーミングメディアコンテンツのタイムラインに従って、DOMトラック210をレンダリングする。
[0041]いくつかの例では、ブラウザ122は、DOM要素であるビデオタグを含む。ブラウザ122によって表示されるウェブページは、処理するために、ビデオタグにDOMトラック210を渡し得る。いくつかの例では、ストリーミングメディアプレーヤ120は、ブラウザ122のネイティブメディアプレーヤ(native media player)である。
[0042]DOMレンダラ520は、DOMトラック210で指定されるUIイベントを、それらの対応する時間間隔において実行する。例えば、図3を参照すると、DOMレンダラ520は、メディアコンテンツ502のストリーミング中に、開始時間11秒および終了時間13秒を有する時間間隔中にUIイベント302を実行し得る。UIイベント302は、ストリーミングメディアコンテンツ502のタイムラインに従って同期化される。例えば、開始および終了の時間は、オーディオトラック118Aおよび/またはオーディオトラック118Bにおける異なる時点である。
[0043]DOMレンダラ520は、UIイベントを実行し、それらは、ウェブコードスニペット(例えば、HTML、JAVASCRIPTなど)の形式である。UIイベントは、ビデオトラック118A、オーディオトラック118B、および/またはクローズドキャプショニングトラック206と同期化される。いくつかの例では、ストリーミングメディアプレーヤ120は、オブジェクト(例えば、ポップアップ、ダイアログボックスなど)を表示し、ここで、これらオブジェクトは、ウェブページのコンテキスト中で、ストリーミングメディアコンテンツ502と同期化される。
III.例となる方法
[0044]図6は、いくつかの実施形態に従って、メディアコンテンツをレンダリングする方法600を例示する単純化されたフローチャートである。方法600は、限定するように意図されるものではなく、他のアプリケーションにおいて使用され得る。
[0045]方法600は、ブロック602−606を含む。ブロック602において、ストリーミングメディアコンテンツが、コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて受信される。ブロック604において、メディアコンテンツに関連付けられた複数のトラックが識別され、複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のUIイベントを指定するDOMトラックを含み、時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する。ブロック606において、DOMトラックは、ストリーミングメディアコンテンツのタイムラインに従ってレンダリングされる。
[0046]追加のプロセスが、上記で説明されたブロック602−606の前、その間中、またはその後に実行され得ることもまた理解される。ここで説明された方法600のブロックのうちの1つまたは複数が、所望に応じて省略される、組み合わせられる、または異なるシーケンスで実行され得ることもまた理解される。
[0047]図7は、いくつかの実施形態に従って、メディアコンテンツに関連付けられたDOMトラックを生成する方法700を例示する単純化されたフローチャートである。方法700は、限定するように意図されるものではなく、他のアプリケーションにおいて使用され得る。
[0048]方法700は、ブロック702−706を含む。ブロック702において、時間間隔のセットが受信され、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する。ブロック704において、時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントが決定される。ブロック706において、時間間隔のセットの時間間隔ごとに実行すべき決定された1つまたは複数のUIイベントを指定するDOMトラックが生成される。
[0049]追加のプロセスが、上記で説明されたブロック702−706の前、その間中、またはその後に実行され得ることもまた理解される。ここで説明された方法700のブロックのうちの1つまたは複数が、所望に応じて省略される、組み合わせられる、または異なるシーケンスで実行され得ることもまた理解される。
[0050]上記で説明され、ここでさらに強調されるように、図1−図7は、単なる例にすぎず、それは、特許請求の範囲を過度(unduly)に限定すべきではない。
IV.例となるコンピューティングシステム
[0051]図8は、ここで開示された任意の実施形態をインプリメントするのに好適な例となるコンピュータシステム800のブロック図である。様々なインプリメンテーションでは、コンピュータシステム800は、その上でストリーミングサーバ102が実行されるコンピューティングデバイスまたはクライアント104であり得る。コンピュータシステム800は、入力/出力(I/O)804構成要素に結合された制御ユニット801を含む。
[0052]制御ユニット801は、1つまたは複数のCPU 809を含み得、1つまたは複数の記憶デバイスをさらに含み得、その各々は、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、その他任意の磁気媒体、CD−ROM、その他任意の光媒体、ランダムアクセスメモリ(RAM)、プログラマブル読取専用メモリ(PROM)、消去可能なROM(EPROM)、FLASH−EPROM、その他任意のメモリチップまたはカートリッジ、および/またはプロセッサまたはコンピュータがそれから読み取るのに好適するその他任意の媒体を含むグループから各々が選択される。1つまたは複数の記憶デバイスは、コンピュータネットワーク(例えば、ネットワーク108)を使用してコンピュータシステム800に結合された1つまたは複数のコンピューティングデバイスおよび/またはコンピュータプログラム(例えば、クライアント)に対して利用可能にされ得る記憶された情報を含み得る。
[0053]コンピュータシステム800は、コンピュータシステム800の様々な構成要素間で情報データ、信号、および情報を通信するためのバス802または他の通信メカニズムを含む。構成要素は、キーパッド/キーボードからキーを選択すること、または1つまたは複数のボタンまたはリンクなどを選択することなど、ユーザアクションを処理するためのI/O構成要素804を含み、バス802へ対応する信号を送る。I/O構成要素804はまた、ディスプレイ811などの出力構成要素と、(キーボード、キーパッド、マウスなどの)カーソル制御813などの入力制御とを含み得る。オーディオI/O構成要素805がまた、情報信号にオーディオ信号を変換することによって、ユーザが情報を入力するために音声を使用することを可能にするために含まれ得る。オーディオI/O構成要素805は、ユーザがオーディオを聞くことを可能にし得る。 一例では、クライアント104のユーザは、カーソル制御813および/またはオーディオI/O構成要素805を使用して、ストリーミングメディアコンテンツ502を要求し得る。一例では、ストリーミングメディアプレーヤ120は、オーディオI/O構成要素805を使用してオーディオトラック118Bをレンダリングし得る。
[0054]トランシーバまたはネットワークインタフェース130が、ネットワークへの通信リンク818を介してコンピュータシステム800と他のデバイス(例えば、ストリーミングサーバ102)との間で信号を送信および受信する。一実施形態では、送信はワイヤレスであるが、他の伝送媒体および方法も好適であり得る。加えて、ディスプレイ811は、通信リンク818を介して制御ユニット801に結合され得る。
[0055]マイクロコントローラ、デジタルシグナルプロセッサ(DSP)、または他の処理構成要素であり得るCPU 109は、コンピュータシステム800のディスプレイ811上での表示、または通信リンク818を介した他のデバイスへの送信などのために、これらの様々な信号を処理する。一例では、ストリーミングメディアプレーヤ120は、ディスプレイ811上にビデオトラック118Aをレンダリングし得る。
[0056]コンピュータシステム800の構成要素はまた、システムメモリ構成要素814(例えば、RAM)、スタティック記憶構成要素816(例えば、ROM)、および/またはコンピュータ可読媒体817を含む。コンピュータシステム800は、システムメモリ構成要素814中に含まれている命令の1つまたは複数のシーケンスを実行することによって、CPU 109および他の構成要素によって特定の動作を実行する。ロジックがコンピュータ可読媒体817において符号化され得、それは、実行のためにCPU 109に命令を提供することに参加する任意の媒体を指し得る。このような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとり得る。様々なインプリメンテーションでは、不揮発性媒体は、光または磁気ディスク、あるいはソリッドステートドライブを含み、揮発性媒体は、システムメモリ構成要素814などのダイナミックメモリを含み、伝送媒体は、バス802を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバーを含む。一実施形態では、ロジックは、非一時的なコンピュータ可読媒体において符号化される。コンピュータ可読媒体817は、CPU 109によって使用されるかまたはCPU 109に関連する命令を含む、記憶する、通信する、伝搬する、またはトランスポートすることができる任意の装置であり得る。コンピュータ可読媒体817は、電子的、磁気的、光学式、電磁的、赤外線式、または半導体式のデバイスまたは伝搬媒体、またはその他任意のメモリチップまたはカートリッジ、またはコンピュータがそれから読み取るのに好適するその他任意の媒体であり得る。一例では、伝送媒体は、無線波、光、および赤外線データ通信中に生成されるものなど、音響波または光波の形態をとり得る。
[0057]本開示の様々な実施形態では、本開示を実施するための命令シーケンス(例えば、方法600および方法700)の実行は、コンピュータシステム800によって実行され得る。本開示の様々な他の実施形態では、(例えば、LAN、WLAN、PTSN、および/または電気通信、モバイル、およびセルラーフォンネットワークを含む様々な他のワイヤードまたはワイヤレスネットワークなどの)ネットワークに通信リンク818によって結合された複数のコンピュータシステム800が、互いと協調して本開示を実施するための命令シーケンスを実行し得る。
[0058]適用可能な場合に、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せを使用してインプリメントされ得る。また適用可能な場合に、ここで記載された様々なハードウェア構成要素および/またはソフトウェア構成要素は、本開示の趣旨から逸脱することなく、ソフトウェア、ハードウェア、および/またはその両方を含む複合構成要素に組み合わせられ得る。適用可能な場合に、ここで記載された様々なハードウェア構成要素および/またはソフトウェア構成要素は、本開示の趣旨から逸脱することなく、ソフトウェア、ハードウェア、またはその両方を含むサブ構成要素に分離され得る。加えて、適用可能な場合に、ソフトウェア構成要素はハードウェア構成要素としてインプリメントされ得、その逆も同様であることが企図される。
[0059]本開示によるアプリケーションソフトウェアは、1つまたは複数のコンピュータ可読媒体に記憶され得る。また、ここで識別されるアプリケーションソフトウェアは、ネットワーク化されおよび/またはそれ以外で、1つまたは複数の汎用または専用コンピュータおよび/またはコンピュータシステムを使用してインプリメントされ得ることが企図される。適用可能な場合に、ここで説明された様々なブロックの順序付けは、ここで説明された特徴を提供するために、変更され、複合ブロックに組み合わせられ、および/またはサブブロックに分離され得る。
[0060]前述の開示は、開示された特定の使用分野または厳密な形態に本開示を限定するように意図されるものではない。したがって、本開示に対する様々な代替実施形態および/または修正は、ここで明示的に説明されるのか暗示されるのかにかかわらず、本開示に照らして可能であることが企図される。本開示の範囲から逸脱することなく、形態および詳細において変更が行われ得る。したがって、本開示は特許請求の範囲のみによって限定される。
[0060]前述の開示は、開示された特定の使用分野または厳密な形態に本開示を限定するように意図されるものではない。したがって、本開示に対する様々な代替実施形態および/または修正は、ここで明示的に説明されるのか暗示されるのかにかかわらず、本開示に照らして可能であることが企図される。本開示の範囲から逸脱することなく、形態および詳細において変更が行われ得る。したがって、本開示は特許請求の範囲のみによって限定される。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1] メディアコンテンツをレンダリングする方法であって、
コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、
前記メディアコンテンツに関連付けられた複数のトラックを識別することと、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングすることと
を備える方法。
[C2] 前記複数のトラックは、ビデオトラックを含み、
前記方法は、前記ビデオトラックをレンダリングすることをさらに備える、
C1に記載の方法。
[C3] UIイベントが、前記ビデオトラックを表示するビデオビューポート内で実行される、C1に記載の方法。
[C4] UIイベントが、前記ビデオトラックを表示するビデオビューポート外で実行される、C1に記載の方法。
[C5] 前記複数のトラックは、オーディオトラックを含み、
前記方法は、前記オーディオトラックをレンダリングすることをさらに備える、
C1に記載の方法。
[C6] 前記複数のトラックは、クローズドキャプショニングトラックを含み、
前記方法は、前記クローズドキャプショニングトラックをレンダリングすることをさらに備える、
C1に記載の方法。
[C7] UIイベントが、ウェブページ中で実行される、C1に記載の方法。
[C8] UIイベントが、JAVASCRIPT(登録商標)で定義される、C1に記載の方法。
[C9] UIイベントが、ハイパーテキストマークアップ言語(HTML)で定義される、C1に記載の方法。
[C10] UIイベントが、ビデオタグで囲まれる、C1に記載の方法。
[C11] 前記DOMトラックは、国際標準化機構(ISO)ベースメディアファイルフォーマットで記憶される、C1に記載の方法。
[C12] 前記DOMトラックは、別個のトラックとしてムービーヘッダの中でアナウンスされる、C11に記載の方法。
[C13] 前記DOMトラックは、ハイパーテキスト転送プロトコルを介した動的アダプティブストリーミング(DASH)におけるリプレゼンテーションとして配信される、C1に記載の方法。
[C14] 前記DOMトラックは、クライアントの選択についての別個のアダプテーションセットとしてメディアプレゼンテーション記述(MPD)ファイルにおいてシグナリングされる、C13に記載の方法。
[C15] 前記DOMトラックは、ムービングピクチャーエクスパーツグループ(MPEG)メディアトランスポート(MMT)におけるアセットとして配信される、C1に記載の方法。
[C16] 前記DOMトラックは、MMTにおけるアセットとして配信される、C1に記載の方法。
[C17] 前記DOMトラックは、MPEG−2トランスポートストリームにおけるエレメンタリストリームとして配信される、C1に記載の方法。
[C18] メディアコンテンツをレンダリングするためのシステムであって、
ストリーミングメディアコンテンツを受信するネットワークインタフェースと、
前記ネットワークインタフェースに結合されたストリーミングメディアプレーヤと、ここにおいて、前記ストリーミングメディアプレーヤは、前記メディアコンテンツに関連付けられた複数のトラックを識別し、前記ストリーミングメディアコンテンツのタイムラインに従って、ドキュメントオブジェクトモデル(DOM)トラックをレンダリングする、
ここにおいて、前記複数のトラックは、前記DOMトラックを含み、前記DOMトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定し、前記時間間隔のセットは、前記タイムラインに対応する、
を備えるシステム。
[C19] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、
前記メディアコンテンツに関連付けられた複数のトラックを識別することと、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングすることと
を備える方法を実行させるように適合された複数の機械可読命令を備えた機械可読媒体。
[C20] メディアコンテンツをレンダリングするための装置であって、
ストリーミングメディアコンテンツを受信するための手段と、
前記メディアコンテンツに関連付けられた複数のトラックを識別するための手段と、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングするための手段と
を備える装置。
[C21] メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成する方法であって、
時間間隔のセットを受信することと、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定することと、
前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することと
を備える方法。
[C22] メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成するためのシステムであって、
時間間隔のセットを受信するストリーミングサーバを備え、ここにおいて、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
ここにおいて、前記ストリーミングサーバは、前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定する、
ここにおいて、前記ストリーミングサーバは、前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成する、
システム。
[C23] 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
時間間隔のセットを受信することと、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定することと、
前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することと
を備える方法を実行させるように適合された複数の機械可読命令を備えた機械可読媒体。
[C24] メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成するための装置であって、
時間間隔のセットを受信するための手段と、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定するための手段と、
前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成するための手段と
を備える装置。

Claims (24)

  1. メディアコンテンツをレンダリングする方法であって、
    コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、
    前記メディアコンテンツに関連付けられた複数のトラックを識別することと、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
    前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングすることと
    を備える方法。
  2. 前記複数のトラックは、ビデオトラックを含み、
    前記方法は、前記ビデオトラックをレンダリングすることをさらに備える、
    請求項1に記載の方法。
  3. UIイベントが、前記ビデオトラックを表示するビデオビューポート内で実行される、請求項1に記載の方法。
  4. UIイベントが、前記ビデオトラックを表示するビデオビューポート外で実行される、請求項1に記載の方法。
  5. 前記複数のトラックは、オーディオトラックを含み、
    前記方法は、前記オーディオトラックをレンダリングすることをさらに備える、
    請求項1に記載の方法。
  6. 前記複数のトラックは、クローズドキャプショニングトラックを含み、
    前記方法は、前記クローズドキャプショニングトラックをレンダリングすることをさらに備える、
    請求項1に記載の方法。
  7. UIイベントが、ウェブページ中で実行される、請求項1に記載の方法。
  8. UIイベントが、JAVASCRIPT(登録商標)で定義される、請求項1に記載の方法。
  9. UIイベントが、ハイパーテキストマークアップ言語(HTML)で定義される、請求項1に記載の方法。
  10. UIイベントが、ビデオタグで囲まれる、請求項1に記載の方法。
  11. 前記DOMトラックは、国際標準化機構(ISO)ベースメディアファイルフォーマットで記憶される、請求項1に記載の方法。
  12. 前記DOMトラックは、別個のトラックとしてムービーヘッダの中でアナウンスされる、請求項11に記載の方法。
  13. 前記DOMトラックは、ハイパーテキスト転送プロトコルを介した動的アダプティブストリーミング(DASH)におけるリプレゼンテーションとして配信される、請求項1に記載の方法。
  14. 前記DOMトラックは、クライアントの選択についての別個のアダプテーションセットとしてメディアプレゼンテーション記述(MPD)ファイルにおいてシグナリングされる、請求項13に記載の方法。
  15. 前記DOMトラックは、ムービングピクチャーエクスパーツグループ(MPEG)メディアトランスポート(MMT)におけるアセットとして配信される、請求項1に記載の方法。
  16. 前記DOMトラックは、MMTにおけるアセットとして配信される、請求項1に記載の方法。
  17. 前記DOMトラックは、MPEG−2トランスポートストリームにおけるエレメンタリストリームとして配信される、請求項1に記載の方法。
  18. メディアコンテンツをレンダリングするためのシステムであって、
    ストリーミングメディアコンテンツを受信するネットワークインタフェースと、
    前記ネットワークインタフェースに結合されたストリーミングメディアプレーヤと、ここにおいて、前記ストリーミングメディアプレーヤは、前記メディアコンテンツに関連付けられた複数のトラックを識別し、前記ストリーミングメディアコンテンツのタイムラインに従って、ドキュメントオブジェクトモデル(DOM)トラックをレンダリングする、
    ここにおいて、前記複数のトラックは、前記DOMトラックを含み、前記DOMトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定し、前記時間間隔のセットは、前記タイムラインに対応する、
    を備えるシステム。
  19. 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    コンピューティングデバイス上で実行中のクライアントアプリケーションにおいて、ストリーミングメディアコンテンツを受信することと、
    前記メディアコンテンツに関連付けられた複数のトラックを識別することと、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
    前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングすることと
    を備える方法を実行させるのに好適する複数の機械可読命令を備えた機械可読媒体。
  20. メディアコンテンツをレンダリングするための装置であって、
    ストリーミングメディアコンテンツを受信するための手段と、
    前記メディアコンテンツに関連付けられた複数のトラックを識別するための手段と、前記複数のトラックは、時間間隔のセットにおいて実行すべき1つまたは複数のユーザインタフェース(UI)イベントを指定するDOMトラックを含み、前記時間間隔のセットは、ストリーミングメディアコンテンツに従ったタイムラインに対応する、
    前記ストリーミングメディアコンテンツの前記タイムラインに従って前記DOMトラックをレンダリングするための手段と
    を備える装置。
  21. メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成する方法であって、
    時間間隔のセットを受信することと、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
    前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定することと、
    前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することと
    を備える方法。
  22. メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成するためのシステムであって、
    時間間隔のセットを受信するストリーミングサーバを備え、ここにおいて、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
    ここにおいて、前記ストリーミングサーバは、前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定する、
    ここにおいて、前記ストリーミングサーバは、前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成する、
    システム。
  23. 1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
    時間間隔のセットを受信することと、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
    前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定することと、
    前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成することと
    を備える方法を実行させるのに好適する複数の機械可読命令を備えた機械可読媒体。
  24. メディアコンテンツに関連付けられたドキュメントオブジェクトモデル(DOM)トラックを生成するための装置であって、
    時間間隔のセットを受信するための手段と、各時間間隔は、ストリーミング可能なメディアコンテンツの同期化された再生に対応する開始および終了の時間を有する、
    前記時間間隔のセットの時間間隔ごとに実行すべき1つまたは複数のユーザインタフェース(UI)イベントを決定するための手段と、
    前記時間間隔のセットの時間間隔ごとに実行すべき前記決定された1つまたは複数のUIイベントを指定するDOMトラックを生成するための手段と
    を備える装置。
JP2017565144A 2015-06-18 2016-06-18 メディア同期化ウェブインタラクション Pending JP2018524893A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562181700P 2015-06-18 2015-06-18
US62/181,700 2015-06-18
US15/185,676 2016-06-17
US15/185,676 US20160373498A1 (en) 2015-06-18 2016-06-17 Media-timed web interactions
PCT/US2016/038265 WO2016205768A1 (en) 2015-06-18 2016-06-18 Media-timed web interactions

Publications (1)

Publication Number Publication Date
JP2018524893A true JP2018524893A (ja) 2018-08-30

Family

ID=56404293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565144A Pending JP2018524893A (ja) 2015-06-18 2016-06-18 メディア同期化ウェブインタラクション

Country Status (8)

Country Link
US (1) US20160373498A1 (ja)
EP (1) EP3311584A1 (ja)
JP (1) JP2018524893A (ja)
KR (1) KR20180019575A (ja)
CN (1) CN107710777A (ja)
BR (1) BR112017027380A2 (ja)
TW (1) TW201703537A (ja)
WO (1) WO2016205768A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10917477B2 (en) * 2016-05-25 2021-02-09 Samsung Electronics Co., Ltd. Method and apparatus for MMT integration in CDN
US10887645B2 (en) * 2017-07-13 2021-01-05 Qualcomm Incorporated Processing media data using file tracks for web content
US10733225B1 (en) * 2017-09-06 2020-08-04 Snap Inc. Scaled delivery of media content
US11321516B2 (en) * 2018-01-19 2022-05-03 Qualcomm Incorporated Processing dynamic web content of an ISO BMFF web resource track
CN108509189B (zh) * 2018-04-13 2019-09-10 南京新贝金服科技有限公司 一种基于dom的h5时间选择器的组件统一实现方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006065A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Conditional event timing for interactive multimedia presentations
US20070006078A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Declaratively responding to state changes in an interactive multimedia environment
CN101246491B (zh) * 2008-03-11 2014-11-05 孟智平 一种在网页中使用描述文件的方法和系统
CN101998162B (zh) * 2009-08-28 2013-03-20 中国移动通信集团公司 实现移动终端中多媒体节目互动业务的方法、系统及装置
US9438654B2 (en) * 2013-04-18 2016-09-06 Futurewei Technologies, Inc. Fragment interface into dynamic adaptive streaming over hypertext transfer protocol presentations
CN103384311B (zh) * 2013-07-18 2018-10-16 博大龙 互动视频批量自动生成方法
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
CN104093079B (zh) * 2014-05-29 2015-10-07 腾讯科技(深圳)有限公司 基于多媒体节目的交互方法、终端、服务器和系统
CN103997691B (zh) * 2014-06-02 2016-01-13 合一网络技术(北京)有限公司 视频交互的方法和系统
CN104113786A (zh) * 2014-06-26 2014-10-22 小米科技有限责任公司 信息获取方法及装置
CN104135671A (zh) * 2014-07-25 2014-11-05 宁波创视信息技术有限公司 电视视频内容互动问答方法

Also Published As

Publication number Publication date
EP3311584A1 (en) 2018-04-25
CN107710777A (zh) 2018-02-16
WO2016205768A1 (en) 2016-12-22
TW201703537A (zh) 2017-01-16
BR112017027380A2 (pt) 2019-12-03
US20160373498A1 (en) 2016-12-22
KR20180019575A (ko) 2018-02-26

Similar Documents

Publication Publication Date Title
US10560726B2 (en) System and method for delivery and caching of personalized media streaming content
JP6570646B2 (ja) オーディオビデオファイルのライブストリーミング方法、システム及びサーバー
JP2018524893A (ja) メディア同期化ウェブインタラクション
WO2017063399A1 (zh) 一种视频播放方法和装置
CN110870282B (zh) 使用网络内容的文件轨处理媒体数据
US20180213301A1 (en) Media playback apparatus and method for synchronously reproducing video and audio on a web browser
WO2014201883A1 (en) Method and device for playing streaming media, and non-transitory storage medium
US20160134900A1 (en) Streaming media processing method, apparatus, and system
EP3114845A1 (en) Systems and methods for media format substitution
AU2016410930B2 (en) Online television playing method and apparatus
CN105828096B (zh) 媒体流文件的处理方法和装置
CN102055717A (zh) 快速播放的方法、终端及服务器
WO2013152580A1 (zh) 一种在线媒体数据转换的方法、播放视频方法及相应装置
JP2022524073A (ja) Httpによる動的適応ストリーミングのための方法及び装置
WO2017185601A1 (zh) 一种提供、下载视频的方法及设备
CN110113298A (zh) 数据传输方法、装置、信令服务器和计算机可读介质
CN102904891A (zh) 多媒体数据共享方法及装置、多媒体播放设备
JP6597604B2 (ja) 受信装置、送信装置、データ通信方法、およびデータ処理方法
US10547878B2 (en) Hybrid transmission protocol
CN112188256A (zh) 信息处理方法、信息提供方法、装置、电子设备及存储介质
CN106454418A (zh) 播放非hls媒体文件的方法和装置
US20170289585A1 (en) Information processing apparatus and information processing method
US11985290B2 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
CN117319692A (zh) 时移播放方法和装置、计算设备、存储介质
CN106330667A (zh) 一种微信明信片生成方法及系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216