JP2017103760A - ビデオストリームで実行される対話型アプリケーション - Google Patents

ビデオストリームで実行される対話型アプリケーション Download PDF

Info

Publication number
JP2017103760A
JP2017103760A JP2016214094A JP2016214094A JP2017103760A JP 2017103760 A JP2017103760 A JP 2017103760A JP 2016214094 A JP2016214094 A JP 2016214094A JP 2016214094 A JP2016214094 A JP 2016214094A JP 2017103760 A JP2017103760 A JP 2017103760A
Authority
JP
Japan
Prior art keywords
video
user input
user
metadata
streaming video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016214094A
Other languages
English (en)
Inventor
クオ ジュン−チャン
Jung-Chang Kuo
クオ ジュン−チャン
ヤン シェン−ラン
Sheng Lung Yang
ヤン シェン−ラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubitus Inc
Original Assignee
Ubitus Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/932,252 external-priority patent/US9635073B1/en
Application filed by Ubitus Inc filed Critical Ubitus Inc
Publication of JP2017103760A publication Critical patent/JP2017103760A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】対話型リアルタイムのメディアアプリケーション用のストリーミングビデオクリップとして、マルチメディア情報の生産と再生を提供する。
【解決手段】ネットワークに接続された２台以上のコンピューターで構成される、対話型マツチメディアアプリケーションを実行する方法であって、ビデオまたはオーディオの応答を要求するユーザー入力のモニタリング、
ビデオまたはオーディオの応答を要求する最初のユーザー入力が行われた場合、最初のユーザー入力に関連する最初に保存されたストリーミングビデオが再生され、最初に保存されたストリーミングビデオクリップに関連するメタデータの最初のセットを読み込む。ここで、メタデータの最初のセットは、２回目のユーザー入力を構成する再生イベントから成る、２回目のユーザー入力が行われると、メタデータの最初のセットで決定されたように、２回目に保存されたストリーミングビデオが再生される。
【選択図】図１

Description

本発明は、ビデオストリームで実行される対話型アプリケーションに関する。
関連出願の相互参照
この出願は２０１５年１１月４日に提出された、米国出願シリアル番号１４／９３２，２５２の一部継続出願で、全体として参照することにより本書に組み込まれる。
ゲームなどの対話型アプリケーションは、コンピューターを大量に使用する。特に、対話型マルチメディアアプリケーションなどのある種の対話型アプリケーションの場合、この計算負荷の高い主要コンポーネントはユーザー入力に応えてビデオやオーディオを生成するための必需品である。さらに、同じビデオとオーディオは定められたアプリケーションのマルチユーザーのそれぞれに対して個別に生成される必要があるため、負荷はユーザー数によって増加する。
それぞれのアプリケーションが、例えば、クラウドベースのサーバーのようなサーバーでホストされるとき、多くのサーバーで１つの結果を必要とするため、取得、アップデート、メンテナンスにコストがかかる。
ゲームなどの、コンピューターを大量に使用する対話型アプリケーションをホストするには、さらに優れたソリューションが必要となる。
本発明の実施例はマルチメディアコンピュータープログラムの出力を一連のストリーミングビデオクリップに変換し、その後インターネットデータセンター（ＩＤＣ）やコンテンツデリバリネットワーク（ＣＤＮ）で構成されるビデオストリーミングインフラストラクチャを通して全世界に配信できる。
さらに、実施例によっては、ビデオクリップが再生を容易にするためにメタデータにタグ付けされるものもある。メタデータは、例えば、識別子やトリガー情報を含むことができる。識別子は、それぞれのビデオクリップに対して一意の識別子となることができる。トリガー情報は、おそらくは現在のユーザー入力またはその他の条件に応じて、再生される次のクリップの識別子を指定できる。
一般に、本発明の実施例にはビデオクリップの生産プロセスや対話型再生プロセスが含まれる。
生産プロセスでは、ユーザー（または、一部のバリエーションでは、シミュレートされた「ロボット」ユーザー）が従来の対話型コンピュータープログラムと対話を行う。ユーザーの介入に応えて、コンピュータープログラムは生のビデオやサウンドデータを作り出す。特定のビデオやサウンドデータの生産をもたらすユーザー入力や、その他のイベントが保存される。トリガー条件に関連する特定のビデオやサウンドは、その後ストリーミングビデオクリップに変換される。クリップは、例えばＩＤ、トリガー条件や再生イベント、長さを含め、メタデータにタグ付けされる。実施例によっては、クリップがコンテンツデリバリーネットワークを介して、１つ以上の対話型アプリケーションをサポートするために、選択されたインターネットデータセンターに送られるものもある。
再生プロセスにおいて、最初のビデオクリップは、例えば、対話型ゲームの再生をサポートする具象化など、特定の実施例で再生される。最初のビデオクリップの再生の最後で（または、実施例によっては、最初のビデオクリップの再生の間いつでも）、メタデータが次のビデオクリップの再生をトリガーする１つまたは複数のトリガー条件を識別するように求められるものもある。トリガー条件を検出すると（例えば、ユーザーがある特定のボタンを押すと）、次のビデオクリップが再生される。最後のトリガー条件に基づいて最後のビデオクリップが再生されるまで、再生はこのように続く。
実施例によっては、再生はクラウドベースのストリーミングサーバーなどのサーバーで起こり、コンテンツはサーバーからユーザーにストリーミング配信されるものもある。他の実施例の場合、再生中、コンテンツはＣＤＮとＩＤＣを介してユーザーにストリーミング再生される。
本発明の実施例は、対話型リアルタイムのメディアアプリケーション用のストリーミングビデオクリップとして、マルチメディア情報の生産と再生を提供する。
図１は、本発明の１つの実施例に従って、対話型リアルタイムマルチメディアアプリケーションをサポートする、分散型クライアント−サーバーコンピューターシステム１０００のブロック図である。コンピューターシステム１０００には、１つ以上のサーバーコンピューター１０１およびコンピュータープログラム製品１３１によって構成される１つ以上のユーザーデバイス１０３が含まれる。コンピュータープログラム製品１３１は一時的または持続性コンピューター可読メディアで提供されるが、特定の実施例では、持続性コンピューター可読メディア、例えば、永続的（つまり、非揮発性）ストレージ、揮発性メモリ（例えば、ランダムアクセスメモリ）、またはさまざまなその他のよく知られた持続性コンピューター可読メディアの形で提供される。
ユーザーデバイス１０３には、中央処理装置（ＣＰＵ）１２０、メモリ１２２、ストレージ１２１が含まれる。ユーザーデバイス１０３には入出力（Ｉ／Ｏ）サブシステム（図では別々に表示されていない）（例えば、ディスプレイまたはタッチ対応ディスプレイ、キーボード、ｄパッド、トラックボール、タッチパッド、ジョイスティック、マイク、その他のユーザーインターフェイスデバイス、関連するコントローラー回路、ソフトウェアなど）が含まれる。ユーザーデバイス１０３には、メディアコンテンツを提供できる電子デバイスのタイプが含まれる。一部には、デスクトップコンピューターおよび携帯電話、スマートフォン、マルチメディアプレーヤー、電子リーダー、タブレット／タッチパッド、ノートＰＣ、またはラップトップＰＣ、スマートテレビ、スマートウォッチ、頭部装着型ディスプレイ、その他のコミュニケーションデバイスなどのポータブル電子デバイスの例が含まれる。
サーバーコンピューター１０１には中央処理装置ＣＰＵ１１０、ストレージ１１１およびメモリ１１２Ｉ／Ｏサブシステムは個別に表示されていない）が含まれる。サーバーコンピューター１０１は、例えば、ネットワーク１０２（例えば、インターネット）などのネットワークを介して、例えば、ユーザーデバイス１０３など、１台以上のクライアントコンピューターと通信するために、コンピューター製品１３１をホストできるコンピューターデバイスである。サーバーコンピューター１０１は、インターネットを介して１台以上のクライアントコンピューターと通信を行い、インターネットプロトコルスイート（ＴＣＰ／ＩＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）またはＨＴＴＰＳ、インスタントメッセージングプロトコル、またはその他のプロトコルなどのプロトコルを使用する。
メモリ１１２と１２２には、既知のコンピューターメモリデバイスが含まれる。ストレージ１１１と１２１には、既知のコンピューターストレージデバイスが含まれる。
図にはありませんが、メモリ１１２と１２２および／またはストレージ１１１と１２１にはサーバーコンピューター１０１とユーザーデバイス１０３によりそれぞれアクセス可能なデータストレージ機器［取外し可能またはポータブルな（例えば、フラッシュメモリまたは外部ハードディスクドライブ）メモリ、またはサードパーティ（例えば、クラウドストレージ）によりホストされるデータストレージなど］も含まれるが、これに限定されない。
ユーザーデバイス１０３とサーバーコンピューター１０１は、ネットワーク１０２を介してアクセスし、通信を行う。ネットワーク１０２には、広域エリアネットワーク（ＷＡＮ）およびデバイス間での通信用に使用される移動体通信ネットワークまたはその他のタイプのコンピューターネットワークを含め、有線またはワイヤレス接続が含まれる。
図の実施例で、コンピュータープログラム製品１３１は実際に、サーバー１０１とユーザーデバイス１０３でそれぞれ実行するために設定されたコンピューター製品プログラム、またはコンピュータープログラムの製品部分を表している。メモリ１１２にロードされたコンピュータープログラム製品１３１の部分は、後述する発明要件に適合する対話型ストリーミングビデオクリップを録画し再生するためにサーバー１０１を設定する。ストリーミングビデオクリップは、例えば、ＨＴＭＬ５機能を搭載したブラウザなどを介して受信ストリーミングビデオをサポートする、ユーザーデバイス１０３に再生される。
図２では、ビデオクリップを配布するために本発明の一部の実施例で利用されている、ビデオストリーミングインフラストラクチャ２０００の例を図示す。図のように、ビデオストリーミングインフラストラクチャ２０００は、コンテンツデリバリーネットワーク（ＣＤＮ）２００とインターネットデータセンター（ＩＤＣ）２１０−２６０で構成される。
メディアファイル２０１は、最初ファイルストレージ２０２に保存される。メディアファイル２０１は、その後ＣＤＮ２００からＩＤＣ２１０−２６０までを介して配布される。ファイルが配布されると、個々のＩＤＣには配布されたメディアファイルのローカルコピーができる。それぞれのローカルコピーは、メディアファイルのコピー２１１−２６１として保存される。それぞれのＩＤＣ２１０−２６０はビデオなどのストリーミングメディアをユーザーの要求に応じて、それぞれのＩＤＣの地理的近傍にいるユーザーに供給する。メディアファイルのコピー２１１−２６１は、定期的に更新される。
本発明の実施例によっては、ビデオストリーミングインフラストラクチャ２０００が、ここに開示される発明プロセスにより生成されるビデオクリップの配布に使用されるものもある。つまり、例えば、発明ビデオクリップがファイルストレージ２０２のメディアファイル２０１として保存されてから、ＣＤＮ２００を介してＩＤＣ２１０−２６０に配布され、ストリーミングビデオとしてユーザーが使用できるようになるということであある。
他の実施例では、発明ビデオクリップが、例えば、クラウドベースのサーバーなど、１つまたは複数のサーバーから、ビデオストリーミングインフラストラクチャ２０００を使用することなしに直接配布されるものもある。
図３はメタデータにタグ付けされた対話型ビデオクリップを制作し保存するための、また本発明の実施例に従って、ユーザーデバイスに対話型ビデオを配布するための、システム３０００の高レベルブロック図である。システム３０００はハードウェアモジュール、ソフトウェアモジュール、またはハードウェアとソフトウェアの組み合わせとして実現される。実施例によっては、少なくともシステム３０００の一部がサーバー１０１などのサーバーで作動するソフトウェアを構成するものもある。
図に示した実施例で、メタデータにタグ付けされた対話型ビデオクリップを生成し保存することに加えて、システム３０００は追加の関連機能を実施する。例えば、この実施例のシステム３０００は事前に格納されたビデオクリップも再生可能であるだけでなく、ビデオクリップとしてビデオを最初に保存することなしに、ユーザーの介入に応じて、ユーザーに追加でビデオをストリーミングすることができる。代わりの実施例で、これらの機能の１つ以上を単独のシステムまたは複数のシステムにより提供できる。
図３で、例えば、コンピュータープログラム３１０を対話型マルチメディアアプリケーションプログラムにすることができる。例えば、コンピュータープログラム３１０は、ゲーム用アプリケーションプログラムになり得るのである。コンピュータープログラム３１０は、プログラム入力３３０に応じてプログラム出力３２０を生成する。
実施例によっては、プログラム出力３２０が生のビデオやサウンドシステムを構成するものもある。実施例によっては、プログラム出力３２０がビデオレンダリング結果を構成するものもある。
実施例によっては、プログラム入力３３０がユーザー入力相互作用に基づいて、ユーザーがボタンを押した、リストのアイテムを選択した、コマンドを入力したなど、制御メッセージを構成するものもある。かかるユーザー入力相互作用は入力周辺機器３５０に由来することがあり、ユーザーデバイス１０３などの、ユーザーデバイスに関連する周辺機器の場合もある。特定のユーザーデバイス関連の周辺機器はジョイスティック、マウス、タッチセンサー式画面などを含むことがある。実施例によっては、入力周辺機器３５０がリモートユーザーデバイス１０３に併置され、ネットワークを介してシステムの他の要素と通信を行うことがある。「周辺機器」とラベルされているが、技術的に優れているために、周辺機器３５０などの入力デバイス／要素が、特に実施例では、ユーザーデバイス１０３から分離したり差し込まれたりする代わりに、ユーザーデバイス１０３（例えば、タッチスクリーン、ボタンなど）の一部に組み込まれている入力要素を含むことがある。
実施例によっては、入力周辺機器３５０が実際のユーザーの動作をシミュレートする入力のシーケンスを生成する「ロボット」エンティティである場合もある。そのようなロボットエンティティは、システムを「使用」するために使用でき、プログラム出力３２０の可能な多くの（またはすべての）インスタンスを生成する原因となる。このように、「使用する」システム３０００の目的は、例えば、プログラム出力３２０に関連する各ビデオクリップの１つ以上のコピーを生成し保存できるようにすることである。
アプリケーション相互作用コンテナ３４０は、コンピュータープログラム３１０を実行するために、ランタイム環境を用意している。本発明の実施例において、アプリケーション相互作用コンテナ３４０は入力周辺機器３５０で生成されたユーザー入力を検出して遮り、遮ったユーザー入力をプログラム入力３３０の形でコンピュータープログラム３１０に配信する。
アプリケーション相互作用コンテナ３４０はプログラム出力３２０として生成された生のビデオとサウンドも遮り、コンピュータープログラムビデオ処理プラットフォーム３６０のサービスを利用して、生のビデオとサウンドをストリーミングビデオ形式に変換し、データベース３９０の１つ以上のビデオセグメントまたはクリップ３７０として変換されたビデオとサウンドを保存する。各クリップは特定のトリガー条件（または再生イベント）に応じて生成されたオーディオとビデオプログラム出力を表す。ここで、可能なトリガー条件のセットが、例えば、プログラム入力３３０の特定のアイテムを構成する。実施例によっては、生のビデオとサウンドがマルチメディアコンテナ形式に変換されるものもある。実施例によっては、生のビデオとサウンドがＭＰＥＧ２トランスポートストリーム（ＭＰＥＧ２−ＴＳ）として知られている形式に変換されるものもある。
ビデオクリップ３７０が生成されると、属性３８０（ここでは「メタデータ」とも呼ばれる）のセットでもタグ付けされ、例えば、クリップＩＤ、再生イベント、長さを構成する。メタデータ３８０の属性は、データベース３９０の対応するビデオクリップ３９０と関連して保存される。保存された３７０は、将来の再生のために使用できる。保存され、タグ付けされたビデオクリップ３７０は、同じユーザーまたは異なるユーザーによって再使用されることがある。与えられたクリップ３７０は１台の共有サーバーまたはサーバーのセット上のコンピュータープログラム３１０と相互作用する数千のユーザーにより再使用される可能性がある。
例えば、次に（例えば、同じユーザーであれ異なるユーザーであれ、特定のユーザー入力の検出に基づいて）与えられた再生イベントが発生すると、そのイベントにタグ付けされた保存済みビデオクリップ３７０は再生できるようになり、対応する生のビデオとサウンドを再生成する必要がなくなる。アプリケーションによっては、コンピューターの処理能力の大幅な節約につながることがある。詳細については、再生プロセスの説明を参照のこと。
上で述べたように、図に示した実施例で、システム３０００も事前に格納されたビデオクリップを再生できる。例えば、プログラム入力３３０をもたらす入力周辺機器３５０を介したユーザーの介入に基づき、コンピュータープログラム３１０はユーザーの介入に対応するメタデータ３８０を持つ特定の事前に格納されたクリップ３７０が使用可能で、ユーザーの介入に適切に応答していると判断することがある。一致するクリップ３７０が、ストレージから取得され、例えば、ＭＰＥＧ２−ＴＳなどのマルチメディアコンテナ形式に従って、ユーザーデバイス１０３にストリーミングされる。
上でさらに詳しく述べたように、図に示した実施例で、たとえビデオがストリーミングビデオクリップシ３７０として現在保存されていなくても、システム３０００はユーザーの介入に応じてユーザーにビデオをストリーミングすることもできる。例えば、プログラム入力３３０をもたらす入力周辺機器３５０を介したユーザー入力に基づき、コンピュータープログラム３１０は特定のビデオ出力がユーザーの介入に適切に対応しているが、対応するクリップ３７０を使用できないと判断することがある。要求されたビデオは、生のビデオクリップ３２０としてコンピュータープログラム３１０により生成されることがある。アプリケーション相互作用コンテナ３４０はプログラム出力３２０を遮り、コンピュータープログラムのビデオ処理プラットフォーム３６０を利用して、例えば、ＭＰＥＧ２−ＴＳなどのマルチメディアコンテナ形式に従って、生のビデオをストリーミング形式に変換し、ストリーミングビデオをユーザーデバイス１０３に送信する。都合のよいことに、ストリーミングビデオはビデオクリップ３７０としてカプセル化して同時に録画し、適切なメタデータ３８０と連動して将来の使用に備えて保存することができる。
図４は本発明の実施例に従って、対話型ビデオクリップと関連するメタデータを制作し、保存し、再生するプロセス４０００を図で示す。実施例によっては、プロセス４０００は、例えば、ビデオクリップとして最初に保存することなく、ユーザーにビデオをストリーミングするなどの、その他の関連する機能もサポートできる。
ステップ４１０で、コンピュータープログラムはサーバー１０１などの、サーバーで起動する。例えば、サーバーはクラウドベースのサーバーになりえる。例えば、サーバーはゲームサーバーになりえる。例えば、コンピュータープログラムは、例えば、ゲームアプリケーションなどの、対話型マルチメディアアプリケーションプログラムになりえる。
ステップ４２０で、プロセスはユーザー入力をモニターする。
デシジョンボックス４３０で、ユーザー入力が検出されない場合、プロセスはステップ４２０に戻り、ユーザー入力を引き続きモニターする。ユーザー入力が検出されると、制御はデシジョンボックス４４０に移る。
デシジョンボックス４４０で、一致するメタデータ（つまり、ユーザー入力に対応するメタデータ）のあるビデオクリップが存在する場合、制御はステップ４５０に移り、事前に格納されたビデオクリップがユーザーにストリーミングされる。制御はステップ４２０に戻り、プロセスはユーザー入力を引き続きモニターする。
デシジョンボックス４４０で、一致するメタデータのある事前に格納されたクリップが見つからない場合、制御は４６０に移る。ステップ４６０で、ユーザーに応答するプログラム出力からのビデオセグメントは、ユーザーにストリーミングされる。同時に、ビデオセグメントは対応するビデオクリップの作成に備えて録画される。ステップ４７０で、録画されたビデオはストリーミング形式でビデオクリップにカプセル化される。例えば、ストリーミング形式はＭＰＥＧ２−ＴＳなどのマルチメディアコンテナ形式になりえる。
ステップ４８０で、ビデオクリップと関連するメタデータ（例えば、クリップＩＤ、再生イベントまたはトリガー、長さ）が生成される。
ステップ４９０で、ビデオクリップとそれに関連するメタデータが将来使用できるように保存される。例えば、クリップの保存されたメタデータに対応してトリガーが発生した場合、再生プロセスによりビデオクリップを将来使用できる。保存されたビデオクリップを使用することで、再生プロセスはコンピュータープログラムがビデオクリップに対応するビデオセグメントを再再生する必要性を避けることができる。
ビデオセグメントは引き続き録画され、ストリーミング形式でクリップにカプセル化され、例えばゲームが終了するまで関連するメタデータに保存される。
プロセス４０００が例えばクラウドベースのサーバーなどのサーバーで作動している場合、複数のユーザー、それもおそらくは多くのユーザーを同時に処理しているかもしれないことに留意すること。そのような場合、定められたビデオセグメントがすでに録画され、プロセス４０００で前のユーザーの介入の間に対応するメタデータ３８０を持つビデオクリップ３７０として、カプセル化され保存されている可能性は大いにありえる。そのような場合、対応するセグメントを再び録画する必要はない。むしろ、一意のＩＤを含むことができるメタデータに基づき、以前保存されたクリップのセットから、ビデオクリップを復旧することができる。
図５では、本発明の実施例に従い、再生プロセスで使用されたビデオクリップと関連するメタデータのグラフ構造セット５０００を一例として示している。これらのクリップは、例えば、図３のシステム３０００により、および／または図４のプロセス４０００により生成されたビデオクリップ３７０と関連するメタデータ３８０の可能性がある。再生プロセスで、ビデオクリップ３７０はサーバーコンピューター１０１などのサーバー、またはＩＤＣ２１０など、インターネットデータセンターに関連するサーバーからストリーミングされる。ビデオクリップ３７０は、ＨＴＭＬ５をサポートするブラウザなど、適切な機能が装備された、ユーザーデバイス１０３などのユーザーデバイスで受け取られ表示される。
それぞれの対話型マルチメディアアプリケーションまたはアプリケーションの部分は、ビデオクリップセット５０００に似た再生ビデオクリップセット（「メタデータ再生リスト」とも呼ばれる）に関連付けられていることもある。例えば、マルチメディアレベルの各レベルが独自のメタデータ再生リストを持っている場合もある。上で説明したように、アプリケーションが実際のまたは「ロボット」ユーザー入力に応えて実行されるときに、各ビデオクリップ３７０に関連するメタデータが記憶される。それ故、メタデータ５０００も同時に記憶される。その理由は、特定のアプリケーションまたはアプリケーションの部分の場合、メタデータ再生リストがメタデータ３８０に従ってリンクされたビデオクリップ３７０のコレクションだからである。
図５の例で、ビデオクリップはそれぞれＩＤを持つ円によって表されている。例えば、ビデオクリップ５１０にはＩＤ＝Ａというラベルが付いています。矢印は「再生イベント」または再生プロセス５０００が矢印の方向に移動する原因となるトリガー条件を表している。例えば、ビデオクリップ５２０の再生中にボタンＸを押すと、ビデオクリップ５２０の再生が停止し、ビデオクリップ５３０の再生が始まる。他方、ビデオクリップ５２０の再生中に「アイテム２」が押されると、プロセスは代わりにビデオクリップ５４０に移行する。ビデオクリップ５３０の再生中にボタンＹを押すと、プロセスはビデオクリップ５５０に移行しそのクリップを再生する。また、ビデオクリップ５４０の再生中にボタンＹを押すと、プロセスはビデオクリップ５５０に移行しそのクリップを再生する。ビデオクリップ５４０の再生中にユーザーが「ターゲットＺ」にスワイプすると、プロセスは最後に移動し、ビデオクリップ５６０の再生を開始する。ビデオクリップ５６０と５５０のいずれかを再生中にマイク（「ＭＩＣ」）からオーディオコマンド“ｓｕｂｍｉｔ”を受け取ると、プロセスはビデオクリップ５７０に移動してそのビデオクリップの再生を開始する。図のトリガーは少し違っているが、ビデオ５１０が再生を終えると、プロセスはＡ’というラベルの付いたビデオクリップ、つまりビデオクリップ５２０に自動的に進める。
ビデオクリップの再生がスムーズになるように、オプションでキャッシュメカニズムを使用できる。
本発明の実施例によっては、サーバーからユーザーデバイスに配信されるビデオに事前に計算されたビデオ（保存され再生されたビデオクリップ）とリアルタイムで生成されたビデオストリーム（メタデータのあるビデオクリップとしてまた保存されていないビデオ）が入り混じっていることがある。
上の説明では、ＭＰＥＧ２−ＴＳなどのストリーミングマルチメディアコンテナ形式が参照される。本発明の実施例はＭＰＥＧ２−ＴＳに限定されず、３ＧＰ、ＡＳＦ、ＡＶＩ、ＤＶＲ−ＭＳ、Ｆｌａｓｈ Ｖｉｄｅｏ（ＦＬＶ、Ｆ４Ｖ）、ＩＦＦ、Ｍａｔｒｏｓｋａ（ＭＫＶ）、ＭＪ２、ＱｕｉｃｋＴｉｍｅ Ｆｉｌｅ Ｆｏｒｍａｔ、ＭＰＥＧプログラムストリーム、ＭＰ４、Ｏｇｇ、ＲＭ（ＲｅａｌＭｅｄｉａコンテナ）などを含め、幅広いストリーミングコンテナ形式を使用できることを理解する必要がある。標準化されたコンテナ形式なしに作動する実施例も、考慮される。
上でいくつかの実施例を説明してきましたが、技術的に優れている人は、本発明のスクリプトと範囲から離れることなしに、多くの修正とバリエーションが可能であることを理解できるはずである。従って、そのような修正とバリエーションは、請求項に係る発明の範囲内に含めることを目的としている。
本発明の１つの実施例に従って対話型リアルタイムマルチメディアアプリケーションをサポートする、分散型クライアント−サーバーコンピューターシステムのブロック図である。 ビデオクリップを配信するために本発明の実施例により利用されている、コンテンツデリバリネットワーク（ＣＤＮ）と複数のインターネットデータセンター（ＩＤＣ）から成る、ビデオストリーミングインフラストラクチャのブロック図である。 本発明の実施例に従って、対話型ビデオクリップ生産と再生システムを描く図である。 本発明の実施例に従った、ビデオクリップ生産と再生プロセスのフロー図である。 本発明の実施例に従って、ビデオクリップのグラフ構造化されたセットを描く。
１０００分散型クライアント−サーバーコンピューターシステム
１０１サーバーコンピューター
１０２ネットワーク
１０３ユーザーデバイス
１１０中央処理装置ＣＰＵ
１１１ストレージ
１１２メモリ
１２０中央処理装置（ＣＰＵ）
１２１ストレージ
１２２メモリ
１３１コンピュータープログラム製品
２０００ビデオストリーミングインフラストラクチャ
２００コンテンツデリバリーネットワーク（ＣＤＮ）
２０１メディアファイル
２０２ファイルストレージ
２１０−２６０ＩＤＣ
２１１−２６１メディアファイルのコピー
３０００システム
３１０コンピュータープログラム
３２０プログラム出力
３３０プログラム入力
３４０アプリケーション相互作用コンテナ
３５０入力周辺機器
３６０コンピュータープログラムビデオ処理プラットフォーム
３７０ビデオセグメントまたはクリップ
３８０メタデータ
３９０データベース
４１０−４９０ステップ
５０００ビデオクリップセット
５１０ビデオクリップ
５２０ビデオクリップ
５３０ビデオクリップ
５４０ビデオクリップ
５５０ビデオクリップ
５６０ビデオクリップ
５７０ビデオクリップ

Claims (20)

  1. ネットワークに接続された１台以上のコンピューターで構成される、対話型マツチメディアアプリケーションを実行する方法であって
    ビデオまたはオーディオの応答を要求するユーザー入力のモニタリング、
    ビデオまたはオーディオの応答を要求する最初のユーザー入力が行われた場合、最初のユーザー入力に関連する最初に保存されたストリーミングビデオが再生される、
    最初に保存されたストリーミングビデオクリップに関連するメタデータの最初のセットを読み込むが、ここでメタデータの最初のセットは２回目のユーザー入力を構成する再生イベントから成る、
    ２回目のユーザー入力が行われると、メタデータの最初のセットで決定されたように、２回目に保存されたストリーミングビデオが再生される。
  2. 請求項１に記載の方法であって、最初と２回目のストリーミングビデオクリップがネットワークに接続されたユーザーデバイスにストリーミングされる。
  3. 請求１の方法では、最初と２回目のストリーミングビデオクリップは、コンテンツデリバリーネットワーク（ＣＤＮ）に接続されたインターネットデータセンター（ＩＤＣ）のサーバーによって、ストリーミングされる。
  4. 請求項１に記載の方法であって、さらに以下を含む：
    ３回目のユーザー入力が行われる、
    ３回目のユーザー入力が事前に保存されたビデオクリップに対応しない、
    ３回目のユーザー入力に基づき、ユーザーにビデオセグメントをストリーミングする、
    ３回目に保存されたビデオクリップとして、少なくとも３回目のユーザー入力の一部に基づいて、ビデオセグメントを保存する。
  5. 請求項１に記載の方法であって、最初と２回目のユーザー入力がリモートユーザー入力に由来する。
  6. 請求項１に記載の方法であって、最初と２回目のユーザー入力がシミュレートされた（「ロボット」）エンティティに由来する。
  7. 請求項１に記載の方法であって、最初と２回目のストリーミングビデオクリップが実質上ＭＰＥＧ２−ＴＳに従ってフォーマットされます。
  8. 請求項４に記載の方法であって、さらに以下を含む：
    ３回目に保存されたストリーミングビデオクリップがそれぞれのユーザーによって提供されたユーザー入力に基づき、数え消えないほど様々なユーザーに再生されます。
  9. 対話型マルチメディアアプリケーションで使用するための、ビデオを製造する方法は、以下で構成される：
    サーバーに対話型マルチメディアアプリケーションプログラムを起動する、
    ユーザー入力のモニタリング、
    最初のユーザーから最初のユーザー入力を削除するときに、最初のユーザー入力に対応するメタデータを持つ、事前に保存されたストリーミングビデオを検索する。
  10. 請求項９に記載の方法であって、さらに以下を含む：
    最初のユーザー入力に対応するメタデータを持つ、事前に保存されたストリーミングビデオクリップを識別する、
    最初のユーザーに識別されたストリーミングビデオをストリーミングする。
  11. 請求項９に記載の方法であって、さらに以下を含む：
    最初のユーザーに対応するメタデータを持つ事前に保存されたストリーミングビデオクリップが存在しないことを検出する、
    マルチメディアアプリケーションプログラムの出力から、最初のユーザーにビデオをストリーミングする、
    マルチメディアアプリケーションプログラムの出力からストリーミングビデオクリップに、ビデオをカプセル化する、
    関連したメタデータに連動してカプセル化されたビデオを保存する。
  12. 請求項１１に記載の方法であって、ストリーミングビデオクリップがマルチメディアコンテナ形式に従ってカプセル化される。
  13. 請求項１２に記載の方法であって、マルチメディアコンテナ形式はＭＰＥＧ２−ＴＳである。
  14. 請求項９に記載の方法であって、最初のユーザー入力がリモートユーザーデバイスに由来する。
  15. 請求項９に記載の方法であって、最初のユーザー入力がシミュレートされた（「ロボット」）エンティティに由来する。
  16. 請求項１１に記載の方法であって、保存されたストリーミングビデオクリップが回復され、少なくとも２人の異なるユーザーにビデオを配信する。
  17. 対話型マルチメディアアプリケーションで使用するためのビデオやオーディオを生成するための装置であって、
    コンピュータープログラムのビデオ処理プラットフォームに接続されたアプリケーション対話型コンテナであって、、前記アプリケーション対話型コンテナは次を含む：
    コンピュータープログラムのためのリアルタイム環境、
    プログラム入力遮断モジュール、
    プログラム出力遮断モジュールでは、
    リアルタイム環境で作動するコンピュータープログラムとして、プログラム入力遮断モジュールによって検出されたプログラム入力に基づき、プログラム出力遮断モジュールがビデオとオーディオ出力を遮り、ビデオとオーディオ出力を分割するが、ここでは分割されたビデオとオーディオ出力をコンピュータープログラムビデオ処理プラットフォームに配信し、分割されたビデオとオーディオ出力がストリーミング形式に変換され、少なくともプログラム入力の一部に基づいて関連するメタデータと連動して、ストリーミングビデオクリップとして保存される。
  18. 請求項１７に記載の装置であって、ストリーミング形式が実質的にＭＰＥＧ２−ＴＳに遵守している。
  19. 請求項１７に記載の装置であって、メタデータにクリップＩＤが含まれる。
  20. コンピュータープロセッサーによって実行される装置を含む持続性コンピューター可読メディアのコンピュータープログラム製品であって、
    ビデオまたはオーディオ応答を必要とする、ユーザー入力のモニター、
    ビデオまたはオーディオ応答を必要とする最初のユーザー入力が行われたら、最初のユーザー入力に関連する最初に保存されたストリーミングビデオクリップを再生する、
    最初に保存されたストリーミングビデオクリップに関連する、メタデータの最初のセットを読み込むが、ここで、メタデータの最初のセットは２回目のユーザー入力から成る再生イベントを構成する、
    ２回目のユーザー入力が行われると、メタデータの最初のセットによって決定されたように、２回目に保存されたストリーミングビデオクリップを再生する。
JP2016214094A 2015-11-04 2016-11-01 ビデオストリームで実行される対話型アプリケーション Pending JP2017103760A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/932,252 US9635073B1 (en) 2015-11-04 2015-11-04 Interactive applications implemented in video streams
US14/932,252 2015-11-04
US15/095,987 2016-04-11
US15/095,987 US20170127150A1 (en) 2015-11-04 2016-04-11 Interactive applications implemented in video streams

Publications (1)

Publication Number Publication Date
JP2017103760A true JP2017103760A (ja) 2017-06-08

Family

ID=58637598

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016214094A Pending JP2017103760A (ja) 2015-11-04 2016-11-01 ビデオストリームで実行される対話型アプリケーション
JP2016214103A Pending JP2017098948A (ja) 2015-11-04 2016-11-01 ビデオストリームで実行される対話型アプリケーション

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016214103A Pending JP2017098948A (ja) 2015-11-04 2016-11-01 ビデオストリームで実行される対話型アプリケーション

Country Status (4)

Country Link
US (1) US20170127150A1 (ja)
JP (2) JP2017103760A (ja)
CN (2) CN106658211A (ja)
TW (2) TW201720175A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139732B (zh) * 2016-11-10 2023-04-04 华纳兄弟娱乐公司 具有环境控制特征的社交机器人
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US11212431B2 (en) 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
JP7278850B2 (ja) * 2018-05-04 2023-05-22 株式会社ユビタス ビデオランダムアクセスメモリにおけるマルチソースメディアをオーバーレイするシステム及び方法
CN109951743A (zh) * 2019-03-29 2019-06-28 上海哔哩哔哩科技有限公司 弹幕信息处理方法、系统及计算机设备
US11438672B2 (en) * 2019-10-14 2022-09-06 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
CN111632373B (zh) * 2020-05-30 2021-05-28 腾讯科技（深圳）有限公司 一种启动游戏的方法、装置及计算机可读存储介质
CN114339109A (zh) * 2021-12-24 2022-04-12 中电福富信息科技有限公司 一种基于跨存储资源跨网络跨文件的录像级联方法
CN115509671B (zh) * 2022-11-21 2023-12-05 北京世纪好未来教育科技有限公司 互动课件播放方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519492A (ja) * 2004-10-29 2008-06-05 イーエイティー．ティーブイ、インコーポレイテッド ビデオベースインタラクティブアプリケーションを可能にするためのシステム
JP2008535622A (ja) * 2005-04-11 2008-09-04 タグ ネットワークス，インコーポレイテッド マルチプレーヤビデオゲームシステム
JP2009516977A (ja) * 2005-11-23 2009-04-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像再生のための方法及び装置
JP2012004645A (ja) * 2010-06-14 2012-01-05 Nec Corp ３ｄコンテンツ配信システム、３ｄコンテンツ配信方法および３ｄコンテンツ配信プログラム
JP2014131276A (ja) * 2012-12-27 2014-07-10 Sony Computer Entertainment America Llc クラウド供給されたゲームのビデオクリップを生成および共有するためのシステムおよび方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020027382A (ko) * 2000-05-03 2002-04-13 요트.게.아. 롤페즈 콘텐트 정보의 의미론에 따른 음성 명령
CN101231871B (zh) * 2003-02-28 2013-11-20 松下电器产业株式会社 记录介质、再现装置、记录方法、程序和再现方法
US8683535B2 (en) * 2004-03-26 2014-03-25 Broadcom Corporation Fast channel change
US8842175B2 (en) * 2004-03-26 2014-09-23 Broadcom Corporation Anticipatory video signal reception and processing
US8613024B2 (en) * 2005-12-13 2013-12-17 United Video Properties, Inc. Cross-platform predictive popularity ratings for use in interactive television applications
US7873982B2 (en) * 2006-06-22 2011-01-18 Tivo Inc. Method and apparatus for creating and viewing customized multimedia segments
JP4008951B2 (ja) * 2006-12-04 2007-11-14 株式会社東芝 メタデータストリームを再生するための装置及びプログラム
US8631453B2 (en) * 2008-10-02 2014-01-14 Sony Corporation Video branching
TW201025110A (en) * 2008-12-17 2010-07-01 Novafora Inc Method and apparatus for generation, distribution and display of interactive video content
US9124631B2 (en) * 2009-05-08 2015-09-01 Google Inc. Content syndication in web-based media via ad tagging
EP2290982A1 (en) * 2009-08-25 2011-03-02 Alcatel Lucent Method for interactive delivery of multimedia content, content production entity and server entity for realizing such a method
JP5577415B2 (ja) * 2010-02-22 2014-08-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
JP5488180B2 (ja) * 2010-04-30 2014-05-14 ソニー株式会社 コンテンツ再生装置、制御情報提供サーバ、及びコンテンツ再生システム
MX2013003406A (es) * 2010-10-01 2013-05-09 Sony Corp Dispositivo de procesamiento de la informacion, metodo de procesamiento de la informacion y programa.
US8665345B2 (en) * 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
US9792955B2 (en) * 2011-11-14 2017-10-17 Apple Inc. Automatic generation of multi-camera media clips
JP2013140542A (ja) * 2012-01-06 2013-07-18 Toshiba Tec Corp 情報表示装置、情報配信装置およびプログラム
EP2658271A1 (en) * 2012-04-23 2013-10-30 Thomson Licensing Peer-assisted video distribution
US9152220B2 (en) * 2012-06-29 2015-10-06 International Business Machines Corporation Incremental preparation of videos for delivery
CN103581731B (zh) * 2012-07-18 2018-01-19 阿里巴巴集团控股有限公司 视频信息获取的方法及客户端、服务器
US8948568B2 (en) * 2012-07-31 2015-02-03 Google Inc. Customized video
EP2775731A1 (en) * 2013-03-05 2014-09-10 British Telecommunications public limited company Provision of video data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519492A (ja) * 2004-10-29 2008-06-05 イーエイティー．ティーブイ、インコーポレイテッド ビデオベースインタラクティブアプリケーションを可能にするためのシステム
JP2008535622A (ja) * 2005-04-11 2008-09-04 タグ ネットワークス，インコーポレイテッド マルチプレーヤビデオゲームシステム
JP2009516977A (ja) * 2005-11-23 2009-04-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 映像再生のための方法及び装置
JP2012004645A (ja) * 2010-06-14 2012-01-05 Nec Corp ３ｄコンテンツ配信システム、３ｄコンテンツ配信方法および３ｄコンテンツ配信プログラム
JP2014131276A (ja) * 2012-12-27 2014-07-10 Sony Computer Entertainment America Llc クラウド供給されたゲームのビデオクリップを生成および共有するためのシステムおよび方法

Also Published As

Publication number Publication date
TW201720175A (zh) 2017-06-01
TW201719393A (zh) 2017-06-01
JP2017098948A (ja) 2017-06-01
CN106658211A (zh) 2017-05-10
US20170127150A1 (en) 2017-05-04
CN106657257A (zh) 2017-05-10
CN106657257B (zh) 2020-09-29
TWI634482B (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
JP2017103760A (ja) ビデオストリームで実行される対話型アプリケーション
US9635073B1 (en) Interactive applications implemented in video streams
US9473548B1 (en) Latency reduction in streamed content consumption
US10387626B2 (en) Rights and capability-inclusive content selection and delivery
US8918645B2 (en) Content selection and delivery for random devices
US8886710B2 (en) Resuming content across devices and formats
US20200267195A1 (en) Closed network video presentation
US20150088966A1 (en) Service activity user interface
US20220078492A1 (en) Interactive service processing method and system, device, and storage medium
WO2017080168A1 (zh) 视频审核的方法及系统
CN102298947A (zh) 一种用于在多媒体播放器间进行播放切换的方法与设备
CN113424553A (zh) 用于响应于用户选择而推进交互式媒体项目的重放的技术
US9912746B2 (en) Content distribution system
US20180288484A1 (en) Virtual high definition video player
CN110832871B (zh) 一种用于将用户产生的内容实时合并到广播媒体流中的方法、服务器系统及计算机可读介质
US9215267B2 (en) Adaptive streaming for content playback
JP2015504633A (ja) マルチメディア資産を表示する方法、関連するシステム、メディアクライアント、および関連するメディアサーバ
WO2019174510A1 (zh) 视频处理系统、方法、装置及设备
JP2015232916A (ja) 操作記録装置、操作記録再生システム、及びプログラム
US11870830B1 (en) Embedded streaming content management
US20240022774A1 (en) Smart automatic skip mode
US9167040B2 (en) Closed network presentation with external router
KR20220051677A (ko) 콘텐츠 재생 방법 및 시스템
US10387537B1 (en) Presentation of introductory content
KR101537842B1 (ko) 툴바를 통해 웹사이트에서 추출한 동영상을 인코딩, 저장하는 방법 및 클라우드 서비스

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180731