JP7169335B2 - 非線形コンテンツ提示及び経験 - Google Patents

非線形コンテンツ提示及び経験 Download PDF

Info

Publication number
JP7169335B2
JP7169335B2 JP2020501335A JP2020501335A JP7169335B2 JP 7169335 B2 JP7169335 B2 JP 7169335B2 JP 2020501335 A JP2020501335 A JP 2020501335A JP 2020501335 A JP2020501335 A JP 2020501335A JP 7169335 B2 JP7169335 B2 JP 7169335B2
Authority
JP
Japan
Prior art keywords
stream
user device
identified event
identified
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020501335A
Other languages
English (en)
Other versions
JP2020527896A (ja
Inventor
マー、マット
ナタニー、リピン
ベンガーレッカー、ハーシャンク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Publication of JP2020527896A publication Critical patent/JP2020527896A/ja
Application granted granted Critical
Publication of JP7169335B2 publication Critical patent/JP7169335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1086In-session procedures session scope modification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Description

本技術は、コンテンツ提示、特に、非線形コンテンツ提示及び経験に関する。
コンテンツを消費するために現在利用可能な方法は概して、線形方式で行われる。そのような線形コンテンツ消費は、ユーザデバイススクリーン上で再生されるにようにコンテンツを鑑賞することを含むことがある。特定の事前に記録されたコンテンツ(例えば、DVD)は、特定の章にジャンプすることを可能にすることができる。そのような章は、要約と関連付けられることがあり、各々の章の開始は概して、イベントの発生以外の予め定義された時間分に基づいていることがある。巻き戻しまたは早送りするために特定のオプションが利用可能であるが、コンテンツ内で発生した特定のイベントにジャンプする方法が現在存在しない。
イベントは、コンテンツストリーム内で表示または再生されるいずれかである場合があり、重要であり得る。例えば、特定のスコアリングイベントは、スポーツ競技が、特に、アクロバティックな、幸運な、またはそうでない場合、感動的な、関心がある、もしくは通常でない方式で実行される場合に重要であることがある。ライブ提示の間、そのようなイベントは、予想可能でないことがあり、予想可能でない時に発生することがある。それにも関わらず、ユーザまたは視聴者は、特に、イベントが競技の最終的な結果に重大である場合、そのようなイベントをできるだけ早く鑑賞することを望むことがある。
そのような欠落は、リアルタイムで行われるスポーツイベントの放送などのリアルタイムコンテンツで更に悪化する。多くのスポーツイベントは、少なくとも部分的に同時に再生される。例えば、複数のNFLフットボールゲームは、フットボールシーズンの間のいずれかの所与の日曜日に再生される。したがって、ユーザが複数のスクリーンなしに各々のゲームをリアルタイムで鑑賞することは困難であることがある。したがって、複数の同時ゲームに関心があるユーザは、後に鑑賞するために1つ以上のゲームを記録する必要があることがある。そのような記録及び後続の鑑賞は、ユーザがイベントに関連するリアルタイムの議論及びインタラクションにほぼリアルタイムで参加することが可能なように、イベントが行われるとすぐに(または、すぐ後に)イベントを経験することを可能にしない。
したがって、非線形コンテンツ提示及び経験のシステム及び方法についての必要性が本分野において存在する。
本発明の実施形態は、非線形コンテンツ提示及び経験を含む。コンテンツの複数のリアルタイムストリームは、通信ネットワークを通じて受信されてもよい。ストリームのうちの少なくとも1つは、リアルタイムで再生されるようにユーザデバイスにリアルタイムで提供されてもよい。少なくとも1つの他のストリームは、イベントが評価されたストリーム内で発生するときを検出するようにリアルタイムで評価されてもよい。ユーザデバイスは、イベントが評価されたストリームにおいて検出されるときに通知を送信されてもよい。そのような通知は、ユーザデバイスにおいて再生される提供されたストリームの一部の上でオーバレイされてもよい。評価されたストリームにおける検出されたイベントにジャンプすることに関する要求が、ユーザデバイスから受信されてもよい。評価されたストリームは次いで、検出されたイベントの前のポイントにおいてユーザデバイスに提供されてもよい。
様々な実施形態は、非線形コンテンツ提示及び経験のためのシステムを含んでもよい。そのようなシステムは、通信ネットワークを通じて送信されたコンテンツの複数のリアルタイムストリームを受信して、提供されたストリームを再生するユーザデバイスにストリームのうちの少なくとも1つをリアルタイムで提供するように、通信ネットワークを通じて通信する通信インタフェースを含んでもよい。そのようなシステムは更に、少なくとも1つの他のストリームをリアルタイムで評価して、イベントが評価されたストリーム内で発生するときを検出する命令を実行するプロセッサを含んでもよい。通信インタフェースは次いで、イベントが評価されたストリームにおいて検出されるときにユーザデバイスに通知を送信してもよい。通知は、評価されたストリームにおける検出されたイベントにジャンプすることを要求することができる、ユーザデバイスにおいて再生される提供されたストリームの一部の上でオーバレイされてもよい。通信インタフェースは次いで、検出されたイベントの前のポイントにおいて、ユーザデバイスに評価されたストリームを提供してもよい。
追加の実施形態は、非線形コンテンツ提示及び経験のための方法を含んでもよい。そのような方法は、通信ネットワークを通じて送信されたコンテンツの複数のリアルタイムストリームを受信することと、リアルタイムで再生するように、ユーザデバイスにストリームのうちの少なくとも1つを提供することと、少なくとも1つの他のストリームをリアルタイムで評価して、イベントが評価されたストリーム内で発生するときを検出することと、イベントが評価されたストリームにおいて検出されるときにユーザデバイスに通知を送信することであって、通知は、ユーザデバイスにおいて再生される提供されたストリームの一部の上でオーバレイされる、送信することと、評価されたストリームにおいて検出されたイベントにジャンプすることに関する要求をユーザデバイスから受信することと、検出されたイベントの前のポイントにおいて、ユーザデバイスに評価されたストリームを提供することと、を含んでもよい。
更なる実施形態は、上記説明された非線形コンテンツ提示及び経験のための方法を実行するようにプロセッサによって実行可能な、具体化されたプログラムを有する非一時的コンピュータ可読記憶媒体を含む。
非線形コンテンツ提示及び経験のためのシステムが実装されることができるネットワーク環境を例示する。
非線形コンテンツ提示及び経験のための例示的な方法を例示するフローチャートである。
非線形コンテンツ提示及び経験において使用されることができる例示的な電子エンターテインメントシステムである。
本発明の実施形態は、非線形コンテンツ提示及び経験を含む。コンテンツの複数のリアルタイムストリームは、通信ネットワークを通じて受信されてもよい。ストリームのうちの少なくとも1つは、リアルタイムで再生されるようにユーザデバイスにリアルタイムで提供されてもよい。評価されたストリーム内でイベントが発生するときを検出するように、少なくとも1つの他のストリームがリアルタイムで評価されてもよい。イベントが評価されたストリームで検出されるとき、ユーザデバイスは、通知が送信されてもよい。そのような通知は、ユーザデバイスにおいて再生される、提供されたストリームの一部の上でオーバレイされてもよい。評価されたストリームにおいて検出されたイベントにジャンプすることに関する要求が、ユーザデバイスから受信されてもよい。評価されたストリームは次いで、検出されたイベントの前のポイントにおいてユーザデバイスに提供されてもよい。
図1は、非線形コンテンツ提示及び経験のためのシステムが実装されることができるネットワーク環境100を例示する。ネットワーク環境100は、配信のための(例えば、1つ以上のビデオオンデマンド(VOD)サービスを介して)ストリーミングコンテンツ(例えば、ビデオ)を提供する1つ以上のコンテンツソースサーバ110、1つ以上のコンテンツプロバイダサーバアプリケーションプログラムインタフェース(API)120、コンテンツ配信ネットワークサーバ130、バックエンドサービスレイヤ140、及び1つ以上のクライアントデバイス150を含んでもよい。
コンテンツソースサーバ110は、ストリーミングに対して利用可能なメディアタイトルを維持及び提供してもよい。そのようなメディアタイトルは、事前に記録されたコンテンツ(例えば、DVRコンテンツ)のみでなく、ライブ放送(例えば、ライブスポーツイベント、ライブeスポーツイベント、放送プレミア)のストリームをも含んでもよい。コンテンツソースサーバ110は、そのコンテンツをストリーミングされるように利用可能にするいずれかのコンテンツプロバイダと関連付けられてもよい。
コンテンツソースサーバ110からのストリーミングコンテンツは、コンテンツプロバイダサーバAPI120を通じて提供されてもよく、コンテンツプロバイダサーバAPI120は、様々なタイプのコンテンツソースサーバ110がバックエンドサービスレイヤ140を通信することを可能にする。コンテンツプロバイダサーバAPI120は、ストリーミングコンテンツを提供するコンテンツソースサーバ110の特定の言語、オペレーティングシステム、プロトコルなどに特有であってもよい。複数の異なるタイプのコンテンツソースサーバ110を含むネットワーク環境100では、同様に、対応する数のコンテンツプロバイダサーバAPI120が存在してもよい。
したがって、コンテンツプロバイダサーバAPI120は、コンテンツソースサーバ110によってホストされたコンテンツへのクライアントデバイス150の各々のアクセスを促進する。アクセスされたコンテンツに関する、メタデータなどの追加の情報も、コンテンツプロバイダサーバAPI120によってクライアントデバイス150に提供されることができる。以下で説明されるように、クライアントデバイス150にストリーミングされているコンテンツに関する詳細を提供するために、追加の情報(すなわち、メタデータ)が使用可能となることができる。最終的に、チャットサービス、評価、及びプロファイルなどのアクセスされたコンテンツと関連付けられた追加のサービスも、コンテンツプロバイダサーバAPI120を介してコンテンツソースサーバ110からクライアントデバイス150に提供されることができる。
コンテンツプロバイダサーバAPI120は、コンテンツ配信ネットワークサーバ130によってアクセスされることができる。コンテンツ配信ネットワークサーバ130は、クライアントデバイス150による販促イメージ及びサービス構成を含む、ストリーミングメディアに関連するリソース及びファイルを提供するサーバを含んでもよい。コンテンツ配信ネットワークサーバ130も、特定のコンテンツをストリーミングし、または特定のコンテンツにサブスクライブするように要求するクライアントデバイス150によって呼び出されることができる。
クライアントデバイス150に対する利用可能なストリーミングコンテンツに関する情報を取得するために、コンテンツプロバイダサーバAPI120は、バックエンドサービスレイヤ140によってアクセスされてもよい。以下で説明されるように、コンテンツに関する追加の情報は、利用可能なコンテンツを記述したメタデータ(例えば、著者、タイトル、ジャンルによって)を含んでもよい。情報はまた、ユーザデバイスがコンテンツソースサーバ110からコンテンツを取り出すことを進めることができるように、コンテンツが記憶された位置(例えば、URL)を含んでもよい。更に、(例えば、著者、タイトル、ジャンル)120は、異なるクライアントデバイス150が相互にインタラクションすることを可能にする機能性(例えば、チャット)を実装するための命令を含んでもよい。そのような命令は、クライアントデバイス150に特定の機能性を提供するためにバックエンドサービスレイヤ140によって使用されてもよい。
クライアントデバイス150にそのコンテンツを提供するために、バックエンドサービスレイヤ140は、異なるコンテンツソースサーバ110を通信することを担当してもよい。バックエンドサービスレイヤ140は、例えば、クライアントデバイス150上で再生可能となるように、メディアタイトルのフォーマットを識別すること、及びメディアタイトルをフォーマットするための命令を実行してもよい。そのようなフォーマットすることは、コンテンツソースサーバ110において1つのフォーマットで記憶されたデータが、異なるフォーマットを必要とすることがあるクライアントデバイス150上でレンダリング及び表示されることができるように、コンテンツの各々と関連付けられたメタデータを識別して次に様々な異なるタイプの変換技術を使用することを含んでもよい。そのようにして、異なるフォーマットのメディアタイトルは、バックエンドサービスレイヤ140を介してクライアントデバイス150に提供されてもよく、クライアントデバイス150と互換性を有するようにされてもよい。
クライアントデバイス150は、複数の異なるタイプのコンピューティングデバイスを含んでもよい。例えば、クライアントデバイス150は、いずれかの数の異なるゲームコンソール、モバイルデバイス、ラップトップ、及びデスクトップを含んでもよい。そのようなクライアントデバイス150はまた、以下に限定されないが、ダウンロードされたサービスのケースで適切であることができるように、メモリカードまたはディスクドライブなどの他の記憶媒体からのデータにアクセスするように構成されてもよい。そのようなデバイス150は、以下に限定されないが、ネットワーク及びメディアインタフェース、非一時的コンピュータ可読記憶装置(メモリ)、並びにメモリに記憶されてもよい命令を実行するためのプロセッサなどの標準的なハードウェアコンピューティングコンポーネントを含んでもよい。それらのクライアントデバイス150はまた、様々な異なるオペレーティングシステム(例えば、iOS、Android(登録商標))、アプリケーション、またはコンピューティング言語(例えば、C++、Java(登録商標)Script)を使用して稼働してもよい。例示的なクライアントデバイス150は、図3に関して本明細書で詳細に説明される。
非線形コンテンツ提示及び経験の例示的な実装態様では、コンテンツソースサーバ110は、コンテンツプロバイダサーバAPI120を通じてバックエンドサービスレイヤ140及びクライアントデバイス150にリアルタイムストリーム(例えば、異なるライブスポーツ競技)を提供してもよく、バックエンドサービスレイヤ140及びクライアントデバイス150は、ストリームのうちの1つを再生してもよい。その間、バックエンドサービスレイヤ140は、イベントがそれぞれのストリーム内で発生するにつれて、イベント(例えば、タッチダウンまたは他のタイプのスコアリングイベント)を検出するように他のストリームをリアルタイムで評価していてもよい。
そのようなイベントの検出は、様々な因子に基づいてもよい。いくつかの因子は、コンテンツストリーム自体の分析から直接導出されてもよい。例えば、特定の視覚または音声パラメータが検出されてもよい。スポーツ競技についての視覚キューは、スコアの変化(特に、スコアの変化が主な変化をもたらす場合)、時計、放送者による再生などを個々にまたは他の因子との組み合わせを含んでもよい。したがって、そのような視覚キューの分析は、文字及び数字、ビデオ分析、並びに前の画像及びビデオとの比較を認識する画像分析を伴ってもよい。
音声分析は、聴衆のサウンド(例えば、応援、罵声、突然の沈黙)またはコメンテータによるコメントを分析することを含んでもよい。そのようなコメンテータは、評価されるコンテンツストリームの一部であってもよく、またはコメントは、評価されたストリームと関連付けられてもよい別のストリームからであってもよい。したがって、音声分析は、発言の内容を識別することのみでなく、タイミング、トーン、ボリューム、及び発言の内容への変更を含む発言の内容の様々なパラメータを識別することをも伴ってもよい。
したがって、そのような音声因子と共に、評価されたストリームと関連付けられた書き込まれたコンテンツに自然言語処理が適用されてもよい。そのような書き込まれたコンテンツは、評価されたストリームと関連付けられたマイクロブログ及びソーシャルメディアフィードを含んでもよい。そのような関連付けは、ハッシュタグ、キーワード、指定されたアカウント/ページ、ソーシャル接続/フォロワーなどに基づいて識別されてもよい。生成されるコンテンツの意味、及びそのような意味が評価されたストリームに関して何を示すかを導出するために自然言語処理が使用されてもよい。
自然言語処理と関連して、上述したパラメータのいずれかにセンチメント分析が適用されてもよい。例えば、重要なイベントへの反応を識別するために、観衆のノイズ、コメンテータによるコメント、ソーシャルメディア投稿、関連するハッシュタグなどの分析が分析されてもよい。そのようなセンチメント分析は、活動におけるスパイクを検出することができると共に、活動のタイプを特徴付けることができる。例えば、1つのスポーツチームのファンによるソーシャルメディア投稿は、幸福及び興奮における急激な増大を示してもよい(逆に、競合するスポーツチームのファンは、同時に失望及び怒りの兆候を示してもよい)。
特定のユーザに最も関連することがあるイベントを識別するような方式でソーシャル因子も考慮されてもよい。例えば、ユーザデバイスは、「友人」デバイスとして設計されたいくつかの他のデバイスと関連付けられてもよい。友人デバイスの活動は、そのような活動がコンテンツストリームの特定のセクションの再生、特定のセクションの中断またはスロー再生、特定のセクションの撮られたスクリーンショット、チャット活動、及び関心を示す他の活動を含むことができる関心のイベントを示してもよい。同様に、関心のイベントを識別するために、ユーザデバイスのユーザと関連付けられたソーシャルメディアアカウントが使用されてもよい。
重要なイベントが発生したかどうかを識別する際に、評価されたストリームに関連する他の情報も考慮されてもよい。特定の第三者サービスプロバイダは、コンテンツストリームに関連する(例えば、スポーツ競技、テレビショー、アワードショーの)データストリーム分析メタデータを提供してもよい。そのようなメタデータは、興奮因子(前述のものにおける増大及び減少を含む)を示してもよい。
そのようなイベントが検出されるとき、ブックマークが作成されてもよく、評価されたストリーム内の指定されたポイントと関連付けられてもよい。そのようなポイントは、検出されたイベントの前の予め定義された(例えば、5~10秒)時間分であってもよい。ブックマークは、検出されたイベントを視聴するためにユーザデバイスが直接ジャンプすることができるストリーム内の場所をマーク付けしてもよい。特定のストリームが複数のイベントを含むことができる場合、そのストリームは、対応する数のブックマークと関連付けられてもよい。ブックマークがイベントの始めをマーク付けしてもよく、同様に、イベントの終わりは、上記議論された同様の分析的アプローチを通じて検出されてもよい(例えば、興奮における減少、ソーシャルメディアにおける低下した活動など)。いくつかの実施形態では、ブックマークは更に、評価に基づいて、概略と関連付けられてもよい。そのような要約は、関連するハッシュタグ、ソーシャルメディア投稿(例えば、特に他人による多数の再投稿を有する投稿)、または上記議論された検出方法の他の結果に基づいてもよい。
加えて、再生するコンテンツの一部の上でオーバレイされるように、通知がバックエンドサービスレイヤ140によってクライアントデバイス150に送信されてもよい。ユーザデバイスがオンの状態でない場合、通知は、ユーザデバイス(または、関連付けられたスクリーン)がスイッチを入れられるときに現れてもよい。いくつかの実施形態では、通知は、携帯電話、タブレット、コンピューティングデバイス、テレビコンソール、他のエンターテインメントコンソールなどを含む、指定されたユーザと関連付けられた1つ以上のデバイスにプッシュされてもよい。ユーザの好みと共に、ストリームのタイプ、イベントの重要性、またはユーザが通知されることを望むイベントの優先度レベルに基づいて、特定のデバイスが指定されてもよい。
いくつかの実施形態では、通知は、重要なイベントであると考えられ、または視聴者の関心と関連がある可能性が高い複数の異なるイベントのメニューと関連付けられてもよい。イベントは、コンテンツの同一または異なるストリームと関連付けられてもよい。メニューにおいて選択されることができる1つのオプションは、特定のストリームについての全てのイベント(例えば、指定されたスポーツ競技)のハイライトリールを含んでもよい。そのようなハイライトリールは、例えば、NFLフットボールゲームについての全てのタッチダウン、フィールドゴール、サック、及びインターセプトを含んでもよい。そのようなハイライトリールは、評価されたコンテンツストリーム内の各々の検出されたイベントの始め及び終わりを示すブックマークに基づいて自動で生成されてもよい。いくつかの実施形態では、ハイライトリールは更に、ソーシャルユーザまたは他のユーザ特有の因子によって示されるような重要性または関連性に基づいて、要求する視聴者に対してカスタマイズされてもよい。
その上、コンテンツストリームが後の時間点においてオンデマンドストリーミングに対して利用可能とされる場合、ハイライトリールは、コンテンツストリームと関連付けられてもよい。したがって、ユーザまたは視聴者は、ストリームの線形再生時間全てを最後まで見る必要なく、コンテンツストリームのイベント(例えば、評価に基づいて重要であると考えられた)に追い付くことを選ぶことができる。その点で、長期間のエピソードのシリーズに追い付くことを望む視聴者は、始めから終わりまで線形方式でシリーズのあらゆるエピソードを鑑賞することが必要とされなくてもよい。むしろ、そのような視聴者は、本明細書で議論された評価方法によって重要と考えられたそれらのイベントのみのハイライトリールを鑑賞することができる。特定のイベントは、重要性及び視聴者への関連性にも基づいて優先付けされてもよく、その結果、イベントの異なるセットが視聴者によって、またはハイライトリールに含めるために特徴付けられてもよく、及び選択されてもよい。
更に、ユーザは、後の出来事を考慮して、特定のイベントを複数回再鑑賞することを選んでもよい。例えば、複数のエピソードを有するテレビのシリーズの視聴者は、後のエピソードを鑑賞している間、過去のエピソードにおける特定のイベントが、最初に考えたこととは異なる重要性があったと気づくことがある。その視聴者は、再鑑賞することを目的に、イベントに再度直接ジャンプすることを選んでもよい。
クライアントデバイス150のユーザは、そのようなイベントが発生したことの通知に基づいて、別のストリームにジャンプすることを選んでもよい。そのようなジャンプを行うそのような要求がバックエンドサービスレイヤ140によって受信されるとき、クライアントデバイス150に提供されるストリームは、イベントの直前のポイントにおいて検出されたイベントを有するストリームに切り替えてもよい。そのようにして、ユーザデバイスは、各々のイベントの発生の直後に複数のストリームにわたって発生するイベントを経験することができると共に、イベントが検出されないストリーム内の期間をスキップすることができる。
図2は、非線形コンテンツ提示及び経験のための例示的な方法200を例示するフローチャートである。図2の方法200は、以下に限定されないが、CD、DVD、またはハードドライブなどの不揮発性メモリを含む非一時的コンピュータ可読記憶媒体において実行可能命令として具体化されてもよい。記憶媒体の命令は、記憶媒体をホストし、またはそうでない場合、記憶媒体にアクセスするコンピューティングデバイスの様々なハードウェアコンポーネントに方法を実行させるようにプロセッサ(または、プロセッサ(複数可))によって実行されてもよい。図2において識別されるステップ(及び、それらの順序)は例示的であり、以下に限定されないが識別されるステップの実行の順序を含む様々なそれらの代替するもの、同等のもの、または派生するものを含んでもよい。
方法200では、複数のリアルタイムストリームが受信されてもよく、ストリームのうちの1つは、ユーザデバイスにリアルタイムで提供されてもよく、少なくとも1つの他のストリームは、イベントをリアルタイムで検出するように評価されてもよく、検出されたイベントに関する通知がユーザデバイスに送信されてもよく、評価されたストリームは、検出されたイベントの直前のポイントにおいてユーザデバイスに提供されてもよい。
ステップ210では、複数のリアルタイムストリームは、バックエンドサービスレイヤ140において受信されてもよい。そのようなリアルタイムストリームは、ライブ提示のストリーム(例えば、スポーツ競技、コンサート、アワードショー、元のテレビ放送)を含んでもよい。ステップ220では、1つのストリームがクライアントデバイス150における再生のためにリアルタイムで提供されてもよい。いくつかの実施形態では、クライアントデバイス150は、単純にオフであってもよく、スリープ/休止状態であってもよく、もしくはそうでない場合、非アクティブであってもよく、または他のコンテンツ(記録されたコンテンツもしくはオンデマンドコンテンツを含む)を再生していてもよい。
ステップ230では、ストリームは、イベントを検出するようにバックエンドサービスレイヤ140によってリアルタイムで評価されてもよい。イベントの検出は、ストリーム内の視覚または音声イベントを識別することに基づいてもよい。例えば、スポーツ観衆が歓声を上げ、またはブーイングを送るときのスコアボードへの視覚変化または音声変化が検出可能であってもよい。イベントの検出は、ストリームと関連付けられたソーシャルメディアフィードまたはハッシュタグにおけるトラフィックの評価に基づいてもよい。そのようなソーシャルメディアフィードはまた、クライアントデバイス150のユーザの定義された「友人」に基づいて優先付けされてもよい。ソーシャルメディアのそのような評価は、評価されたストリームを経験している人口の中で興奮または他の反応を識別する自然言語処理及びセンチメント分析を含んでもよい。他の実施形態では、評価は、クライアントデバイス150の「友人」として指定された別のユーザデバイスにおける活動を追跡することを含んでもよい。そのような活動は、行われた再生要求またはスクリーンショットを含んでもよい。評価は更に、ストリームと関連付けられたメタデータに基づいてもよい。そのようなメタデータは、実際のストリームの一部であってもよく、または一部でなくてもよい。例えば、第三者は、評価されたストリームに関するメタデータを提供してもよい。
いくつかの実施形態では、検出されたイベントの直前の(例えば、予め定義された期間による)評価されたストリーム内のポイントをマーク付けするようにブックマークが生成されてもよい。そのようにして、ブックマークにジャンプすることは、ユーザが、イベントが発生したコンテキストを確立する数秒前から開始して検出されたイベントを視聴することを可能にする。ユーザをイベントに直接取り込ませるだけでなく、ハイライトリールを生成する根拠として、ブックマークが使用されてもよい。
ステップ240では、検出されたイベントに関する通知がクライアントデバイス150に送信されてもよい。クライアントデバイス150が他のコンテンツを既に再生しているとき、そのような通知は、クライアントデバイス150と関連付けられたスクリーンの一部にわたってオーバレイされてもよい。そのようにして、クライアントデバイス150は、1つのストリームをリアルタイムで鑑賞していることができるが、通知も参照することが可能である。代わりに、クライアントデバイス150が非アクティブであることがある場合、クライアントデバイス150がアクティブ化されるときに通知が提供されてもよい。いくつかのケースでは、ユーザと関連付けられた他のデバイスにも通知がプッシュされてもよい。
ステップ250では、要求がクライアントデバイス150から受信されてもよい。そのような要求は、検出されたイベントを参照する要望に関係してもよい(例えば、ユーザが検出されたイベントを視聴することができる評価されたストリームにおけるポイントに直接ジャンプする)。そのような要求は、通知内のリンクから、イベントのメニュー内のリンクから、または検出されたイベントにより始めることができるハイライトリールについての要求の一部として行われてもよい。
ステップ260では、評価されたストリームは、検出されたイベントの直前のポイントにおいてクライアントデバイス150に提供されてもよい(例えば、ブックマークによってマーク付けされるように)。ポイントは、ユーザがコンテキストにおけるイベントを視聴することを可能にするように、検出されたイベントの前の予め定義された期間であってもよい。
いくつかの実施形態では、後の消費のためにストリームが記録及び提供されてもよい。後の消費の間、複数のブックマークの集合が、再生するクライアントデバイス150に提示されてもよい。したがって、各々のブックマークは、ストリーム内の異なる検出されたイベントをマーク付けすることができる。ストリームは更に、検出されたイベントのハイライトリールと関連付けられてもよい。そのようにして、各々のイベントの持続期間が判定されてもよく、判定された持続期間をマーク付けするブックマーク(複数可)においてストリームをクリッピングすることによって、イベントのビデオクリップが生成されてもよい。
図3は、放送メディアストリームへのユーザにより生成されたメディアのリアルタイムな組み込みに使用されることができる例示的な電子エンターテインメントシステムである。図3のエンターテインメントシステム300は、メインメモリ305、中央処理装置(CPU)310、ベクトルユニット315、グラフィックプロセシングユニット320、入力/出力(I/O)プロセッサ325、I/Oプロセッサメモリ330、コントローラインタフェース335、メモリカード340、ユニバーサルシリアルバス(USB)インタフェース345、及びIEEE1394インタフェース350を含む。エンターテインメントシステム300は更に、バス375を介してI/Oプロセッサ325に接続された、オペレーティングシステムリードオンリメモリ(OS ROM)355、サウンドプロセシングユニット360、光ディスク制御ユニット370、及びハードディスクドライブ365を含む。
エンターテインメントシステム300は、電子ゲームコンソールであってもよい。代わりに、エンターテインメントシステム300は、汎用コンピュータ、セットトップボックス、ハンドヘルドゲームデバイス、タブレットコンピューティングデバイス、またはモバイルコンピューティングデバイスもしくは電話として実装されてもよい。エンターテインメントシステムは、特定のフォームファクタ、目的、または設計に応じてより多くのまたは少ないオペレーティングコンポーネントを包含してもよい。
図3のCPU310、ベクトルユニット315、グラフィックプロセシングユニット320、及びI/Oプロセッサ325は、システムバス385を介して通信する。更に、図3のCPU310は、専用バス380を介してメインメモリ305と通信し、ベクトルユニット315及びグラフィックプロセシングユニット320は、専用バス390を通じて通信してもよい。図3のCPU310は、OS ROM355及びメインメモリ305に記憶されたプログラムを実行する。図3のメインメモリ305は、事前に記憶されたプログラム及び光ディスク制御ユニット370を使用してI/Oプロセッサ325を通じてCD-ROM、DVD-ROM、または他の光ディスク(図示せず)から転送されたプログラムを包含してもよい。図3のI/Oプロセッサ325はまた、無線または他の通信ネットワーク(例えば、4G、LTE、及び1G、など)を通じて転送されたコンテンツの導入を可能にすることができる。図3のI/Oプロセッサ325は主として、CPU310、ベクトルユニット315、グラフィックプロセシングユニット320、及びコントローラインタフェース335を含むエンターテインメントシステム300の様々なデバイスの間でのデータ交換を制御する。
図3のグラフィックプロセシングユニット320は、ディスプレイデバイス(図示せず)上での表示のための画像を生成するように、CPU310及びベクトルユニット315から受信されたグラフィック命令を実行する。例えば、図3のベクトルユニット315は、オブジェクトを三次元座標から二次元座標に変換してもよく、グラフィックプロセシングユニット320に二次元座標を送信してもよい。更に、サウンドプロセシングユニット360は、スピーカ(図示せず)などの音声デバイスに出力されるサウンド信号を生成する命令を実行する。システム300にも組み込まれてもよく、またはプロセッサなどのいくつかの他のコンポーネントの一部として組み込まれてもよい、USBインタフェース345、及び無線送受信機などのIEEE1394インタフェース350を介して、他のデバイスがエンターテインメントシステム300に接続されてもよい。
図3のエンターテインメントシステム300のユーザは、コントローラインタフェース335を介してCPU310に命令を提供する。例えば、ユーザは、メモリカード340もしくは他の非一時的コンピュータ可読記憶媒体に特定のゲーム情報を記憶するようにCPU310に指示してもよく、またはいくつかの指定されたアクションを実行するようにゲームにおけるキャラクタに指示してもよい。
本発明は、様々なエンドユーザデバイスによって動作可能であってもよいアプリケーションにおいて実装されてもよい。例えば、エンドユーザデバイスは、パーソナルコンピュータ、ホームエンターテインメントシステム(例えば、Sony PlayStation2(登録商標)もしくはSony PlayStation3(登録商標)もしくはSony PlayStation4(登録商標))、ポータブルゲーミングデバイス(例えば、Sony PSP(登録商標)もしくはSony Vita(登録商標))、または異なる下位であるが製造者のホームエンターテインメントシステムであってもよい。本明細書で説明される本方法論は、様々なデバイス上で完全に動作可能であることを意図している。本発明はまた、本システムの実施形態が様々な発行者からの様々なタイトルわたって利用されることができる、タイトル間中立により実装されてもよい。
非一時的コンピュータ可読記憶媒体は、実行のために中央処理装置(CPU)に命令を提供することに参加するいずれかの媒体または媒体(複数可)を指す。そのような媒体は、以下に限定されないが、光学または磁気ディスク、及び動的メモリなどの不揮発性及び揮発性媒体をそれぞれ含む、多くの形式を取ることができる。非一時的コンピュータ可読媒体の共通形式は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、いずれかの他の磁気媒体、CD-ROMディスク、デジタルビデオディスク(DVD)、いずれかの他の光学媒体、RAM、PROM、EPROM、FLASHEPROM、及びいずれかの他のメモリチップまたはカートリッジを含む。
伝送媒体の様々な形式は、実行のためにCPUに1つ以上の命令の1つ以上の連続を搬送することに関与してもよい。バスは、システムRAMにデータを搬送し、システムRAMから、CPUは、命令を取り出し、実行する。システムRAMによって受信された命令は任意選択で、CPUによる実行の前または後のいずれかで固定されたディスクに記憶されることができる。記憶装置の様々な形式は同様に、記憶装置の様々な形式を実装するように、必要なネットワーク及びネットワークトポロジと同様に実装されてもよい。
技術の上述した詳細な説明が例示且つ説明を目的に提示されてきた。包括的であること、または開示された正確な形態に技術を限定することを意図していない。上記教示を考慮して、多くの修正及び変形が可能である。技術の原理、その実用的な適用を最良に説明するために、並びに様々な実施形態において、及び様々な修正と共に当業者が技術を利用することを可能にするために、考慮される特定の使用に適するように、説明された実施形態が選択されてきた。技術の範囲は、特許請求の範囲によって定義されるとことを意図している。

Claims (21)

  1. 非線形コンテンツ提示及び経験のためのシステムであって、
    通信ネットワークを通じて通信する通信インタフェースであって、前記通信インタフェースは、
    前記通信ネットワークを通じて送信されたコンテンツの複数のリアルタイムストリームを受信し、
    前記ストリームのうちの少なくとも1つをユーザデバイスにリアルタイムで提供し、前記ユーザデバイスは、前記少なくとも1つのストリームを再生する、前記通信インタフェースと、
    メモリに記憶された命令を実行するプロセッサと、を含み、前記プロセッサによる前記命令の実行は、前記ユーザデバイスが前記少なくとも1つのストリームを再生している間、前記受信された複数のリアルタイムストリームから少なくとも1つの他のストリームをリアルタイムで評価し、前記少なくとも1つの他のストリームを評価することは、
    前記ユーザデバイスと関連付けられ、前記少なくとも1つの他のストリームをストリーミングしている1つ以上の予め定義された友人デバイスによって関与された活動を追跡することであって、前記追跡された活動は、前記少なくとも1つの他のストリームに関連するチャット活動を含み、前記少なくとも1つのストリーム内の指定されたポイントにおけるスパイクを示す、前記追跡することと、
    前記スパイクに基づいて、前記ユーザデバイスのユーザに関連するように前記少なくとも1つの他のストリーム内のイベントを識別することであって、前記イベントは、前記少なくとも1つの他のストリーム内の同一の指定されたポイントにおいて前記スパイクとして識別される、前記識別することと、
    前記識別されたイベントと関連付けるブックマークを生成することであって、前記ブックマークは、前記識別されたイベントの前のポイントにおいて設定され、前記ポイントは、前記識別されたイベントの前の予め定義された期間である、前記生成することと、を含み、
    前記通信インタフェースは、
    前記少なくとも1つの他のストリームにおいて識別された前記イベントに関する通知を前記ユーザデバイスに送信し、前記通知は、前記識別されたイベントを表示するための異なるオプションのメニューを含み、前記通知は、前記ユーザデバイスにおいて現在表示されている前記提供されたストリームの一部の上でオーバレイされ、
    前記ユーザデバイスから要求を受信し、前記要求は、前記少なくとも1つの他のストリームにおける前記識別されたイベントにジャンプすることを含む選択されたオプションに関係し、
    前記ブックマークにジャンプすることによって前記要求に基づいて前記識別されたイベントの前の前記予め定義された期間である前記ストリーム内の前記ポイントにおいて前記ユーザデバイスに前記少なくとも1つの他のストリームを提供し、前記少なくとも1つの他のストリームを提供することは、前記前のポイントより前の少なくとも1つの期間をスキップすることを含み、前記予め定義された期間は、前記識別されたイベントの発生前の前記少なくとも1つの他のストリームの一部に対応し、前記少なくとも1つの他のストリームの一部を表示することは前記識別されたイベントの前記発生に先行するコンテキストを確立する、
    システム。
  2. 前記プロセッサは更に、複数のブックマークを含むオーバレイを生成する命令を実行し、各々のブックマークは、前記少なくとも1つの他のストリーム内の異なる識別されたイベントにジャンプするように選択可能である、請求項に記載のシステム。
  3. 前記プロセッサは更に、前記少なくとも1つの他のストリームについてのハイライトリールを生成する命令を実行し、前記ハイライトリールは、複数の識別されたイベントを含む、請求項1に記載のシステム。
  4. 前記プロセッサは、前記識別されたイベントの持続期間を識別し、前記識別された持続期間の間に前記ブックマークにおいて前記少なくとも1つの他のストリームをクリッピングすることによって、前記ハイライトリールを生成する、請求項に記載のシステム。
  5. 前記プロセッサは更に、前記少なくとも1つの他のストリームと関連付けられたスコアにおける変化を識別することによって、前記少なくとも1つの他のストリームをリアルタイムで評価する、請求項1に記載のシステム。
  6. 前記プロセッサは更に、前記少なくとも1つの他のストリームと関連付けられるように識別された1つ以上のソーシャルメディアフィードにおけるトラフィックを追跡することによって、前記少なくとも1つの他のストリームをリアルタイムで評価する、請求項1に記載のシステム。
  7. 前記プロセッサは更に、自然言語処理及びセンチメント分析を実行することによって、前記1つ以上のソーシャルメディアフィードにおけるトラフィックを追跡する、請求項に記載のシステム。
  8. 前記プロセッサは更に、前記少なくとも1つの他のストリームと関連付けられたメタデータを評価することによって、前記少なくとも1つの他のストリームをリアルタイムで評価する、請求項1に記載のシステム。
  9. 前記通信インタフェースは更に、前記少なくとも1つの他のストリームから前記メタデータを別個に受信する、請求項に記載のシステム。
  10. 前記追跡された活動は更に、前記少なくとも1つの他のストリームの再生の間の前記1つ以上の予め定義された友人デバイスにおける再生要求を含む、請求項1に記載のシステム。
  11. 前記追跡された活動は更に、前記少なくとも1つの他のストリームの再生の間の前記1つ以上の予め定義された友人デバイスにおいて撮られたスクリーンショットを含む、請求項1に記載のシステム。
  12. 非線形コンテンツ提示及び経験のための方法であって、
    通信ネットワークを通じて送信されたコンテンツの複数のリアルタイムストリームを受信することと、
    前記ストリームのうちの少なくとも1つをユーザデバイスにリアルタイムで提供することであって、前記ユーザデバイスは、前記少なくとも1つのストリームを再生する、前記提供することと、
    前記ユーザデバイスが前記少なくとも1つのストリームを再生している間、前記受信された複数のリアルタイムストリームから少なくとも1つの他のストリームをリアルタイムで評価することであって、前記少なくとも1つの他のストリームを評価することは、
    前記ユーザデバイスと関連付けられ、前記少なくとも1つの他のストリームをストリーミングしている1つ以上の予め定義された友人デバイスによって関与された活動を追跡することであって、前記追跡された活動は、前記少なくとも1つの他のストリームに関連するチャット活動を含み、前記少なくとも1つのストリーム内の指定されたポイントにおけるスパイクを示す、前記追跡することと、
    前記スパイクに基づいて、前記ユーザデバイスのユーザに関連するように前記少なくとも1つの他のストリーム内のイベントを識別することであって、前記イベントは、前記少なくとも1つの他のストリーム内の同一の指定されたポイントにおいて前記スパイクとして識別される、前記識別することと、
    前記識別されたイベントと関連付けるブックマークを生成することであって、前記ブックマークは、前記識別されたイベントの前のポイントにおいて設定され、前記ポイントは、前記識別されたイベントの前の予め定義された期間である、前記生成することと、を含む、前記評価することと、
    前記少なくとも1つの他のストリームにおいて識別された前記イベントに関する通知を前記ユーザデバイスに送信することであって、前記通知は、前記識別されたイベントを表示するための異なるオプションのメニューを含み、前記通知は、前記ユーザデバイスにおいて現在再生されている前記提供されたストリームの一部の上でオーバレイされる、前記送信することと、
    前記ユーザデバイスから要求を受信することであって、前記要求は、前記少なくとも1つの他のストリームにおける前記識別されたイベントにジャンプすることを含む選択されたオプションに関係する、前記受信することと、
    前記ブックマークにジャンプすることによって前記要求に基づいて前記識別されたイベントの前の前記予め定義された期間である前記ストリーム内の前記ポイントにおいて、前記ユーザデバイスに前記少なくとも1つの他のストリームを提供することであって、前記少なくとも1つの他のストリームを提供することは、前記前のポイントより前の少なくとも1つの期間をスキップすることを含み、前記予め定義された期間は、前記識別されたイベントの発生前の前記少なくとも1つの他のストリームの一部に対応し、前記少なくとも1つの他のストリームの一部を表示することは前記識別されたイベントの前記発生に先行するコンテキストを確立する、前記提供することと、
    を含む、方法。
  13. 複数のブックマークを含むオーバレイを生成することを更に含み、各々のブックマークは、前記少なくとも1つの他のストリーム内の異なる識別されたイベントにジャンプするように選択可能である、請求項1に記載の方法。
  14. 前記少なくとも1つの他のストリームについてのハイライトリールを生成することを更に含み、前記ハイライトリールは、複数の識別されたイベントを含む、請求項1に記載の方法。
  15. 前記識別されたイベントの持続期間を識別し、前記識別された持続期間の間に前記ブックマークにおいて前記少なくとも1つの他のストリームをクリッピングすることによって、前記ハイライトリールを生成する、請求項1に記載の方法。
  16. 前記少なくとも1つの他のストリームをリアルタイムで評価することは、前記少なくとも1つの他のストリームと関連付けられたスコアにおける変化を識別することを含む、請求項1に記載の方法。
  17. 前記少なくとも1つの他のストリームをリアルタイムで評価することは、前記少なくとも1つの他のストリームと関連付けられるように識別された1つ以上のソーシャルメディアフィードにおけるトラフィックを追跡することを含む、請求項1に記載の方法。
  18. 前記1つ以上のソーシャルメディアフィードにおける前記トラフィックを追跡することは更に、自然言語処理及びセンチメント分析を実行することを含む、請求項1に記載の方法。
  19. 前記少なくとも1つの他のストリームをリアルタイムで評価することは、前記少なくとも1つの他のストリームと関連付けられたメタデータを評価することを含む、請求項1に記載の方法。
  20. 前記少なくとも1つの他のストリームから前記メタデータを別個に受信することを更に含む、請求項19に記載の方法。
  21. 非線形コンテンツ提示及び経験のための方法を実行するようにプロセッサによって実行可能な、具体化されたプログラムを有する非一時的コンピュータ可読媒体であって、前記方法は、
    通信ネットワークを通じて送信されたコンテンツの複数のリアルタイムストリームを受信することと、
    前記ストリームのうちの少なくとも1つをユーザデバイスにリアルタイムで提供することであって、前記ユーザデバイスは、前記少なくとも1つのストリームを再生する、前記提供することと、
    前記ユーザデバイスが前記少なくとも1つのストリームを再生している間、前記受信された複数のリアルタイムストリームから少なくとも1つの他のストリームをリアルタイムで評価することであって、前記少なくとも1つの他のストリームを評価することは、
    前記ユーザデバイスと関連付けられ、前記少なくとも1つの他のストリームをストリーミングしている1つ以上の予め定義された友人デバイスによって関与された活動を追跡することであって、前記追跡された活動は、前記少なくとも1つの他のストリームに関連するチャット活動を含み、前記少なくとも1つのストリーム内の指定されたポイントにおけるスパイクを含む、前記追跡することと、
    前記スパイクに基づいて、前記ユーザデバイスのユーザに関連するように前記少なくとも1つの他のストリーム内のイベントを識別することであって、前記イベントは、前記少なくとも1つの他のストリーム内の同一の指定されたポイントにおいて前記スパイクとして識別される、前記識別することと、
    前記識別されたイベントと関連付けるブックマークを生成することであって、前記ブックマークは、前記識別されたイベントの前のポイントにおいて設定され、前記ポイントは、前記識別されたイベントの前の予め定義された期間である、前記生成することと、を含む、前記評価することと、
    前記少なくとも1つの他のストリームにおいて識別された前記イベントに関する通知を前記ユーザデバイスに送信することであって、前記通知は、前記識別されたイベントを表示するための異なるオプションのメニューを含み、前記通知は、前記ユーザデバイスにおいて現在再生されている前記提供されたストリームの一部の上でオーバレイされる、前記送信することと、
    前記ユーザデバイスから要求を受信することであって、前記要求は、前記少なくとも1つの他のストリームにおける前記識別されたイベントにジャンプすることを含む選択されたオプションに関係する、前記受信することと、
    前記ブックマークにジャンプすることによって前記要求に基づいて前記識別されたイベントの前の前記予め定義された期間である前記ストリーム内の前記ポイントにおいて、前記ユーザデバイスに前記少なくとも1つの他のストリームを提供することであって、前記少なくとも1つの他のストリームを提供することは、前記前のポイントより前の少なくとも1つの期間をスキップすることを含み、前記予め定義された期間は、前記識別されたイベントの発生前の前記少なくとも1つの他のストリームの一部に対応し、前記少なくとも1つの他のストリームの一部を表示することは前記識別されたイベントの前記発生に先行するコンテキストを確立する、前記提供することと、
    を含む、非一時的コンピュータ可読媒体。
JP2020501335A 2017-07-10 2018-05-24 非線形コンテンツ提示及び経験 Active JP7169335B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/645,377 2017-07-10
US15/645,377 US11159856B2 (en) 2017-07-10 2017-07-10 Non-linear content presentation and experience
PCT/US2018/034368 WO2019013874A1 (en) 2017-07-10 2018-05-24 PRESENTATION AND EXPERIENCE OF NON-LINEAR CONTENT

Publications (2)

Publication Number Publication Date
JP2020527896A JP2020527896A (ja) 2020-09-10
JP7169335B2 true JP7169335B2 (ja) 2022-11-10

Family

ID=64903032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501335A Active JP7169335B2 (ja) 2017-07-10 2018-05-24 非線形コンテンツ提示及び経験

Country Status (5)

Country Link
US (1) US11159856B2 (ja)
EP (1) EP3652955A4 (ja)
JP (1) JP7169335B2 (ja)
CN (1) CN111183652A (ja)
WO (1) WO2019013874A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159856B2 (en) 2017-07-10 2021-10-26 Sony Interactive Entertainment LLC Non-linear content presentation and experience
US10728622B2 (en) 2017-08-25 2020-07-28 Sony Interactive Entertainment LLC Management of non-linear content presentation and experience
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
US11159595B2 (en) * 2019-02-20 2021-10-26 Sony Interactive Entertainment LLC Contextual layer for digital content
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
JP7188718B1 (ja) 2022-04-27 2022-12-13 17Live株式会社 通知方法及びバックエンドサーバ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218501A (ja) 2012-04-06 2013-10-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2016033545A1 (en) 2014-08-29 2016-03-03 Sling Media Inc. Systems and processes for delivering digital video content based upon excitement data
WO2017023763A1 (en) 2015-07-31 2017-02-09 Promptu Systems Corporation Natural language navigation and assisted viewing of indexed audio video streams, notably sports contests
WO2017053532A1 (en) 2015-09-23 2017-03-30 Rovi Guides, Inc. Systems and methods to detect events in programming from multiple channels

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0022370D0 (en) * 2000-09-13 2000-10-25 Pace Micro Tech Plc Improvements to televisionn system
US20020124252A1 (en) * 2001-03-02 2002-09-05 Schaefer Scott R. Method and system to provide information alerts via an interactive video casting system
US20020166123A1 (en) * 2001-03-02 2002-11-07 Microsoft Corporation Enhanced television services for digital video recording and playback
US20030142238A1 (en) 2001-06-08 2003-07-31 Jay Wasack Automated presentation of a live event
US8881193B2 (en) 2001-07-20 2014-11-04 Intel Corporation Method and apparatus for enhancing television programs with event notifications
AU2003295739A1 (en) 2002-11-18 2004-06-15 United Video Properties, Inc. Systems and methods for providing real-time services in an interactive television program guide application
CA2552062C (en) 2005-07-22 2016-06-28 4121856 Canada Inc. System and methods for enhancing the experience of spectators attending a live sporting event
WO2008083868A1 (en) * 2007-01-12 2008-07-17 Nokia Siemens Networks Gmbh & Co. Kg Apparatus and method for processing audio and/or video data
US8856833B2 (en) * 2007-11-21 2014-10-07 United Video Properties, Inc. Maintaining a user profile based on dynamic data
US8413204B2 (en) * 2008-03-31 2013-04-02 At&T Intellectual Property I, Lp System and method of interacting with home automation systems via a set-top box device
US9246613B2 (en) 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
US20100125891A1 (en) * 2008-11-17 2010-05-20 Prakash Baskaran Activity Monitoring And Information Protection
WO2011011466A1 (en) * 2009-07-21 2011-01-27 Wms Gaming, Inc. Integrating social communities and wagering games
US9479737B2 (en) 2009-08-06 2016-10-25 Echostar Technologies L.L.C. Systems and methods for event programming via a remote media player
US8745206B1 (en) * 2010-06-07 2014-06-03 Purplecomm Inc. Content monitoring and control technology
US8972498B2 (en) 2010-08-24 2015-03-03 Yahoo! Inc. Mobile-based realtime location-sensitive social event engine
US9484065B2 (en) * 2010-10-15 2016-11-01 Microsoft Technology Licensing, Llc Intelligent determination of replays based on event identification
US9158775B1 (en) 2010-12-18 2015-10-13 Google Inc. Scoring stream items in real time
US8863185B2 (en) 2011-01-04 2014-10-14 Verizon Patent And Licensing Inc. Social television
KR101804917B1 (ko) * 2011-05-06 2018-01-10 엘지전자 주식회사 채널 가이드 화면을 제공하는 디스플레이 장치 및 그 제어 방법
US9904703B1 (en) * 2011-09-06 2018-02-27 Google Llc Determining content of interest based on social network interactions and information
US20130125181A1 (en) * 2011-11-15 2013-05-16 Liquidus Marketing, Inc. Dynamic Video Platform Technology
JP6033541B2 (ja) * 2011-11-24 2016-11-30 シャープ株式会社 再生装置、再生方法、制御プログラム、および記録媒体
US8627388B2 (en) 2012-03-27 2014-01-07 Roku, Inc. Method and apparatus for channel prioritization
US9118967B2 (en) * 2012-08-17 2015-08-25 Jamdeo Technologies Ltd. Channel changer for intelligent television
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
JP5689858B2 (ja) 2012-09-10 2015-03-25 株式会社東芝 情報提供システム、情報提供方法及びプログラム
US9817826B2 (en) 2012-09-27 2017-11-14 Google Inc. System and method for recommending media programs and notifying a user before programs start
CN103002323A (zh) * 2012-11-27 2013-03-27 中兴通讯股份有限公司 交互式网络电视系统中节目共享方法及终端
US20140325556A1 (en) 2013-04-26 2014-10-30 Microsoft Corporation Alerts and web content over linear tv broadcast
US9736538B2 (en) 2013-07-09 2017-08-15 Comcast Cable Communications, Llc Delivery of content
US20150082330A1 (en) * 2013-09-18 2015-03-19 Qualcomm Incorporated Real-time channel program recommendation on a display device
US10331661B2 (en) * 2013-10-23 2019-06-25 At&T Intellectual Property I, L.P. Video content search using captioning data
US9936241B2 (en) 2014-04-07 2018-04-03 Cellco Partnership Method and apparatus for providing dynamic channel and content provisioning
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20150382062A1 (en) 2014-06-30 2015-12-31 United Video Properties, Inc. Methods and systems for ordering media content
US9736503B1 (en) * 2014-09-12 2017-08-15 Google Inc. Optimizing timing of display of a mid-roll video advertisement based on viewer retention data
US9854317B1 (en) * 2014-11-24 2017-12-26 Wew Entertainment Corporation Enabling video viewer interaction
US9800935B2 (en) 2014-12-24 2017-10-24 Rovi Guides, Inc. Systems and methods for multi-device content recommendations
US10118081B2 (en) 2015-01-23 2018-11-06 Michael Hunter HUEBSCH System for providing game-related information
US10257588B2 (en) * 2015-03-16 2019-04-09 Viacom International Inc. Systems and methods for inserting breakpoints and reference links into a media file
EP3275202B1 (en) 2015-03-27 2021-12-29 Twitter, Inc. Live video streaming services
US10390064B2 (en) 2015-06-30 2019-08-20 Amazon Technologies, Inc. Participant rewards in a spectating system
CN106470363B (zh) * 2015-08-18 2019-09-13 阿里巴巴集团控股有限公司 对比赛进行文字直播的方法及装置
US9565481B1 (en) * 2015-09-04 2017-02-07 International Business Machines Corporation Event pop-ups for video selection
US20170085941A1 (en) 2015-09-23 2017-03-23 Rovi Guides, Inc. Systems and methods to detect events in programming from multiple channels
US11184300B2 (en) 2015-11-23 2021-11-23 Verizon Media Inc. Encoding and distributing snippets of events based on near real time cues
US11190821B2 (en) * 2016-03-02 2021-11-30 International Business Machines Corporation Methods and apparatus for alerting users to media events of interest using social media analysis
US9936239B2 (en) 2016-06-28 2018-04-03 Intel Corporation Multiple stream tuning
US11159856B2 (en) 2017-07-10 2021-10-26 Sony Interactive Entertainment LLC Non-linear content presentation and experience
US10405017B1 (en) 2017-08-03 2019-09-03 Cox Communications, Inc. Secure access to content provided over a distributed network
US10728622B2 (en) 2017-08-25 2020-07-28 Sony Interactive Entertainment LLC Management of non-linear content presentation and experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013218501A (ja) 2012-04-06 2013-10-24 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2016033545A1 (en) 2014-08-29 2016-03-03 Sling Media Inc. Systems and processes for delivering digital video content based upon excitement data
WO2017023763A1 (en) 2015-07-31 2017-02-09 Promptu Systems Corporation Natural language navigation and assisted viewing of indexed audio video streams, notably sports contests
WO2017053532A1 (en) 2015-09-23 2017-03-30 Rovi Guides, Inc. Systems and methods to detect events in programming from multiple channels

Also Published As

Publication number Publication date
JP2020527896A (ja) 2020-09-10
CN111183652A (zh) 2020-05-19
WO2019013874A1 (en) 2019-01-17
EP3652955A4 (en) 2020-11-25
US11159856B2 (en) 2021-10-26
EP3652955A1 (en) 2020-05-20
US20190014386A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP7169335B2 (ja) 非線形コンテンツ提示及び経験
US11679333B2 (en) Methods and systems for generating a video game stream based on an obtained game log
US9392211B2 (en) Providing video presentation commentary
US7739584B2 (en) Electronic messaging synchronized to media presentation
US11310346B2 (en) System and method of generating and distributing video game streams
JP2018501533A (ja) 1または複数のイベントを描写するカスタマイズハイライトシーケンスの生成
US11936952B2 (en) Management of non-linear content presentation and experience
CN112753227A (zh) 用于在体育事件电视节目中检测人群噪声的发生的音频处理
US11922968B2 (en) Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US10245509B2 (en) System and method of inferring user interest in different aspects of video game streams
US11579839B1 (en) Audio analytics and accessibility across applications and platforms
US20220394323A1 (en) Supplmental audio generation system in an audio-only mode
US20230065585A1 (en) Translation and communication filters for social interaction
JP2018056811A (ja) 端末装置、コンテンツ再生システム、コンテンツ再生方法、およびプログラム
JP2024069189A (ja) スポーツイベントテレビジョン番組において群衆ノイズの発生を検出するためのオーディオ処理

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221028

R150 Certificate of patent or registration of utility model

Ref document number: 7169335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150