JP2022047497A - ライブイベントストリームの途中で予測を行う方法及びデータ処理システム - Google Patents

ライブイベントストリームの途中で予測を行う方法及びデータ処理システム Download PDF

Info

Publication number
JP2022047497A
JP2022047497A JP2021116808A JP2021116808A JP2022047497A JP 2022047497 A JP2022047497 A JP 2022047497A JP 2021116808 A JP2021116808 A JP 2021116808A JP 2021116808 A JP2021116808 A JP 2021116808A JP 2022047497 A JP2022047497 A JP 2022047497A
Authority
JP
Japan
Prior art keywords
event
stream
live
data
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021116808A
Other languages
English (en)
Inventor
ユッシ ラーッコネン
Laakkonen Jussi
フロリアン ツィーグラー
Ziegler Florian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noice Entertainment Oy
Original Assignee
Noice Entertainment Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noice Entertainment Oy filed Critical Noice Entertainment Oy
Publication of JP2022047497A publication Critical patent/JP2022047497A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • G07F17/3232Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the operator is informed
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/326Game play aspects of gaming systems
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3286Type of games
    • G07F17/3288Betting, e.g. on live events, bookmaking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ライブイベントストリームの途中、予測可能なイベントが実際に生じる前に、予測を行うことを観客に可能にするデータ処理システム及びこれを動作させる方法及びデータ処理システムを提供する。【解決手段】データ処理システム100は、観客デバイス104に予測を行うための予測環境を提供すべく、通信ネットワーク100を通じてライブイベントストリームを転送する手段と通信するサーバ114を備える。【選択図】図1

Description

本願に開示される事項は、一般的に、リアルタイムイベント中に予測を行う方法及びシステムに関し、特に、ライブイベントストリームの途中で予測を行う方法及びシステムに関する。
背景
スポーツイベントやゲームイベント、コンサート等のライブイベントをストリームするオンラインプラットフォームが幾つか存在する。ゲームのためのライブストリーミングプラットフォームは、人々がゲームで遊んだことを記録することを可能にし、またそれを、オンラインでライブ観戦する人々へストリーミングすることを可能にする。別のタイプのストリーミングプラットフォームは、ライブの音楽やニュースの生中継を可能にする。幾つかのストリーミングプラットフォームはeスポーツのストリーミングを可能にする。eスポーツでは、プレーヤーは、ビデオゲームやスポーツで対戦する。別のライブイベントは、イベントの結果で賭けをすることを可能にする。このようなライブストリーミングプラットフォームの限界は、ストリーミングイベントを視聴することやその結果を待つことが、多くの視聴者に対して十分に魅力あるものになっていないことである。ストリーミングされたイベントの結果に賭けを行うことは、そのイベントの魅力を増すことになろうが、賭けを行うことは多くの国で許されていない。又は法律で決められた年令を超えた者だけに許される。また、ライブストリーミングされる全てのイベントのうち非常に小さい割合のものについてのみ可能とされる。そのようなイベントとは、賭けを行うことを認可するために十分に人気のあるものや、八百長や不正行為を防ぐために高度に組織化されたものである。賭け事にはお金を失うリスクが存在する。これは、賭け事に魅力を感じる人々の数をかなり制限している。賭けることを欲する者がいて、それが法律的に許されており、その者が興味を有するイベントについて賭けることを提案されていたとしても、その賭け事の運営者に送金することが制限されていれば、やはり賭けを行うことはできないだろう。これは、プロデューサーや広告主、ライブイベントの参加者やストリーミングプラットフォームのオーナーが、多くの人々に接触して関心を引くことができないことを意味する。そうすると、生み出されうる収益が制限されてしまう。
ストリーミングプラットフォームの運営者が、ストリーミングされるライブイベントの視聴者の関心を高めるためのソリューションを見つけようと努力しているが、その目的は達せられていない。その理由には製品イノベーションの不足がある。また、多くの様々な種類のイベントやイベント参加者、更にプラットフォーム・プロバイダやイベント視聴者に使われる種々のハードウェア(ゲームコンソールやビデオ録画・ストリーミング装置等)をサポートするために必要な技術的複雑性も、その理由の一つである。このため、ストリーミングプラットフォームのオーナーにとっては、イベント参加者やイベント視聴者のための新しい技術であって、視聴者の関心を高め種々の要請に対応可能な新しい技術を開発することは、非常に難しく又は非常にコストがかかるものであることが示されてきた。
賭け業者によっては、自身の賭けサイトでライブストリーミングイベントを有する者がある。そのような業者には、ライブイベントの途中で行われる中間イベントで賭けを行うことを利用者に可能にしている者がある。しかしそのような賭けは、ライブイベントの中の非常に少ない割合のものにしか提供されていない。また、賭けが提供される中間イベントの多様性や奥深さという点で、賭けのオプションは選択肢が非常に限られている。これは、賭けに参加する巨大な人口に対して柔軟に賭けを行うこと可能にすることの必要性や、ライブイベントの中でどの中間イベントが検出されうるかの制限のためである。異なる特質を有する様々なライブイベントストリームの間に生じる様々な特質の正確なアクションを、既存のストリーミングプラットフォームが検出できないことは問題である。ライブストリーミングイベントの観客は、ライブストリーミングイベントの間に、中間イベントやアクション、活動に対して予測や賭けを行うことが予想されるので、これは問題である。ライブイベントストリームの観客は、現在のプラットフォームが提供しないことを予測するためのより多くの選択肢を有することを欲している。
様々な特質を有するライブイベントストリームの中間イベントは、ライブイベントの途中に生じる活動や行動である。例えば、ライブイベントストリームの途中でeスポーツや現実のサッカー選手がボールをゴールに蹴り込むことや、コンピュータビデオゲームのプレーヤーが、コンピュータにより作られた環境の中で、敵や、他のゲーム参加者を撃つことが、中間イベントでありうる。ライブイベント中のこのような行動は幾つかの要素から成り立っていることができる。そのような要素はサブイベント特性と呼ばれることができる。サブイベント特性には、動きや位置、装置、オブジェクトがあり、イベントの規制事項やルール、現実世界の出来事であるか、デジタル的なイベントであるかに依存してもよい。
様々なタイプのライブイベントの途中で生じる様々なタイプ、様々な特性、様々な数のアクションに関して、視聴者のデバイスに、種々のライブイベントをストリーミングすることには幾つかの困難がある。それは、ストリーミングプラットフォームは、非常に多くの可能な予測を準備できるべきであり、また、予測されるイベントアクションが為される前に又は実行される前に、利用者に、予測を行うことを可能にするべきであるからである。このため、既知のオンライン賭博プラットフォームが直面している問題は、ライブイベント中に発生する特定のアクションを定義し認識すること、また、賭けを行うために、これらのアクション候補に基づいて予測を観客に提示することにある。賭博プラットフォームはまた、反対に賭ける誰かを必要とする。あるライブイベントが人々によく知られていなければ、賭博プラットフォームのシステム内に十分な賭け行動が生じないために、賭けを行うことが不可能となる。また、人気のあるイベントであっても、賭けサイトは、ゲーム中に賭けることについて様々な方法をサポートすることはできない。というのも、そのようなオプションが増えるほど、1つのオプションに賭ける者が少なくなり、一つ一つのゲーム中賭けオプションの人気が減少するためである。それは、特定のゲーム中賭けオプションに対して反対に張る者が存在しなくなることを意味する。
オンラインライブストリーミングプラットフォームの別の問題は、ライブストリーミングされるeスポーツイベントにおいて、オンラインストリーミングプラットフォームが、eスポーツのエンスージアストやeスポーツ選手のファンのために、魅力的なやり方で関与する手段を提供していないことである。ライブのeスポーツイベントは、個人やチームがコンピュータビデオゲームで互いに対戦するイベントである。人気のあるライブイベントストリーミングプラットフォームは、リアルタイムでライブイベントを視聴し、他の観客とチャットすることを、利用者に可能としている。ストリーミングプラットフォームによっては、ストリーミングされているeスポーツイベントの統計情報のような更なる情報を見たり、eスポーツイベント全体や重要なステージにおける選手やチームの立ち位置を予測したり、そのような機能をライブストリーミングに統合するようにライブストリーミングを拡張するAPIをゲームやサードパーティに提供したりといった、インタラクティブなオプションを提供するものもある。しかし、そのような拡張機能やインタラクティブ機能、予測機能は、まったくもって一般的になっていない。それは、彼らに関係するタイプのゲームプレイは通常、空想のスポーツに似たゲーム中統計の専門技能が必要であり、それは、ほとんどの観客にとってアクセスすることができないからである。更に、そのような予測機能は通常、ユーザに、ストリーミングされるライブイベントの全体の長さについての予測を行うことを要求する。そのようなイベントは、数日から数週間に亘るイベントである場合がある。するとユーザは、トーナメントの開始時に勝利するチームを予測しなければならないが、結果が判るのは数日後か数週間後になってしまう。通常、そのような予測機能が提供されるのは、非常に人気があるeスポーツイベントのみである。ライブストリーミングされるeスポーツイベントの殆どについては、そのような予測機能は利用可能ではない。
既知のライブストリーミングプラットフォーム上のゲームライブストリーミングの多くは、自身のコンピュータから自身のゲームプレイをストリーミングする個人のゲームプレイヤーを含む。そのようなゲームプレイヤーをストリーマー(streamer)という。このようなストリーミングプラットフォームを通じてストリーマーがビデオゲームをプレイするのを見ることは、とても人気がある。しかし、既知のプラットフォーム上のeスポーツイベントについては、観客は、前に説明したようなインタラクティブなオプションへのアクセスを有しない。人気があるeスポーツイベントがプロフェッショナルに組織化され、明確な競技ルールに従い、不正行為を防ぐための審判やエキスパートを有するのに対して、ストリーマーは、そのような安全手段を何ら有さずに、彼らのゲームプレイをただライブストリーミングする。そのような安全手段は、賭博プラットフォームが運営に必要とするものである。
これらの理由により、通常、ストリーマーのゲームライブストリーミングについては賭けは利用不能である。人気があるeスポーツイベントについては、eスポーツイベントゲームサーバを有するデータ収集システムの統合を通じて、イベントやサブイベントを検出することが可能でありうる。しかしそのような統合は通常、ストリーマーのライブゲームストリーミングには利用可能ではない。というのも、ゲームサーバを運営するゲーム発行者は、利用可能なデータを生成していないかもしれないからである。これは、例え予測機能が提供されていたとしても、それは非常に限定的なものであり、上述の統計等のインタラクティブな機能も、同様に限定的なものであるか、又は全く利用可能ではないことを意味する。
このような議論に鑑みると、上述の課題を解決し、オンラインライブイベントの観客が、ライブイベントをもっと魅力的な形で見ることを可能にする、方法やシステムへの必要性が存在する。
本願の開示事項は、ライブイベントストリームの観客が、より魅力的な形でライブイベントストリームの視聴に関与することを可能にする、データ処理システム及びこれを動作させる方法を提供しようとしている。これは観客に、ライブイベントストリームの途中で予測を行うことを可能とすることで、実現される。ここでライブイベントは、実生活のイベントでもよく、(eスポーツイベントや、ビデオゲームをプレイする誰かのライブストリーミング等の)デジタルイベントでもよく、また、ストリーミング可能なその他のコンテンツ(例えばビデオストリームとしてストリーミングされるコンテンツ)でもよい。本願の開示事項は、ライブイベントストリームの途中で、予測可能なイベントやアクション、アクティビティを、(これらの予測可能なイベントやアクション、アクティビティがライブイベント中に実際に生じる前に、)ライブイベントストリームの観客に提示することについての、既存の課題に対するソリューションを提供しようとしてる。本願の開示事項の目的は、既知の方法やシステムを使用することに課題を少なくとも部分的には解決するソリューションを提供することであり、観客がライブイベントストリームの途中で予測を行うことを容易にする、改善された方法やシステムを提供することである。この予測は、予測可能なイベントやアクションが生じる前に行われる。例えばこの予測は、予測可能なイベントが発生する数秒前に、数分前に、1時間又は数時間前に、場合によっては数日前に、行われる。提供される方法やシステムは、観客がライブイベントストリームの途中で、そのような予測を行うことを容易にする。
ある側面によれば、本願の開示事項は、ライブイベントストリームの途中で予測を行うためのデータ処理システムを動作させる方法を提供する。前記ライブイベントストリームはビデオストリームを含み、前記ライブイベントストリームはサーバのライブイベントストリーム転送手段から受信される。前記方法は、
前記サーバから少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
前記定義した予測可能イベントアクションのセットの、個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を少なくとも一人の観客の少なくとも1つの観客デバイスに提供することと;
イベントデータソースから、予測可能イベントアクションのデータストリームを生成することと;
予測されたイベントアクションのデータを、前記少なくとも1つの観客デバイスから、前記サーバに記録することと;
前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記サーバによって、前記少なくとも1つの観客デバイスにストリーミングすることと;
前記生成したデータストリームからイベントアクションを検出することと;
前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
前記少なくとも1つの観客デバイスのディスプレイに前記特定した予測結果を表示することと;
を含む。
別の側面によれば、本願の開示事項は、ライブイベントストリームの途中で予測を行うためのデータ処理システムを提供する。前記ライブイベントストリームはビデオストリームを含み、前記ライブイベントストリームはライブイベントストリーム転送手段から受信される。前記データ処理システムは、
観客により動作させられる少なくとも1つの観客デバイスと;
通信ネットワークを通じて前記少なくとも1つの観客デバイスと通信する少なくとも1つのサーバと;
を備え、前記少なくとも1つのサーバは、
前記サーバから前記少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
前記定義した予測可能イベントアクションのセットの、個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を、前記観客による選択のために、前記少なくとも1つの観客デバイスに提供することと;
ストリーミングされる前記ライブイベントのビデオから、予測可能イベントアクションのデータストリームを生成することと;
予測されたイベントアクションのデータを、前記少なくとも1つの観客デバイスから記録することと;
前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記少なくとも1つの観客デバイスにストリーミングすることと;
前記生成したデータストリームからイベントアクションを検出することと;
前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
前記少なくとも1つの観客デバイスのユーザインタフェースに前記特定した予測結果を表示することと;
を行うように構成される。
本願の開示事項の実施形態は、先行技術における前述の問題を著しく小さくするか、当該に問題に少なくとも部分的に対処する。そして、デジタルデバイスのユーザが、リアルに且つ魅力的な形でライブイベントに関わり合うことを可能とし、また、ライブイベントの最中に生じうる中間イベントやアクション、アクティビティに関して予測を行うことを可能とする。本願の開示事項の実施形態は、ライブイベントストリームの途中で予測を行うことを容易とする。そしてそれによって、ライブイベントの観客をライブイベントによりアクティブに参加させ、観客の利用体験の質を高める。
本願の開示事項の更なる側面や利点、特徴及び目的は、添付の特許請求の範囲と共に解釈される、添付図面及び例示的実施形態の詳細説明によって明らかにされよう。当然ながら、本願の開示事項の特徴は、添付の特許請求の範囲に定義される開示範囲から逸脱することなく様々に組み合わせることが許容される。
以下、本願の開示事項の実施形態を、一例として次の図面を参照しながら説明する。
本願の開示事項の実施形態に従って、ライブイベントストリームの途中で観客が予測を行うことを可能にするデータ処理システムを示す略図である。 本願の開示事項の実施形態に従って、ライブイベントストリームの途中で生じる予測可能イベントアクションを描いた略図である。 本願の開示事項の実施形態に従うデータ処理システムを示す略図であり、観客デバイスに表示される、予測環境の第1の領域のグラフィカルユーザインタフェースを描いている。この第1の領域は電子予測手段を有する。 本願の開示事項の実施形態に従うデータ処理システムの例示的な構成を示す略図であり、観客デバイスに表示される、予測環境の第2の領域のグラフィカルユーザインタフェースを描いている。この第2の領域は電子予測手段を有する。 本願の開示事項の実施形態に従う、データ処理システムの例示的なアーキテクチャの略図である。 本願の開示事項の実施形態に従う、ライブイベントストリームの途中で観客が予測を行うことを可能にする方法のフローチャートである。
次に、本願の開示事項の例示的実施形態とそれを実装し得る方法を詳述していく。本願の開示事項を実装する幾つかの方法が説明されているが、本願の開示事項を実装又は実施する他の実施形態も可能であることは、当業者には理解されよう。明確性のために、本明細書で使用される用語を次のように規定する。
「観客」との用語は、観客デバイスでライブイベントストリームを視聴する者であって、ライブイベントに参加する参加者によって為されるイベントアクションの予測を行うことをデータ処理システムによって可能にされ、少なくとも1つの電子予測手段の選択を行うことを少なくとも希望する者を表すために使用される。「観客」は、ライブイベントストリームの途中で、将来何が起こるかの予測を提供することが可能である。より詳細には、「観客」は、定義された予測可能イベントアクションのうちのどれが生じうるかを予測することができる。また、どのプレーヤーによって生じうるかや、アクションがどのように実行されるか、当該アクションがいつ生じるかを予測することができる。
「参加者」及び「イベント参加者」との用語は、コンピュータゲームの一人又は複数のプレーヤーや、コンピュータゲームで互いに対戦している一人又は複数のプレーヤー、コンピュータゲームを一緒にプレイしているプレーヤーのグループや、他のプレーヤーのグループと対戦しているプレーヤーのグループを表す。また、誰も参加していないが、複数のプレーヤーがネットワークで繋がるゲームで遊んでいる、コンピュータゲームの一人のプレーヤーや、実世界のスポーツイベントの選手又は参加者、ライブコンサートの演奏者や参加者、その他のライブイベントのプレーヤーや参加者を表す。本願の開示事項の実施形態の一例において、「参加者」の代わりに、「プレーヤー」との用語が実施例に関連して使われている。そのような実施例においては、「イベント参加者」は、(戦争ゲームや戦略ゲーム、サッカーやバスケットボール等の)コンピュータゲームの一人又は複数のプレーヤーである。そこでは各プレーヤーは、データ処理システムに接続された適切な電子デバイス(例えばコンピュータ)を用いて、ゲーム中に遂行されるアクションに関連するデータを含むデータストリームを生成する。一人でプレイするコンピュータゲームやマルチプレイヤーのコンピュータゲームにおいて、参加者はストリーマーであることができる。ストリーマーは、自身のプレイのライブイベントストリームを、コンピュータゲームをプレイするのに使っているデバイスからデータ処理システムのサーバへとストリーミングする。
「観客デバイス」との用語は、一人の観客によって操作される一つのデバイスを表す。観客は、互いに接続された複数のデバイスを有する場合がある。例えば、ストリーミングを視聴するために大スクリーンTVを有し、予測を行うためにスマートフォンを有する場合がある。「観客デバイス」は、グラフィカルユーザーインターフェース(GUI)を使ってレンダリングされ、オンラインライブイベントストリームを表示するようにされた表示部を備えるデバイスとして当業者に知られる如何なるタイプのデバイスでもよく、例えば、電話、タブレット、ファブレット、コンピュータ、ラップトップ、PC、スマートフォン、VR/ARヘッドセット、端末、スマートTVであってもよい。
「参加者デバイス」との用語は、参加者がライブイベントに参加することを可能としたり、コンピュータゲームやビデオゲームをプレイすることを可能にしたりするデバイスを表し、ゲームコンソールやコンピュータ、タブレット、スマートフォン等のデバイスであることができる。
「ライブイベントストリーム転送手段」との用語は、本願の開示事項に従うデータ処理システムに、ライブイベントストリームを直接供給することが可能な装置を表す。または、(例えばスポーツイベントやコンサート、TVショー等の)ライブイベントのレコーティングシステムからライブイベントのビデオを受信し、通信ネットワークを通じてデータ処理システムへリアルタイムにライブイベントをブロードキャストすることができる装置を表す。「ライブイベントストリーム転送手段」は、例えば、1つ又は複数のイベントレコーディングシステムや、一人又は複数の観客の1つ又は複数のデバイス、参加者のデバイスに接続される1つ又は複数のサーバであることができ、例えばコンピュータゲームの音声・映像出力をキャプチャし(実施例によってはゲームデータもキャプチャし)、キャプチャしたビデオを(実施例によってはゲームデータも)リアルタイムで、データ処理システムのサーバにストリーミングすることができる装置である。例えば、ビデオを録画し、録画したビデオをデータ処理システムに転送する能力を有するコンピュータやラップトップ、スマートフォン等であることができる。実施例によっては、本願の開示されるデータ処理システムのサーバは、ライブイベントストリームを別のソースから受信してもよい。以下にライブイベントストリーム転送手段の例を挙げる。
a)一人又は複数のストリーマー(すなわちイベント参加者)のデバイスであって、ビデオストリームを直接サーバへ転送するデバイス。すなわち、ビデオはストリーマーのデバイスでキャプチャされ、サーバに転送される。
b)ゲームサーバに接続されたマルチプレイヤーのコンピュータゲームの一人又は複数のプレーヤーのデバイスであって、ライブイベントストリームをサーバに転送するデバイス。
c)実世界のライブイベントを録画し、録画したビデオを直接サーバへ転送する、1つ又は複数のスマートフォン。
d)実世界のライブイベントを録画し、録画したビデオをイベント主催者のサーバに送信する、1つ又は複数のビデオカメラ。この場合、イベント主催者のサーバは、本明細書で「イベントサーバ」として用いられる。またイベント主催者のサーバは、当該ビデオをデータ処理システムのサーバに転送する。全ての実施形態において、ライブイベントのビデオやデータをサーバに送信する手段は、「ライブイベントストリーム転送手段」である。
従って、例a)では、「ライブイベントストリーム転送手段」はストリーマーのデバイスである。
例b)では、「ライブイベントストリーム転送手段」は、マルチプレイヤーゲームのサーバである。当該サーバは、(イベント主催者やゲームパブリッシャーにより運営される、)イベント専用のサーバであることができる。または、不特定のゲームプレイヤーに使用される、(ゲームパブリッシャーにより運営される、)普通のゲームサーバであることができる。
例c)では、「ライブイベントストリーム転送手段」は、ライブイベントを録画し送信するために用いられるデバイスである。例えばスマートフォンである。例d)はライブビデオの送信を説明してる。これは中間サーバを必要とする場合があり、そのような実施例においては、「ライブイベントストリーム転送手段」は中間サーバであり、本明細書では「イベントサーバ」として用いられる。「イベントレコーディングシステム」との用語は、ライブイベントを録画し、録画したものを少なくとも1つの電子デバイスやサーバに送信できるようにされたデバイスを表す。
「電子予測手段」との用語は、観客が予測を行えるようにするために観客に提供される、所定の選択可能なオブジェクト又選択可能なフィールドを表す。電子予測手段は、観客デバイスを通じて予測環境のユーザインタフェースに提供される。「予測環境」との用語は、観客がライブイベントストリームを視聴したり予測を行ったりするために使用する電子デバイスで実行されるアプリケーションを表す。
「ライブイベント(の)カテゴリ」との用語は、ライブイベントのタイプを表し、また、ライブイベント中にどのタイプのイベントアクションが生じうるかを定義する。「ライブイベントカテゴリ」は、例えば、eスポーツやコンピュータゲームイベント(サッカーの試合や戦争ゲーム、アクションゲーム、ファンタジーゲーム、ランニングイベント等)、ライブビデオ、ライブスポーツイベント、ライブのTVショーであることができる。ライブイベントカテゴリはサブカテゴリを有してもよい。例えば、コンピュータゲームカテゴリには、特定のシューティングゲーム、特定のカーレースゲーム、特定のスポーツゲーム等の、複数の異なるタイプのコンピュータゲームがあってもよい。各サブカテゴリは、特定のゲームの特定のゲームモードのような、各サブカテゴリに固有のより詳細なカテゴリを有してもよい。それは、生じる可能性のあるイベントアクションや、対応する予測可能イベントアクションを、より詳細に分類する。
「イベントアクション」との用語は、ライブイベント中にライブイベントの観客によって引き起こされる、又は実行される、又は開始される、アクションやアクティビティ、サブイベントを表す。「サブイベント属性」との用語は、複数の参加者や、グループ、ライブイベントに参加している複数の参加者のうちのどの参加者が、どのタイプのアクションを実行するかや、当該アクションがどのように、どこで、いつ実行されるかを定義することによって、予測可能で検出可能なイベントアクションを表す。「トリガーアクション」との用語とは、ストリーミングされているライブイベントの途中で、特定のライブイベント参加者によって特定の時点で実行されるアクションを表す。「イベントリプレイデータ」との用語は、以前のライブイベントの録画やその付属データを表してもよい。「定義された予測可能イベントアクション」又は「定義した予測可能イベントアクション」との用語は、ライブイベントストリームの途中でイベント中に生じるイベントアクションであって、イベントカテゴリ、そのカテゴリにおける特定のイベント、イベントに対応するルールに依存して、データ処理システムによって定義されたイベントアクションを表す。定義された予測可能イベントアクションは、あるライブイベントがストリーミングされる前に予め定義されたものであってもよい。また、一旦定義された後に再定義されたものであってもよい。また、ライブイベントが誰によってストリーミングされたかに依存して、そのライブイベントの同じイベントで生じるイベントアクションが、異なる方法で定義されてもよい。
ある側面によれば、本願の開示事項は、ライブイベントストリームの途中で予測を行うためのデータ処理システムを動作させる方法を提供する。前記ライブイベントストリームはビデオストリームを含み、前記ライブイベントストリームはサーバのライブイベントストリーム転送手段から受信される。前記方法は、
前記サーバから少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
前記定義した予測可能イベントアクションのセットの、個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を少なくとも一人の観客の少なくとも1つの観客デバイスに提供することと;
イベントデータソースから、予測可能イベントアクションのデータストリームを生成することと;
予測されたイベントアクションのデータを、前記少なくとも1つの観客デバイスから、前記サーバに記録することと;
前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記サーバによって、前記少なくとも1つの観客デバイスにストリーミングすることと;
前記生成したデータストリームからイベントアクションを検出することと;
前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
前記少なくとも1つの観客デバイスのディスプレイに前記特定した予測結果を表示することと;
を含む。
実施例によっては、前記イベントデータソースは、例えば、ストリーミングされるライブイベントのビデオや、eスポーツやコンピュータゲームイベント等のライブイベントからのデータストリーム、API(アプリケーション・プログラミング・インタフェース)、SDK(ソフトウェア開発キット)、これらの組み合わせ、であることができる。
実施例によっては、前記方法は、サーバを備えるデータ処理システムによって実行される。前記サーバは、前記観客デバイスに予測環境を提供すべく、通信ネットワークを通じてライブイベントストリームを転送する手段と通信するように構成される。また前記サーバは、前記方法の各ステップを実行するように構成される。実施例によっては、前記Serverは、オブジェクト及びイベント検出エンジン、予測プロセッサ、予測環境エンジン、レンダリングエンジン、の少なくともいずれかを備える。前記レンダリングエンジンは前記観客デバイスにも備えられてもよい。
実施例によっては、前記データ処理システムは、観客の助けを借りて自動で補正されるように構成される。観客はライブイベントストリームのビデオを視聴し、検出されたデータの結果を見るだろう。そしてそのため、機械学習により生成されたデータが誤っているケースを特定し、印を付けることができる。それによって、データ処理システムの改善を助けることができる。
実施例によっては、前記データストリームは、機械学習を通じてビデオストリームを解析することにより、及び、データ及びビデオストリームからイベントを検出すること前記データ処理システムの前記サーバ内で生成される。前記機械学習は、視覚的なオブジェクト及びイベント検出のためのオブジェクト及びイベント検出エンジンであって、イベントリプレイデータによってトレーニングされたオブジェクト及びイベント検出エンジンに基づいて行われてもよい。
このような、サーバ側のオブジェクト及びイベント検出エンジンは、(例えば観客デバイスやゲームサーバからの)ゲームからのデータストリームなしに動作してもよい。又は、そのようなデータストリームと共に動作してもよい。実施例によっては、前記データストリームはゲームクライアントによってキャプチャされるか提供される。実施例によっては、前記データストリームはゲームサーバから提供される。
リアルタイム・オブジェクト及びイベント検出エンジンは、ゲーム中に生じるイベント及びアクションを検出するように構成される。リアルタイム・オブジェクト及びイベント検出エンジンは、機械学習システムとして実装されてもよい。このような機械学習システムは、以前のイベントからのイベントリプレイデータによってトレーニングされてもよい。そのようなイベントリプレイデータは、ゲームによって、ゲームの音声画像出力を含むゲームセッションを完全に再現するために用いられることができる。イベントアクションはイベントリプレイデータ、再生されたゲームセッションから検出することができる。更なるイベントアクションは手動で追加情報を付加されることができる。これらのイベントアクションは、再生された音声画像出力と共に機械学習アルゴリズムをトレーニングするために使用される。これは、その機械学習アルゴリズムが、同じゲームの他のビデオストリームにおいてイベントアクションを検出できるようにするためである。機械学習によるオブジェクト及びイベント検出エンジンは、ライブでビデオストリーミングされているゲームからのビデオキャプチャストリームを解析する装置で実行されることができる。データ処理システムのサーバで実行されてもよいし、参加者デバイスで実行されてもよい。
参加者は、ライブイベントの途中、対応するイベントのライブイベントカテゴリ、特定のイベント、特定のイベントモードに依存して、イベントアクションを実行する。「特定のイベント」や「特定のイベントモード」は、イベントが進行するにつれて時間と共に変わることができる。それは、イベントのコンテンツに依存することができる。例えば、イベントが組織化されたトーナメントであれば、適用されるべき特定のルールがあるだろう。それは、同じイベントで競われる別のトーナメントでのルールとは異なるだろう。各イベントカテゴリは、ライブイベントカテゴリのイベントアクションであって、イベント中に生じうるイベントアクションに関連付けられる。イベントアクションは、例えばゴール(例えばサッカーの試合というライブイベントカテゴリにおけるゴール)、特定のショットガンでの命中による得点(例えば特定のゲームにおける、ライブイベントカテゴリアクションゲームのサブカテゴリ)等であることができる。各イベントアクションはイベントアクションパラメータに関連付けられることができる。イベントアクションパラメータはイベントアクションに関連するルールのセットを定義する。例えば、正しい予測を行うことに対して観客にどれくらいのポイントが提供されるか、のようなルールのセットを定義する。
ライブイベントのストリーミングの間、ライブイベントストリームは、ライブイベントのビデオに加えて追加のデータを含むことができる。例えば、最も正しい予測をなした観客を表示する告知板や、競争中の観客グループの得点のような、イベントからのデータを含むことができる。これらは、本願の開示事項に従うデータ処理システムの予測環境に提示されることができる。
定義された予測可能イベントアクションのセットは、サブイベント属性の少なくとも1つを含む。サブイベント属性には例えば、予測可能アクションタイプや、予測可能アクションタイプのどのアクションが生じるか、どのプレーヤーによって生じるか、アクションはどのように実行されるか、リンクされた予測可能イベント、ライブイベントストリーム中のどの時点で予測されたアクションが生じるか、等がある。ここで、「予測可能アクションタイプ」の例には、「銃で撃つ」、「爆発」、「使用された武器のタイプ」、「敵が撃たれた場所」、「ゴール」、「イエローカード」、「レッドカード」、「コーナー」等がある。これらはライブイベントカテゴリに依存する。またこれらと、時刻や反復(例えば20秒間に3回敵を倒す、一列で3ラウンド勝つなど)の条件を組み合わせたものもあってもよい。「リンクされた予測可能イベント」は、特定のイベントが前に生じた場合に生じうるイベントである。
サブイベント属性は、例えばサッカーフィールドで選手がシュートを決めたことや、特定の選手によって得点されたゴール、どのようにゴールが決められたか(例えば足によってか、頭によってか)、サッカーフィールドにおいて選手がシュートを決めた位置、シュートを決めた時刻、特定の識別情報を有する選手または特定のチームの選手に為された過失、であってもよい。別の例では、コンピュータ戦争ゲーム又は戦略ゲームにおいて、特定のプレーヤー又は特定のチームにより、特定の位置で特定の武器によりなされたショットやキル、ミッション完了、又はその他のアクションであってもよい。サブイベント属性の別の例には、例えば、試合における勝利、ハーフタイム時にリードしているチーム、あるラウンドで敵のチームの全てのプレーヤーを倒したチーム、次の3回のラウンドで少なくとも一人の相手を倒した特定の選手がある。また、これらの反対もある。例えば、30秒間如何なるダメージやキルを受けなかったチーム、というサブイベント属性があってもよい。
ライブイベントカテゴリに依存して、予測可能イベントアクションは、ゲーム中の位置など、その他のサブイベント属性を有してもよい。「ゲーム中の位置」には、例えば戦争ゲームにおいて、地下、倉庫、橋、ガレージ等がある。サッカーゲームにおいては、ペナルティーエリアやセンターサークル等がある。各参加者は、コンピュータゲーム中に実行したアクティビティに関連する情報を含む追加情報を生成する。この追加のデータはサーバで受信される。サーバは、受信した追加のデータを解析し、サブイベント属性を検出し、対応するサブイベントコードを生成するように構成される。
実施例によっては、参加者が100人にもなるマルチプレイヤーゲームがあり、データ処理システムは、観客デバイスを通じて、又はゲームザーバを通じて、又はサーバ上でライブイベントを解析する機械学習システムを通じて、一人の観客からデータを受信するように構成される、というシナリオが考えられる。
ゲームのライブストリーミングの場合、ゲームのライブストリーミングのホスト(すなわちストリーマー)は、観客個別に電子予測手段を提供することによって、観客がホストのゲームプレイを予測することを可能にすることができる。ライブストリーミングのホストは、観客が、ホストが現在プレイしているゲームでホストがどのようにするかを予測するために、選択可能な1つ又は複数の予測可能イベントアクションを提供することができる。
これは、ライブストリーミングに魅力を加えることを可能にする。
電子予測手段は、所定の選択可能なオブジェクトの形を取りうる。ここで、これら選択可能なオブジェクトの各々は、定義された予測可能イベントアクションの1つを表す。(予測可能イベントアクションは例えば、「時刻t3にチーム1のプレーヤーNo.7がチーム2のプレーヤーNo.3を銃で倒す」でありうる。)または電子予測手段は、選択可能なフィールドの形を取りうる。ここで、選択可能なフィールドの各々はサブイベント属性に対応し、サブイベント属性のリストを備える。このリストの例には例えば、プレーヤーのリスト、プレーヤーが実行する可能性のあるアクションのリスト、イベントの最中に生じうるアクションのリスト、どのようにアクションが実行されるかについてのアクションのリスト、アクションが発生しうる場所のリスト、アクションが生じうる時刻のリストがある。観客は当該リストから、予測するサブイベント属性を選ぶことができる。例えば、ライブイベントに参加している複数の参加者のうちのいずれかや、どのタイプのアクションであるか、どの時点でどのようにアクションが実行されるか、といったサブイベント属性を選ぶことができる。
電子予測手段は予測可能アクションに関連する情報を備える。例えば、「ライブイベントYYY(サッカーゲーム、戦争ゲーム、等)の参加者XXが、イベントに依存する対応する手段(サッカーゲームにおけるヘディング、戦争ゲームにおけるショットガン、等)を使って、アクションZZZ(サッカーゲームにおけるゴール、戦争ゲームにおけるタスクや任務完了、等)を行う」のような情報を備える。電子予測手段は、観客についての情報と、データ処理システムにより生成されたサブイベント属性データとを有する。観客には、ライブイベントストリーミングの間に次の又は後のアクションを予測するための1つ又は複数の電子予測手段を使うために、適切なデバイスに、予測環境のユーザインタフェースが提供される。電子予測手段は、ある定められた時間帯においては観客に利用不能であってもよい。そのような時間帯において、観客は、どの電子予測手段も選択できなくともよい。
電子予測手段は、予測を行うことが許される所定の時間ウィンドウにおいて、観客デバイスの予測環境のユーザインタフェースに表示されることにより、観客に提供される。この時間ウィンドウはライブイベントより長くてもよい。また、ゲーム中に複数の時間ウィンドウが存在しても良い。例えば、ラウンド毎に予測を行うことができるようにしたり、ハーフタイムに予測を行うことができるようにしたりしてもよい。さらに観客はいつでも新しい予測を行ったり、既に行った予測を変更したりすることができるようにされてもよい。新しい予測を行う回数や予測の変更を行う回数は制限されてもよいし、そのたびにコストが生じてもよい。また、新しい予測を行ったり予測の変更を行ったりすることで、予測の報酬や報賞の計算における利益が減らされてもよい。上記時間ウィンドウは、ストリーミング可能なライブイベントの前に、又はライブイベントの最中に、観客にアクサス可能にされてもよい。それは、例えばオーバーレイグラフィックスとして、予測環境がスーパーインポーズされることによって為されてもよい。または、上記時間ウィンドウは、ビデオストリームとは別のウィンドウで上記タイムウィンドウを提供することによってアクセス可能にされてもよい。または、上記時間ウィンドウは、ライブイベントストリームのビデオを表示しているデバイスとは別のデバイスに提供され、その予測環境のユーザインタフェースに提供されてもよい。例えば、大きなスクリーンのTVでビデオストリームを視聴し、携帯電話で予測を行うようにされてもよい。
電子予測手段を使って観客によりなされた予測はサーバに受信される。選択可能なオブジェクトは特定の予測可能イベントにリンクしている。ライブイベントについて生成された一つ又は複数のデータストリームの解析は、ライブイベント中に生じる全ての予測可能イベントアクションを特定する。また特定した予測可能イベントアクションを、観客によりなされた全ての予測と対応付ける。ストリーミングされたライブイベントのそれぞれは、何百人もの、何千人もの、何百万人もの、同時に視聴する観客を有するかもしれない。観客は、個人として予測を行うことができる。またはチームとして、グループとして、予測を行うことができる。このためライブイベントは、個人の観客に向けてストリーミングされる場合もあれば、観客のグループに向けてストリーミングされる場合もある。
実施例によっては、生成されたデータストリームは、一人のゲーム参加者のデバイスから生成されたライブイベントストリームのビデオであることができる。そのようなゲーム参加者は、サーバ上で、例えば他の100人もの参加者と対戦している者かもしれない。実施例によっては、生成されたデータストリームは、互いに対戦している一つ又は複数のチームの一つ又は複数のデバイスから生成されたライブイベントストリームのビデオであることができる。又は、個人として互いに対戦している参加者の一つ又は複数のデバイスから生成されたライブイベントストリームのビデオであることができる。
ライブイベントストリームは、一つ又は複数のストリーミングソースから受信される。すなわち、ライブイベントストリーム転送手段から受信される。ライブイベントストリームは、当該ライブイベントストリームからトリガーアクションを検出する、(データ処理システムの)オブジェクト及びイベント検出エンジンによって受信される。ライブイベントストリームは、ゲームプレイの一つ又は複数のビデオストリームや、イベント参加者の一つ又は複数のビデオストリーム、コメンテーターのストリーム、イベントの統計などのデータストリームを含んでもよい。トリガーアクションは少なくとも、プレイされているゲームとのインタフェースとなるように構成されるソフトウェアインタフェースライブラリを実装することによって、検出される。またはトリガーアクションは、データを解析することによって、又はプレイ中のゲームの状態を解析することによって、検出される。これは、リアルタイムのビデオ認識又はリアルタイムの音声動画認識を実行し、イベントの一つ又は複数のライブストリームの解析を行うことによって、行われる。トリガーアクションの検出は、ライブイベントストリームのリアルタイムの統計フィードを用いて行われてもよい。従ってこれらのトリガーアクションは、観客にとって興味あるものでありうる。これらのトリガーアクションは、予測可能イベントアクションを含んでもよい。非限定的な例として、例えば、サッカーの試合における参加者によるゴール、eスポーツイベントにおける参加者Aによるキル(例えば対戦相手の参加者Bを消去するキル)であることができる。トリガーアクションは、生成されたデータストリーム中で検出される複数のアクションであってもよい。例えば、小さなアクションやサブアクションであってもよい。ライブイベントストリーム中のサブイベントで生じるアクションは、トリガーアクションである。サーバは、入力データのサブイベント属性を生成するように構成される。ここで入力データは、例えば、ストリーミングされたeサッカーゲームであってもよい。またサブイベント属性は、データ(時間の関数)であってもよい。選択された電子予測手段のサブイベント属性データがトリガーアクションに一致すると、報賞として観客にリソースが与えられる。このリソースは例えば、表彰、バッジ、地位、ポイント、得点、仮想通貨、暗号通貨、又はその他のデジタル的又は物理的な報賞であることができる。またリソースは、予測の確率や人気に応じて変化してもよい。すなわち、他の観客が何を予測するかに依存して変化してもよい。そのため、例えば非常に人気のある選択肢は、人気のない選択肢に比べて報賞が異なってもよい。(例えば逆張り予測を賞するためである。)
実施例によっては、データ処理システムは、トリガーアクションを検出し特定することによって、サブイベント属性を生成するように構成されてもよい。トリガーアクションは例えば、ライブイベントストリームのビデオのリアルタイム解析であって、イベントアクションを検出及び特定するリアルタイム解析から特定される。イベントアクションの検出及び特定は、機械学習を用いるオブジェクト及びイベント検出エンジンによって、ライブイベントストリームのリアルタイム統計フィード又はリアルタイム統計データベースを用いて行われてもよい。または、アクションタイプやアクションが生じた時刻を検出するソフトウェアインタフェースを用いて行われてもよい。ソフトウェアインタフェースライブラリは、参加者デバイスで実行されてもよいし、ゲームサーバ上で実行されてもよい。ソフトウェアインタフェースライブラリはゲームクライアント又はゲームサーバから直接データを収集する。ソフトウェアインタフェースライブラリは、参加者デバイスのゲームクライアントのAPIと統合されたり、ゲームサーバのAPIと統合されたりしてもよい。
ストリーミングされるライブイベントは、そのイベントの参加者によってなされるアクションにより生じるサブイベント(すなわちイベントアクション)を有する。予測されたイベントアクションのデータと、対応するサブイベント属性のデータ(これはライブストリーミング中に検出されたアクションに基づく)は、報賞をもたらすために使用されることができる。または、ポイント計算システム(すなわち割り当てられるリソース)を開始するために使用されることができる。
特定された予測結果は、当該予測結果に対応する予測がなされた観客デバイスに表示されてもよい。または、他の観客のいずれかの観客デバイスに表示されてもよい。または、当該予測結果に対応する予測がなされた観客デバイスと、他の観客のいずれかの観客デバイスとに表示されてもよい。
実施例によっては、上記データストリームの生成は、少なくとも1つのオブジェクトまたはイベント検出技術に基づく機械学習アルゴリズムを使ってビデオストリームを解析することにより実行される。本願の開示事項に従って機械学習アルゴリズムを使うことは、データストリームを生成しゲーム中のイベントを再生するためにイベントリプレイデータを使用して、前記機械学習アルゴリズムをトレーニングすることを含む。ここで前記イベントは、該イベントの音声動画出力とイベントアクションとを有する。
実施例によっては、前記機械学習アルゴリズムは、ゲームデータからのリアルタイムのオブジェクト及びイベント検出を開始することで、自己学習型の機械学習アルゴリズムとして実装される。このような機械学習アルゴリズムは、既存のイベントリプレイデータを使ってデータ処理システムによってトレーニングされる。このイベントリプレイデータは、データ処理システムが、視覚情報を含むゲームセッションを再生することを可能とする。ライブイベントのイベントアクションはライブイベントリプレイデータ、例えば再生されたゲームセッションから検出することができる。更なるゲームイベントは手動で追加情報を付加されることができる。これらのイベントアクションは,再生された視覚情報と共に、機械学習アルゴリズムをトレーニングするために使用される。機械学習によるオブジェクト及びイベント検出エンジンは、データ処理システムの一つ又は複数のサーバで実行されてもよい。または、元のゲームからのビデオキャプチャストリームを解析する参加者デバイスで実行されてもよい。
実施例によっては、データストリームの生成は、サーバにおいて、一つ又は複数の参加者デバイスから受信したイベントデータや、一つ又は複数のゲームサーバから受信したイベントデータ、ライブイベントストリーム転送手段から受信したイベントデータを解析することにより行われる。ライブイベント転送手段は、本願の開示事項に従って、一つ又は複数の参加者デバイス又はライブイベントサーバからのライブイベントストリームを、データ処理システムに提供する。ライブイベントストリームは、通信ネットワークを通じて、一つ又は複数の観客デバイスに提供される。または、データ処理システムのサーバを通じて観客デバイスに提供される。データ処理システムは、ライブイベントストリーム転送手段からのライブイベントストリームを受信し、受信したライブイベントストリーム及び予測環境を、一つ又は複数の観客デバイスのユーザインタフェースに提供するように構成される。実施例によっては、観客デバイスにおいて、予測環境プログラムが既にインストールされアクティブ化されている場合、ライブイベントストリームのみを提供するように構成される。観客は、個人として予測を行うことにより、ストリーミング可能なイベントに参加してもよい。実施例によっては、参加者は、一つ又は複数のチームを形成し、グループとして予測を行ってもよい。一つ又は複数の観客デバイスは、通信ネットワークを通じてサーバにアクセスすることができる。観客デバイスは、ライブイベントのライブイベントストリームの全てにアクセスできてもよいし、部分的にのみアクセスできてもよい。ここで当該ライブイベントストリームは、ライブイベントストリーム転送手段から直接に提供される形態、ライブイベントサーバから提供される形態、データ処理システムのサーバを通じて提供される形態がある。サーバは、実施例によって、専用サーバやクラウドサービス、分散型サーバでありうる。通信ネットワークはインターネット等でありうる。特定の観客デバイスから通信ネットワークへの接続は、有線接続や無線接続でありうる。ライブイベントは、サッカーゲームやスポーツイベントのような現実のイベントであることができ、また、eスポーツイベントのようなコンピュータビデオゲームであることもできる。ライブイベントからのコンテンツは参加者デバイスでレンダリングされることができる。または、ライブイベント転送手段でレンダリングされることができる。
実施例によっては、ライブイベントとしてのライブの試合トーナメントがオンラインでストリーミングされる。この試合トーナメントはオンラインで行われるものであったり、実際の物理的ロケーションにおいて行われるものであったりする。
一つ又は複数のライブイベント転送手段から一つ又は複数のビデオストリームが受信される。ライブイベント転送手段は例えば、トーナメントが行われる場所の一つ又は複数のサーバや、イベントサーバに接続されるデバイスであることができる。ライブイベント転送手段は、ライブイベントをレコーディングし、レコーディングしたライブイベントストリームのビデオを、データ処理システムのサーバに送信する。
データストリームは、サーバのオブジェクト及びイベント検出部により生成される。または、ライブイベント転送手段から受信される。このデータストリームはイベントアクションを検出するために使用される。また、ライブイベント中におけるイベントアクションが生じた時を検出するために使用される。トーナメントは観衆に向けてストリーミングされる。すなわち、試合を観戦している個々の観客に向けてストリーミングされる。この試合は、実施例によっては非常に多くのプレーヤーが存在するゲームである場合があり、何十万、何百万の視聴者が同時に存在する場合もある。観客は、個人として予測を行ったり、チームとして予測を行ったりすることができる。データ及びビデオストリームはサーバで受信される。サーバは、受信したデータ及びビデオストリームの各々を解析し、サブイベント属性を検出し、対応するサブイベントコードを生成するように構成される。
別の側面によれば、本願の開示事項は、ライブイベントストリームの途中で予測を行うためのデータ処理システムを提供する。前記ライブイベントストリームはビデオストリームを含む。実施例によっては、前記ライブイベントストリームはビデオストリーム及び追加のデータストリームを含んでもよい。前記ライブイベントストリームはライブイベントストリーム転送手段から受信される。前記データ処理システムは、
観客により動作させられる少なくとも1つの観客デバイスと;
通信ネットワークを通じて前記少なくとも1つの観客デバイスと通信する少なくとも1つのサーバと;
を備え、前記少なくとも1つのサーバは、
前記サーバから前記少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
前記定義した予測可能イベントアクションのセットの、個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を、前記観客による選択のために、前記少なくとも1つの観客デバイスに提供することと;
イベントデータソースから、予測可能イベントアクションのデータストリームを生成することと;
予測されたイベントアクションのデータを、前記少なくとも1つの観客デバイスから記録することと;
前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記少なくとも1つの観客デバイスにストリーミングすることと;
前記生成したデータストリームからイベントアクションを検出することと;
前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
前記少なくとも1つの観客デバイスのユーザインタフェースに前記特定した予測結果を表示することと;
を行うように構成される。
実施例によっては、前記イベントデータソースは、例えば、ストリーミングされるライブイベントのビデオからのデータストリームや、eスポーツやコンピュータゲームイベント等のライブイベントからのデータストリーム、API(アプリケーション・プログラミング・インタフェース)、SDK(ソフトウェア開発キット)、これらの組み合わせ、であることができる。
本願で開示されるデータ処理システム及び方法は、オンラインライブイベントストリームの観客が、ライブイベントの最中に生じうるアクションについての予測を行うことを可能にする。ライブイベントストリームは観客によって分刻みで視聴され、予測は電子予測手段を用いて始められる。電子予測手段は、観客デバイスにインストールされた予測環境のユーザインタフェース内で、定義された予測可能イベントを表現する。観客デバイスは、データ処理システムのサーバと通信するように構成される。データ処理システムは観客に、ライブストリーミング中に生じる可能性がある事項についての予測を行う手段を提供する。提供された予測が正しいと、観客はリソースで賞される。
ライブイベントストリームのビデオからの詳細なイベントアクションデータの生成を、このようにリアルタイムで、又はリアルタイムに近い時間で提供することは、先行技術の課題を解決することを可能にする本願の開示事項の実施形態の主要な目的である。実施例によっては、前記生成は実際のデータの生成である。例えば、解析がビデオフィードの視覚認識を通じてなされる場合がそうである。実施例によっては、生のゲームデータからのデータの生成である。
ストリーミングされるライブイベントのビデオや、イベント参加者の音声、解説、観衆の音声は、それぞれ別のストリームであってもよいし、単一のストリームである場合もある。予測できない理由により、意図しない遅延が発生する場合がある。例えば、ライブイベントストリームが例えば10秒遅延する場合がある。また、通信ネットワークが原因の遅延やライブイベントストリーム中のバッファリングによる遅延もある。ストリーミングされるライブイベント中のこのような意図しない遅延の間、ライブイベントの観衆メンバーは、予測を行うことによって参加を続けてもよい。もしそうであれば、データ処理システムは、影響を受けた観客に、予測環境のユーザインタフェースを通じて通知を行い、それらの観客の取り扱いを異ならせてもよい。(例えば彼らは他の者よりも例えば10秒進んでいる。)
実施例によっては、ライブイベントストリームは、ライブイベント転送手段を通じて一つ又は複数のサーバへと転送される。前記一つ又は複数のサーバは、一つ又は複数の観客デバイスに接続されるとき、スケーリングのために、または地理的に分散した観客の位置を扱うように、構成される。実施例によっては、ライブイベント転送手段が、複数のゲームサーバ又は共有ゲームサーバから転送すべきライブイベントストリームを受信する。すなわち、各サーバでプレイされる遠隔ゲームの場合である。このような場合、データ処理システムは、複数のライブイベントストリームを同期するように構成される。ライブイベントをリアルタイムに近い時間でストリーミングし、一つ又は複数のライブイベントストリーム(ビデオやイベントデータ、統計を含む)を同期することにより、本願の開示事項の実施形態は、不正行為を防止することを可能にする。また、観客のアクションがほぼリアルタイムに生じ、及び/又は同期する、予測環境を提供する。本願の開示事項の別の実施例では、ライブイベントストリームの送信は、中間サーバによって実行されてもよい。しかしまた、本願のデータ処理システムのサーバに直接接続されてもよい。例えば、マルチプレイヤーゲームのサーバが、どのイベント参加者によっても使用されうる実施形態がある。当該サーバは、(イベント主催者やゲームパブリッシャーにより運営される、)イベント専用のサーバであることができる。または、(ゲームパブリッシャーにより運営される、)普通のゲームサーバであることができる。
ストリーミングされるイベントはアクションを有する。このアクションは、ストリーミングされるイベントの参加者によって行われる。ライブイベントは、データ処理システムがライブイベントストリームを受信することによってストリーミングされる。ここでデータ処理システムは、データ処理システムのサーバによって少なくとも1つのイベントデータソースを処理して、イベントデータのデータストリーム及び予測可能イベントアクションのデータストリームを生成し、ライブイベントストリームをストリーミングし、一つ又は複数の観客デバイスに予測環境を提供する。この予測環境は、観客固有のデータ、例えば、何の予測を行うことができるか、何の予測が生じるか、等のデータを有することができる。イベントデータソースは、例えば、ライブイベントストリームのビデオや、eスポーツ又はコンピュータゲームイベント等のライブイベントからのデータストリーム、API(アプリケーション・プログラミング・インタフェース)やSDK(ソフトウェア開発キット)であることができる。例えばもし、コンピュータゲームイベントからのデータストリームがある場合、実施例によってはビデオストリームが解析され、更なるイベントデータが生成されてもよい。観客によりなされた予測は、サーバの予測環境をエンジンによって、生成されたデータと比較され、予測が正しかったか誤っていたかが決定される。予測は、予測可能イベントが生じる前に行われる(tp<t2)。
サーバは、ライブイベントストリームを受信すべく、通信ネットワークを通じてライブイベントストリーム転送手段と通信し、受信したライブイベントストリームを一つ又は複数の観客デバイスに提供し、所定の対面ウィンドウの中で、一つ又は複数の電子予測手段を備える予測環境を一つ又は複数の観客デバイスに提供するように構成される。
実施例によっては、本願の開示事項は、ライブイベントストリームの途中で観客が予測を行うことを可能にするデータ処理システムを提供する。ここでライブイベントは、一つ又は複数のライブイベントサーバによって運営されたものであってもよい。前記一つ又は複数のライブイベントサーバは、一つ又は複数のゲームサーバの組み合わせを含んでもよい。実施例によっては、前記ライブイベントサーバはeスポーツイベントに結び付けられる。ここで、イベント参加者、すなわちコンピュータゲームやビデオゲームのプレーヤーは、参加者デバイスでゲームをプレイする。ゲームビュー(音声やビデオ等)に結び付けられたライブビデオストリームは、本願の開示事項の実施形態に従うデータ処理システムによってストリーミングされる。参加者デバイスは、ゲームデータAPIを通じてrawゲームデータを提供するように構成されることができる。実施例によっては、rawゲームデータは、ソフトウェアインタフェースライブラリによって、ゲームのデータファイルやゲームステート(game state)から抽出されることができる。これは、参加者デバイスに提供されるゲームクライアントのビルドインソフトウェアモジュールとして実装されることができる。っし例によっては、これは、別の実行可能ソフトウェアである。同様に、一般のゲームサーバにおいて、rawゲームデータやAPI、ソフトウェアインタフェースライブラリは、ビデオストリームとして提供されることができる。同時に同じゲームで互いに遊んでいる、コンピュータゲームの参加者の数は様々である。
実施例によっては、プレーヤーの動きや気持ちをキャプチャするための、人間のプレーヤーからのライブカメラストリームがあってもよい。または、ゲームの観衆やコメンテーターからの他のカメラストリームがあってもよい。実施例によっては、データ処理システムは、オブジェクト及びイベント検出エンジンを備える。このオブジェクト及びイベント検出エンジンもまた、ライブイベントストリームからデータを抽出して、使用されるデータを背製するように構成されることができる。
実施例によっては、ライブイベントストリーム転送手段は、eスポーツプレイヤー(すなわちイベント参加者)を提供するゲームサーバである。実施例によっては、ライブイベントストリーム転送手段は、eスポーツコンピュータゲームやビデオゲームの試合、競技会、トーナメントを提供するゲームサーバである。これらの試合、競技会、トーナメントで、個々のプレーヤーやチームは、互いに競争する。
データ処理システムはまた、少なくとも1つの観客デバイスを備える。この観客デバイスは、イベントストリーム転送手段と通信する。ここで、実施例によってはゲームサーバであり、ゲームサーバがイベントストリーム転送手段を備える。観客デバイスはまた、通信ネットワークを通じてサーバと通信してもよい。さらに、実施例においては、観客デバイスを使用する観客は、ライブイベントが行われている場所とは離れた場所に位置していてもよい。別の例では、観客は、ライブイベントが送信されている場所と同じ場所に位置していてもよい。サーバがライブイベントを観客デバイスにストリーミングする前に、ライブイベントは、ライブイベントサーバによって当該サーバに送信される。観客の位置に関わらず、ライブイベントストリームは、ライブイベントに対してリアルタイム又はリアルタイムに近い形で中継される。実施例によっては、ライブイベントのストリーミングは、意図的に遅延されてもよい。サーバと同様に、観客に使用される観客デバイスも、本願の開示事項に整合する1つ又は複数の機能を実行するように構成されてもよい。この点については後で更に説明される。
分散ユーザ構成の中で、インターネットや、テレビジョン・ケーブル・サービス(TCS)のような無線周波数帯域、イーサネットのような通信ネットワークが通信に使用される場合、アプリケーション特有の要請に依存して、複数のサーバがデータハンドラとして使用されてもよい。例えば、前記特有の要請は、例えば、観客の地理的位置に基づいたデータ処理システムのアーキテクチャを含んでもよい。追加的に、又はオプションとして、本明細書で開示される前記特有の要請は、アプリケーション特有の要請を含んでもよい。例えば、ライブイベントストリーミングアプリケーションにおいて、予測機能や得点表機能、その他の機能と協働するための要請を含んでもよい。
データ処理システムは、観客デバイスのユーザインタフェースに電子予測環境を提供するように構成される。この電子予測環境は、観客が、ライブイベントのカテゴリや、ストリーミングされる特定のライブイベントを選択することを可能にする。選択されたデータ処理システムのアーキテクチャに関わらず、観客デバイス及びサーバは互いに、選択された通信ネットワーク上を通信するデータを用いて通信するように構成される。
更に、データ処理システムは、選択されたカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義するように構成される。ライブイベントの選択可能イベントアクションのセットを定義するためにサーバがしようされるとき、当該サーバはコードを実行する。当該コードには、書かれた命令セットが載っている。実施例によっては、観客デバイスは例えばシンクライアント型であってもよい。シンクライアント型の観客デバイスは、ライブイベント中に選択可能イベントアクションのセットを定義するように動作すべく、書かれた命令セットを通じて、同様の又は別のコードを実行するように構成されてもよい。選択可能イベントアクションのセットは、観客の希望及び選択されたライブイベントカテゴリに基づいて定義される。
しかし観客は、そのような希望や選択したライブイベントカテゴリを、観客デバイスのディスプレイに関連付けられたGUIを使って入力するかもしれない。
データ処理システムは、定義した予測可能イベントアクションのセットの個々の予測可能イベントアクションを、電子予測手段に関連付けるように構成される。選択可能イベントアクションは、選択されたライブイベントカテゴリにおいて生じると予測される如何なるタイプのアクションでもよい。例えば、ライブのサッカーの試合におけるゴールやペナルティキック、コーナーキックや、オンラインマルチプレイヤー戦争ゲームにおけるキル方法、キルカウント、最後に勝ったチームであることができる。電子予測手段は、予測可能イベントアクションの各々にリンクされる。
例えば、ライブイベントカテゴリ"サッカー"のための第1の選択可能オブジェクト又は第1の選択可能フィールドは、「チームAの一人又は複数の参加者が試合の前半でゴールを決める」という予測を含んでもよく、同じカテゴリのための第2の選択可能オブジェクト又は選択可能フィールドは、「チームBの一人又は複数の参加者が試合の後半でゴールを決める」という予測を含んでもよい。更に、第3の選択可能オブジェクト又は選択可能フィールドは、「チームAの一人又は複数の参加者がヘディングでゴールを決める」という予測を含んでもよく、第4の選択可能オブジェクト又は選択可能フィールドは、「チームBの一人又は複数の参加者が、コーナーキックからゴールを決める」「ペナルティキックからゴールを決める」「ゲームプレイの他のやり方でゴールを決める」という予測を含んでもよい。
別の例では、eスポーツカテゴリ"Call of Duty"(登録商標)のための第1の選択可能オブジェクト又は選択可能フィールドは、「チームAの一人又は複数の参加者がチームBの一人又は複数の参加者を倒すかどうか」という予測を含んでもよく、同じeスポーツカテゴリのための第2の選択可能オブジェクト又は選択可能フィールドは、「チームBの一人又は複数の参加者がチームAの一人又は複数の参加者を倒すかどうか」という予測を含んでもよい。加えて、第3の選択可能オブジェクト又は選択可能フィールドが、「チームA(又はチームB)の一人又は複数の参加者によるそのようなアクションが、ゲームの第1ラウンドにおいて行われるか、または第2ラウンドで行われるか」という予測を含んでもよい。代替的に、又は追加的に、第4の選択可能オブジェクト又は選択可能フィールドが、「チームAの一人又は複数の参加者によりなされたイベントアクションが特定の場所でなされるか否か、例えば倉庫の地下や家のテラス、川によってできた沼地でなされるか否か」の予測を含んでもよい。
電子予測手段や、対応する予測されるイベントアクションの上述の例は単なる例示であって、本願の開示事項の範囲を限定するものではないことに注意されたい。当業者は、上述の例の代わりに他の様々なタイプのイベントアクションが、それぞれの電子予測手段を通じて実装されうることを理解するだろう。また、ライブイベントのタイプやカテゴリに応じてゲームの用語が変化することも理解するであろう。例えば、サッカーのようなスポーツや、"Call of Duty"(登録商標)のようなeスポーツに基づいて、ゲームの用語が変化することを理解するであろう。
サーバは、定義した予測可能イベントアクションに関連付けられた電子予測手段を、観客による選択のために、観客デバイスに提供するように構成される。観客は、観客デバイスのディスプレイに関連付けられる予測環境のGUIを使って1つ又は複数の所望の電子予測手段を選択することにより、入力を提供してもよい。
サーバ及び/又は参加者デバイスは、予測されたイベントアクションのデータを生成するように動作することができる。実施例によっては、予測可能イベントアクションについてのデータストリームを生成することは、
定義された予測可能イベントアクションに関連付けられた、前記提供された電子予測手段に応答して、少なくとも一人の観客の少なくとも1つの観客デバイスから、前記定義された予測可能イベントアクションに関連する少なくとも1つの予測入力を受信することと;
前記受信した少なくとも1つの予測入力を処理して、予測されたイベントアクションについてのデータを生成することと;
を含む。
前記サーバは、前記定義された予測可能イベントアクションに関連付けられた、前記提供された電子予測手段に応答して、少なくとも一人の観客の少なくとも1つの観客デバイスから、前記定義された予測可能イベントアクションに関連する少なくとも1つの予測入力を受信し、前記受信した少なくとも1つの予測入力を処理して、予測されたイベントアクションについてのデータを生成するように構成されてもよい。観客デバイスのユーザインタフェース内の予測環境を通じて、例えば1つ又は複数の選択可能オブジェクト又は選択可能フィールドのような、電子予測手段が観客によって選択されると、サーバは、前記観客デバイスから、予測入力としての前記選択を受信する。サーバ又は観客デバイスは、前記ライブイベントストリームを処理してデータストリームを生成する。データ処理システムは、一人又は複数の観客の1つ又は複数の観客デバイスからライブイベントストリームを受信するように構成される。そして、予測されるイベントアクションのデータストリームを生成する。
実施例によっては、サーバでデータストリームを生成することはさらに、イベントベースの解析、イベントベースの統計、イベントベースの解説の1つ又は複数を受信することを含んでもよい。例えば、前記イベントベースの解析は属性を含んでもよい。すなわち、特定のイベントアクションが、どうやって、どこで、いつ生じたかや、何のイベントアクションが生じたかに関連する側面を含んでもよい。
実施例によっては、ストリーミングされたライブイベントの参加者によって実行されたアクションからサーバが生成したデータストリームは、イベントベースの統計を含んでもよい。実施例によっては、前記イベントベースの統計は、サッカーの試合中にある選手によって得点されたゴールの数に関係する統計データを含んでもよい。実施例によっては、前記イベントベースの統計は、サッカーの試合中にある選手がゴールを試みた回数に関係する統計データを含んでもよい。
実施例によっては、ストリーミングされたライブイベントの参加者によって実行されたアクションからサーバが生成したデータストリームは、イベントベースの解説を含んでもよい。実施例によっては、前記イベントベースの解説は、ゲームプレイの状態に関するコメンテーターの意見等を含んでもよい。また実施例によっては、特定のイベントアクションが生じる方法に関する解説(例えば、選手がページング又はキックでゴールを決める等)を含んでもよい。
さらに別の実施例では、ストリーミングされたライブイベントの参加者によって実行されたアクションからサーバで生成されたデータストリームは、イベントベースの解析や、イベントベースの統計、イベントベースの解説の、2つ又はそれ以上の組み合わせを含んでもよい。
実施例によっては、前記データストリームの生成は、アクションのタイプ、イベントアクションが生じると予測された場所、アクションの実行者の識別情報、ライブイベントストリーム中の対応する予測可能イベントアクションが生じた時刻、先行する予測可能イベントアクションに対する依存性、についての情報を生成することを含む。ストリーミングされたライブイベントの参加者により実行されたアクションからサーバが生成したデータストリームは、観客の参加体験を高め、ライブイベントストリームの魅力のレベルを向上させる。
実施例によっては、データ処理システムのサーバ又は観客デバイスの少なくとも一つは、搭載する機械学習アルゴリズムを使ってビデオを解析することにより前記データストリームを生成するように動作しうる。この機械学習アルゴリズムは、少なくとも一つのオブジェクト及びイベント検出技術に基づいている。様々な既知のオブジェクト及びイベント検出API(例えば、非限定的な例としてTensorFlowがある)が、ライブイベントストリーム中の各オブジェクトのクラスやタイプを検出するために実装されてもよい。使用されるオブジェクト及びイベント検出APIは、第1のオブジェクト及び第2のオブジェクトを検出してもよい。ここで第1のオブジェクトは、例えばサッカーの試合のライブイベントストリームにおける、選手であってもよい。第2のオブジェクトは、例えばサッカーの試合のライブイベントストリームにおける、ボールであってもよい。オブジェクト及びイベント検出APIは、オブジェクトのクラスに加えて、ライブイベントストリーム中の個々のオブジェクトの状態を検出するように構成されてもよい。例えば、オブジェクト及びイベント検出APIは、選手がボールに向かって走っていくことや、ボールをキックする前に選手の足が上がること、選手はボールをキックした後にボールが空中にあること、のような、オブジェクトの状態を検出してもよい。
実施例によっては、前記データストリームを生成するために、前記少なくとも1つのサーバは更に、データストリームを及びビデオストリームを生成するためのイベントリプレイデータを用いて、機械学習アルゴリズムをトレーニングするように構成されてもよい。例えば、イベントリプレイデータは、サッカーの試合の既知のライブイベントストリームからの、様々な選手によりなされた幾つものコーナーキックを含んでいてもよい。または、サッカーの試合の既知のライブイベントストリームからの、ボールを蹴る選手によりなされた幾つものペナルティキックを含んでいてもよい。このように、イベントリプレイデータを用いることにより、イベントの視覚情報が再生され解析され、予測可能イベントが抽出される。これは一緒に、機械学習アルゴリズムをトレーニングするために使用される。機械学習アルゴリズムは、ライブイベントストリームからのデータストリームの生成における一致性及び正確性を改善するため、後の使用のためにトレーニングされることができる。
更に前記サーバは、選択されたライブイベントカテゴリに対応するライブイベントを、前記ライブイベントストリーム転送手段から前記少なくとも1つの観客デバイスにストリーミングするように動作しうる。観客デバイスは、ライブイベントのストリームを受信するように構成される。このストリームは、予測環境のユーザインタフェースを介してライブイベントを表示するためのものであり、また、予測環境の所望の電子予測手段の選択を通じて予測されるイベントアクションについての予測を行うためのものである。例えば観客が、所望のライブイベントを見るために、観客デバイスのディスプレイのGUIを通じて対応するライブイベントカテゴリから選択入力を提供すると、サーバは、当該観客による視聴のために、観客デバイスのディスプレイにライブイベントを(例えばサッカーの試合を)ストリーミングする。
ライブイベントストリームは、通信ネットワークを通じて、またデータ処理システムのサーバを通じて、観客のデバイスに転送される。ストリーミングされたライブイベントは、定義された予測可能イベントのセットを有する。このセットは観客に利用可能である。ライブイベントストリームが例えばサッカーの試合のオンラインストリームである、或る実施例におぃて、観客は、どの予測可能イベントアクションが生じるかを選択することによって、予測を行うことができる。ここで、当該予測可能イベントアクションは、ゴールやイエローカード、レッドカード等であることができる。また、どの選手によって、その予測可能イベントアクションが生じるか、その予測可能イベントアクションがいつ行われるか、その予測可能イベントアクションがどうやって行われるか(例えばゴールがヘディングによって決められるか、足によって決められるか)、を選択することによって、予測を行うことができる。
本願の開示事項の別の実施例では、ストリーミングされるイベントは例えば戦争ゲームである。この実施例において、観客は、例えば、どのプレーヤーがどうやって倒されるかについての予測を行うことができる。例えば、どんな手段によって(例えば斧やショットガンなど)倒されるか、第1のプレーヤー又は第2のプレーヤーによって倒されるか、についての予測を行うことができる。実施例によっては、ストリーミングされるコンテンツは、何らかのライブ録音され放送されたイベントであってもよい。例えば、何らかのスポーツ(例えばサッカーやバスケットボール、野球等)の試合、コンサート、映画、ミュージックビデオ、ライブニュース等であってもよい。
観客は、少なくとも一つの電子予測手段の選択を選択解除することを選ぶことができてもよい。ここで用語「選択解除」は、観客からなされたリクエストとみなすことができ、それは観客デバイスのディスプレイのGUIを通じてなされ、少なくとも1つの電子予測手段について以前になされた選択に対する取り消し操作を行うためになされるリクエストとみなすことができる。
もし電子予測手段が不適切に提供された場合、観客は、診断及び調整手続をサーバに提案してもよい。観客に提供された電子予測手段が、進行中のライブイベントについての所定の既定の関連性閾値基準を超えて逸脱している場合は、観客は単純に、観客デバイスのディスプレイのGUIからの適切な入力を通じて、天使予測手段が不適切に提供されたこと、及び、診断及び調整手続が実行されるべきことを、サーバに提案してもよい。それによって、逸脱が少ない(言葉を変えればより関連性が高く又は正確な)電子予測手段が、ライブイベントストリームに対応して生成されるようにする。
例えば、観客に選択されたライブイベントカテゴリが例えばサッカーであるが、観客に提供された電子予測手段がeスポーツや別のスポーツのためのものであった場合、観客は、観客デバイスのディスプレイのGUI上の適切な入力を通じて、サーバに、電子予測手段が不適切に提供されたことや、関連性が高く又は正確な電子予測手段を観客に提供するために診断及び調整手続が実行されるべきことを、提案してもよい。
別の例では、観客により選択されたライブイベントカテゴリがサッカーであり、サッカーの試合のライブイベントストリームがユーザに提供される。しかし、試合の前半で選手Aが、審判により出されたレッドカードにより退場してしまった。しかし、観客に提供された電子予測手段は不適切に予測された特定のイベントアクションを表している。例えば、選手Aが後半にゴールを決める、という、イベントアクションを表している。このような場合、観客は、観客デバイスのディスプレイのGUI上の適切な入力を通じて、サーバに、電子予測手段が不適切に提供されたことや、関連性が高く又は正確な電子予測手段を観客に提供するために診断及び調整手続が実行されるべきことを、提案してもよい。様々なタイプの不適切な電子予測手段が、観客デバイスのGUIを通じて観客からサーバに報告されうる。それは単なる修正や、置き換え、削除のためであり、それによって、関連性が高く又は正確な電子予測手段を観客に提供するためである。
イベントアクションを検出することは、トリガーアクションを検出することを含む。トリガーアクションは、ソフトウェアインタフェースライブラリを実装することによって、検出される。ソフトウェアインタフェースライブラリは、プレイ中のゲームとやりとりするか、プレイ中のゲームのデータ又は状態を解析するように構成される。実施例によっては、イベントアクションを検出することは、更に、ライブイベントストリームの音声及びビデオの認識及び解析と、ライブイベントストリームのリアルタイム統計フィードを用いることの少なくとも1つを実行することにより、トリガーアクションを検出することを含む。実施例によっては、前記少なくとも1つのサーバは、ソフトウェアインタフェースライブラリを実装することにより、トリガーアクションを含むイベントアクションを検出するように構成される。このソフトウェアインタフェースライブラリは、例えば、イベント参加者デバイスに存在してもよいし、サーバに存在してもよい。ソフトウェアインタフェースライブラリは、コンパイル済ルーチンのコレクションを1つ又は複数含んでもよい。サーバやイベント参加者デバイスは、受信したデータストリームからトリガーアクションを検出するために、これらのルーチンを実行してもよい。
実施例によっては、前記少なくとも1つのサーバは、ライブイベントストリームの音声及びビデオの認識及び解析と、ライブイベントストリームのリアルタイム統計フィードを用いることの少なくとも1つを実行することにより、イベントアクションを検出するように構成される。ライブイベントストリームの音声及びビデオの認識及び解析は、当業者によく知られた1つ又は複数のソフトウェアライブラリやツールパッケージを使って開発されてもよい。また、そのようなソフトウェアアプリケーションパッケージは、ディープラーニングモジュールによって実装されてもよく、又はディープラーニングモジュールと関係付けられてもよい。これはとりわけ、S/N比の改善や、ライブイベントストリーム(例えばテレビニュースを含むライブイベントストリーム)中のスピーチの解読のためである。
実施例によっては、前記データ処理システムは、検出されたトリガーアクションに基づいて、サブイベント属性を生成するように構成されてもよい。選手Aによってゴールが得点される例において、生成されるサブイベント属性は、特に、「選手Aはボールを蹴る前に走る速度を上げる」や、「選手Aは得点を決めるためにボールを蹴る」、「選手Aが選手Bに対抗している間に競技のルールに反した何らかの反則」、「ハンド」、「ゴールを決める」、「サッカーの試合中に他の選手によってなされた反則」に関する属性を含んでもよい。eスポーツイベントにおいてチームAの参加者によってなされた敵(チームBの参加者)を排除するためになされたキルの例において、生成されるサブイベント属性は、特に、「キルがなされた時間」、「キルが生じた場所」、「キルの方法」、に関連する属性を含んでもよい。
実施例によっては、前記データ処理システムは、ライブイベントストリームの一人又は複数の観客から、生成したサブイベント属性についてのフィードバックを受け取り、受け取ったフィードバックに基づいて当該サブイベント属性を後の使用のためにアップデートすることにより、サブイベント属性を生成するように構成されてもよい。実施例によっては、機械学習アルゴリズムの学習プロセスの一部として、観客が、生成されたサブイベント属性についてのフィードバックを提供することを許される。
例えばライブイベントストリームが、サッカー選手がフリーキックを行う場面を表示しているのに、データ処理システムが生成したサブイベント属性がコーナーキックであったとしたら、観客は機械学習アルゴリズムに、当該サブイベント属性は関係がない又は不正確であるとのフィードバックを提供してもよい。フィードバックは、観客デバイスを使って適切な入力又は命令をサーバに提供することにより、行われてもよい。観客デバイスを介して観客からフィードバックを受信することに応じて、サーバは、受信したフィードバックに基づいて、生成したサブイベント属性を後の使用のために更新し、続くライブイベントストリームの間に、関連性の高い又は正確なサブイベント属性を生成することができる。
実施例によっては、前記電子予測手段は1つ又は複数の、定義された選択可能オブジェクト又は選択可能フィールドを有してもよい。定義された選択可能オブジェクトの各々は、少なくとも1つの予測可能イベントアクションを表す。また、定義された選択可能オブジェクトの各々は、少なくとも1つのサブイベント属性を含む。例えば、サッカーというライブイベントカテゴリのための第1の選択可能オブジェクト又は選択可能フィールドは、「選手Aがミッドフィールドでゴールを決める」という、定義された予測可能イベントアクションを含んでもよく、「選手Aがミッドフィールドでゴールを決める」という予測可能イベントアクションは、「ボールを蹴ることにより得点を決める」というサブイベント属性か、「ヘディングにより得点を決める」というサブイベント属性を有してもよい。
サーバ又は観客デバイスの予測環境エンジンは、予測化されたイベントアクションについての生成されたデータと、生成されたサブイベント属性とを比較し、第1のタイムスタンプと第2のタイムスタンプとを用いて予測結果を特定するように動作しうる。第1のタイムスタンプは、検出されたイベントアクションのためにデータ処理システムによって割り当てられ、第2のタイムスタンプは、観客によってなされた対応する予測のためにデータ処理システムによって割り当てられる。これらのタイムスタンプは、イベントが生じる前に予測がなされた場合のみ、観客の当該予測が正しいものとなることを確かにするために、データ処理システムによって使用される。第1のタイムスタンプと第2のタイムスタンプの大小を比較するために、データ処理システムによって適用されるバッファが存在してもよい。予測環境エンジン及び/又は観客デバイスは、そのような比較を、1つ又は複数の論理ルーチンにより実行するように構成されてもよい。当該ルーチンは、サーバ及び/又は観客デバイスによる実行によって実装されてもよい。ある例では、生成された、予測されたイベントアクションのデータが、あるイベントアクション(例えばサッカーの試合におけるコーナーキック、コンピュータビデオゲームにおけるキル等)がプレーヤーAによりなされ得点されたことを示しており、生成されたサブイベント属性が対応するイベントアクションを表している場合、サーバ及び/又は観客デバイスは、予測結果を「正しい」又は「ポジティブ」と特定してもよい。もしも比較において、サーバ及び/又は観客デバイスが生成されたサブイベント属性のいずれかの部分が適正でないと判断した場合、すなわち当該部分が、予測されたイベントアクションのために生成されたデータに一致してない場合、サーバ及び/又は観客デバイスは、予測結果を「失敗」又は「ネガティブ」と特定してもよい。このような比較は、サーバ及び/又は観客デバイスに、本願の開示事項に従って、予測結果を正確に特定することを可能にし、また予測結果を観客に通知することを可能にする。
サーバは、観客デバイスのディスプレイに特定した予測結果を表示するように構成される。観客に予測結果を表示することにより、観客は予測結果を知ることができる。観客による1つ又は複数の電子予測手段の選択を通じてなされた如何なる予測に関して、比較から得られる予測結果は、当然、ポジティブなものやネガティブなものでありうる。
実施例によっては、ライブイベントストリームはビデオゲームやeスポーツ、ゲーム、スポーツ、ライブコンサート、ライブニュース、テレビショーの生放送のイベントストリームである。ビデオゲームはどのようなタイプのゲームでもよい。例えば、コンピュータゲームをプレイしている誰かのライブストリームや、ポーカーをプレイしているチームのライブストリームであってもよい。例えばライブストリームは、ライブゲーム"Call of Duty"(登録商標)から得られたストリームを含んでもよい。また、サッカーの生の試合等のスポーツイベントから得られたストリームを含んでもよい。当業者は、本願の開示事項に関して、ライブイベントストリームに対応するライブイベントのタイプが非限定的であることを理解するだろう。本願に開示されている思想を具現化するにあたり、既知の如何なるライブイベントをも実装することができる。
図面の詳細な説明
図1を参照すると、本願の開示事項の実施形態に従って、ライブイベントストリームの途中で観客が予測を行うことを可能にするデータ処理システムが描かれている。データ処理システムは、少なくとも1つのサーバ114を備える。サーバ114は、観客102によって操作される一つ又は複数の観客デバイス104と、通信ネットワーク110を通じて通信するように構成される。データ処理システムはまた、ライブイベントをストリーミングする1人又は複数人の参加者(例えばストリーマー)116により操作される一つ又は複数の参加者デバイス112を備える。観客デバイス及び参加者デバイスは、各々通信ネットワークを通じてサーバ114と通信するように構成される。サーバは、観客に操作された観客デバイスからアクセスされる。各ライブイベントには任意の数の観客が存在することができる。サーバは観客に、イベントストリーミングをフォローすることを可能にし、またライブイベント中に生じる可能性のあるアクションの予測を作成することを可能にする。1人又は複数人の参加者が彼らのライブイベントをストリーミングするライブイベントストリーミングの途中に、彼らは、ビデオストリームを送信することによって、データ処理システムのサーバに彼らの参加者デバイスを直接接続することを始める。実施形態によっては、このとき参加者デバイスは、デバイスにインストールされたクライアントソフトウェアを有してもよい。
図2を参照すると、本願の開示事項の実施形態に従って、ライブイベントストリームの途中で生じる予測可能イベントアクション204であって、データ処理システムに処理されるイベントアクション204が描かれている。例として、このライブイベントストリーミングはコンピュータゲームである。例えばサッカーゲームである。t0において、ライブイベントの参加者としてのプレーヤーはボールと共に動いている。t1において、プレーヤーはボールを蹴る。t2において、ボールはゴールに入る。図示されるように、イベントアクション204a-204cは、例えばプレーヤーが得点を決めるという、予測可能イベントアクションのタイムシーケンス202として描かれている。(このプレーヤーは、特定の個人識別情報や特定のチーム識別情報を有するプレーヤーであってもよい。)時刻t0で、ライブイベントの第1のイベントアクション204aにおいて、プレーヤーがボールを蹴ろうとしていることが、データ処理システムによって処理される。時刻t1で、ライブイベントの第2のイベントアクションにおいて、プレーヤーは、ボールがプレーヤーとゴールの間に存在する瞬間において表示されていることが、データ処理システムによって処理される。時刻t2で、ライブイベントの第3のイベントアクションにおいて、ボールがゴールに蹴り入れられた瞬間においてプレーヤーが表示されていることが、データ処理システムによって処理される。実施形態によっては、ライブイベント中の予測の例は、どのプレーヤーが次のゴールを決めるかでありうる。(別の例では、戦争ゲームにおいて、第1のプレーヤーが第2のプレーヤーに対してどの武器を使用するか、でありうる。)予測は時間的なものであってもよい。すなわち、観客はt1を超えない時間の間にあるイベントアクションが生じるという予測を行うことができる。または、t2からt3の間に生じるイベントや、例えばt4の後に生じるイベントの予測を行うことができる。
観客が、あるライブイベントのために予測を行うという選択を行うと、当該選択を行ったことは、データ処理システムに、電子予測手段のセットを観客に提供することを開始させる。電子予測手段のセットの提供は、選択されたライブイベントのライブイベントカテゴリやライブイベント仕様に依存して行われる。ライブイベント仕様には、選択されたライブイベントの特性や、選択されたライブイベントの最中に起こりうるアクションのタイプ、ライブイベントのモード、ライブイベントの様々な状況におけるルール(例えばトーナメントルール)がある。ライブイベントカテゴリの中のイベントアクションは、例えば、ゴール、コーナーキック、レッドカード、パス、等であることができる。観客は、予測環境における対応する「開始」の後に、サーバから、電子予測手段を受け取ってもよい。ここでこの予測環境は、観客デバイスにインストールされたものであってもよく、また、アプリケーションインターフェイスやWebブラウザ経由で観客デバイスに利用可能となったものでもよい。受け取る電子予測手段の量は決まったものでもよく、ランダムでもよい。受け取る電子予測手段の数は特定の観客に依存してもよい。例えば、観客がシステムを以前にどのように利用したかに関するデータや、観客の以前の予測、観客に以前提供された電子予測手段に依存してもよい。受け取る電子予測手段の数は、クレジットポイントのような、観客のリソースに関連してもよい。全ての又は幾つかの電子予測手段は、予測環境のユーザインタフェースの第1の領域に表示される。ライブイベントからのライブイベントストリーミングは当該予測環境のユーザインタフェースにレンダリングされる。観客は、イベント中に何が起ころうとしているかの予測を作成するために、1つ又は複数の電子予測手段を選択することができる。例えば観客は、プレーヤーがゴールを決めるという予測を、対応する電子予測手段を選択することにより、作成することができる。この選択は時刻t2の前になされる必要がある。すなわち、イベントアクションが生じる前になされる必要がある。選択された電子予測手段が何が起こるのかを正しく予測すると、観客には、リソースや報賞、商品が提供されたり、その他のフィードバック(例えばポイントや、追加の電子予測手段等)が提供されたりする。予測が失敗すると、観客は、ポイントやリソース、対応する電子予測手段を失ってもよい。与えられるリソースや失うリソースは、観客に使用される個々の電子予測手段に依存してもよい。あるライブイベントカテゴリにおいて、特定の電子予測手段は他の電子予測手段よりも高い重みを有してもよく、より高い報酬を得ることができたり、より大きなペナルティが課されたりしてもよい。また当該重みは時間の関数であってもよい。すなわち、観客が例えば時刻t1の前に既に、ゴールを決めるという予測を作成していたとしたら、そのような予測を時刻t2の数秒前に作成するよりも、大きな利益が観客に与えられてもよい。
図3は、ディスプレイ310を有する観客デバイス308の予測環境のGUIの実施例を描いたものである。ディスプレイ310は、例として、予測環境の第1の領域に、電子予測手段332a, 332b, 332c, 332d, 332eを表示している。観客は、ストリーミングされるライブイベントストリーム中のアクションを予測するために、一つ又は複数の電子予測手段を選択することが可能である。また、電子予測手段332a-332eのセットから観客デバイス308を用いて観客が選択した、選択された電子予測手段334a, 334b, 334c, 334d, 334eのセットが、予測環境の第2の領域に表示されている。選択された電子予測手段は、ライブイベントストリームの途中で生じるだろうと観客が予測したイベントアクションに対応する。このイベントアクションは、選択可能なイベントアクションのサブイベント属性を有する。観客に提供される電子予測手段は、例えば、電子的な形態の、選択可能なオブジェクトや選択可能なフィールドである。電子予測手段は、ライブイベントストリームの途中で生じるアクションに対応する。
図示されるように、参加者デバイス302a, 302b, 302cによる第1のセットは、チームAのプレーヤーによる第1のグループにより操作され、参加者デバイス304a, 304b, 304cによる第2のセットは、チームBのプレーヤーによる第2のグループにより操作される。ここでチームAのプレーヤーによる第1のグループは、チームBのプレーヤーによる第2のグループと、オンラインゲームでプレイしている。
データ処理システム300は、参加者グループ302a-302c及び304a-304cの各々の参加者の一つ又は複数の参加者デバイスからライブイベントストリームを受信するように構成されるサーバ307を有する。これら参加者デバイスは参加者(例えばゲームプレイヤー)により操作される。サーバ307はまた、ライブイベントストリーム転送手段306や、オブザーバ(監視員・観察者)デバイス305からも、ライブイベントストリームを受信するように構成されてもよい。サーバ307は更に、受信したライブイベントストリームを一つ又は複数の観客デバイス308に送信するように構成されてもよい。観客は、観客デバイス308を使って、ストリーミングされるライブイベントを視聴する。また観客は、観客デバイス308を使って予測を形成する。一つ又は複数の観客デバイス308は、例えば、ラップトップやスマートフォン、コンピュータやスマートグラスである。ライブイベントストリーム転送手段306を介して、参加者グループ302a-302c及び304a-304cの各々の参加者デバイスからサーバ307が受信したライブイベントストリームは、ライブイベントのライブビデオストリームや、場合によってはデータストリームを有している。使用されるサーバの数は様々であってよい。また、データ処理システムの一部を形成する観客デバイスの数も様々であってよい。
図3の例示的な略図表現に示されるように、ビデオストリームは、観客デバイス308のディスプレイ310の第1の部分322に表示される。ここでビデオストリームは、例えば、観客デバイス302a-302c及び304a-304cや、試合を監視・観察しているオブザーバデバイス305のいずれかからの、進行中のイベントストリームのビデオストリームであってもよい。または、ストリーミングされているイベントの休憩中における参加者のビデオストリームであってもよい。また、データ処理システムのサーバを介してイベントストリーム転送手段から受信した、コメンテーターのビデオストリームや、データ処理システムから直接受信した、コメンテーターのビデオストリームであってもよい。オブザーバデバイス305は、ゲームサーバに接続している誰かのデバイスであり、プレイされているゲームに接続している誰かのデバイスである。しかしこの「誰か」は、ゲームを見ているだけであり、ゲームをプレイしてはいない。この「誰か」は、例えばゲームの中のカメラマンでありうる。監視・観察デバイスはゲームクライアントであってもよい。監視・観察デバイスのユーザはゲームに参加できないが、ゲームの中を自由に動き回ることができ、どのような参加者の視点からでもゲームを見ることができてもよい。監視・観察デバイスからのビデオはキャプチャされ、ライブイベント転送手段306を通じてサーバ307へと送信される。
観客デバイスのディスプレイにレンダリングされた予測環境の第1の領域のユーザインタフェースビューは、ビデオストリームをレンダリングするためのビューポートを有している。ビデオストリームは、例えばライブイベント・レコーディングシステムから直接に、ライブイベントストリーム転送手段306を介して転送される。予測環境の第1の領域には、少なくとも1つの電子予測手段(例えば選択可能なオブジェクト)がレンダリングされる。観客は、一つ又は複数の、選択可能なオブジェクトを選択することができる。そして、提供される電子予測手段の中から所望のものをマークして、選択された電子予測手段とすることができる。この選択は、ポインタをクリックしたり、所望の電子予測手段の上でタッチしたりすることでなされることができる。電子予測手段の各々は、予測されるイベントアクションに関連付けられている。また、ライブイベントストリーム中に決まったタイムウィンドウの中で予測されるイベントアクションが生じる場合には、観客のために割り当てられたリソースの量を定義するルールのセットにも関連付けられている。
図4は、eスポーツイベントで予測を形成する実施形態に従うデータ処理システム300の例示的な構成を示す略図である。観客デバイスに表示された予測環境の第2の領域のGUIが描かれている。この第2の領域は電子予測手段を有する。図示されるように、参加者デバイス302a- 302cによる第1のセットは、チームAのプレーヤーによる第1のグループにより操作され、参加者デバイス304a- 304cによる第2のセットは、チームBのプレーヤーによる第2のグループにより操作される。ここでチームAのプレーヤーによる第1のグループは、チームBのプレーヤーによる第2のグループと、オンラインゲームでプレイしている。
データ処理システム300は、参加者グループ302a-302c及び304a-304cの各々の参加者の一つ又は複数の参加者デバイスからライブイベントストリームを受信するように構成されるサーバ307を有する。これら参加者デバイスは参加者(例えばゲームプレイヤー)により操作される。サーバ307はまた、ライブイベントストリーム転送手段306や、監視・観察員デバイス305からも、ライブイベントストリームを受信するように構成されてもよい。サーバ307は更に、受信したライブイベントストリームを一つ又は複数の観客デバイス308に送信するように構成されてもよい。観客は、観客デバイス308を使って、ストリーミングされるライブイベントを視聴する。また観客は、観客デバイス308を使って予測を形成する。一つ又は複数の観客デバイス308は、例えば、ラップトップやスマートフォン、コンピュータやスマートグラスである。ライブイベントストリーム転送手段306を介して、参加者グループ302a-302c及び304a-304cの各々の参加者の参加者デバイスからサーバ307が受信したライブイベントストリームは、eスポーツの試合のライブビデオストリームを含む。使用されるサーバの数は様々であってよい。また、データ処理システムの一部を形成する観客デバイスの数も様々であってよい。
図4は、ストリーミングされているライブイベントを視聴し予測を行うための観客デバイスのGUIを示している。図4にはまた、観客デバイスが、観客デバイスのGUI上の予測環境に第2の領域を表示するように構成されることが描かれている。
観客デバイスは、ライブイベントストリームを受信して、受信したライブイベントストリームを、GUI上の予測環境の第2の領域と共に、表示する。予測環境の第2の領域は、ライブイベントストリームにオーバーレイグラフィックスとしてスーパーインポーズされる。予測環境は、例えばライブのコンピュータゲームのようなライブイベントストリームと、電子予測手段とを有する。電子予測手段も観客デバイスのディスプレイに表示される。GUIは、例えば観客が予測を行うことができるように、入力や命令を受け取るように構成される。実施例によっては、1つ又は複数の観客デバイスは、キーボードやマウス等の様々なタイプの入力デバイスを備えることができる。
個々の観客はグループを形成することができる。ここで、当該グループのメンバーは協力し、話し合い、一緒に予測を行うことができ、グループの他のメンバーと電子予測手段をシェアすることができ、ポイントを一緒に貯めるたり戦いの情報をシェアするなど様々な方法で協力することができてもよい。また当該グループのメンバーは、(例えば予測において誰が最も成功したかなどで)グループ内で競争することができてもよい。また、別のグループと競争することができてもよい。そのようなグループの例が図4に示されている。この例では、個々の観客がライブイベントの参加者のグループをサポートすることを選択する。例えば、ゲームプレイヤーのチームAをサポートすることや、ゲームプレイヤーのチームBをサポートすることを選択する。またはチームAのサポーター又はチームBのサポーターに明確に分類されることを選択する。この選択は、電子予測手段314(例えば、予測される個々のイベントアクションについてのオブジェクトであって個々の観客によって選択可能なオブジェクト)の個々の選択に基づいてなされてもよい。そのようなイベントアクションは、例えば、チームA又はチームBのそれぞれによる(すなわちチームAのプレーヤー及びチームBのプレーヤーのそれぞれによる)、倉庫の地下部分でのKill(敵を倒すこと)であってもよい。個々の観客は、ディスプレイ310にデジタル的に描かれてもよい。個々の観客のデジタル的な描画は、観客の以前のシステムの使い方を反映したものであってもよい。これは、観客個人としての、又は観客グループ内における、予測における観客のパフォーマンスに基づいて行われてもよい。個々の観客のデジタル的な描画は、参加者のアクションや、参加者によって選択されたインタラクティブなオプションによって影響されてもよい。個々の観客のデジタル的な描画は、例えば仮想的なスタジアムのようなグラフィカル予測環境内において、視覚的に描画されてもよい。この描画は、観客個人としての、又は観客グループ内における、予測における観客のパフォーマンスに基づいて行われてもよい。個々の観客のデジタル的な描画は、参加者のアクションや、参加者によって選択されたインタラクティブなオプションによって影響されてもよい。また、ライブイベントストリームもディスプレイ310にデジタル的に描画されてもよい。これもまた、例えば仮想的な巨大映像装置のようなオブジェクトとして、グラフィック環境に表示されてもよい。これらの例では参加者がチームAとチームBに別れていたが、別の例では2つより多いチームが形成されていてもよい。それはゲームに依存する。例えば、プレーヤーが、2つより多い数のチームが互いに競うマルチプレイヤーのeスポーツ(例えばマルチプレイヤーのオンラインゲーム)をプレイするようなゲームの場合は、2つより多いチームが形成されていてもよいだろう。電子予測手段は、例えば、予測を行うための選択可能なオブジェクト314s及び314bである。
動作中に、個々の観客は、キャラクター301aや301bとしてディスプレイ310に表示されている。チームAやチームBをサポートする観客は、電子予測手段の個人の選択に基づいてリアルタイムに動的に位置が定められてもよい。すなわち、予測されるアクションについての個々の観客による選択可能なオブジェクト314sや314bの選択に基づいて、アルタイムに動的に位置が定められてもよい。(予測されるアクションの例は、チームAやチームBのそれぞれのプレーヤーが敵を倒すことであってもよい。)
なお、観客のユーザインタフェース内に表示される予測環境のこのような構成は、単なる例示であって、本願の開示事項の範囲を定めるものではない。実装例によっては、上述の例の代わりに、ライブイベントストリームのグラフィックをレンダリングするために当業者に知られている如何なる手法が実装されてもよい。例えば、オーバーレイ又はスーパーインポーズの技術が、断続的に又は連続的な形で導入されてもよい。
図5を参照すると、本願の開示事項の実施形態に従うデータ処理システム500の例示的なアーキテクチャが図示されている。データ処理システム及び観客デバイスの機能が描かれている。ここに開示されるデータ処理システム500のアーキテクチャの例示的な実装形態において、データ処理システム500は次の要素を備える。
・ サードパーティのゲームサーバ504。ゲームパブリッシャーやイベント主催者などにより運用されるサーバであってもよい。ゲームサーバ504はゲームサーバ・ソフトウェアを実行し、第1のrawゲームデータ・キャプチャモジュール504aと、第1のイベントデータAPI504bと、第1のソフトウェアインタフェースライブラリ504cと、第1のゲームビデオ・キャプチャモジュール504dとを有する。
・ 一つ又は複数の参加者デバイス及び/又はオブザーバデバイス505。デバイス505はゲームクライアント・ソフトウェアを実行し、1人又は複数の参加者又はオブザーバ(監視員や観察者)506により操作される。デバイス505は、第2のrawゲームデータ・キャプチャモジュール505aと、第2のイベントデータAPI505bと、第2のソフトウェアインタフェースライブラリ505cと、第2のゲームビデオ・キャプチャモジュール505dとを有する。
・ 一つ又は複数のサーバ520。
・ 通信ネットワークを介して一つ又は複数のサーバ520に接続可能な一つ又は複数の観客デバイス530。
第1及び第2のrawゲームデータ・キャプチャモジュール504a及び505aは、ゲームサーバ・ソフトウェアやゲームクライアントからのデータを記録、キャプチャ、読み込み、又は抽出するように動作可能であり、また、ゲームデータをサーバ520に送信するように動作可能である。第1及び第2のイベントデータAPI504b及びイベントデータAPI505bは、ゲームサーバ又はゲームクライアントに、APIを使ってゲームデータをサーバ520に送信することを可能とする。第1及び第2のソフトウェアインタフェースライブラリ504c及びソフトウェアインタフェースライブラリ505cは、ゲームデータを記録したり、ゲームデータをサーバ520に送信したりするために、ゲームサーバ・ソフトウェア又はゲームクライアント・ソフトウェアに統合されることができる。第1及び第2のビデオキャプチャモジュール504d及び505dは、ゲームサーバ上でプレイされた通りに、またはクライアントでプレイされた通りに、ゲームのオーディオ-ビデオ出力をキャプチャし、キャプチャしたビデオストリームをサーバ520に送信するように動作することができる。第1及び第2のビデオキャプチャモジュール504d及び505dは、データ処理システムの一部であってもよい。またはこれらのモジュールは、サードパーティ(例えばOBS(Open Broadcaster Software;オープン・ブロードキャスター・ソフトウェア)のソフトウェアであってもよい。そのようなソフトウェアはデータ処理システムのモジュールによって拡張され、これらのサードパーティ・ソフトウェアのコンポーネントに機能が追加されてもよい。
一つ又は複数のサーバ520は、ライブイベントストリーム転送手段を通じてライブイベントストリーム508を受信するように構成される。ライブイベントストリーム508は一つ又は複数のライブビデオ510aを含む。実施例によっては、ライブイベントストリーム508は、一つ又は複数の参加者デバイス又はオブザーバデバイス505からのデータストリーム510aを含んでもよい。ライブイベントストリーム508は更に、一つ又は複数のゲームサーバ504からの一つ又は複数のライブビデオ510bと、実施例によってはデータストリーム510bを含んでもよい。
実施例によっては、ライブイベントストリーム508は更に、一つ又は複数の参加者カメラ514(例えば、参加者デバイス又はオブザーバデバイス505に搭載された参加者カメラ)からの一つ又は複数のライブビデオストリーム512を含んでもよい。ライブビデオストリーム512は、コメンテーターからのストリーム516や、視聴者またはその他(例えば視聴者やTV製作スタジオ、他のレコーディングシステムのカメラ)のライブストリーム518を含んでもよい。
一つ又は複数のサーバ520は、ライブイベントストリームを解析するためのオブジェクト及びイベント検出エンジン522を有する。オブジェクト及びイベント検出エンジン522は、観客サブイベント属性を生成及び解析する。サーバ520はまた、観客によりなされた予測と、ライブイベントストリームから検出されたイベントアクションとを比較するように構成される予測プロセッサ524と、観客デバイス530のユーザインタフェース527に、電子予測手段を備える予測環境を提供するように構成される予測環境エンジン526とを有する。実施例によっては、サーバ520は、ライブイベントストリーム508又はその要素ビデオストリームや要素データストリームを、対応する予測環境(即ち一つ又は複数の観客デバイス530に送信される予測環境)に組み合わせるレンダリングエンジン528を有する。ここで観客デバイス530は1人又は複数の観客507により操作される。またこれらの観客507はライブイベントストリームを視聴し、参加者506が参加しているライブイベントの予測されるイベントアクションについて、予測を行っている。実施例によっては、レンダリングエンジンは、観客デバイスに位置している。実施例によっては、レンダリングエンジンの代わりに、ライブイベントストリームにオーバーレイされたユーザインタフェースや、ライブイベントストリームの隣にオーバーレイされたユーザインタフェースが用いられる。上の実施例において、サーバが、ビデオストリームをレンダリングし、予測環境及び観客のデジタル表現をレンダリングする。また、観客デバイスが、予測手段を有するユーザインタフェースをレンダリングし、予測手段をレンダリングの最上部に選択する。別の実施例では、サーバはレンダリングを実行せず、ライブイベントストリーム又はビデオストリームやデータストリームの幾つかの要素を観客デバイスに送信する。そして観客デバイスが、GUIを含む全てをレンダリングする。
方法600は、本願の開示事項の実施形態に従って、ライブイベントストリームの途中で観客が予測を行うことを可能にするデータ処理システムの動作方法600を描いたフローチャートである。ステップS1に示されるように、方法600は、サーバからストリーミングされるライブイベントのカテゴリを定義することを含む。ここで前記ライブイベントは、通信ネットワークを介してサーバ620と通信する観客デバイス630のユーザインタフェース627の予測環境へとストリーミングされる。観客は観客デバイス630を使ってもよい。観客デバイス630はユーザインタフェースを備え、該ユーザインタフェースは、視聴する好みのライブイベントストリームを選択するための適切な入力や命令をサーバ620に伝えるべくに観客に提供される予測環境を表示する。サーバ620はまた、観客の選択に基づいて進行中のライブイベントストリームや予測環境を観客デバイス630に提供するために、ライブイベントストリーム転送手段604と協働してもよい。ライブイベントストリームなまだライブになっていない場合、観客デバイスには予測環境のみが提供される。
方法600は更に、サーバ620によって、ライブイベントの予測可能イベントアクションのセットを定義することを含む(ステップS2)。ここで前記定義することは、観客が視聴することを欲する選択されたライブイベントストリームのイベントカテゴリに従って行われる。またここで、前記サーバは更に、予測可能イベントアクションのサブセットであって観客デバイスのユーザインタフェースの予測環境に提供されるサブセットを選択するように構成される。この選択は、観客が視聴することを欲する対応するイベントカテゴリの中のライブイベントタイトルに依存して行われる。すなわち、観客にストリーミングされるライブイベントのカテゴリ及びタイプがデータ処理システムにもたらされると、データ処理システムは、対応するイベントのカテゴリ及びタイプに基づいて、何が予測可能であるかを定義するように構成される。例えば、当該イベントがマルチプレイヤーの射撃者ゲームである場合、当該ゲームに特有の、予測可能なアクションのセットが存在する。もし、特定のタイプのカーレースのライブストリームである場合、カーレースイベントに特有の、別の、予測可能なアクションのセットが存在する。データ処理システムは、イベントのタイプのそれぞれについて、常に、予測オプションの同一のセットを観客デバイスに提供してもよい。またデータ処理システムは、毎回、異なる予測オプションを選択してもよく、及び/又は、観客ごとに異なるオプションを提供してもよい。サーバ620は、観客が望み選択したライブイベントのカテゴリに基づき、ライブイベント中に、予測可能イベントアクションのセット及び対応するルールを定義するための命令を実行するように構成される。ここで、予測可能イベントアクションのセットは、一つ又は複数の予測可能イベントアクションのサブセットを含んでもよい。当該サブセットは、対応するイベントカテゴリの一つ又は複数の異なるイベントのタイプに従う。
方法600は更に、サーバ620によって、前記定義した予測可能イベントアクションのセットの各イベントアクションを、観客に提供される電子予測手段に関連付けることを含む(ステップS3)。サーバ620は、各電子予測手段を、例えば、予測可能イベントアクションに関する選択可能なオブジェクトのいずれかに関連付けるように構成される。
方法600は更に、サーバ620から、前記定義した予測可能イベントアクションに関連付けられた電子予測手段(例えば選択可能なオブジェクト)を、少なくとも一人の観客の少なくとも1つの観客デバイス630に提供することを含む(ステップS4)。
方法600は更に、サーバ620のオブジェクト及びイベント検出エンジン622によって、ストリーミングされるライブイベントのビデオから、予測可能イベントアクションのデータストリームを生成することを含む(ステップS5)。オブジェクト及びイベント検出エンジン622は、ライブイベントストリームに対して機械学習アルゴリズムを使用したり、ゲームデータを解析したり、ゲームデータに機械学習アルゴリズムを使用したりして、予測可能イベントアクションのデータストリームを生成する。ゲームデータは、ゲームサーバやゲームクライアントからAPIを通じてrawデータとして受信されたり、ソフトウェアインタフェースライブラリを通じて受信されたり、他のデータソースを通じて受信されたりすることができる。
方法600は更に、予測されたイベントアクションのデータを、サーバ620のデータベースに記録することを含む(ステップS6)。当該データは少なくとも1つの観客デバイス630から受信する。ここで前記予測は観客602によりなされ、観客602が1つ又は複数の電子予測手段を選択することにより行われる。この電子予測手段は、データ処理システムによって、観客デバイス630のユーザインタフェース627内の予測環境に表示される。
方法600は更に、前記定義した、ライブイベントのカテゴリに対応するライブイベントを、サーバ620によって、少なくとも一人の観客の少なくとも1つの観客デバイス630にストリーミングすることを含む(ステップS7)。前記ライブイベントは、ライブイベントストリーム転送手段604から受信される。
方法600は更に、サーバ620のオブジェクト及びイベント検出エンジン622によって、ステップS5で生成されたデータストリームからイベントアクションを検出することを含む(ステップS8)。
方法600は更に、予測環境エンジン626によって、(記録された)予測されたイベントアクションと、生成されたデータストリームから検出されたイベントアクションとを比較することを含む(ステップS9)。それによってサーバ620は予測結果を特定する。
方法600は更に、特定された予測結果を、予測環境を介して、少なくとも1つの観客デバイス630のユーザインタフェース627の予測環境に表示することを含む。このとき、観客への可能な報賞及びそのリソースを一緒に表示してもよい。
当業者には、図1、図3、図4、図5が、データ処理システム100の簡単化された構成や、その例示的なアーキテクチャ300や500を描いていることが理解できるであろう。このような、データ処理システム100の簡単化された構成や、その例示的なアーキテクチャ300や500は、請求項に係る発明の範囲を不当に限定するものではない。実際、本願の開示事項を熟読すれば、当業者であれば、本開示の実施形態の多くのバリエーション、代替、変更を認識することができるであろう。また、ある実施形態に関連して開示された特徴は、他の実施形態に関連して開示された一つ又は複数の他の特徴と結合されることが可能である。前述した本開示の実施形態の変更は、添付の特許請求の範囲に定義される開示範囲から逸脱しない限り可能である。本開示を記述及び請求するのに使用される「含む」、「備える」、「組み込む」、「有する」、「在る」等の表現は、非限定的に解釈されることを意図したものであり、明示されない項目や部品、要素等が存在してもよい。単数表現もまた、複数に関連するものと解釈されるべきものである。

Claims (24)

  1. ライブイベントストリームの途中で予測を行うためのデータ処理システムを動作させる方法であって、前記ライブイベントストリームはビデオストリームを含み、前記ライブイベントストリームはサーバのライブイベントストリーム転送手段から受信され、前記方法は、
    ・ 前記サーバから前記少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
    ・ 前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
    ・ 前記定義した予測可能イベントアクションのセットの個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
    ・ 前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を少なくとも1つの観客デバイスに提供することと;
    ・ イベントデータソースから、予測可能イベントアクションのデータストリームを生成することと;
    ・ 前記少なくとも1つの観客デバイスから、予測されたイベントアクションのデータを前記サーバに記録することと;
    ・ 前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記サーバによって、前記少なくとも1つの観客デバイスにストリーミングすることと;
    ・ 前記生成したデータストリームからイベントアクションを検出することと;
    ・ 前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
    ・ 前記少なくとも1つの観客デバイスのユーザインタフェースに前記特定した予測結果を表示することと;
    を含む、方法。
  2. 前記イベントデータソースから、前記予測可能イベントアクションのデータストリームを生成することは、ストリーミングされるライブイベントのビデオからのデータストリーム、eスポーツ又はコンピュータゲームイベントからのデータストリーム、任意のライブイベントからのデータストリーム、アプリケーション・プログラミング・インタフェースからのデータストリーム、ソフトウェア開発キットからのデータストリーム、これらの組み合わせによるデータストリーム、のいずれかを生成することを含む、請求項1に記載の方法。
  3. 前記データストリームを生成することは、少なくとも1つのオブジェクトまたはイベント検出技術に基づく機械学習アルゴリズムを用いて前記ビデオストリームを解析することにより実行される、請求項1又は2に記載の方法。
  4. 前記機械学習アルゴリズムを用いることは、前記機械学習アルゴリズムを、前記データストリーム及び前記ビデオストリームを生成するためのイベントリプレイデータを使って前記機械学習アルゴリズムをトレーニングすることを含む、請求項3に記載の方法。
  5. 前記データストリームを生成することは、前記サーバにおいて、前記イベントデータを解析することにより行われ、前記イベントデータは、一つ又は複数の参加者デバイス、一つ又は複数のゲームサーバ、前記ライブイベントストリーム転送手段のいずれか1つ以上から前記サーバに受信される、請求項1から4のいずれかに記載の方法。
  6. 前記データストリームを生成することは、イベントベースの解析結果、イベントベースの統計、イベントベースのコメントの1つ以上を受信することを含む、請求項1から5のいずれかに記載の方法。
  7. 前記イベントアクションを検出することは、ソフトウェアインタフェースライブラリを実装することによって、トリガーアクションを検出することを含み、前記ソフトウェアインタフェースライブラリは、プレイ中のゲームとやりとりし、前記プレイ中のゲームのデータ又は状態を解析するように構成される、請求項1から6のいずれかに記載の方法。
  8. 前記イベントアクションを検出することは、更に、前記ライブイベントストリームの音声及びビデオの認識及び解析と、ライブイベントストリームのリアルタイム統計フィードを用いることの少なくとも1つを実行することにより、トリガーアクションを検出することを含む、請求項1から7のいずれかに記載の方法。
  9. 前記イベントアクションを検出することは、更に、前記ライブイベントストリームの一人又は複数の観客から、前記生成したサブイベント属性についてのフィードバックを受け取り、前記受け取ったフィードバックに基づいて前記生成したサブイベント属性を後の使用のためにアップデートすることにより、サブイベント属性を生成することを含む、請求項1から8のいずれかに記載の方法。
  10. 前記データストリームを生成することは、アクションのタイプ、前記イベントアクションが生じると予測された場所、前記アクションの実行者の識別情報、前記ライブイベントストリーム中の対応する予測可能イベントアクションが生じた時刻、先行する予測可能イベントアクションに対する依存性、のいずれかについての情報を生成することを含む、請求項1から9のいずれかに記載の方法。
  11. 前記電子予測手段を提供することは、1つ又は複数の定義された選択可能オブジェクトを提供することを含み、前記1つ又は複数の定義された選択可能オブジェクトのそれぞれは、少なくとも1つの予測可能イベントアクションを表す、請求項1から10のいずれかに記載の方法。
  12. 予測可能イベントアクションの前記データストリームを生成することは、
    前記定義された予測可能イベントアクションに関連付けられた、前記提供された電子予測手段に応答して、少なくとも一人の観客の少なくとも1つの観客デバイスから、前記定義された予測可能イベントアクションに関連する少なくとも1つの予測入力を受信することと;
    前記受信した少なくとも1つの予測入力を処理して、予測されたイベントアクションについてのデータを生成することと;
    を含む、請求項1から11のいずれかに記載の方法。
  13. 前記ライブイベントのカテゴリを定義することは、前記ライブイベントを、ビデオゲーム、eスポーツ、ゲーム、スポーツ、ライブコンサート、ライブニュース、ライブのテレビショー、のいずれかと定義することを含む、請求項1から12のいずれかに記載の方法。
  14. 前記特定した予測結果に基づいて報賞を提供することを含む、請求項1から13のいずれかに記載の方法。
  15. 前記ライブイベントストリームの途中で予測を行うためのデータ処理システムであって、前記ライブイベントストリームはビデオストリームを含み、前記ライブイベントストリームはライブイベントストリーム転送手段から受信され、前記データ処理システムは、
    ・ 観客が操作可能な少なくとも1つの観客デバイスと;
    ・ 通信ネットワークを通じて前記少なくとも1つの観客デバイスと通信する少なくとも1つのサーバと;
    を備え、前記少なくとも1つのサーバは、
    ・ 前記サーバから前記少なくとも1つの観客デバイスへとストリーミングされるライブイベントのカテゴリを定義することと;
    ・ 前記定義したカテゴリに従って前記ライブイベントの予測可能イベントアクションのセットを定義することと;
    ・ 前記定義した予測可能イベントアクションのセットの個々の予測可能イベントアクションを、電子予測手段に関連付けることと;
    ・ 前記定義した予測可能イベントアクションに関連付けられた前記電子予測手段を、前記観客による選択のために、前記少なくとも1つの観客デバイスに提供することと;
    ・ イベントデータソースから、予測可能イベントアクションのデータストリームを生成することと;
    ・ 予測されたイベントアクションのデータを、前記少なくとも1つの観客デバイスから記録することと;
    ・ 前記定義したカテゴリに対応するライブイベントであって前記ライブイベントストリーム転送手段から受信したライブイベントを、前記少なくとも1つの観客デバイスにストリーミングすることと;
    ・ 前記生成したデータストリームからイベントアクションを検出することと;
    ・ 前記予測されたイベントアクションの前記記録されたデータと、前記生成したデータストリームから前記検出されたイベントアクションとを比較し、予測結果を特定することと;
    ・ 前記少なくとも1つの観客デバイスのユーザインタフェースに前記特定した予測結果を表示することと;
    を遂行するように構成される、
    データ処理システム。
  16. 前記イベントデータソースは、ストリーミングされるライブイベントのビデオからのデータストリーム、eスポーツ又はコンピュータゲームイベントからのデータストリーム、任意のライブイベントからのデータストリーム、アプリケーション・プログラミング・インタフェースからのデータストリーム、ソフトウェア開発キットからのデータストリーム、これらの組み合わせによるデータストリーム、のいずれかを含む、請求項15に記載のデータ処理システム。
  17. 前記サーバ又は前記観客デバイスの少なくとも一つは、搭載する機械学習アルゴリズムを使ってビデオを解析することにより前記データストリームを生成するように動作することができ、前記機械学習アルゴリズムは、少なくとも一つのオブジェクト及びイベント検出技術に基づいている、請求項15又は16に記載のデータ処理システム。
  18. 前記少なくとも1つのサーバは更にデータストリーム及びビデオストリームを生成するためのイベントリプレイデータを用いて、前記機械学習アルゴリズムをトレーニングするように構成される、請求項15から17のいずれかに記載のデータ処理システム。
  19. 前記少なくとも1つのサーバは、イベントベースの解析結果、イベントベースの統計、イベントベースのコメントの1つ以上を受信するように構成される、請求項15から18のいずれかに記載のデータ処理システム。
  20. 前記少なくとも1つのサーバは、ソフトウェアインタフェースライブラリを実装することにより、トリガーアクションを含むイベントアクションを検出するように構成される、請求項15から19のいずれかに記載のデータ処理システム。
  21. 前記少なくとも1つのサーバは、ライブイベントストリームの音声及びビデオの認識及び解析と、ライブイベントストリームのリアルタイム統計フィードを用いることの少なくとも1つを実行することにより、トリガーアクションを含むイベントアクションを検出するように構成される、請求項15から20のいずれかに記載のデータ処理システム。
  22. 前記サーバ又は前記観客デバイスの少なくとも一つは、ライブイベントストリームの一人又は複数の観客から、前記生成したサブイベント属性についてのフィードバックを受け取り、前記受け取ったフィードバックに基づいて前記サブイベント属性を後の使用のためにアップデートすることにより、サブイベント属性を生成するように構成される、請求項15から21のいずれかに記載のデータ処理システム。
  23. 前記サーバ又は前記観客デバイスの少なくとも一つによって提供される、前記予測可能イベントアクションの少なくとも1つのための前記データストリームは、アクションのタイプ、イベントアクションが生じると予測された場所、アクションの実行者の識別情報、ライブイベントストリーム中の対応する予測可能イベントアクションが生じた時刻、の少なくとも1つについての情報を含む、請求項15から22のいずれかに記載のデータ処理システム。
  24. 前記電子予測手段は1つ又は複数の定義された選択可能オブジェクトを含み、前記1つ又は複数の定義された選択可能オブジェクトのそれぞれは、少なくとも1つの定義された予測可能イベントアクションを表す、請求項15から23のいずれかに記載のデータ処理システム。
JP2021116808A 2020-09-11 2021-07-15 ライブイベントストリームの途中で予測を行う方法及びデータ処理システム Pending JP2022047497A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/017,925 2020-09-11
US17/017,925 US20220086511A1 (en) 2020-09-11 2020-09-11 Method and data processing system for making predictions during a live event stream

Publications (1)

Publication Number Publication Date
JP2022047497A true JP2022047497A (ja) 2022-03-24

Family

ID=76920511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021116808A Pending JP2022047497A (ja) 2020-09-11 2021-07-15 ライブイベントストリームの途中で予測を行う方法及びデータ処理システム

Country Status (4)

Country Link
US (1) US20220086511A1 (ja)
EP (1) EP3968644A1 (ja)
JP (1) JP2022047497A (ja)
KR (1) KR20220034653A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230277946A1 (en) * 2021-11-24 2023-09-07 International Business Machines Corporation Detecting meta-environment changes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013236909A (ja) * 2012-04-20 2013-11-28 Nintendo Co Ltd ゲームシステム、ゲームコントローラ
JP2017055894A (ja) * 2015-09-15 2017-03-23 ファン オ,スン スポーツベッティングサービス提供方法及びサーバーとそのコンピュータプログラム
US20180221769A1 (en) * 2017-02-03 2018-08-09 Taunt Inc. System and method for synchronizing and predicting game data from game video and audio data
WO2019201769A1 (en) * 2018-04-17 2019-10-24 Signality Ab A method and apparatus for user interaction with a video stream

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014158029A1 (en) * 2013-03-26 2014-10-02 Parcels In Sport As Sports game loyalty program
KR101612628B1 (ko) * 2014-08-21 2016-04-14 전욱 실시간 분석 및 예측에 의한 참여형 스포츠 게임 시스템 및 스포츠 게임 방법
US10587905B2 (en) * 2016-12-07 2020-03-10 eSports Immersion LLC Systems and methods for immersing spectators in sporting event and evaluating spectator-participant performance
US11288913B2 (en) * 2017-08-09 2022-03-29 Igt Augmented reality systems methods for displaying remote and virtual players and spectators
GB2579603A (en) * 2018-12-05 2020-07-01 Sony Interactive Entertainment Inc Method and system for generating a recording of video game gameplay
US11623154B2 (en) * 2020-03-31 2023-04-11 Sony Interactive Entertainment Inc. Driving virtual influencers based on predicted gaming activity and spectator characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013236909A (ja) * 2012-04-20 2013-11-28 Nintendo Co Ltd ゲームシステム、ゲームコントローラ
JP2017055894A (ja) * 2015-09-15 2017-03-23 ファン オ,スン スポーツベッティングサービス提供方法及びサーバーとそのコンピュータプログラム
US20180221769A1 (en) * 2017-02-03 2018-08-09 Taunt Inc. System and method for synchronizing and predicting game data from game video and audio data
WO2019201769A1 (en) * 2018-04-17 2019-10-24 Signality Ab A method and apparatus for user interaction with a video stream

Also Published As

Publication number Publication date
US20220086511A1 (en) 2022-03-17
EP3968644A1 (en) 2022-03-16
KR20220034653A (ko) 2022-03-18

Similar Documents

Publication Publication Date Title
US11975261B2 (en) Online software video capture and replay system
US11722743B2 (en) Synchronized gaming and programming
US11833434B2 (en) Audience adjusted gaming
JP7184913B2 (ja) ファンダムの影響による勝者トーナメントの作成
US8935714B2 (en) Interactive user-prediction of content
KR20200127173A (ko) E-스포츠 이벤트에 확장된 vr 참여 및 시청
US9005030B2 (en) System and method for sharing score experiences
US11704703B2 (en) Systems and methods for dynamically modifying video game content based on non-video gaming content being concurrently experienced by a user
KR20040104753A (ko) 온라인 게이밍 관객
KR20210152790A (ko) 스포츠 개인방송 서비스 시스템 및 방법
WO2023093389A1 (zh) 赛事弹窗的显示方法、装置、设备、介质及程序产品
US20200282314A1 (en) Interactive sports fan experience
JP2022047497A (ja) ライブイベントストリームの途中で予測を行う方法及びデータ処理システム
van Ditmarsch Video games as a spectator sport
US20220072419A1 (en) Real-time interactive platform for live streams
Söderin Feature development for esports broadcasts with a focus on the intermission between matches
US20240048795A1 (en) Real-time interactive platform for live streams
JP7100277B2 (ja) データ処理システムおよびデータ処理方法
WO2021235231A1 (ja) ゲームシステム、それに用いるコンピュータプログラム、及び制御方法
Toivanen How streaming has affected the growth of competitive gaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024