JP2022548331A - 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ - Google Patents

人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ Download PDF

Info

Publication number
JP2022548331A
JP2022548331A JP2022518936A JP2022518936A JP2022548331A JP 2022548331 A JP2022548331 A JP 2022548331A JP 2022518936 A JP2022518936 A JP 2022518936A JP 2022518936 A JP2022518936 A JP 2022518936A JP 2022548331 A JP2022548331 A JP 2022548331A
Authority
JP
Japan
Prior art keywords
game
interest
narration
audience
spectator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022518936A
Other languages
English (en)
Other versions
JP7320672B2 (ja
Inventor
マッコイ チャールズ
ション トゥルー
ブレイン モーガン ネイサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022548331A publication Critical patent/JP2022548331A/ja
Application granted granted Critical
Publication of JP7320672B2 publication Critical patent/JP7320672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ビデオゲームのゲームセッションに参加しているプレイヤのゲーム状態データ及びユーザデータを受信することを含むブロードキャストを生成するための方法。ゲームセッションの観客関心ゾーンは、仮想ゲーム世界のカメラパースペクティブから見ることができる仮想ゲーム世界のシーンを有していると識別される。統計及びファクトは、ゲーム状態データとユーザデータに基づいて観客が関心のあるゲーム状態データとユーザデータを分離するようにトレーニングされた第１のＡＩモデルを使用して、ゲームセッションに対して生成される。ナレーションは、第１のＡＩモデルを使用して生成された統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、シーンに対して生成され、選択された統計及びファクトには、選択された統計及びファクトを使用してナレーションを生成するように構成された第２のＡＩモデルによって決定される最高の潜在的な観客の関心がある。【選択図】図３Ｄ

Description

本開示は、ビデオゲームまたはゲームアプリケーションに関する。とりわけ、本開示は、ビデオゲームのゲームセッションのシーンの１つまたは複数のビューを選択及び／または生成し、１人または複数の観客にストリーミングするための１つまたは複数のビューのブロードキャストを生成するための方法及びシステムを説明する。
ビデオゲームストリーミングは人気を集めている。観客は、プロのゲーマーを呼び物とした注目のイベントならびに、ゲームプレイを投稿する通常のゲーマーの両方にアクセスできる。観客は、ゲームセッションのライブストリーミングだけでなく、以前のゲームセッションのストリームにもアクセスできる。
人気のあるイベントの制作には、対応するゲームセッションのプレイごとにプレイを提供するプロのブロードキャスタが含まれる。例えば、イベントのプロのブロードキャスタには、ゲームセッションの複数のフィードとゲームセッションに関連する様々なファクトが提供される。フィードは、ゲームセッションで１人または複数のプレイヤのために生成されたゲームのビューから取得できる。ファクトは、実行中のゲームによって、またはプレイヤ及び／またはゲームセッションに関する興味深いファクトを絶えず検索している人間のアシスタントによって明らかになる可能性がある。ゲームセッションの複数のフィードは、ゲームセッションの異なるプレイヤに向けることができる。プロのブロードキャスタは、どのフィードをいつ表示するかを選択し、ゲームセッションに関連するファクトを使用して解説を提供することができる。このように、これらのライブイベントの観客は、ショーをさらに見ていてエキサイティングなものにするブロードキャスタとともに、ゲームセッションへの興味深く最高の視点を含む、プロの制作したショーを体験する。
観客は、通常のゲーマーのゲームセッションのストリーミングを楽しむこともできる。これらのストリームの一部にはナレーションが含まれておらず、プレイヤの画面に表示されるゲームセッションのビューのみが含まれている場合がある。ゲームセッションの他のストリームには、プレイヤがゲームアプリケーションをプレイしている間にプレイヤによって提供される解説などの、解説が含まれる場合がある。ある意味で、プレイヤはゲームセッション中に実行中の解説を提供している。しかしながら、通常のゲーマーのゲームセッションのストリームの人気は限定される可能性がある。
例えば、これらのストリームの観客は、解説が含まれていないゲームセッションを見るのに飽きたり、解説が提供されていないストリームを避けたりする場合がある。加えて、これらのストリームの観客は、プレイヤが自分のゲームプレイにのみ焦点を合わせているため、ゲームセッションのプレイヤによって提供される実行中の解説に飽きる可能性もある。観客は、ゲームセッションの他のプレイヤについて聞きたい、またはコメントしているプレイヤが気付いていないゲームセッションに関する他の洞察を聞きたいと思うかもしれない。
例えば、観客は、スポーツの生中継またはゲームイベントのプロのブロードキャスタによって提供されるものなど、ゲームセッションの背景情報を望む場合がある。または、観客は、他のプレイヤのゲームプレイを示すシーンと、そのシーンに対応する興味深いファクトを併せて見たいと思うかもしれない。基本的に、観客は、通常のゲーマーのゲームセッションのストリーミングのためにプロの人間のブロードキャスタを望んでいるが、これはロジスティック及び経済的に非現実的である。
本開示の実施形態が生じるのは、このような状況においてである。
本開示の実施形態は、人工知能（ＡＩ）によるゲームアプリケーションのシーンの１つまたは複数のレンダリングの生成に関し、さらに、ＡＩによるゲームアプリケーションのシーンのナレーションの生成及び／またはシーンのレンダリングに関する。
一実施形態では、ゲームのビューを生成する方法が開示される。本方法は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。本方法は、ゲームセッションにおいて観客関心ゾーンを識別することを含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。本方法は、対応する観客関心ゾーンの対応するシーンの１つまたは複数の対応するカメラパースペクティブを生成するようにトレーニングされた第１のＡＩモデルに基づいて、観客関心ゾーンの第１のカメラパースペクティブを識別することを含む。
別の実施形態では、ゲームのビューを生成するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体が開示される。本コンピュータ可読媒体は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信するためのプログラム命令を含む。本コンピュータ可読媒体は、ゲームセッションにおいて観客関心ゾーンを識別するためのプログラム命令を含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。本コンピュータ可読媒体は、対応する観客関心ゾーンの対応するシーンの１つまたは複数の対応するカメラパースペクティブを生成するようにトレーニングされた第１のＡＩモデルに基づいて、観客関心ゾーンの第１のカメラパースペクティブを識別するためのプログラム命令を含む。
さらに別の実施形態では、コンピュータシステムが開示され、本コンピュータシステムは、プロセッサとメモリとを含み、メモリは、プロセッサに結合されており、コンピュータシステムによって実行されると、コンピュータシステムに、ゲームのビューを生成する方法を実行させる命令を、その中に格納している。本方法は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。本方法は、ゲームセッションにおいて観客関心ゾーンを識別することを含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。本方法は、対応する観客関心ゾーンの対応するシーンの１つまたは複数の対応するカメラパースペクティブを生成するようにトレーニングされた第１のＡＩモデルに基づいて、観客関心ゾーンの第１のカメラパースペクティブを識別することを含む。
別の実施形態では、ブロードキャストを生成するための方法が開示される。本方法は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。本方法は、ゲームセッションにおいて観客関心ゾーンを識別することを含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。本方法は、ゲーム状態データとユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１のＡＩモデルを使用して、ゲームセッションの統計及びファクトを生成することを含む。本方法は、第１のＡＩモデルを使用して生成された統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、観客関心ゾーンのシーンのナレーションを生成することを含み、選択された統計及びファクトには、第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、第２のＡＩモデルは、選択された統計及びファクトを使用してナレーションを生成するように構成されている。
別の実施形態では、ブロードキャストを生成するためのコンピュータプログラムを格納する非一時的コンピュータ可読媒体が開示される。本コンピュータ可読媒体は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信するためのプログラム命令を含む。本コンピュータ可読媒体は、ゲームセッションにおいて観客関心ゾーンを識別するためのプログラム命令を含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。
本コンピュータ可読媒体は、ゲーム状態データとユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１のＡＩモデルを使用して、ゲームセッションの統計及びファクトを生成するためのプログラム命令を含む。本コンピュータ可読媒体は、第１のＡＩモデルを使用して生成された統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、観客関心ゾーンのシーンのナレーションを生成するためのプログラム命令を含み、選択された統計及びファクトには、第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、第２のＡＩモデルは、選択された統計及びファクトを使用してナレーションを生成するように構成されている。
さらに別の実施形態では、コンピュータシステムが開示され、本コンピュータシステムは、プロセッサとメモリとを含み、メモリは、プロセッサに結合されており、コンピュータシステムによって実行されると、コンピュータシステムに、ブロードキャストを生成する方法を実行させる命令を、その中に格納している。本方法は、１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。
本方法は、ゲームセッションにおいて観客関心ゾーンを識別することを含み、観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができるビデオゲームの仮想ゲーム世界のシーンを有する。本方法は、ゲーム状態データとユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１のＡＩモデルを使用して、ゲームセッションの統計及びファクトを生成することを含む。
本方法は、第１のＡＩモデルを使用して生成された統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、観客関心ゾーンのシーンのナレーションを生成することを含み、選択された統計及びファクトには、第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、第２のＡＩモデルは、選択された統計及びファクトを使用してナレーションを生成するように構成されている。
本開示の他の態様は、本開示の原理の例として示される添付図面と併せて、下記の発明を実施するための形態から明らかになるであろう。
本開示は、添付図面と併せて、以下の詳細な説明を参照することにより、最も良く理解することができる。
本開示の一実施形態による、ビデオゲームのゲームセッションにおけるシーンのカメラパースペクティブのＡＩ制御された生成、ならびにシーン及び／またはシーンのカメラパースペクティブのナレーションのＡＩ制御された生成に使用されるシステムを示す。 本開示の一実施形態による、ＡＩカメラパースペクティブ及びＡＩナレーションモデルを含む、人工知能（ＡＩ）モデルを構築するのに使用される例示的なニューラルネットワークを示す。 本開示の一実施形態による、１つまたは複数のゲームセッションにおいて、対応するユーザに対してローカルで、またはバックエンドクラウドゲームサーバで実行されている１つまたは複数のゲームアプリケーションをプレイする１人または複数のユーザにゲーム制御を提供するシステムを示し、ゲームセッションはＡＩによってカメラパースペクティブモデルとナレーションモデルをトレーニングするために使用され、ＡＩモデルは、ゲームセッションのシーンの関心のあるカメラパースペクティブを識別し、観客が対話する可能性が最も高いそれらのゲームセッションのそれらのシーンに対してナレーションを提供するために使用される。 本開示の実施形態による、複数のゲームアプリケーションの複数のゲームセッションにおいて観客関心ゾーンを識別し、それらの識別された観客関心ゾーンの関心があるカメラパースペクティブを識別し、それらの識別された観客関心ゾーンのシーンに対するナレーションを提供することができるＡＩモデルを、トレーニングするように構成されたシステムを示す。 本開示の一実施形態による、観客にとって関心がある可能性のある観客関心ゾーンを識別するために使用される観客関心ゾーンモデルを、ＡＩによってトレーニングするために使用されるシステムを示す。 本開示の一実施形態による、関心ゾーンＡＩモデルによって以前に観客にとって関心があるものとして識別された関心ゾーンのシーンのカメラパースペクティブを識別するように構成できるＡＩカメラパースペクティブモデルによってトレーニングするためのシステムであって、識別されたカメラパースペクティブはまた、観客にとって関心があるものとして識別されている、システムを示す。 本開示の一実施形態による、関心ゾーンＡＩモデルによって観客にとって関心があるものとして以前に識別された関心ゾーンのシーンのナレーションを生成するように構成することができるＡＩブロードキャスト／ナレーションモデルを使用してトレーニングするためのシステムであって、ナレーションは、ＡＩカメラパースペクティブモデルによって識別されるカメラパースペクティブに合わせて調整することができる、システムを示す。 本開示の一実施形態による、ゲームアプリケーションのゲームセッションのカメラパースペクティブ及び関心ゾーンを選択するように構成されたユーザインタフェースであって、関心ゾーンＡＩモデルによって観客にとって関心があると識別された１つまたは複数の観客関心ゾーンと、それらの識別された観客関心ゾーンに対する１つまたは複数の生成されたカメラパースペクティブとを含み、カメラパースペクティブはＡＩカメラパースペクティブモデルを使用して観客にとって関心があるものとして識別されている、ユーザインタフェースを示す。 本開示の一実施形態による、１つまたは複数のＡＩモデルを使用して観客にとって関心がある可能性のある観客関心ゾーンのカメラパースペクティブを識別するための方法のステップを示す流れ図である。 本開示の一実施形態による、ＡＩモデルを使用して観客にとって関心があると識別された観客関心ゾーンのシーンのナレーションを構築及び／または生成するための方法のステップを示す流れ図であり、ナレーションは、ＡＩモデルを使用して識別されたシーンの１つまたは複数のカメラパースペクティブに合わせて調整することができる。 本開示の実施形態による、ゲームアプリケーションをプレイする１人または複数のプレイヤを含むゲームセッションのハイライトリールの生成を示し、ハイライトリールは、複数のゲームアプリケーションの複数のゲームセッションにおける観客関心ゾーンを識別できるＡＩモデルを使用して生成されて、それらの識別された観客関心ゾーンの関心があるカメラパースペクティブを識別し、それらの識別された観客関心ゾーンのシーンに対するナレーションを提供する。 本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスの構成要素を示す。
以下の詳細な説明は、例示の目的で多くの特定の詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び変更が本開示の範囲内にあることを理解するであろう。したがって、以下で説明される本開示の態様は、この説明に続く特許請求の範囲への一般性を失うことなく、また限定を課すことなく示される。
一般的に言えば、本開示の様々な実施形態は、人工知能（ＡＩ）によるゲームアプリケーションのシーンの１つまたは複数のレンダリングの生成を説明するものであり、さらに、ＡＩによるゲームアプリケーションのシーンのナレーションの生成及び／またはシーンのレンダリングに関する。いくつかの実施形態では、ゲームの１つまたは複数のレンダリングは、人工知能（ＡＩ）によって生成される。ＡＩは、カメラアングルを制御して最も関心のあるアクションをキャプチャし、アングル間をカットして、単一のビューに収まらないアクションを組み込み、様々な視点からアクションを表示できる。ＡＩは、ゲームの多くの側面とプレイヤの関心を考慮に入れて、視聴者にとって最も関心があるアクションを決定できる。観客ごとに異なるストリームを生成できる。
ＡＩは、ストリームにアクションのリプレイを含めることができるため、観客は異なる視点からエキサイティングなアクションを再び見ることができ、ゲームのライブカメラビューでは発生しなかったアクションを見ることができる。ＡＩはカメラアングルを選択して、狙撃兵と狙撃兵が狙っているターゲットの両方を示すアングルなど、疑わしいアクションの全体ビューを含めることができる。ＡＩは、それが生成するゲームストリームに解説を追加できる。いくつかの実施形態では、ＡＩ解説は、説得力のある個性を有する。解説は、ＡＩが選択したビューが重要であるとＡＩが考えた理由を観客に伝えることができる。
例えば、ＡＩが新しいプレイヤが経験豊富なプレイヤをキルする位置にあることに気付いた場合、ＡＩはそのファクトを指摘し、新しいプレイヤが実際に状況を利用してより経験豊富なプレイヤをキルすることができるかどうかを観客に見せることができる。いくつかの実施態様では、解説を提供するＡＩボイスオーバーにより、ｅスポーツゲームのアクションを説明できるため、視覚障害のある観客にとって理解可能でエキサイティングなものになる。いくつかの実施形態では、解説を提供するＡＩは、複数の場所の視聴者にローカライズされた（すなわち、地方及び／または地域の慣習を考慮した）解説を含むストリームを生成し、異なる言語（手話を含む）の解説を含み得る。いくつかの実施形態では、ハイライトカバレッジは、ハイライトリールの生成においてなど、ゲームが終了した後に利用可能である。
このようなカバレッジは、ＡＩの選択に基づいて自動的に生成できる。そのようなカバレッジは、観客がライブゲームプレイを見ているときに見るか巻き戻すことを選択したかに基づくことができる。さらに他の実施形態では、ゲームのカバレッジは、プレイエリアのマップを見る能力を含み得る。このようなマップには、まだゲーム内に残っている全てのプレイヤの場所やプレイヤの排除の場所などのメタデータを含めることができる。マップビューでプレイヤの排除をハイライトすることができる１つの方法は、排除が行われた場所で真っ赤なドットを点滅させることによるものである。
本明細書全体を通して、「ビデオゲーム」または「ゲームアプリケーション」への参照は、入力コマンドの実行を通して指示されるいずれかのタイプのインタラクティブアプリケーションを表現することを意味する。例示のみを目的として、インタラクティブアプリケーションは、ゲーミング、文書処理、ビデオゲーム処理などのためのアプリケーションを含む。さらに、ビデオゲーム及びゲーミングアプリケーションという用語は、交換可能である。
様々な実施形態の上記の一般的な理解により、様々な図面を参照して実施形態の例の詳細をここに説明する。
図１Ａは、本開示の一実施形態による、ビデオゲームのゲームセッションにおけるシーンのカメラパースペクティブのＡＩ制御された生成、ならびにシーン及び／またはシーンのカメラパースペクティブのナレーションのＡＩ制御された生成に使用されるシステム１０を示す。システム１０はまた、ゲームセッションでシーンのカメラパースペクティブを生成するために、及びそのシーンのナレーション及び／またはそのシーンのカメラパースペクティブを生成するために使用されるＡＩモデルをトレーニングするように構成され得る。
図１Ａに示されるように、ビデオゲーム（例えば、ゲームロジック１７７）は、ユーザ５のクライアントデバイス１００においてローカルに実行することができ、またはビデオゲーム（例えば、ゲームロジック２７７）は、クラウドゲームネットワークもしくはゲームクラウドシステムのバックエンドゲームサーバ２０５において動作するバックエンドゲーム実行エンジン２１１において実行することができる。ゲーム実行エンジン２１１は、ゲームサーバ２０５の多くのゲームプロセッサ２０１のうちの１つの中で動作することができる。さらに、ビデオゲームは、シングルプレイヤモードまたはマルチプレイヤモードで実行され得るものであり、本発明の実施形態は、両動作モードに対しマルチプレイヤ機能の強化（例えば支援、通信、ゲームスライス生成など）を提供する。
いずれの場合も、クラウドゲームネットワークは、人工知能（ＡＩ）によってビデオゲームのシーンの１つまたは複数のレンダリングを生成し、ＡＩによるシーンのナレーション及び／またはビデオゲームのシーンのレンダリングを生成するように構成されている。より具体的には、システム１０のクラウドゲームネットワークは、識別されたカメラパースペクティブを通してキャプチャされたシーンの１つまたは複数のレンダリングを生成するために使用される１つまたは複数のＡＩモデルを構築するため、ならびにシーン及び／または識別されたカメラパースペクティブに対するナレーションを生成するために構成することができる。
いくつかの実施形態では、クラウドゲームネットワーク２１０は、ホストマシンのハイパーバイザ上で作動する複数の仮想マシン（ＶＭ）を含み得るもので、１つまたは複数の仮想マシンは、シングルプレイヤまたはマルチプレイヤのビデオゲームをサポートする際、ホストのハイパーバイザが使用可能なハードウェアリソースを利用して、ゲームプロセッサモジュール２０１を実行するように構成される。別の実施形態では、クラウドゲームネットワーク２１０は、複数のユーザをサポートする複数のローカルコンピューティングデバイスをサポートするように構成され、各ローカルコンピューティングデバイスは、シングルプレイヤまたはマルチプレイヤのビデオゲーム内などのビデオゲームのインスタンスを実行し得る。
例えば、マルチプレイヤモードで、ビデオゲームがローカルで実行されている間、同時にクラウドゲームネットワークは、各ローカルコンピューティングデバイスから情報（例えばゲーム状態データ）を受信し、その情報をローカルコンピューティングデバイスのうちの１つまたは複数にわたり適宜配布し、これにより、各ユーザは、マルチプレイヤビデオゲームのゲーム環境内で他のユーザとインタラクトすることができる（例えばビデオゲーム内の該当キャラクタを通して）。このようにして、クラウドゲームネットワークは、マルチプレイヤゲーム環境内のユーザそれぞれのゲームプレイを調整し、組み合わせる。
示されるように、システム１０は、複数のインタラクティブビデオゲームへのアクセスを提供するゲームプロセッサ２０１を実行するゲームサーバ２０５を含む。ゲームサーバ２０５は、クラウド内で利用可能な任意の種類のサーバコンピューティングデバイスであり得るもので、前述のような１つまたは複数のホスト上で実行される１つまたは複数の仮想マシンとして構成され得る。例えば、ゲームサーバ２０５は、ゲームプロセッサ２０１をサポートする仮想マシンを管理し得る。またゲームサーバ２０５は、ユーザ５への追加のサービス及び／またはコンテンツを提供するように構成される。
クライアントデバイス１００は、インターネットなどのネットワーク１５０を介してビデオゲームへのアクセスを要求するように、ならびに、ゲームサーバ２０５により実行され、ユーザ５に対応付けられたディスプレイデバイス１２に配信されるビデオゲームまたはゲームアプリケーションのインスタンスをレンダリングするように、構成される。例えば、ユーザ５は、クライアントデバイス１００を介して、ゲームプロセッサ２０１上で実行されるビデオゲームのインスタンスとインタラクションを行い得る。
クライアントデバイス１００はまた、前述のように、ビデオゲームをローカルで実行するように構成されたゲーム実行エンジン１１１を含み得る。クライアントデバイス１００は、ゲームコントローラ６、タブレットコンピュータ１１、キーボードなどの様々な種類の入力デバイスからの入力、及びビデオカメラ、マウス、タッチパッドなどにより取り込まれたジェスチャを、受信し得る。
クライアントデバイス１００は、メモリとプロセッサモジュールとを少なくとも有する任意の種類のコンピューティングデバイスであり得るもので、ネットワーク１５０を介してゲームサーバ２０５に接続することができる。クライアントデバイス１００のいくつかの例は、ビデオゲームのインスタンスを実行するためにゲームサーバ２０５とインタラクトすることが可能である、パーソナルコンピュータ（ＰＣ）、ゲームコンソール、ホームシアターデバイス、汎用コンピュータ、モバイルコンピューティングデバイス、タブレット、電話、またはいずれかの他のタイプのコンピューティングデバイスを含む。
ビデオゲームのゲームロジックは、ゲームエンジンまたはゲームタイトル処理エンジンに基づいて構築されている。ゲームエンジンには、ビデオゲームのゲーム環境を構築するためにゲームロジックで使用できるコア機能が含まれている。例えば、ゲームエンジンの一部の機能には、ゲーム環境内のオブジェクトに対する物理的な力と衝突をシミュレートするための物理エンジン、２Ｄまたは３Ｄグラフィックス用のレンダリングエンジン、衝突検出、サウンド、アニメーション、人工知能、ネットワーキング、ストリーミングなどが含まれ得る。
このようにして、ゲームロジックは、ゲームエンジンによって提供されるコア機能を最初から構築する必要はない。クライアントのローカルまたはクラウドゲームサーバのいずれかで、ゲームエンジンと組み合わせたゲームロジックはＣＰＵ及びＧＰＵによって実行され、ＣＰＵ及びＧＰＵは高速処理ユニット（ＡＰＵ）内で構成できる。すなわち、共有メモリとともにＣＰＵ及びＧＰＵは、ゲームレンダリングされたビデオフレームを生成するためのレンダリングパイプラインとして構成され得るものであり、その結果レンダリングパイプラインは、ターゲットとなる、及び／または仮想化されたディスプレイの各ピクセルに対して対応する色情報を含む、表示に適したビデオまたは画像フレームとしてゲームレンダリングされた画像を出力する。
ネットワーク１５０は、１つまたは複数の世代のネットワークトポロジを含み得る。新しいトポロジがオンラインになると、レンダリングされた画像やメディアの解像度をさらに高めるために、帯域幅が増加する。例えば、デジタルセルラーネットワークを介してブロードバンドアクセスを提供する５Ｇネットワーク（第５世代）は、４Ｇ ＬＴＥモバイルネットワークに取って代わる。５Ｇワイヤレスデバイスは、ローカルアンテナを介してローカルセルに接続する。次に、これらのアンテナは、高帯域幅接続（例えば、光ファイバーなど）によって電話網とインターネットに接続される。５Ｇネットワークは、より高速でより良いサービス品質で動作することが期待される。そのため、ビデオゲームに関連するこれらのより新しいネットワークトポロジを介して、ビデオフレーム及び／またはメディアのより高い解像度を提供することができる。
クライアントデバイス１００は、レンダリングされた画像を受信するように、及びレンダリングされた画像をディスプレイ１２に表示するように、構成されている。例えば、クラウドベースのサービスを通して、レンダリングされた画像は、ユーザ５に対応付けられたゲームサーバ２０５のゲーム実行エンジン２１１上で実行されるビデオゲームのインスタンスにより配信され得る。別の例では、ローカルゲーム処理を通して、レンダリングされた画像は、（例えば、ゲームプレイのため、または観戦のために）ローカルゲーム実行エンジン１１１により配信され得る。いずれの場合も、クライアントデバイス１００は、ゲームプレイを駆動するために使用される入力コマンドを介するなどして、ユーザ５のゲームプレイに対応付けられた実行エンジン２１１または１１１とインタラクトするように構成されている。
さらに、クライアントデバイス１００は、ビデオゲームをプレイするときに、ゲームサーバ２０５とインタラクトし、ユーザ５のゲームプレイのメタデータを取り込み、格納するように構成され、そこで各メタデータは、ゲームプレイに関連する情報（たとえば、ゲーム状態など）を含む。さらに特に、ゲームサーバ２０５のゲームプロセッサ２０１は、ビデオゲームをプレイするときに、ユーザ５のゲームプレイのメタデータを生成する、及び／または受信するように構成される。
例えば、メタデータは、ゲームプロセッサ２０１へネットワーク１５０経由で出力され、配信される、クライアントデバイス１００上のローカルゲーム実行エンジン１１１により生成され得る。加えて、メタデータは、ゲームプロセッサ２０１内でゲーム実行エンジン２１１により、例えば、エンジン２１１上で実行するビデオゲームのインスタンスにより、生成され得る。加えて、他の仮想マシンと関連するゲームサーバ２０５の他のゲームプロセッサは、他のユーザのゲームプレイと関連するビデオゲームのインスタンスを実行するように、またこれらのゲームプレイ中にメタデータを捕捉するように構成される。
以下で説明するように、メタデータは、本開示の実施形態による、ビデオゲームのゲームセッションにおけるシーンのカメラパースペクティブの生成のために、ならびにシーン及び／またはシーンのカメラパースペクティブのナレーションのＡＩ制御された生成のために構成された、１つまたは複数のＡＩモデルをトレーニングするために使用され得る。
より具体的には、メタデータはまた、そのポイントでのゲームの状態を定義するゲーム状態データを含む。例えば、ゲーム状態データには、ゲームキャラクタ、ゲームオブジェクト、ゲームオブジェクトの属性、ゲーム属性、ゲームオブジェクトの状態、グラフィックオーバーレイなどがあり得る。このようにして、ゲーム状態データにより、ビデオゲームの対応するポイントで存在していたゲーム環境を生成することが可能になる。ゲーム状態データには、ＣＰＵ、ＧＰＵ、メモリの状態、レジスタ値、プログラムカウンタ値、プログラマブルＤＭＡ状態、ＤＭＡ用のバッファデータ、オーディオチップ状態、ＣＤ－ＲＯＭ状態など、ゲームプレイのレンダリングに使用されるあらゆるデバイスの状態が含まれることもある。
ゲーム状態データは、そのポイントからビデオゲームを実行するために、実行コードのどの部分をロードする必要があるかを識別することもできる。全てのゲーム状態データを取り込んで保存する必要はなく、対応するポイントでゲームを開始するための実行可能コードに十分なデータだけでよい。ゲーム状態データは、データストア１４０のゲーム状態データベース１４５に格納することができる。いくつかの実施形態では、いくつかのゲーム状態データは、メモリにのみ格納され得る。
またメタデータは、ユーザセーブデータを含む。一般的に、ユーザセーブデータは、対応するユーザについてのビデオゲームをパーソナライズする情報を含む。これには、ユーザのキャラクタに関連付けられた情報が含まれるため、ビデオゲームは、そのユーザ特有のものであり得るキャラクタ（例えば、形状、外観、衣服、武器など）でレンダリングされる。このようにして、ユーザセーブデータは、対応するユーザのゲームプレイ用のキャラクタの生成を可能にし、そのキャラクタは、メタデータに関連付けられたビデオゲームのポイントに対応する状態を有する。例えば、ユーザセーブデータは、ゲームをプレイするときにユーザ５が選択したゲーム難易度、ゲームレベル、キャラクタ属性、キャラクタ位置、残存ライフ数、利用可能なライフの可能総数、装甲、戦利品、タイムカウンタ値、及び他のアセット情報などを含むことができる。またユーザセーブデータは、例えば、ユーザ５を識別するユーザプロファイルデータを含むことができる。ユーザセーブデータをデータストア１４０のデータベース１４１に格納する。
加えて、メタデータは、人工知能を使用して生成され得るランダムシードデータも含む。ランダムシードデータは、元のゲームコードの一部ではない場合があるが、オーバーレイに追加して、ゲーム環境をユーザにとってより現実的、及び／または魅力のあるものに見せることができる。すなわち、ランダムシードデータは、ユーザのゲームプレイに対応するポイントに存在するゲーム環境についての追加の特徴を提供する。例えば、ＡＩキャラクタがランダムに生成され、オーバーレイで提供されてもよい。ＡＩキャラクタは、ゲームをプレイしているいかなるユーザとも関連付けられないが、ゲーム環境に配置され、ユーザのエクスペリエンスを向上させる。
ゲーム状態データには、ＡＩがプレイヤとの以前のインタラクションを記憶して、それらのインタラクションがＡＩによる将来の決定に影響を与えることができるようにするなど、ＡＩによって行われた学習が含まれ得る。例として、都市のシーンでは、これらのＡＩキャラクタがランダムに通りを歩くことができる。加えて、他のオブジェクトを生成し、オーバーレイで提示することができる。例えば、背景における雲、及び空間を通り抜けて飛ぶ鳥をオーバーレイ内に生成し、提示することができる。ランダムシードデータはデータストア１４０のランダムシードデータベース１４３に格納される。
このようにして、システム１０は、ビデオゲームのゲームセッションにおけるシーンのカメラパースペクティブの生成のために、ならびにシーン及び／またはシーンのカメラパースペクティブのナレーションのＡＩ制御された生成のために構成された、１つまたは複数のＡＩモデルをトレーニングするために使用され得る。具体的には、ゲームセッション中の１つまたは複数のビデオゲームの実行中、またはゲームセッションのリプレイ中に収集されたメタデータ、ならびにゲームセッションの記録のリプレイは、１つまたは複数のＡＩモデルをトレーニングするために使用され得る。例えば、ゲームサーバ２０５を含むクラウドゲームシステムは、ＡＩサーバ２６０の深層学習エンジン１９０を使用して、統計及びファクト生成モデル、ＡＩカメラパースペクティブモデル３２１及びＡＩナレーションモデル３３１をトレーニングするように構成され得る。また、深層学習エンジンを使用して、観客にとって関心がある可能性が高い観客関心ゾーンを識別することもできる。識別された観客関心ゾーンは、人工知能を使用して、観客が見ている可能性が高いカメラパースペクティブとナレーションを生成するために使用される。
したがって、クラウドゲームシステムは、後で観客によってアクセスされて、現在及び／または以前にプレイされたゲームセッションからのシーンの（例えば、カメラパースペクティブからの）リアルタイムでレンダリングされたビューを生成し、そのシーンにナレーションを提供することができ、レンダリングされるビューとナレーションは、人工知能を使用して生成される。
具体的には、カメラパースペクティブエンジン２３０は、ＡＩカメラパースペクティブモデル３２１を実装して、対応するゲームセッションからシーンのレンダリングされたビューを生成するように構成され、レンダリングされたビューは、観客にとって高い関心がある可能性があると識別される１つまたは複数のカメラパースペクティブから生成される。また、ブロードキャスタ／ナレータエンジン２２０は、ＡＩナレーションモデル３３１を実装して、シーン及び／またはそのシーンのカメラパースペクティブの解説及び／またはナレーションを生成するように構成され、解説は、テンプレートならびにそのシーンのゲームセッション中に収集されるメタデータに基づいて、ＡＩ統計／ファクトモデル３４１を使用して生成された統計及びファクトを使用して生成される。
図１Ｂは、本開示の一実施形態による、ＡＩカメラパースペクティブ及びＡＩナレーションモデルを含む、人工知能（ＡＩ）モデルを構築するのに使用される例示的なニューラルネットワークを示す。このようにして、シングルプレイヤ及びマルチプレイヤセッションを含む１つまたは複数のゲームセッションを入力として与えられると、ＡＩモデルは、観客にとって関心がある可能性のあるゲームセッションのシーンの観客関心ゾーンを識別するように構成され、ＡＩモデルは、観客にとって関心がある可能性が高いシーンのビューまたはカメラパースペクティブを生成するように、及び／または、単独で提供されるナレーションを生成するように、またはそれらのシーンのカメラビューもしくはカメラパースペクティブを補完するように構成される。
したがって、ＡＩモデルは、ビデオゲームのゲームセッションにおけるシーンのレンダリングされたビュー（例えば、カメラパースペクティブ）を生成し、シーン及び／またはシーンのカメラパースペクティブのナレーションを生成するように構成することができ、レンダリングされたビュー及び／またはナレーションは、ゲームセッション中またはゲームセッション後に観客にストリーミングされ得る。
より具体的には、ＡＩカメラパースペクティブモデル及びＡＩナレーションモデルは、本開示の一実施形態に従って、深層学習エンジン１９０を使用してトレーニング及び／または構築される。一実施形態では、ニューラルネットワーク１９０を、バックエンドサーバのＡＩサーバ２６０内に実装し得る。具体的には、（例えば、ＡＩモデラーを使用する）深層学習エンジン１９０は、ゲームセッション内のどのシーンの関心ゾーンが観客にとって最大の関心があるかを学習するように構成されており、ゲームセッション内の仮想化されたゲーム環境のシーンは、対応するＡＩモデルをトレーニングするときに、１つまたは複数のカメラパースペクティブから表示できる。
例えば、関心ゾーンは熟練者をフォローしている場合や、初心者が熟練者をキルする機会があるダビデとゴリアテの状況を定義している場合、または熟練者が自分の照準に犠牲者を入れているシナリオを定義する場合などがある。また、深層学習エンジン１９０は、ＡＩカメラパースペクティブモデル３２１をトレーニングするときに、識別された関心領域に対応するシーンのどのビューが観客にとって最大の関心があるかを学習するように構成され得る。ビューは、シーンを示すゲーム環境内で撮影された１つまたは複数のカメラアングルによって定義できる。
さらに、深層学習エンジン１９０は、識別された関心ゾーンに対応するシーンのナレーションを構築するときに、どの統計及びファクトが観客にとって関心があるかを学習するように構成され得るものであり、ナレーションは、単独で提供され得るか、または観客にストリーミングされたときに識別された関心ゾーンに対応するシーンのビューを補完するように提供され得る。このようにして、１人または複数の観客は、観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンを見ることができ、ビューはライブゲームセッションのためにリアルタイムで提供することができ、または対応するゲームセッションのリプレイのために生成され得るものであり、リプレイは、ゲームセッション中、またはゲームセッションが終了した後にストリーミングされ得る。
具体的には、深層学習または機械学習エンジン１９０は（例えば、図示していないがＡＩモデラーと協力して）、１つまたは複数のビデオゲームの１つまたは複数のゲームセッション中、１つまたは複数のゲームセッションの観客ビュー中、１つまたは複数のゲームセッションのリプレイ中、１つまたは複数のゲームセッションのライブナレーションを有するライブブロードキャスト中などに収集されたトレーニングデータを分析するように構成されている。
学習及び／またはモデリングフェーズ中の深層学習エンジン１９０は、深層学習アルゴリズム、強化学習、またはその他の人工知能ベースのアルゴリズムを含む人工知能を利用して、トレーニングデータと成功基準を使用して１つまたは複数のトレーニングされたＡＩモデルを構築する（例えば、高い関心を生み出すなど）。トレーニングされたＡＩモデルは、観客にとって高い関心があるゲームセッションの対応するシーンの関心ゾーンを予測及び／または識別し、観客にとって高い関心があるシーンに対して生成できるビューとカメラパースペクティブを識別し、そして、識別された関心ゾーンに対応しかつ識別されたカメラパースペクティブに対応するシーンのナレーションを構築する際に使用するための統計及びファクトを識別または生成するように構成されている。
深層学習エンジン１９０は、任意の更新されたトレーニングデータが与えられると、トレーニングされたＡＩモデルを継続的に精緻化するように構成されてもよい。この精緻化は、トレーニングに使用できるトレーニングデータのセットを、それらのセットが、対応する成功基準に基づいて、深層学習エンジン１９０内でどのように機能するかに基づいて、決定することに基づいている。
追加のトレーニングデータは、人間の入力から収集及び／または分析され得る。例えば、プロのゲームイベントのためのブロードキャストを提供する分野の熟練者は、非常に価値のある入力データを提供するために利用され得る（すなわち、高い成功基準に関連付けられる）。これらの熟練者は、ゲームセッション中に追跡する必要のある関心ゾーン、それらの識別された関心ゾーンに対して生成する必要のあるビュー及び／またはカメラパースペクティブ、ならびに識別された関心ゾーンに対応し、識別されたカメラパースペクティブに対応するシーンのナレーションを構築するのに使用するために識別及び／または生成する必要のある統計及びファクト、を定義するのを助けることができる。
結果として得られるビデオゲームのＡＩモデルは、カメラパースペクティブエンジン２３０、ブロードキャスタ／ナレータエンジン２２０、及び／またはハイライトエンジン２４０によって使用され、任意の入力データのセット（例えば、ゲームセッション）を与えられて観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンを生成することができ、ビューはライブゲームセッションのためにリアルタイムで提供することができるか、または対応するゲームセッションのリプレイのために生成することができ、リプレイは、ゲームセッション中、またはゲームセッションの終了後にストリーミングされ得る。
ニューラルネットワーク１９０は、データセットを分析して、観客関心ゾーン、識別された観客関心ゾーンに対応するシーンのビュー及び／またはカメラパースペクティブ、ならびに、１人または複数の観客にとって高い関心がある、対応するゲームセッション中に収集または生成された統計及びファクトを含むナレーションを決定するための自動分析ツールの例を表す。様々なタイプのニューラルネットワーク１９０が可能である。一例では、ニューラルネットワーク１９０は、深層学習エンジン１９０によって実装され得る深層学習をサポートする。
したがって、教師ありまたは教師なしのトレーニングを用いたディープニューラルネットワーク、畳み込みディープニューラルネットワーク、及び／またはリカレントニューラルネットワークを実装することができる。別の例では、ニューラルネットワーク１９０は、（例えば、成功基準、成功メトリクスなどの使用による）強化学習、または報酬ベースの学習をサポートする深層学習ネットワークを含む。例えば、ニューラルネットワーク１９０は、強化学習アルゴリズムをサポートするマルコフ決定過程（ＭＤＰ）としてセットアップされる。
一般に、ニューラルネットワーク１９０は、人工ニューラルネットワークなどの相互接続されたノードのネットワークを表す。各ノードは、データからある情報を学習する。相互接続を介して、ノード間で知識を交換することができる。ニューラルネットワーク１９０への入力により、ノードのセットがアクティブ化される。次に、このノードのセットは、他のノードをアクティブ化し、それにより入力に関する知識が伝播される。このアクティブ化プロセスは、出力が提供されるまで、他のノードにわたって繰り返される。
図示されるように、ニューラルネットワーク１９０は、ノードの階層を含む。最下位階層に、入力層１９１が存在する。入力層１９１は、入力ノードのセットを含む。例えば、これらの入力ノードのそれぞれは、ゲームアプリケーションのゲームプレイのインスタンスにマッピングされ、インスタンスは、そのインスタンス（例えば、コントローラ入力、ゲーム状態、結果データなど）を定義する１つまたは複数の特徴を含む。モデルの中間予測は、ラベル（例えば、出力、特徴、ノード、分類など）を作成する分類器を介して決定される。
最上位階層には、出力層１９３が存在する。出力層１９３は、出力ノードのセットを含む。出力ノードは、例えば、トレーニングされたＡＩモデル１６０の１つまたは複数のコンポーネントに関連する判断（例えば、関心ゾーン、カメラパースペクティブ、所与の入力データのセットに対する統計及びファクトなど）を表す。前述のように、出力ノードは、所与の入力のセットに対して、予測されるもしくは予想されるアクション、または学習されたアクションを識別することができ、入力は１つまたは複数のビデオゲームの１人または複数のシングルプレイヤ、またはマルチプレイヤのゲームセッションであり得る。
これらの結果は、深層学習エンジン１９０によって使用されるパラメータを精緻化及び／または修正して、所与の入力のセットに対する適切な予測されるまたは予想される応答及び／またはアクションを反復的に判断するために、現在及び／または以前のゲームセッション、及び／またはトレーニングデータの収集のために使用される、所定の及び真の結果と、あるいは、それらのゲームセッションのブロードキャストから得られる、学習されたアクション及び結果（例えば、成功の結果を駆動する人間の入力）と、比較することができる。つまり、ニューラルネットワーク１９０内のノードは、パラメータを精緻化する際に、そのような判断を行うために使用することができるトレーニングされたＡＩモデル（例えば、ＡＩカメラパースペクティブモデル３２１、ＡＩナレーションモデル３３１、統計及びファクトモデル３４１など）のパラメータを学習する。
具体的には、入力層１９１と出力層１９３との間に、隠れ層１９２が存在する。隠れ層１９２は、「Ｎ」個の隠れ層を含み、「Ｎ」は、１以上の整数である。次に、隠れ層のそれぞれはまた、隠れノードのセットも含む。入力ノードは、隠れノードと相互接続されている。同様に、隠れノードは、出力ノードと相互接続されているため、入力ノードは、出力ノードと直接相互接続されていない。複数の隠れ層が存在する場合、入力ノードは、最下位の隠れ層の隠れノードと相互接続される。次に、これらの隠れノードは、次の隠れ層の隠れノードと相互接続され、以下同様に続く。次の最上位の隠れ層の隠れノードは、出力ノードと相互接続される。相互接続は、２つのノードを接続する。相互接続は、学習することができる数値の重みを有し、ニューラルネットワーク１９０を入力に適応させて、学習可能にする。
一般に、隠れ層１９２により、入力ノードに関する知識が、出力ノードに対応する全てのタスク間で共有されることが可能となる。そのようにするため、一実施態様では、隠れ層１９２を介して入力ノードに変換ｆが適用される。一実施例では、変換ｆは非線形である。例えば、整流関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を含む様々な非線形変換ｆが利用可能である。
ニューラルネットワーク１９０はまた、最適解を見つけるためにコスト関数ｃを使用する。コスト関数は、所与の入力ｘに関してｆ（ｘ）と定義されたニューラルネットワーク１９０によって出力される予測と、グラウンドトゥルースまたはターゲット値ｙ（例えば見込まれる結果）との偏差を測定する。最適解は、最適解のコストよりコストの低い解がない状況を表す。コスト関数の例として、グラウンドトゥルースラベルが利用可能なデータの場合、予測とグラウンドトゥルースとの平均二乗誤差が挙げられる。学習プロセス中に、ニューラルネットワーク１９０は、誤差逆伝播アルゴリズムを使用して、様々な最適化方法を採用し、コスト関数を最小化するモデルパラメータ（例えば隠れ層１９２内のノード間の相互接続の重み）を学習し得る。このような最適化方法の一例として、確率的勾配降下法が挙げられる。
一実施例では、ニューラルネットワーク１９０用のトレーニングデータセットは、同じデータ領域からのものであり得る。例えば、ニューラルネットワーク１９０は、所与の入力のセットまたは入力データ（例えば、ゲームセッション）に対して実行すべき予測されるまたは予想される応答及び／またはアクションを学習するようにトレーニングされる。この説明では、データドメインには、複数のユーザの複数のゲームプレイを通じて収集されたゲームセッションデータ、ゲームセッションの観客のビュー、関心ゾーンを選択する熟練者によって提供される人間の入力、カメラパースペクティブ、及びベースライン入力データを定義するために使用される統計及びファクトが含まれる。別の実施例では、トレーニングデータセットは、ベースライン以外の入力データを含むように、様々なデータ領域からのものである。
これらの予測結果に基づいて、ニューラルネットワーク１９０はまた、それらの結果及び／または入力のセット（ゲームセッションなど）が与えられた場合に実行されるアクション（例えば、予測された関心ゾーン、カメラパースペクティブ、及びナレーションを構築するために使用される統計及びファクト）を決定するために使用されるトレーニングされたＡＩモデルを定義し得る。そのため、ＡＩモデルは、任意の入力データのセット（ゲームセッションなど）を与えられて、観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンを生成するように構成されており、ビューはライブゲームセッションのためにリアルタイムで提供することができ、または対応するゲームセッションのリプレイのために生成され得るものであり、リプレイは、ゲームセッション中、またはゲームセッションが終了した後にストリーミングされ得る。
図２は、本開示の一実施形態による、１つまたは複数のビデオゲームの１つまたは複数のゲームセッションにおいて、対応するユーザに対してローカルで、またはバックエンドクラウドゲームサーバで実行されている１つまたは複数のビデオゲームをプレイする１人または複数のユーザにゲーム制御を提供するシステム２００を示し、１つまたは複数のゲームセッションは人工知能によってＡＩカメラパースペクティブモデルとＡＩナレーションモデルをトレーニングするために使用され、ＡＩモデルは、ゲームセッションのカメラパースペクティブを識別し、観客が見る可能性が最も高いそれらのゲームセッションのシーンに対してナレーションを提供するために使用される。
他の実施形態では、ＡＩモデルを使用して、ＡＩで識別された統計及びファクトを使用したナレーションを伴うシングルプレイヤまたはマルチプレイヤのゲームセッションのシーンのレンダリングされたビューを生成し、その後、１人または複数の観客にストリーミングする。一実施形態では、システム２００は、図１Ａのシステム１０と連動して機能し、ゲームセッションのカメラパースペクティブを生成するように構成されたＡＩモデルをトレーニング及び／または実装し、観客が見る可能性が最も高いゲームセッションのシーンにナレーションを提供する。ここで図面を参照すると、同様の参照番号は、同一の部分または対応する部分を示す。
図２に示すように、複数のユーザ１１５（例えば、ユーザ５Ａ、ユーザ５Ｂ…ユーザ５Ｎ）は、１つまたは複数のゲームセッションにわたって複数のビデオゲームをプレイしている。ゲームアプリケーションのそれぞれは、対応するユーザの対応するクライアントデバイス１００（例えば、ゲームコンソール）上でローカルに、またはバックエンドクラウドゲームシステム２１０で実行され得る。加えて、複数のユーザ１１５のそれぞれは、トレーニングに使用されるゲームセッションのために、またはＡＩモデルを使用して構築された現在または以前のゲームセッションの興味深いシーンのレンダリングされた画像を表示するためにそれぞれ構成されたディスプレイ１２またはデバイス１１にアクセスできる。
具体的には、システム２００は、本開示の一実施形態に従って、ローカルで実行されている１つまたは複数のビデオゲームをプレイする複数のユーザ１１５にゲーム制御を提供する。例えば、ユーザ５Ａは、対応するクライアントデバイス１００上で第１のゲームアプリケーションをプレイすることができ、第１のゲームアプリケーションのインスタンスは、対応するゲームロジック１７７Ａ（例えば、実行可能コード）及びゲームタイトル実行エンジン１１１Ａにより実行される。例示目的のために、ゲームロジックは、対応するクライアントデバイス１００に、ポータブルメディア（例えばフラッシュドライブ、コンパクトディスクなど）を介して、またはネットワークを介して配信され得る（例えばインターネット１５０を介してゲームプロバイダからダウンロードされ得る）。さらに、ユーザ１１５Ｎは、対応するクライアントデバイス１００上で第Ｎのゲームアプリケーションをプレイし、第Ｎのゲームアプリケーションのインスタンスは、対応するゲームロジック１７７Ｎ及びゲームタイトル実行エンジン１１１Ｎにより実行される。
加えて、システム２００は、本開示の一実施形態に従って、クラウドゲームシステム２１０上で実行されている１つまたは複数のビデオゲームをプレイする複数のユーザ１１５にゲーム制御を提供する。クラウドゲームシステム２１０は、複数のインタラクティブビデオゲームまたはゲームアプリケーションへのアクセスを提供するゲームサーバ２０５を含む。ゲームサーバ２０５は、クラウド内で利用可能な任意の種類のサーバコンピューティングデバイスであり得るもので、１つまたは複数のホスト上で実行される１つまたは複数の仮想マシンとして構成され得る。例えば、ゲームサーバ２０５は、ユーザのゲームアプリケーションのインスタンスをインスタンス化するゲームプロセッサをサポートする仮想マシンを管理し得る。
このようなものとして、複数の仮想マシンと関連するゲームサーバ２０５の複数のゲームプロセッサは、複数のユーザ１１５のゲームプレイと関連するゲームアプリケーションの複数のインスタンスを実行するように構成される。このようにして、バックエンドサーバサポートは、複数の対応するユーザ（例えば、プレイヤ、観客など）に、複数のビデオゲームのゲームプレイのメディア（例えば、ビデオ、オーディオなど）のストリーミングを提供する。
いくつかの実施形態では、クラウドゲームネットワークは、ホストマシンのハイパーバイザ上で動作する複数の仮想マシン（ＶＭ）を含むゲームクラウドシステム２１０であってもよく、１つまたは複数の仮想マシンが、ホストのハイパーバイザで利用可能なハードウェアリソースを利用して、ゲームプロセッサを実行するように構成されている。１人または複数のユーザは、クライアントデバイス１００または１００’を使用してビデオゲームのリモート処理のためにネットワーク１５０を介してゲームクラウドシステム２１０にアクセスすることができ、クライアントデバイス１００’は、（例えば、ゲーム実行エンジン２１１を含む）計算機能を提供するバックエンドサーバとインタフェースするシンクライアントとして構成され得る。
例えば、ユーザ５Ｂは、対応するクライアントデバイス１００’上で第２のビデオゲームをプレイしており、第２のビデオゲームのインスタンスは、クラウドゲームシステム２００の対応するゲームタイトル実行エンジン２１１により実行される。第２のビデオゲームを実装するゲームロジック（例えば、実行可能コード）は、ゲームタイトル処理エンジン２１１と連携して実行され、第２のビデオゲームを実行する。ユーザ５Ｂは、レンダリングされた画像を表示するように構成された少なくともデバイス１１にアクセスすることができる。
クライアントデバイス１００または１００’は、ゲームコントローラ、タブレットコンピュータ、キーボードなどの様々な種類の入力デバイスからの入力、及びビデオカメラ、マウス、タッチパッドなどにより取り込まれたジェスチャを受信し得る。クライアントデバイス１００及び１００’は、メモリとプロセッサモジュールとを少なくとも有する任意の種類のコンピューティングデバイスであり得るもので、ネットワーク１５０を介してゲームサーバ２０５に接続することができる。また、対応するユーザのクライアントデバイス１００及び１００’は、ローカルまたはリモートで作動するゲームタイトル実行エンジン１１１により実行されるレンダリングされた画像を生成するように、及びレンダリングされた画像をディスプレイに表示するように、構成される。例えば、対応するクライアントデバイス１００または１００’は、ゲームプレイを駆動するために使用される入力コマンドなどを通して、対応するユーザのゲームプレイを実装するためにローカルに、またはリモートに実行されるような対応するビデオゲームのインスタンスとインタラクトするように構成される。
一実施形態において、クライアントデバイス１００は、ゲームアプリケーションをプレイする、対応するユーザについてシングルプレイヤモードで動作する。
別の実施形態において、複数のクライアントデバイス１００は、特定のゲームアプリケーションを各プレイする、対応するユーザについてマルチプレイヤモードで動作する。この場合、ゲームサーバ２０５を介したバックエンドサーバサポートは、マルチプレイヤ処理エンジン１１９を介するなどして、マルチプレイヤ機能を提供し得る。具体的には、マルチプレイヤ処理エンジン１１９は、特定のゲームアプリケーションのマルチプレイヤゲームセッションを制御するように構成される。例えば、マルチプレイヤ処理エンジン１３０は、マルチプレイヤゲームセッションに参加しているユーザ及び／またはプレイヤのそれぞれと通信セッションを確立し維持するように構成されたマルチプレイヤセッションコントローラ１１６と、通信する。このようにして、セッション中のユーザは、マルチプレイヤセッションコントローラ１１６により制御されるように、相互と通信することが可能である。
さらに、マルチプレイヤ処理エンジン１１９は、各ユーザの対応するゲーム環境内でユーザ間のインタラクションを可能にするために、マルチプレイヤロジック１１８と通信する。具体的には、状態共有モジュール１１７は、マルチプレイヤゲームセッションにおいてユーザそれぞれの状態を管理するように構成される。例えば、状態データは、特定ポイントにおける対応するユーザの（ゲームアプリケーションの）ゲームプレイの状態を定義するゲーム状態データを含み得る。例えば、ゲーム状態データには、ゲームキャラクタ、ゲームオブジェクト、ゲームオブジェクト属性、ゲーム属性、ゲームオブジェクト状態、グラフィックオーバーレイなどが含まれ得る。このようにして、ゲーム状態データにより、ゲームアプリケーション内の対応するポイントに存在するゲーム環境の生成が可能となる。
ゲーム状態データには、ＣＰＵ、ＧＰＵ、メモリの状態、レジスタ値、プログラムカウンタ値、プログラマブルＤＭＡ状態、ＤＭＡ用のバッファデータ、オーディオチップ状態、ＣＤ－ＲＯＭ状態など、ゲームプレイのレンダリングに使用されるあらゆるデバイスの状態が含まれることもある。ゲーム状態データは、そのポイントからビデオゲームを実行するために、実行コードのどの部分をロードする必要があるかを識別することもできる。ゲーム状態データは、図１Ａのデータベース１４０に格納され得るものであり、状態共有モジュール１１７によりアクセス可能である。
さらに、状態データは、対応するプレイヤのビデオゲームをパーソナライズする情報を含む、ユーザセーブデータを含み得る。これには、ユーザがプレイするキャラクタに対応付けられた情報が含まれるため、ビデオゲームは、そのユーザに特有であり得るキャラクタ（例えば位置、形状、外観、衣服、兵器など）でレンダリングされる。このようにして、ユーザセーブデータにより、対応するユーザのゲームプレイ用のキャラクタを生成することが可能となり、キャラクタは、対応するユーザが現在体験しているゲームアプリケーション内のポイントに対応する状態を有する。例えば、ユーザセーブデータは、ゲームをプレイするときに対応するユーザが選択したゲーム難易度、ゲームレベル、キャラクタ属性、キャラクタ位置、残存ライフ数、利用可能ライフの可能総数、装甲、戦利品、タイムカウンタ値などを含み得る。ユーザセーブデータはまた、対応するユーザを識別するユーザプロファイルデータを含み得る。ユーザセーブデータをデータベース１４０に格納することができる。
このようにして、状態共有データ１１７及びマルチプレイヤロジック１１８を用いるマルチプレイヤ処理エンジン１１９は、マルチプレイヤゲームセッションに参加するユーザのゲーム環境のそれぞれに、オブジェクト及びキャラクタをオーバーレイ／挿入することができる。例えば、第１のユーザのキャラクタは、第２のユーザのゲーム環境にオーバーレイ／挿入される。これは、マルチプレイヤゲームセッションにおけるユーザ間のインタラクションを、自身の各ゲーム環境のそれぞれを介して（例えば、画面上に表示されるように）可能にする。
加えて、ゲームサーバ２０５を介したバックエンドサーバサポートは、ビデオゲームのゲームセッションにおけるシーンのＡＩレンダリングされたビュー（例えば、カメラパースペクティブ）を生成し、シーン及び／またはシーンのカメラパースペクティブのナレーションを生成することができ、レンダリングされたビュー及び／またはナレーションは、ゲームセッション中またはゲームセッション後に観客にストリーミングされ得る。このようにして、１人または複数の観客は、観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンを見ることができ、ビューはライブゲームセッションのためにリアルタイムで提供することができ、またはＡＩサーバ２６０によって実装されるようなＡＩモデルを使用して、対応するゲームセッションのリプレイのために生成され得る。
具体的には、ＡＩモデルは、観客にとって関心がある可能性のある１つまたは複数のゲームセッションで観客関心ゾーンを識別するために使用される。ビデオゲームのゲームセッションのシーンに対応する特定の識別された観客関心ゾーンについて、カメラパースペクティブエンジンは、ＡＩカメラパースペクティブモデルを使用して、観客にとって関心のあるシーンの１つまたは複数のカメラパースペクティブを生成または識別する。
加えて、シーンに対応する特定の識別された観客関心ゾーンについて、ブロードキャスタ／ナレータエンジン２２０は、ＡＩナレーションモデルを使用して、ゲーム状態データ及びシーンに対応するゲームセッションに関連する他の情報に基づいて統計及びファクトを識別及び／または生成する。生成された統計及びファクトは、解説テンプレートを使用して一緒に織り込まれ、単独でストリーミングしたり、シーンの１つまたは複数のカメラパースペクティブとともに１人または複数の観客にストリーミングしたりできる解説を生成する。
さらに、クラウドゲームシステム２１０のハイライトエンジン２４０は、ＡＩモデルを使用して現在または以前のゲームセッションのＡＩレンダリングビューを生成して、１つまたは複数のゲームセッションの１つまたは複数のシーンに対応する識別された観客関心ゾーンの１つまたは複数のレンダリングビュー（例えば、カメラパースペクティブ）を生成し、それらのシーンのためのナレーションを提供するように構成される。ハイライトリールは、ＡＩレンダリングされたビュー及びＡＩ生成ナレーションを含むハイライトエンジン２４０によって生成され、１人または複数の観客にストリーミングされ得る。
図３Ａは、本開示の実施形態による、複数のビデオゲームの複数のゲームセッションにおいて観客関心ゾーンを識別し、それらの識別された観客関心ゾーンの関心があるカメラパースペクティブを識別し、それらの識別された観客関心ゾーンのシーンに対する解説及び／またはナレーションを生成する１つまたは複数のＡＩモデルを、トレーニングするように構成されたシステム３００Ａを示す。システム３００はまた、ＡＩモデルを使用して、ビデオゲームのゲームセッションにおいてＡＩで識別されたシーンのレンダリングされたビュー（例えば、カメラパースペクティブ）を生成し、シーン及び／またはシーンのカメラパースペクティブのナレーションを生成するように構成され、レンダリングされたビュー及び／またはナレーションは、対応するゲームセッション中、または対応するゲームセッションの終了後に観客にストリーミングされ得る。
いくつかの実施形態では、ゲームの１つまたは複数のレンダリングは、ＡＩトレーニングされたカメラパースペクティブモデル３２１を使用するなど、人工知能（ＡＩ）によって生成される。一実施形態において、ＡＩカメラパースペクティブモデル３２１はカメラアングルを制御して、最も関心のあるアクションをキャプチャし、アングル間をカットして、単一のビューに収まらないアクションを組み込み、様々な視点からアクションを表示できる。ＡＩカメラパースペクティブモデル３２１は、カメラアングルを選択して、狙撃兵と狙撃兵が狙っているターゲットの両方を示すアングルなど、疑わしいアクションの全体ビューを含めることができる。
別の実施形態では、ＡＩ関心ゾーンモデル３１１は、ゲーム及びプレイヤの関心の多くの側面を考慮に入れて、どのアクションが視聴者にとって最も関心があるかを決定できる。観客ごとに異なるストリームを生成できる。さらに別の実施形態では、ＡＩナレーションモデル３３１は、それが生成するゲームストリームに解説を追加することができる。別の実施形態において、ハイライトエンジンは、ストリームにアクションのリプレイを含めることができるため、観客は異なる視点からエキサイティングなアクションを再び見ることができ、ゲームのライブカメラビューでは発生しなかったアクションを見ることができる。
トレーニングのために、システム３００Ａは、１つまたは複数のビデオゲームの１つまたは複数のゲームセッションから、入力としてメタデータ、プレイヤ統計、及び他の情報を受信し、ゲームセッションは、シングルプレイヤまたはマルチプレイヤのゲームセッションであり得る。１つまたは複数のゲームセッションは、ビデオゲームをプレイする１人または複数のプレイヤから（例えば、教師あり学習のために）生成され得るか、またはビデオゲームをプレイする１人または複数のＡＩプレイヤから（例えば、教師なし学習のために）生成され得るか、または、１人または複数の人間のプレイヤ及び／または１つまたは複数のＡＩプレイヤの組み合わせから生成され得る。加えて、人間の入力は、熟練者の選択及び／または観客関心ゾーンの定義、カメラパースペクティブ、及び／またはナレーションに使用される統計及びファクトなどのトレーニングデータとして提供される場合がある。
例えば、プレイヤ１のゲーム空間３０１Ａは、対応するビデオゲームのゲームセッションに関連付けられ、メタデータ３０２Ａ及びプレイヤ統計３０３Ａは、人工知能を使用して観客関心ゾーンモデル３１１をトレーニングするためのＡＩ観客関心ゾーントレーナ３１０への入力として提供される。同様のデータが収集され、プレイヤ２のゲームスペース３０１ＢからプレイヤＮのゲームスペース３０１Ｎまでの入力として提供される。したがって、入力のセット（例えば、１つまたは複数のゲームセッション）が与えられると、観客関心ゾーンモデル３１１は、１人または複数の観客にとって高い関心がある可能性のある１つまたは複数の識別された観客関心ゾーン３１２を出力するようにトレーニングされる。ＡＩ観客関心ゾーントレーナ３１０及び関心ゾーンモデル３１１のトレーニング及び実装のより詳細な説明が図３Ｂに提供されている。
識別された観客関心ゾーンのそれぞれは、ゲームセッションのために実行されているビデオゲームの対応するシーンに関連付けられている。ゲームに対して（例えば、プレイヤに対して）異なるカメラパースペクティブを生成することも、人工知能を使用してゲーム状態データを使用して新たに生成することもできる。後の時点で新しいカメラアングルのレンダリングを生成する利点の１つは、特定のアクションを識別してリプレイに表示することができ、次にそのアクションを最もよく示すカメラアングルを計算することができ、次にそのカメラアングルからのアクションのレンダリングを生成できることである。これにより、アクションの発生中に識別された（例えば、ゲームによって最初に生成された）どのカメラアングルよりも有利なカメラアングルからのアクションのリプレイが可能になる。
新しく識別され生成されたカメラアングルは、次にリプレイにおいて表示できる。例えば、これは、関心のあるアクションにつながるイベントを表示するために実装されると（例えば、リプレイ中）、それらのイベントが最初は興味深くは思われなかった場合、つまり、それらのイベントが興味深いアクション（例えば、関心アクション）につながることが知られる前に発生した場合に役立つ。一般に、ＡＩカメラパースペクティブトレーナ３２０は、関心ゾーンモデル３１１からの識別された観客関心ゾーン出力のための１つまたは複数のカメラパースペクティブを入力として受信するように構成される。
成功基準に基づいて、ＡＩカメラパースペクティブトレーナは、カメラパースペクティブモデル３２１をトレーニングして、対応する選択及び／または識別された観客関心ゾーンの対応するシーンについて、少なくとも１つの識別されたビューまたはカメラパースペクティブ３２２を出力するように構成され、このカメラパースペクティブは、１人または複数の観客にとって高い関心があるものである。ＡＩカメラパースペクティブトレーナ３２０及びカメラパースペクティブモデル３２１のトレーニング及び実装のより詳細な議論が図３Ｃに提供されている。
加えて、対応する識別された観客関心ゾーンの各シーンについて、人工知能を使用して解説を作成できる。具体的には、ＡＩブロードキャスタ／ナレータトレーナ３３０は、入力として、対応するゲームセッションから１つまたは複数の統計及びファクトを受信する。成功基準に基づいて、ＡＩブロードキャスタ／ナレータトレーナ３３０は、ナレーションモデル３３１をトレーニングして、観客にとって高い関心がある統計及びファクトを識別し、解説テンプレートを使用するなどして、それらの識別された統計及びファクトを解説及び／またはナレーション３３２に織り込むように構成される。ＡＩブロードキャスタ／ナレータトレーナ３３０及びナレーションモデル３３１のトレーニング及び実装のより詳細な議論が図３Ｄに提供されている。
図３Ｂは、本開示の一実施形態による、観客にとって関心がある可能性のある観客関心ゾーンを識別するために使用される観客関心ゾーンモデル３１１を、人工知能を使用してトレーニングするために使用されるシステム３００Ｂを示す。システム３００Ｂは、クラウドゲームシステム２１０内、より具体的には、クラウドゲームシステム２１０のＡＩサーバ２６０内に実装され得る。
トレーニングのために、システム３００Ｂは、１つまたは複数のビデオゲームの１つまたは複数のゲームセッションから、入力としてメタデータ、プレイヤ統計、及び他の情報を受信し、ゲームセッションは、シングルプレイヤまたはマルチプレイヤのゲームセッションであり得る。１つまたは複数のゲームセッションは、ビデオゲームをプレイする１人または複数のプレイヤから（例えば、教師あり学習のために）生成され得るか、またはビデオゲームをプレイする１人または複数のＡＩプレイヤから（例えば、教師なし学習のために）生成され得るか、または、１人または複数の人間のプレイヤ及び／または１つまたは複数のＡＩプレイヤの組み合わせから生成され得る。
例えば、プレイヤ１のゲーム空間３０１Ａは、対応するビデオゲームのゲームセッションに関連付けられ、メタデータ３０２Ａ及びプレイヤ統計３０３Ａは、人工知能を使用して観客関心ゾーンモデル３１１をトレーニングするためのＡＩ観客関心ゾーントレーナ３１０への入力として提供される。さらに、プレイヤ２のゲーム空間３０１Ｂは、対応するビデオゲームのゲームセッションに関連付けられ、メタデータ３０２Ｂ及びプレイヤ統計３０３Ｂは、観客関心ゾーンモデル３１１をトレーニングするためのＡＩ観客関心ゾーントレーナ３１０への入力として提供される。
追加の入力データが提供される。例えば、プレイヤＮのゲーム空間３０１Ｎは、対応するビデオゲームのゲームセッションに関連付けられ、メタデータ３０２Ｎ及びプレイヤ統計３０３Ｎは、観客関心ゾーンモデル３１１をトレーニングするためのＡＩ観客関心ゾーントレーナ３１０への入力として提供される。加えて、人間の入力は、熟練者の選択及び／または観客関心ゾーンの定義、カメラパースペクティブ、及び／またはナレーションに使用される統計及びファクトなどのトレーニングデータとして提供される場合がある。
前述のように、メタデータはトレーニングに使用される対応するゲームセッション中に収集され、ゲーム状態やその他のユーザ情報を含むことができる。例えば、ゲーム状態データは、ビデオゲームのゲーム環境を生成するために使用されるポイントでのゲームの状態を定義し、ゲームキャラクタ、ゲームオブジェクト、ゲームオブジェクト属性、ゲーム属性、ゲームオブジェクト状態、グラフィックオーバーレイなどを含み得る。ゲームの状態には、ゲームプレイのレンダリングに使用される全てのデバイス（ＣＰＵ、ＧＰＵ、メモリなど）の状態が含まれ得る。ゲーム状態には、例えば人工知能を使用して生成されたランダムシードデータも含まれ得る。
ゲーム状態には、ビデオゲームのパーソナライズに使用されるデータなど、ユーザセーブデータも含まれ得る。例えば、ユーザセーブデータは、特定のユーザのキャラクタをパーソナライズできるため、ビデオゲームは、そのユーザに特有であり得るキャラクタ（例えば形状、外観、衣服、兵器類など）でレンダリングされる。ユーザセーブデータには、ユーザ定義のゲーム難易度、ゲームレベル、キャラクタ属性、キャラクタ位置、残存ライフ数、アセット情報などが含まれる。ユーザセーブデータには、ユーザプロファイルデータが含まれてもよい。
また、プレイヤの統計には、ユーザ（例えば、プレイヤ１）のプロファイル情報、または、プレイヤの名前、プレイしたゲーム、プレイしたゲームの種類、専門知識のレベルなど、プレイヤ１に一般的に適用されるその他の収集された統計が含まれ得る。プレイヤの統計はまた、ユーザプロファイルデータを含むか、それに基づくこともできる。
前述のように、関心ゾーントレーナ３１０は、深層学習エンジン１９０を実装して、１つまたは複数のビデオゲームの１つまたは複数のゲームセッション中に、１つまたは複数のゲームセッションの観客ビュー中に、１つまたは複数のゲームセッションのリプレイ中に、１つまたは複数のゲームセッションのライブナレーション、人間の入力などを有するライブブロードキャスト中に収集された、人工知能トレーニングデータを使用して分析して、観客にとって高い関心がある観客関心ゾーンを識別する。具体的には、深層学習エンジン１９０は、学習及び／またはモデリングフェーズ中に、深層学習アルゴリズム、強化学習、または他の人工知能ベースのアルゴリズムを含む人工知能を利用して、トレーニングデータ及び成功基準を使用して関心ゾーンモデル３１１を構築する。
例えば、関心ゾーンモデル３１１をトレーニングするためにフィードバックループが提供され得る。具体的には、各反復で、フィードバックループは、１つまたは複数の識別された観客関心ゾーン３１２を出力するときに、関心ゾーントレーナ３１０によって使用される成功基準を精緻化するのに役立ち得る。示されるように、トレーニングされている関心ゾーンモデル３１１を介したＡＩ観客関心ゾーントレーナ３１０は、所与の入力のセットに対して１つまたは複数の潜在的な関心ゾーンを出力として提供することができる。入力は、１つまたは複数のビデオゲームの１つまたは複数のゲームセッションに関連付けることができる。
説明を容易にするために、フィードバックプロセスは、シングルプレイヤまたはマルチプレイヤのゲームセッションなどの１つのゲームセッションから提供されている入力のセットに関連して説明されている。加えて、ゲームセッションはライブであるか、すでに行われている可能性がある。このようにして、以前のゲームセッションに対応する履歴ゲームデータを使用して、関心ゾーンモデル３１１をトレーニングして、ゲームセッションにおけるアクションをフォローする方法をよりよく予測し、観客にとって関心があるものを選択することができる。
具体的には、提供されている出力３１３は、入力のセットとして提供されるゲームセッションのための過去、現在、及び将来の観客関心ゾーンを含み得る。出力３１３として提供される現在の関心ゾーンは、進行中のゲームセッション、または終了したが記録されたゲーム状態データを使用してリプレイされているゲームセッションにおいて、興味深い関心ゾーンのリアルタイム追跡を提供し得る。出力３１３として提供される過去の関心ゾーンは、現在進行中のゲームセッションでの、または終了したゲームセッションについての以前のゲームプレイを評価することができる。出力３１３として提供される将来の関心ゾーンは、潜在的に発生する可能性のあるゲームセッション（ライブまたは終了したもの）における関心のあるシナリオを評価し得るもので、その結果、関心ゾーンモデル３１１は、ライブまたはゲーム状態データを使用してリプレイされているゲームセッションにおけるアクションをフォローするように構成され得る。
関心ゾーンの特徴付けは、（例えば、ゲーム状態データまたはゲームセッションの統計によって）１人または複数の観客にとって関心があるものを識別するのを助けるために定義され得る。例えば、関心ゾーンは、特定のイベント、状況、またはシナリオなど（例えば、ダビデとゴリアテ、アンダードッグ、目標の達成、レベルの克服など）によって定義され得る。別の例では、関心ゾーンは、ゲーム内で中枢となる重要なシーンなどのビデオゲーム内のシーン（例えば、キャラクタがより高い状態に進化することを可能にするタスクの頂点に到達すること）によって定義され得る。
さらに別の例では、関心ゾーンは、特定の地理的エリア及び／またはゲーム世界の領域に到達すること、またはキャラクタがボスと交戦しようとしているところでボスレベルに到達するときなど、ビデオゲームのセクションまたはセグメントによって定義され得る。さらに別の例では、関心ゾーンは、キャラクタがビデオゲームで山をスケーリングしてターゲットに到達しようとしているときなど、特定の関心のあるアクションによって定義され得る。別の例では、関心ゾーンは、シャーデンフロイデクラスターによって定義される場合がある。これにより、１人または観客がプレイヤの没落を見るのを楽しむことができる。本開示の実施形態では、さらに他の定義がサポートされている。
別の例では、関心ゾーンは、ゲームセッションにおける２人のプレイヤ間の関係によって定義され得る。あるケースでは、２人の熟練者プレイヤ（例えば、プロ）が、ビデオゲームのゲームの世界で互いにある地理的な距離内にいる場合があり、この２人が直接対決のマッチアップで出会う可能性が高い。別のケースでは、低レベルのプレイヤがキルショットで熟練者プレイヤを倒すように設定されている場合があり（例えば、ダビデとゴリアテまたはアンダードッグのシナリオ）、この場合、低レベルのプレイヤは、熟練者が低レベルのプレイヤを倒す前に１回だけチャンスがある。
別のケースでは、低レベルのプレイヤが熟練者（例えば、狙撃率が高い）の照準内にいる。別の例では、関心ゾーンは、プレイヤによって定義され得るものであり、１人または複数の観客の間で人気のあるプレイヤは、関心ゾーンで追跡され得る。さらに別の例では、プレイヤは、観客が見るように調整され得る狙撃シナリオをこのプレイヤが探していることを示す高い狙撃率を有するなど、観客が見るように強いる特定の特性を有し得る。関心ゾーンにはタイミング特性が含まれる場合があり、狙撃率が高いプレイヤは自分の照準内にターゲットを入れることができる。関心ゾーンは、地理的特性を含み得るもので、高い狙撃率を有するプレイヤは、ゲーム世界の特定のエリア内にあり得るもので、そのエリアは、標的が豊富であり得る。本開示の実施形態では、さらに他の定義がサポートされている。
別の例では、関心ゾーンは、プレイヤの予測されるアクションまたは結果によって特徴付けられ得る。例えば、関心ゾーンは、（例えば、難しい作業、または難しい地形を横断する必要があるなど）レベルアップの割合が高い、またはキャラクタの死亡率が高いビデオゲームのゲーム世界のエリアまたは領域として定義され得る。他の例では、関心ゾーンは、成功率が低い、または成功率が高いゲーム条件（タスクを実行する）として定義され得る。本開示の実施形態では、さらに他の定義がサポートされている。
他の例では、関心ゾーンを定義する人気のあるプレイヤをフォローするための選好を与えることができる。また、近くに他のプレイヤがいない状態で隠れているプレイヤをフォローするのではなく、近くに他のプレイヤが多いエリアのプレイヤをフォローするなど、排除される可能性が高いプレイヤをフォローすることも選好できる。どのプレイヤをフォローするかは、どのフィードがゲームを見ている観客に最も人気があるか、から部分的または完全に決定できる。観客は直接投票することも、表示するフィードやフォローするプレイヤを直接選択して間接的に投票することもできる。
トレーニング中に出力３１１として提供される関心ゾーンは、成功基準を定義するのを助けるために、さらにフィルタリングされ、ＡＩ観客関心ゾーントレーナ３１０にフィードバックされ得る。例えば、関心ゾーンは、ヒューマンインザループ、または他の観客の能動的及び／または受動的メトリックのいずれかを介して選択できる。
具体的には、観客の視聴の選択は、ＡＩモデルを使用してどの関心ゾーンが選択されるかに影響を与える。例えば、出力３１３として提供される関心ゾーンのそれぞれは、選択を通じて１人または複数の観客が見ることができるゲームセッションの部分に対応することができる。その選択は、観客にとって興味深いと定義された好都合な関心ゾーンの成功基準を定義するのに役立ち得る。いくつかの場合では、観客は、１つまたは複数のライブゲームセッションの選択肢から、または１つまたは複数のリプレイの選択肢から選択可能なゲームセッションのリプレイを通じて、ライブのゲームセッションを表示することを能動的に選択することができる。いくつかの実施態様では、観客は、自動的に、または表示するために選択できる選択肢として提示される、リプレイの基準を設定できる。いくつかの場合では、観客は、人間によって制御されるリプレイのストリームを表示することを選択することによって、及び／または人工知能が、ＡＩの選択と生成によって制御されるリプレイのストリームを表示することを選択することによって、ＡＩ関心ゾーンモデル３１１によって定義されるものを強化することを選択することができる。
ＡＩ観客関心ゾーントレーナ３１０への肯定的なフィードバックとして提供される、定義された観客が選択した関心ゾーン３１５など、どの関心ゾーンが観客に好都合であるかを定義するのに役立つ観客によるアクション３６０の例は、以下に提供されており、例示を目的としたものであり、網羅的なものを意図したものではない。例えば、しきい値を超える観客のジャンプインカウント３６０Ａは、関心ゾーンが観客にとって好都合であることを示す。また、対応する観客関心ゾーンを含むゲームセッションの部分の視聴中に解説またはテキストフィードバックとして提供される肯定的な観客フィードバック３６０Ｂは、特にたくさんの肯定的なフィードバックがある場合に、観客にとって好都合な対応する関心ゾーンを定義するのに役立ち得る。
さらに、対応する観客関心ゾーンを含むゲームセッションの部分の視聴中の能動的または受動的な観客アクション３６０Ｃは、観客に好都合な対応する関心ゾーンを定義するのに役立ち得る。例えば、受動的なアクションには、バイオフィードバック（例えば、発汗、笑顔など）が含まれ得る。別の例では、能動的なアクションには、ゲームセッションの視聴などに肯定的な関心を示すアイコンの選択が含まれ得る。観客は直接投票するか、表示するフィードまたはフォローするプレイヤを直接選択して間接的に投票できる。例えば、対応する観客関心ゾーンを含むゲームセッションの一部のリプレイが、どれほど人気があるかを示す観客のリプレイカウント３６０Ｄは、観客にとって好都合な対応する関心ゾーンの定義に役立ち得る。
観客がフォローすることを選択した関心ゾーンは、関心ゾーンがどれほど興味深いかを示す指標として使用できる。例えば、観客が特定のプレイヤをフォローしている関心ゾーンをフォローするように切り替えると、それは関心ゾーンが観客にとって関心があることを示す指標として使用できる。いくつかの場合では、観客は自分自身のカメラアングルを選択して表示することができる。
選択されたカメラアングルは、関心のあるアクションが発生している場所の指標として使用でき、これは、関心ゾーンまたは特定のカメラアングルを決定する際に使用できる。別の例では、対応する観客関心ゾーンを含むゲームセッションの一部のリプレイが、どれほど人気があるかを示すライブゲームセッションの観客のストリーミングビューカウント３６０Ｅは、観客にとって好都合な対応する関心ゾーンを定義するのに役立ち得る。本開示の実施形態では、観客のフィードバックを提供するさらに他の定義がサポートされている。
観客には、拍手、ブーイング、あくびなどの反応を単純に選択する機能も与えられ得る。これらを集約してトーナメントのプレイヤに表示したり、収集したりして、関心ゾーンまたはアクションへの観客の注目のレベルを判断することもできる。いくつかの場合では、観客は、全体的なアクション、特定のアクション、非プレイヤキャラクタのアクティビティ、または特定のプレイヤのアクティビティに関連するフィードバックを与えることができる。この情報は、プレイヤが見たいアクションを判断するのに役立ち、これは、パッチ中に表示するアクションを選択する、または、ゲームマッチを設計して、ユーザがマッチ中に発生することを好む状況の可能性を高めるのに役立つ。
いくつかの場合では、観客は、ゲームプレイのブロードキャストがどの程度うまく行われていると思うかについてフィードバックを提供でき、これは、表示するアクションまたはリプレイの特定の選択、選択したカメラアングル、ナレーションに含まれる情報、ナレーションの言い回し、レンダリングされたナレータの外観、またはナレーションレンダリングの発話特性と関連付けることができる。観客のフィードバックをＡＩが集約して使用し、幅広い視聴者にアピールするブロードキャストを生成できる。特定の観客による観客のフィードバックをＡＩが使用して、その特定の観客が楽しむものにより適した、その観客専用のブロードキャストを生成できる。
ゲームセッション及び／またはユーザに関連する他の入力も提供され得る。例えば、トレーニングに使用されるときに本質的に高い評価を有するか、または高い成功基準を定義し得る人間の入力３１４が提供され得る。例えば、人間の熟練者を使用して、熟練者によって見られる１つまたは複数のゲームセッションから観客関心ゾーンを識別するのを助け、ＡＩの観客関心ゾーンのトレーナ３１０へのフィードバックとして提供することができる。ある使用例では、ゲームセッションは、ライブストリームを視聴している熟練者と一緒にライブストリーミングされてもよい。別の使用例では、熟練者は、ゲーム状態を使用して記録またはリプレイできるゲームセッションを視聴している場合がある。
いずれの場合も、熟練者は、トレーニングに使用されたときに、定義上、高い成功基準を有しているか、またはそれに変換される、好都合な関心ゾーンを能動的に選択及び／または定義することができる。いくつかの実装では、ＡＩは、１つまたは複数の関心ゾーンのカメラアングルから複数のレンダリングを生成し、これは、ブロードキャストに含めるために選択できる選択肢として、人間の熟練者に提示される。人間の熟練者には、選択が利用可能な、人間が制御するカメラアングルからのレンダリングも提示され得る。いくつかの場合では、人間の熟練者がＡＩにフィードバックを提供して、ＡＩによって提示されるレンダリングのカメラアングルに影響を与えて、ズームインやズームアウトまたはパンするなどして、異なるアングルを表示することができる。
一実施形態では、重み付けモジュール３５０は、ヒューマンインループ選択された関心ゾーン３１４及び観客が選択した関心ゾーン３１５として提供されるフィードバックに重みを提供する。
トレーニングされると、ＡＩ関心ゾーンモデル３１１は、所与の入力に対して１つまたは複数の観客関心ゾーンを識別することができる。例えば、ゲームセッション（例えば、シングルプレイヤまたはマルチプレイヤ）を提供する場合、ＡＩ関心ゾーンモデル３１１は、そのゲームセッション内に１つまたは複数の識別された関心ゾーン３１２を出力として提供する。バブルＡによって示されるように、そして図３Ｃにさらに説明されるように、追加のアクションが取られ得る。
図３Ｃは、本開示の一実施形態による、関心ゾーンＡＩモデルによって以前に観客にとって関心があるものとして識別された関心ゾーンのシーンのカメラパースペクティブを識別するように構成できるＡＩカメラパースペクティブモデルによってトレーニングするためのシステムであって、識別されたカメラパースペクティブはまた、観客にとって関心があるものとして識別されている、システム３００Ｃを示す。システム３００Ｃは、クラウドゲームシステム２１０のカメラパースペクティブエンジン２３０内、より具体的には、クラウドゲームシステム２１０のＡＩサーバ２６０を利用するカメラパースペクティブエンジン２３０内に実装され得る。
いくつかの実施態様では、ゲームの１つまたは複数のレンダリングは、ＡＩトレーニングされたカメラパースペクティブモデル３２１を使用するなど、人工知能（ＡＩ）によって生成される。一実施形態において、ＡＩカメラパースペクティブモデル３２１はカメラアングルを制御して、最も関心のあるアクションをキャプチャし、アングル間をカットして、単一のビューに収まらないアクションを組み込み、様々な視点からアクションを表示できる。様々な観客のために、様々なカメラパースペクティブを有する様々なストリームを生成できる。ＡＩカメラパースペクティブモデル３２１は、カメラアングルを選択して、狙撃兵と狙撃兵が狙っているターゲットの両方を示すアングルなど、疑わしいアクションの全体ビューを含めることができる。
トレーニングのために、システム３００Ｃは、入力として、１人または複数の観客にとって関心の高い１つまたは複数の識別された観客関心ゾーン３１２を受信する。具体的には、ＡＩカメラパースペクティブトレーナ３２０は、入力として、１つまたは複数の識別された観客関心ゾーン３１２を受信する。加えて、メタデータ３０２、プレイヤ統計３０３、及びＡＩ観客関心ゾーントレーナ３１０に以前に提供された１つまたは複数のビデオゲームの１つまたは複数のゲームセッションからの他の情報などの他の入力データが提供されてもよく、ゲームセッションは、シングルプレイヤまたはマルチプレイヤのゲームセッションであり得る。
前述のように、ＡＩカメラパースペクティブトレーナ３２０は、深層学習エンジン１９０を実装して、人間のプレイヤ及び／またはＡＩプレイヤによって実行される１つまたは複数のビデオゲームの１つまたは複数のゲームセッション中に、１つまたは複数のゲームセッションの観客ビュー中に、１つまたは複数のゲームセッションのリプレイ中に、ゲームセッションのライブナレーションまたは解説、人間の入力などを有するライブブロードキャスト中に収集された、トレーニングデータを使用して分析して、識別された関心ゾーンのシーンのレンダリングされたビューに対応するカメラパースペクティブを識別する。具体的には、深層学習エンジン１９０は、学習及び／またはモデリングフェーズ中に、深層学習アルゴリズム、強化学習、または他の人工知能ベースのアルゴリズムを含む人工知能を利用して、トレーニングデータ及び成功基準を使用してカメラパースペクティブモデル３２１を構築する。
例えば、カメラパースペクティブモデル３２１をトレーニングするためにフィードバックループが提供され得る。具体的には、各反復で、フィードバックループは、対応する選択された関心ゾーンの対応するシーンについて少なくとも１つのカメラパースペクティブ３２２を出力するときに、カメラパースペクティブトレーナ３２０によって使用される成功基準を精緻化するのに役立ち得る。
示されるように、トレーニングされているカメラパースペクティブモデル３２１を介したＡＩカメラパースペクティブトレーナ３２０は、出力３２３として、所与の入力のセットに対して１つまたは複数の潜在的なカメラパースペクティブを提供することができる。入力は、人間のプレイヤ及び／またはＡＩプレイヤによって実行される１つまたは複数のビデオゲームの１つまたは複数のゲームセッションに関連付けることができる。説明を容易にするために、フィードバックプロセスは、シングルプレイヤまたはマルチプレイヤのゲームセッションなどの１つのゲームセッションから提供されている入力のセットに関連して説明されている。加えて、ゲームセッションはライブであるか、すでに行われている可能性がある。このようにして、以前のゲームセッションに対応する履歴ゲームデータを使用して、カメラパースペクティブモデル３２１をトレーニングして、ゲームセッションでのアクションをフォローする方法をよりよく予測し、観客にとって関心があるもの（例えば、視聴するためのカメラパースペクティブ）を選択することができる。
前述のように、１つまたは複数の識別された観客関心ゾーンは、ライブであるか、記録されているか、またはゲーム状態データを使用してリプレイされているゲームセッションに関連付けられ得る。ＡＩカメラパースペクティブトレーナ３２０は、識別された関心ゾーンのそれぞれについて１つまたは複数のカメラパースペクティブを生成するように構成される。出力３２３として提供されるこれらのカメラパースペクティブは、ゲームセッションでプレイヤのために生成されたビデオを撮ることなどによって、ゲームによって生成され得る。出力３２３として提供されるいくつかのカメラパースペクティブは、ゲームセッション内のビデオゲームによって新たに生成され得るものであり、新たなカメラパースペクティブは、ＡＩ生成され得るか、またはヒューマンインザループの熟練者（例えば、プロのブロードキャスタ）によって提案され得る。例えば、新たなカメラパースペクティブには、別のプレイヤの銃の照準内にあるターゲットキャラクタのクローズアップビューが含まれ得る。
トレーニング中に出力３２３として提供されるカメラパースペクティブは、さらにフィルタリングされ、ＡＩカメラパースペクティブトレーナ３２０にフィードバックされて、成功基準を定義するのに役立ち得る。例えば、カメラパースペクティブは、ヒューマンインループまたは観客の能動的及び／または受動的メトリックのいずれかを介して、出力３２３から選択され得る。
前述のように、観客の視聴の選択は、フィルタリングを通じてどのカメラパースペクティブを選択できるかに影響する。例えば、出力３２３として提供されるカメラパースペクティブのそれぞれは、選択を通じて１人または複数の観客が見ることができるゲームセッションの部分に対応することができる。その選択は、観客にとって興味深いと定義された好都合なカメラパースペクティブの成功基準を定義するのに役立ち得る。例えば、観客は、（１つまたは複数のゲームセッションの）１つまたは複数の視聴選択肢から選択される、ライブゲームセッションもしくは記録されたゲームセッションの視聴、または（例えば、ゲーム状態を使用した）ゲームセッションのリプレイを、前述のように能動的に選択することができる。
例えば、図４は、本開示の一実施形態による、ゲームアプリケーションのゲームセッションのカメラパースペクティブ及び関心ゾーンを選択するように構成されたユーザインタフェース４００であって、関心ゾーンＡＩモデル３１１によって観客にとって関心があると識別された１つまたは複数の観客関心ゾーン３１２と、それらの識別された観客関心ゾーン３１２に対する１つまたは複数の生成されたカメラパースペクティブ３２３とを含み、カメラパースペクティブはＡＩカメラパースペクティブモデル３２１を使用して観客にとって関心があるものとして識別されている、ユーザインタフェース４００を示す。したがって、観客は、ゲームセッションの観客関心ゾーン（３１２－１、３１２－２、または３１２－３）を選択することができ、各関心ゾーンは、対応するゲーム世界の異なる部分に焦点を合わせることができる（例えば、ある関心ゾーンでプレイヤ１をフォローし、別の関心ゾーンでプレイヤ２をフォローするなど）。
関心ゾーンが選択されると、観客は対応するカメラパースペクティブを選択することができる。例えば、観客は、観客関心ゾーン３１２－１に対して、カメラパースペクティブ３２３－１Ａ、３２３－１Ｂ、または３２３－１Ｃのうちの１つを選択できる。また、観客は、観客関心ゾーン３１２－２に対して、カメラパースペクティブ３２３－２Ａ、３２３－２Ｂ、または３２３－２Ｃのうちの１つを選択することができる。さらに、観客は、観客関心ゾーン３１２－３に対して、カメラパースペクティブ３２３－３Ａ、３２３－３Ｂ、または３２３－３Ｃのうちの１つを選択することができる。いくつかの実施態様では、観客はカメラパースペクティブを制御して、事前定義された選択肢として提示されなかったカスタムカメラパースペクティブを作成することができる。いくつかの場合では、別の観客は、その観客が制御するカスタムカメラパースペクティブを見ることもできる。
図３Ｂに関連して以前に説明されたのと同じアクション３６０は、フィルタリングを通じて、観客が選択したカメラパースペクティブ３２５を定義するために使用することができる。例えば、アクション３６０は、観客のジャンプインカウント３６０Ａ、解説またはテキストフィードバックとして提供される肯定的な観客フィードバック３６０Ｂ、能動的または受動的な観客アクション３６０Ｃ、観客リプレイカウント３６０Ｄ、観客ストリーミングビューカウント３６０Ｅを含むことができ、出力３２３として提供された選択されたカメラパースペクティブの視聴中に決定される他の観客フィードバックは、観客に好都合な対応するカメラパースペクティブを定義するのに役立ち得る。
ゲームセッション及び／またはユーザに関連する他の入力も提供され得る。例えば、トレーニングに使用されるときに本質的に高い評価を有するか、または高い成功基準を定義し得る人間の入力３２４が提供され得る。例えば、人間の熟練者を使用して、熟練者によって見られる１つまたは複数のゲームセッションからカメラパースペクティブを識別するのを助け、ＡＩの観客カメラパースペクティブのトレーナ３２０へのフィードバックとして提供することができる。すなわち、対応するパースペクティブを有するカメラ位置は、人間の熟練者によって選択可能であり得る。ある使用例では、ゲームセッションは、ライブストリームを視聴している熟練者と一緒にライブストリーミングされてもよい。
別の使用例では、熟練者は、ゲーム状態を使用して記録またはリプレイできるゲームセッションを視聴している場合がある。いずれの場合も、熟練者は、トレーニングに使用されたときに、定義上、高い成功基準を有しているか、またはそれに変換される、関心のある好都合なカメラパースペクティブを能動的に選択及び／または定義することができる。例えば、前述のユーザインタフェース４００を使用して、人間の熟練者によって、対応する識別された関心ゾーンのための１つまたは複数のカメラパースペクティブを選択することができる。ユーザインタフェース４００は、関心ゾーンＡＩモデル３１１によって観客にとって興味深いものとして識別された１つまたは複数の観客関心ゾーン３１２と、それらの識別された観客関心ゾーン３１２のための、ＡＩカメラパースペクティブモデル３２１を使用して、観客にとって興味深いものとして識別される１つまたは複数の生成されたカメラパースペクティブ３２３とを含む。
一実施形態では、重み付けモジュール３５０は、ヒューマンインループで選択されたカメラパースペクティブ３２４及び観客が選択したカメラパースペクティブ３２５として提供されるフィードバックに重みを提供する。
トレーニングされると、ＡＩカメラパースペクティブ３２１は、所与の入力に対して１つまたは複数の観客カメラパースペクティブを識別することができる。例えば、ゲームセッション（例えば、シングルプレイヤまたはマルチプレイヤ）を提供する場合、ＡＩカメラパースペクティブモデル３２１は、そのゲームセッション内の対応する選択された関心ゾーンの対応するシーンについて、１つまたは複数の識別されたカメラパースペクティブ３２２を出力として提供する。ゲームアプリケーション内の関心ゾーンは、ゲーム世界内のビデオゲームによって生成されたシーンに対応することができ、シーンは、そのゲーム世界内の異なるカメラパースペクティブから取られた１つまたは複数のレンダリングされたビューを通して見ることができる。
例えば、ビューの複数のレンダリングは、ＡＩカメラパースペクティブモデル３２１によって生成でき、これは、ゲーム世界内の固定カメラ位置、及び／または個々のプレイヤまたはチームをフォローする対応するパースペクティブを備えるカメラ位置、及び／またはアクションの様々な側面をフォローするためにＡＩによって制御される対応するパースペクティブを備えるカメラ位置であり得る。一例として、ゲーム世界内の識別されたカメラパースペクティブ３２２は、ゲームセッション中の敵の視点から取られ得る。これにより、観客は、見ているプレイヤが戦っている敵（別のプレイヤまたは生成されたゲーム）の視点からプレイヤを見ることができる。バブルＢによって示されるように、そして図３Ｄにさらに説明されるように、追加のアクションが取られ得る。
図３Ｄは、本開示の一実施形態による、関心ゾーンＡＩモデル３１１によって観客にとって関心があるものとして以前に識別された関心ゾーンのシーンの解説及び／またはナレーションを生成するように構成することができるＡＩナレーションモデル３３１を使用してトレーニングするためのシステムであって、解説は、ＡＩカメラパースペクティブモデル３２１によって識別されるカメラパースペクティブに合わせて調整することができる、システム３００Ｄを示す。システム３００Ｄは、クラウドゲームシステム２１０のブロードキャスタ／ナレータエンジン２２０内、より具体的には、クラウドゲームシステム２１０のＡＩサーバ２６０を利用するブロードキャスタ／ナレータエンジン２２０内に実装され得る。
いくつかの実施態様では、ナレーションは、人工知能によって１人または複数の観客にとって興味深いものとして以前に識別された、識別された関心ゾーンのシーンに対して生成される。ナレーションは、人間のプレイヤ及び／またはＡＩプレイヤによって実行される対応するゲームセッションのために収集及び／または生成されたメタデータ及びプレイヤの統計に基づいて、人工知能を使用して生成及び／または識別される統計及びファクトを使用して生成される。
すなわち、ＡＩナレーションモデル３３１は、対応する選択された関心ゾーンのシーンに解説を追加することができ、シーンの解説及び／またはカメラパースペクティブは、１人または複数のユーザにストリーミングされ得る。このようにして、観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンは１人または複数の観客にストリーミングすることができ、ビューはライブゲームセッションのためにリアルタイムで提供することができ、または対応するゲームセッションのリプレイのために生成され得るものであり、リプレイは、ゲームセッション中、またはゲームセッションが終了した後にストリーミングされ得る。
トレーニングのために、システム３００Ｄは、対応する選択された関心ゾーンの対応するシーンについて、入力として、１つまたは複数の識別されたカメラパースペクティブを受信する。具体的には、ＡＩブロードキャスタ／ナレータトレーナ３３０は、入力として、１つまたは複数の識別されたカメラパースペクティブ３２２を受信する。例示目的のために、システム３００Ｄは、ＡＩによって選択された特定のカメラパースペクティブ３２２－Ａを使用してトレーニングされ、ＡＩを使用して識別または選択された観客関心ゾーンの対応するシーンに関連付けることができる。
加えて、ＡＩブロードキャスタ／ナレータトレーナ３３０はまた、単独で、または１つまたは複数の識別されたカメラパースペクティブ３２２を用いて、１人または複数の観客にとって高い関心価値がある１つまたは複数の識別された観客関心ゾーン３１２を受信することができる。すなわち、解説及び／またはナレーションは、解説がビデオなしで、音声でストリーミングされるように、または解説がビデオを補完するものとしてストリーミングされるように、識別された関心ゾーンのシーンに基づいて生成され得る。
加えて、人工知能によって生成されたゲーム及びプレイヤの統計及びファクト３４２などの他の入力データをＡＩブロードキャスタ／ナレータトレーナ３３０に提供することができる。一実施態様では、ゲーム及びプレイヤの統計及びファクト３４２はフィルタリングされておらず、ＡＩナレーションモデル３３１は、統計及びファクト３４２をフィルタリングして、人工知能を使用して１人または複数の観客にとって高い関心がある統計及びファクトを識別するようにトレーニングされる。
例えば、メタデータ３０２、プレイヤ統計３０３、及び以前にＡＩ観客関心ゾーントレーナ３１０に提供された１つまたは複数のビデオゲームの１つまたは複数のゲームセッションからの他の情報もまた、ＡＩ統計及びファクトトレーナ３４０に提供され得る。このようにして、統計及びファクトトレーナ３４０は、深層学習エンジン１９０を実装して、１つまたは複数のゲームセッション中に収集されたトレーニングデータを分析し、人工知能を使用してそれらのゲームセッションに関する統計及びファクトを識別する。具体的には、深層学習エンジン１９０は、深層学習アルゴリズム、強化学習などの人工知能を利用して、対応するゲームセッションの統計及びファクトを識別及び／または生成するために使用される統計／ファクトモデル３４１を構築することができる。
例えば、ＡＩナレーションモデル３３１をトレーニングするためにフィードバックループが提供され得る。具体的には、各反復で、フィードバックループは、１つまたは複数の選択された及び／または識別された統計及びファクト３３３を出力するときにＡＩブロードキャスタ／ナレータトレーナ３３０によって使用される成功基準を精緻化するのに役立ち得る。示されるように、トレーニングされている統計／ファクトモデル３３１を介したＡＩブロードキャスタ／ナレータトレーナ３３０は、所与の入力のセット（例えば、識別されたシーン及び／またはそのシーンのカメラパースペクティブ）について１つまたは複数の統計及びファクト３３３を出力として提供し得る。
入力は、１つまたは複数のゲームセッションに関連付けることができる。説明を容易にするために、フィードバックプロセスは、１つのゲームセッション（例えば、ライブ、記録、ゲーム状態を使用したリプレイ）から提供される入力のセットに関連して説明されている。このようにして、以前のゲームセッションに対応する履歴ゲームデータを使用して、ＡＩナレーションモデル３３１をトレーニングして、ゲームセッションでのアクションをフォローする方法をよりよく予測し、対応するナレーションを作成するときに使用される、観客にとって関心があるもの（例えば、統計及びファクト）を選択することができる。
示されるように、ＡＩブロードキャスタ／ナレータトレーナは、人工知能を使用して、ゲームセッションの統計／ファクトモデル３４１を使用して生成及び／または識別された統計及びファクト３４２のセットから統計及びファクト３３３を選択するように構成される。具体的には、ＡＩブロードキャスタ／ナレータトレーナ３３０は、人工知能を使用して、１人または複数の観客にとって高い関心がある統計及びファクトを識別するように構成される。このようにして、ＡＩブロードキャスタ／ナレータトレーナ３３０は、深層学習エンジン１９０を実装して、１つまたは複数のゲームセッション中、ライブまたは録画またはリプレイされたゲームセッションの観客ビュー中に収集されたトレーニングデータ、ゲームセッションのライブナレーション、人間の入力を分析して、観客にとって高い関心がある統計及びファクトを識別する。
具体的には、深層学習エンジン１９０は、ＡＩナレーションモデル３３１を構築するために、深層学習アルゴリズム、強化学習などの人工知能を利用することができる。このようにして、入力のセット（例えば、対応するシーン及び／または対応するカメラパースペクティブを有する選択された観客関心ゾーン）が与えられると、ＡＩナレーションモデル３３１は、１人または複数の観客にとって高い関心がある出力３３１として提供されるゲーム及びプレイヤの統計及びファクトを出力するように構成され、これは、トレーニングのために、またはナレーション３３２を構築するために使用できる。
出力３３３として提供される選択された統計及びファクトは、成功基準を定義するのを助けるために、さらにフィルタリングされ、フィードバックとして提供され得る。例えば、統計及びファクトは、ヒューマンインループまたは観客の能動的及び／または受動的メトリックのいずれかを介して、出力３３３から選択され得る。つまり、フィルタリングは、熟練者が選択した統計及びファクト３３３Ａと、観客のアクションによって強化されるＡＩが選択した統計及びファクト３３３Ｂとを定義することができる。
前述のように、観客の視聴の選択は、フィルタリングを通じてどのカメラパースペクティブを選択できるかに影響する。例えば、出力３３３として提供される統計及びファクトは、選択を通じて１人または複数の観客が見ることができるゲームセッションの部分に対応することができる。その選択は、観客にとって興味深いと定義された好都合な統計及びファクトの成功基準を定義するのに役立ち得る。例えば、観客は、（１つまたは複数のゲームセッションの）１つまたは複数の視聴選択肢から選択される、ライブゲームセッションもしくは記録されたゲームセッションの視聴、または（例えば、ゲーム状態を使用した）ゲームセッションのリプレイを、前述のように能動的に選択することができる。
選択されたビューは、ＡＩが選択した統計及びファクト３３３Ｂを定義するのに役立ち得る固有の統計及びファクトにも対応している。加えて、観客によるアクション（例えば、ジャンプインカウント３６０Ａ、肯定的な観客フィードバック３６０Ｂ、能動的または受動的な観客アクション３６０Ｃ、リプレイカウント３６０Ｄ、ストリーミングビューカウント３６０Ｅなど）を使用して、人工知能によって選択された統計及びファクト３３３Ｂを定義できる。例えば、１人または複数の観客が選択を通じて見ることができるゲームセッションの部分に関連する統計及びファクトは、見られるゲームセッションも観客にとって高い関心があると識別されるので、観客にとって高い関心があると定義することができる。
ゲームセッション及び／またはユーザに関連する他の入力も提供され得る。例えば、トレーニングに使用されるときに本質的に高い評価を有するか、または高い成功基準を定義し得る人間の入力が提供され得る。例えば、人間の熟練者を使用して、熟練者によって見られる１つまたは複数のゲームセッションから統計及びファクト３３３Ａを識別するのを助け、ＡＩブロードキャスタ／ナレータトレーナ３３０へのフィードバックとして提供することができる。すなわち、出力３３３として提供される特定の統計及びファクトは、ライブストリーミング、または記録されたゲームセッション、またはゲーム状態を使用してリプレイされたゲームセッションであり得る対応するゲームセッションを視聴する人間の熟練者によって選択可能であり得る。このようにして、熟練者は、トレーニングに使用されたときに、定義上、高い成功基準を有しているか、またはそれに変換される好都合な統計及びファクトを能動的に選択及び／または定義することができる。
一実施形態では、重み付けモジュール３５０は、ヒューマンインループで選択された統計及びファクト３３３Ａ及びＡＩが生成し、観客が強化した統計及びファクト３３３Ｂとして提供されるフィードバックに重みを提供する。
一実施形態では、ＡＩナレーションモデル３３１を構築するために使用されるフィルタリングされた統計及びファクトは、ＡＩゲーム及びプレイヤ統計及びファクトトレーナ３４０に送信され得る。このようにして、トレーニングされた統計／ファクトモデル３４１はまた、１人または複数の観客にとって高い関心がある統計及びファクトを識別するように構成され得る。このようにして、特定のゲームセッションの全ての統計及びファクトを出力する代わりに、統計／ファクトモデル３４１は、一実施形態では、それらの統計及びファクトをフィルタリングして、観客にとって高い関心がある統計及びファクトのみを出力するように構成される。
一実施形態では、熟練者が選択した統計及びファクト３３Ａは、熟練者によって提供されるライブナレーション３３４から収集される。すなわち、ライブナレーション３３４は、熟練者が選択した統計及びファクト３３３Ａを含み、これらは、１つの実施態様では解析することができ、または別の実施態様では熟練者による能動的選択を通じて提供することができる。ライブナレーションはまた、フィードバックとしてブロードキャスタ／ナレータトレーナ３３０に提供され得るものであり、１人または複数の観客にとって高い関心がある対応する熟練者が選択したファクトを用いてナレーションのタイプ（例えば、テンプレートを構築するために使用される）を識別するのを助けることができ、このフィードバックはナレーションの生成に使用されるテンプレートを作成するために使用できる。
別の実施形態では、ＡＩが選択した統計及びファクト３３３Ｂを使用して、ＡＩが生成したナレーション３３５を構築する。例えば、ナレーション３３５は、ＡＩが選択した統計及びファクト３３３Ｂに織り込まれている解説テンプレート３３８を使用して構築され得る。観客アクション３６０は、どの解説テンプレートが観客にとって最も興味深いかを選択するのを助けるために使用され得る。各テンプレートは、１人の観客に個人的なテンプレートや、観客のグループのスタイルを有するテンプレートなど、１人または複数の観客が好む特定のスタイルを反映することができる。
別の実施形態では、ＡＩが生成したナレーション３３５は、文化及び／または言語、ならびに他のフィルタによってさらにフィルタリングされ得る。例えば、人工知能によって生成されたナレーション３３５は、言語フィルタ３３７を使用して特定の言語用にフォーマットされ得る。このようにして、単一のシーン及び／またはシーンのカメラパースペクティブは、１つまたは複数の言語にフォーマットされた１つまたは複数のナレーション３３５を通じてサポートされ得る。さらに、ナレーション３３５は、文化的フィルタ３３６を使用して、文化的特徴（例えば、感受性、選好、好みなど）についてさらにフィルタリングされ得る。文化的特徴は、特定の地理的地域（例えば、国、州、国境など）に対して定義できる。
例えば、異なる文化的特徴は、ある文化的特徴のシーンのオブジェクトまたは関連トピックを無視し、別の文化的特徴のオブジェクトまたは関連トピックに正面から取り組むなど、様々な方法でシーンを説明する場合がある。一部の文化的特徴は興奮しやすい解説を好むかもしれないが、他の文化的特徴はより控えめな解説を好むかもしれない。このようにして、ＡＩが生成したナレーション及び／または解説３３５は、文化及び言語にさらにカスタマイズされた適切なテンプレート３３８を使用して生成され得る。いくつかの実施形態では、ＡＩが生成したナレーション及び／または解説３３５は、特定の観客または観客のグループに対してさらにパーソナライズすることができ、文化的フィルタ３３６は、観客または観客のグループに特定のフィルタリングを適用するように設計される。このようにして、ＡＩナレーションモデル３３１は、文化的及び性別の考慮を勘案した異なる言語での解説を含む、複数の場所の視聴者にローカライズされた１つまたは複数のストリームを生成するように構成される。
一実施形態では、重み付けモジュール３５０は、ヒューマンインループライブナレーション３３４及びＡＩが生成したナレーション３３５として提供されるフィードバックに重みを提供する。いくつかの実施形態では、ブロードキャストは、１人または複数の人間のナレータ及び１つまたは複数のＡＩナレータの両方によるナレーションを含む。ＡＩナレータは、何を言うかを決定するときに、人間のナレータが言ったことを組み込むことができる。
いくつかの場合では、イベントのブロードキャストのＡＩナレータは、何を言うかを決定するときに、同じイベントの別のブロードキャストで人間のナレータが言ったことを組み込むことができる。いくつかの実施態様では、ＡＩナレータは、何を言うかを決定するときに、１人または複数のナレータ及び／または１人または複数の観客によって言われたことを組み込むことができ、この場合組み込まれた発言はブロードキャストに含まれていない。発言には、ブロードキャストシステム、またはソーシャルメディアなどの他のチャネルを介してアクセスできる。いくつかの場合では、発言は、絵文字、いいね、共有、またはお気に入りなど、非言語的なものであることがある。
トレーニングされると、ＡＩナレーションモデル３３１は、所与の入力に対してＡＩが選択した統計及びファクトを使用してナレーション３３２を構築するように構成される。例えば、ゲームセッション（例えば、シングルプレイヤまたはマルチプレイヤ）を対応するデータ（例えば、メタデータ、プレイヤ統計など）とともに提供する場合、ＡＩナレーションモデル３３１は、出力として（１人または複数の観客に適用される）言語及び／または文化的特性についてさらにフィルタリングされ得るナレーション３３２を提供する。すなわち、ＡＩナレーションモデル３３１は、文化的フィルタ３３６、言語フィルタ３３７、及び解説テンプレート３３８を含むか、またはそれらにアクセスすることができる。
いくつかの実施形態では、ＡＩが生成した解説及び／またはナレーション３３２は、説得力のある個性を有する。例えば、ＡＩナレーションモデルは、観客にストリーミングされたビューが重要である理由を観客に伝えることができる統計及びファクトを選択するように構成できる。これは、適切な解説テンプレート３３８を選択することで実装できる。例えば、ＡＩが生成した解説及び／またはナレーション３３２は、新規または低レベルのプレイヤが経験豊富なプレイヤをキルする位置（特定の関心ゾーン）にあるという通知を提供することができる。このようにして、新しいプレイヤが実際に状況を利用してより経験豊富なプレイヤをキルすることができるかどうかを確認するためにシーンを見るように観客の気を引くために、観客に通知を提供することができる。
他の実施形態では、ＡＩボイスオーバーは、ナレーション及び／または解説３３２として提供され得る。一実施形態では、ボイスオーバーは、視覚障害のある観客にとって理解可能でエキサイティングであるように、ｅスポーツゲームのアクションを説明することができる。別の実施形態では、ボイスオーバーは、スタンドアロンであるか、またはイベントのビューを提供され得るイベントに対する実況解説として提供される。
ネットワークを介して通信するゲームサーバとクライアントデバイスの様々なモジュールの詳細な説明により、本開示の一実施形態による、１つまたは複数のＡＩモデルを使用して、観客にとって関心がある可能性のある観客関心ゾーンのカメラパースペクティブを識別する方法を、図５の流れ図５００に関連してここで説明する。具体的には、流れ図５００は、人工知能によってゲームの１つまたは複数のレンダリングを生成するためのバックエンドＡＩサーバに含まれる操作のプロセス及びデータフローを示し、レンダリングは１人または複数の観客にストリーミングされ得る。例えば、流れ図５００の方法は、少なくとも部分的に、図１Ａ、２、３Ａ及び３Ｃの、クラウドゲームサーバ２１０にあるカメラパースペクティブエンジン２３０によって実行され得る。
５１０において、本方法は、ビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。ゲームセッションは、シングルプレイヤセッションまたはマルチプレイヤセッションであり得る。ゲーム状態とユーザデータを部分的に含むメタデータは、ゲームセッションに関連してクラウドゲームサーバで受信される。ゲームセッションに参加している１人または複数のプレイヤのユーザデータを受信する場合がある。
例えば、ゲーム状態データは、ゲームプレイにおける対応するポイントでのゲームプレイの状態を定義することができる（例えば、ゲーム状態データは、ゲームキャラクタ、ゲームオブジェクト、オブジェクト属性、グラフィックオーバーレイ、キャラクタのアセット、キャラクタのスキルセット、キャラクタについてのゲームアプリケーション内のタスク達成の履歴、ゲーム内環境のキャラクタの現在の地理的位置、キャラクタのゲームプレイの現在のステータスなどを含む）。
ゲーム状態は、ゲームプレイの対応するポイントに存在したゲーム内環境（例えば、仮想ゲーム世界）の生成を可能にし得る。ユーザセーブデータは、対応するユーザ（例えば、プレイヤ）についてゲームアプリケーションをパーソナライズするために使用することができ、データは、ゲームプレイにおいてキャラクタをパーソナライズする情報（例えば、体型、外観、衣服、武器、ゲーム難易度、ゲームレベル、キャラクタ属性など）を含むことができる。他の情報は、前述されるような、ゲーム状態に関連し得るランダムシードデータを含むことができる。
５２０で、本方法は、ゲームセッションにおける観客関心ゾーンを識別することを含む。観客関心ゾーンは、ビデオゲームの仮想ゲーム世界のシーンに関連付けられている。例えば、シーンは、特定の場所にある、またはキャラクタの一般的な近傍内にある仮想ゲーム世界を含むことができ、シーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができる。例えば、カメラパースペクティブには、キャラクタの視点からのビュー、別のプレイヤからのビュー、シーンのトップダウンビュー、シーンのオブジェクトまたはエリアのクローズアップビュー、照準ビューなどが含まれ得る。
一実施形態では、観客関心ゾーンは、人工知能によって識別され得る。具体的には、より多くの観客関心ゾーンは、前述のように、１人または複数の観客によって見られる可能性が高い１つまたは複数の観客関心ゾーンを分離するようにトレーニングされたＡＩモデル（例えば、関心ゾーンモデル３１１）を使用して識別され得る。例えば、関心ゾーンは、人気のあるプレイヤがゲームセッションに参加したとき、または２人の熟練者プレイヤがゲーム世界で互いに一定の地理的な距離内におり、会う可能性が高いときなどを示す。それぞれの識別された関心ゾーンは、ゲームセッションの仮想ゲーム世界の対応するシーンに関連付けられている。一実施形態では、第１の観客関心ゾーンは、潜在的な観客の関心について最高の評価を有し得るもので、第１のシーンに関連付けられ得る（例えば、最も人気のあるプロのプレイヤをフォローする）。シーン内で、１人のプレイヤからのビュー、または第２のプレイヤからのビュー、トップダウンビュー、クローズアップビュー、照準ビューなど、１つまたは複数のカメラパースペクティブを生成できる。
別の実施形態では、観客関心ゾーンは、観客の入力によって識別され得る。例えば、観客は注目する関心ゾーンを能動的に選択することができる。例として、選択された関心ゾーンは、ゲームセッションにおける特定のプレイヤのためのゲームアクションを含み得る。別の例として、選択された関心ゾーンは、仮想ゲーム世界の特定の部分とインタラクトする１人または複数のプレイヤのゲームアクションを含み得る。それぞれの選択及び識別された関心ゾーンは、ゲームセッションの仮想ゲーム世界の対応するシーンに関連付けられている。シーン内で、１人のプレイヤからのビュー、または第２のプレイヤからのビュー、トップダウンビュー、クローズアップビュー、照準ビューなど、１つまたは複数のカメラパースペクティブを生成できる。
５３０で、本方法は、観客関心ゾーンの第１のカメラパースペクティブを識別することを含む。第１のカメラパースペクティブは、対応する観客関心ゾーンの１つまたは複数のカメラパースペクティブを生成するようにトレーニングされたＡＩモデル（例えば、カメラパースペクティブモデル３２１）を使用して識別される。第１のカメラパースペクティブは、１人または複数の観客にとって最も高い潜在的関心（例えば、最も高い評価）を有すると決定され得る。例えば、第１のカメラパースペクティブは、熟練者であるプレイヤからのビューを示し、熟練者は自分の照準内にターゲットを入れることができる。このようにして、第１のカメラパースペクティブが識別され、ネットワークによって１人または複数の観客にストリーミングされ得るものであり、ストリーミングされたコンテンツは、人工知能によって１人または複数の観客にとって高い関心があると判断されたビュー（例えば、カメラパースペクティブ）を含む。
一実施形態では、ストリームは、シーンの１つまたは複数のカメラパースペクティブを含み得る。例えば、シーンは、銃の照準内にターゲットを入れている熟練者であるプレイヤを中心に展開する場合がある。ストリームは、シーンの様々なカメラパースペクティブを示すことができ、例えば、熟練者プレイヤのビューからの１つのパースペクティブ、ターゲットプレイヤ（例えば、無意識のうちにターゲット）のパースペクティブからの別のビュー、さらに照準器を通したターゲットのクローズアップビューを含む別のビューなどである。
例えば、第２のカメラパースペクティブは、対応する観客関心ゾーンの１つまたは複数のカメラパースペクティブを生成するようにトレーニングされたＡＩモデルに基づいて、シーンに対して識別及び生成され得る。第２のカメラパースペクティブは、すでにゲーム生成されていてもよく（例えば、ゲームセッションにおけるプレイヤの現在のゲームプレイのために）、またはゲーム状態を使用して新たに生成され、実行中のビデオゲームによって以前に生成されていなくてもよい（例えば、照準のカメラパースペクティブ、または両方のプレイヤを示すトップダウンパースペクティブ）。このようにして、ストリーミングされたコンテンツには、同じシーンの様々なビューが含まれ得る。
別の実施形態では、第１及び第２のカメラパースペクティブは、異なるストリームに対して生成される。例えば、第１のカメラパースペクティブは、ネットワークを介して１人または複数の観客の第１のグループに送信される第１のストリームに対して生成され得る。１つの使用例では、第１のカメラパースペクティブは、第１のプロのプレイヤをフォローすることができ、観客の第１のグループは、第１のストリームにおいて第１のプロのプレイヤをフォローすることを望む。第２のカメラパースペクティブは、第２のプロのプレイヤをフォローすることができ、観客の第２のグループは、第２のストリームにおいて第２のプロのプレイヤをフォローすることを望むことができる。両方のストリームをネットワーク経由で同時に配信して、同じシーンの様々なビューを異なる観客グループに提供できる。
一実施形態では、第１のカメラパースペクティブは、ゲームセッションのハイライトをストリーミングする目的で識別され、ゲームセッションは、ゲームセッション中にハイライトが表示されてライブであってもよく、またはゲームセッションが終了していてもよく、記録を通して見られているか、またはゲーム状態を使用してリプレイされている。ハイライトには、ゲームセッション中に発生した以前のゲームプレイの関心ゾーンによって識別される興味深いシーン（例えば、イベントのシーン）が含まれ得る。カメラパースペクティブは、ゲームセッションのプレイヤのためなど、ビデオゲームによって以前に生成されたものである場合もあれば、１人または複数の観客にとって非常に興味深いと識別された視点から人工知能によって新たに生成されてもよい。
一実施形態では、シーンのナレーションは、対応する観客関心ゾーンの対応するシーンのナレーションを、それらの関心ゾーン（例えば、最も人気のあるプロのプレイヤをフォローする）に関連する統計及びファクトを使用して構築するようにトレーニングされるＡＩモデル（例えば、ＡＩブロードキャスト／ナレーションモデル３３１）に基づいて生成される。統計及びファクトは、人工知能によって選択され得るものであり、図６に関連して以下により完全に説明されるように、ナレーション及び／または解説を構築するために使用され得る。
ネットワークを介して通信するゲームサーバ及びクライアントデバイスの様々なモジュールの詳細な説明とともに、本開示の一実施形態による、１つまたは複数のＡＩモデルを使用して、観客にとって興味深いと識別される観客関心ゾーンのシーンのナレーションを構築及び／または生成するための方法であって、ナレーションが人工知能によって識別されたシーンの１つまたは複数のカメラパースペクティブに合わせて調整され得る、方法が、図６の流れ図６００に関連してここで説明される。具体的には、流れ図６００は、人工知能によってゲームの１つまたは複数のレンダリングを生成するためのバックエンドＡＩサーバに含まれる操作のプロセス及びデータフローを示し、レンダリングは１人または複数の観客にストリーミングされ得る。例えば、流れ図６００の方法は、少なくとも部分的に、図１Ａ、２、３Ａ及び３Ｄの、クラウドゲームサーバ２１０のブロードキャスタ／ナレータエンジン２２０によって実行され得る。
６１０で、本方法は、シングルプレイヤまたはマルチプレイヤセッションに参加している１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信することを含む。前述のように、ゲーム状態とユーザデータを部分的に含むメタデータは、ゲームセッションに関連してクラウドゲームサーバで受信される。ゲームセッションに参加している１人または複数のプレイヤのユーザデータを受信する場合がある。
例えば、ゲーム状態データは、ゲームプレイにおける対応するポイントでのゲームプレイの状態を定義することができる（例えば、ゲーム状態データは、ゲームキャラクタ、ゲームオブジェクト、オブジェクト属性、グラフィックオーバーレイ、キャラクタのアセット、キャラクタのスキルセット、キャラクタについてのゲームアプリケーション内のタスク達成の履歴、ゲーム内環境のキャラクタの現在の地理的位置、キャラクタのゲームプレイの現在のステータスなどを含む）。
ゲーム状態は、ゲームプレイの対応するポイントに存在したゲーム内環境（例えば、仮想ゲーム世界）の生成を可能にし得る。ユーザセーブデータは、対応するユーザ（例えば、プレイヤ）についてゲームアプリケーションをパーソナライズするために使用することができ、データは、ゲームプレイにおいてキャラクタをパーソナライズする情報（例えば、体型、外観、衣服、武器、ゲーム難易度、ゲームレベル、キャラクタ属性、背景サウンドなど）を含むことができる。他の情報は、前述のように、ゲーム状態に関連し得るランダムシードデータを含むことができる。
６２０で、本方法は、ゲームセッションにおける観客関心ゾーンを識別することを含む。観客関心ゾーンは、ビデオゲームの仮想ゲーム世界のシーンに関連付けられている。例えば、シーンは、特定の場所にある、またはキャラクタの一般的な近傍内にある仮想ゲーム世界を含むことができ、シーンは、仮想ゲームの世界の１つまたは複数のカメラパースペクティブから見ることができる。例えば、カメラパースペクティブには、キャラクタの視点からのビュー、別のプレイヤからのビュー、シーンのトップダウンビュー、シーンのオブジェクトまたはエリアのクローズアップビュー、照準ビューなどが含まれ得る。
一実施形態では、観客関心ゾーンは、人工知能によって識別され得る。具体的には、観客関心ゾーンは、１人または複数の観客によって見られる可能性が高い１つまたは複数の観客関心ゾーンを分離するようにトレーニングされたＡＩモデル（例えば、関心ゾーンモデル３１１）を使用して識別され得る。例えば、関心ゾーンは、人気のあるプレイヤがゲームセッションに参加したとき、または２人の熟練者プレイヤがゲーム世界で互いに一定の地理的な距離内におり、会う可能性が高いとき、または多くのアクション（例えば、プレイヤの失敗、キャラクタの事故、キャラクタの死亡など）が見られる仮想ゲーム世界内の領域を識別するときなどを示す。それぞれの識別された関心ゾーンは、ゲームセッションの仮想ゲーム世界の対応するシーンに関連付けられている。シーン内で、１人のプレイヤからのビュー、または２人目のプレイヤからのビュー、トップダウンビュー、クローズアップビュー、照準ビューなど、１つまたは複数のカメラパースペクティブを生成できる。例えば、第１の観客関心ゾーンは、仮想ゲーム世界の第１のシーンに関連付けることができる。
別の実施形態では、観客関心ゾーンは、観客の入力によって識別され得る。例えば、観客は注目する関心ゾーンを能動的に選択することができる。例として、選択された関心ゾーンは、ゲームセッションにおける特定のプレイヤのためのゲームアクションを含み得る。別の例として、選択された関心ゾーンは、仮想ゲーム世界の特定の部分とインタラクトする１人または複数のプレイヤのゲームアクションを含み得る。それぞれの選択及び識別された関心ゾーンは、ゲームセッションの仮想ゲーム世界の対応するシーンに関連付けられている。
シーン内で、１人のプレイヤからのビュー、または第２のプレイヤからのビュー、トップダウンビュー、クローズアップビュー、照準ビューなど、１つまたは複数のカメラパースペクティブを生成できる。加えて、観客は、選択された関心ゾーンのビュー内に付随するナレーション（例えば、ブロードキャスト）を含めることを望む場合があり、ナレーションは、以下でより完全に説明されるように、人工知能を使用して生成され得る。
６３０で、本方法は、ゲーム状態データとユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされたＡＩモデル（例えば、統計／ファクトモデル３４１及び／またはＡＩナレーションモデル３３１）を使用して、ゲームセッションの統計及びファクトを生成することを含む。分離されたゲーム状態データとユーザデータは、人工知能によって統計及びファクトを生成するために変換または使用され得る。具体的には、統計及びファクトは、対応する識別された関心ゾーン、その関心ゾーンに関連付けられたシーン、及び場合によってはそのシーンの１つまたは複数の識別されたカメラパースペクティブに関連する。加えて、ＡＩモデルは、人工知能によって決定された、１人または複数の観客にとって高い関心があるファクトと統計を識別するように構成されている。
６４０で、本方法は、シーンについて以前に識別された統計及びファクトを選択するようにトレーニングされた別のＡＩモデル（例えば、ＡＩナレーションモデル３３１）を使用して、観客関心ゾーンのシーンのナレーションを生成することを含む。別の実施態様では、統計及びファクトを選択するようにトレーニングされたＡＩモデルはフィルタリングを実行せず、これは、１人または複数の観客が関心を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた以前に識別されたＡＩモデルも、人工知能を使用して１人または複数の観客が関心を持つ可能性の高い統計及びファクトを生成するようにトレーニングされ得るからである。
１つの実施態様では、統計及びファクトを選択するようにトレーニングされたＡＩモデルが、ナレーションに使用される統計及びファクトをさらにフィルタリングする。つまり、ＡＩモデルは、１人または複数の観客にとって関心がある可能性の高いゲーム状態データとユーザデータを分離するようにトレーニングされたＡＩモデルを使用して生成された統計及びファクトから、統計及びファクトを選択するようにトレーニングされ、選択された統計及びファクトは、統計及びファクトを選択するようにトレーニングされたＡＩモデルによって決定されるように観客の関心が最も高い可能性がある。
加えて、統計及びファクトを選択するようにトレーニングされたＡＩモデルは、選択された統計及びファクトを使用してナレーション及び／または解説を生成するように構成されている。一実施形態では、ナレーションは、シーンに適切なテンプレートを使用して生成される。テンプレートは、ビデオゲームのビデオゲームタイプ、または第１の観客関心ゾーンの関心ゾーンタイプに基づくことができる（すなわち、関心ゾーンは、特定のテンプレートに対応する特定のシーンまたはシナリオを定義する）。いくつかの実施形態では、テンプレートは、ＡＩが生成したナレーションでシーンを視聴している、対象とされた、または要求している観客のグループを考慮に入れる。例えば、テンプレートは、観客のグループが好む解説のスタイル（例えば、興奮する、または落ち着いているなど）を考慮することができる。
他の実施形態では、ナレーションに対してさらなるフィルタリングが実行される。例えば、対象となる観客グループの文化的慣習を考慮して、ナレーションをフィルタリングすることができる。例えば、グループ、及びグループに関連付けられている地理的地域によっては、前述のように、ナレーションの作成方法を決定する文化的な選好が存在する場合がある。例えば、あるグループはシーンのトピックのナレーションを含むのを問題としないが、別のグループはそのトピックをナレーションに含めることに反対する。
いくつかの実施形態では、フィルタリングは、通信フォーマットフィルタを適用することができ、通信フォーマットは音声言語、非音声言語（手話）などであり得る。例えば、フィルタリングは、言語フィルタを適用することができ、ナレーションは、観客のグループが好む特定の言語に対して生成されるようにする。いくつかの実施形態では、非音声言語にフィルタを適用する場合、フィルタリングされた慣習は、性別、手話の異形、地理的位置などを考慮した正しい表現を反映する必要がある。
一実施形態では、１つまたは複数のフィルタを考慮に入れて、同じシーンを観客の異なるグループにストリーミングすることができる。例えば、観客の第１のグループ及び／または第１の地理的領域の１つまたは複数の第１の慣習に合わせて調整されたシーンの第１のナレーションを生成することができ、第１のナレーションは、第１のグループが好む第１の言語で生成される。加えて、観客の第２グループ及び／または第２の地理的地域の１つまたは複数の第２の慣習に合わせて調整された同じシーンの第２のナレーションを生成することができ、第２のナレーションは、第２のグループが好む第２の言語で生成される。
一実施形態では、ナレーションは、観客のグループにもストリーミングされる対応するカメラパースペクティブに合わせて調整することができる。このようにして、ナレーションは、ストリーミングされる可能性もあるレンダリングされたビューを厳密にフォローすることができる。例えば、ナレーションは、第１のプレイヤの視点から取得されたシーンの第１のパースペクティブから移動し、次に、ナレーションがコンテンツにシフトして、観客のグループにストリーミングされているシーンの第２のパースペクティブを中心に回転することができる。そのため、シーンのストリーミングカメラパースペクティブとＡＩが生成したナレーションの間には良好な関係がある。
一実施形態では、ナレーションは、ゲームセッションのハイライトをストリーミングする目的で生成され、ゲームセッションは、ゲームセッション中にハイライトが表示されてライブであってもよく、またはゲームセッションが終了していてもよく、記録を通して見られているか、またはゲーム状態を使用してリプレイされている。ハイライトには、ゲームセッション中に発生した以前のゲームプレイの関心ゾーンによって識別される興味深いシーン（例えば、イベントのシーン）が含まれ得る。
カメラパースペクティブは、ゲームセッションのプレイヤのためなど、ビデオゲームによって以前に生成されたものである場合もあれば、１人または複数の観客にとって非常に興味深いと識別された視点から人工知能によって新たに生成されてもよい。加えて、ナレーションはストリーミングハイライト用に構築されており、シーンとシーン用にストリーミングされているカメラパースペクティブに合わせて調整することができ、ナレーションには、人工知能によって１人または複数の観客にとって高い関心があると識別される統計及びファクトが含まれる。このようにして、トラフィックの少ないゲームセッションでも、人工知能を使用して生成及び識別された興味深い統計及びファクトを含むＡＩナレーションを含むハイライトを有し得る。
図７は、本開示の実施形態による、ゲームアプリケーションをプレイする１人または複数のプレイヤを含むゲームセッションのハイライトリールの生成を示し、ハイライトリールは、複数のゲームアプリケーションの複数のゲームセッションにおける観客関心ゾーンを識別できるＡＩモデルを使用して生成されて、それらの識別された観客関心ゾーンの関心があるカメラパースペクティブを識別し、それらの識別された観客関心ゾーンのシーンに対するナレーションを提供する。図７に示すプロセスフローは、ハイライトエンジン２４０によって部分的に実装され得る。
具体的には、ハイライトリールは、ライブであるゲームセッション（例えば、ゲームセッション中にハイライトを提供する）、または終了したゲームセッションのために生成され得るものであり、ハイライトリールは、ゲームセッションの記録から、または、ゲーム状態を使用したゲームセッションのリプレイから生成され得る。
そのため、ゲームセッションが終了した後、ハイライトカバレッジが利用可能となり得る。ハイライトによるこのようなカバレッジは、前述のように、ＡＩの選択に基づいて自動的に生成できる。例えば、関心ゾーン、カメラパースペクティブ、統計及びファクトを含むハイライトカバレッジは、観客がゲームセッションを視聴するときに視聴または巻き戻しを選択することに基づいていてもよい。例えば、ハイライトカバレッジには、ゲームセッションのプレイヤが誰も排除されないニアミスが含まれ得るが、観客にとっては見るのが非常にエキサイティングである。
加えて、ハイライトカバレッジには、ライブで表示されなかったシーンのリプレイ、またはゲームセッション中に生成されなかった可能性のある対応するシーンのカメラパースペクティブのリプレイが含まれ得る。例えば、ハイライトカバレッジは、ライブで表示されなかったマルチプレイヤゲームセッションのプレイヤの興味深い排除を示すことができる。または、ハイライトカバレッジは、観客に非常に人気があるかもしれないが、ゲームセッション中に生成されなかったカメラパースペクティブを示すことができる。例えば、ライブで表示されたプレイヤの排除では、新たなトップダウンカメラパースペクティブが新たに生成され、シューイングプレイヤと排除されたプレイヤのビューが１つのビューに表示され得る。
一実施形態では、ゲームセッションのハイライトカバレッジは、ゲーム自体よりも長く続くことができ、ゲームセッションは、試合（例えば、直接対決、最後のプレイヤ立ち位置など）のためのものである。いくつかの実施態様では、試合またはゲームセッションの早い段階での排除のハイライトカバレッジは、ゲームセッションの終了後に継続し得る。例えば、ゲームセッションのステータスがリアルタイムで利用できない状況では、ゲームセッションのカバレッジを拡張して、各排除を表示でき、これにより、ゲームセッションのライブブロードキャストが対応する試合期間を超えて延長され得る。
図７に示すように、ゲームセッションにおけるプレイヤ１～Ｎのメタデータ７０２及びプレイヤ統計は、今は関心ゾーンモデル３１１を適用するように構成されている、ＡＩ観客関心ゾーントレーナ３１０に配信される。例えば、トレーナ３１０は、ＡＩサーバ２６０として、またはＡＩサーバ２６０内に実装され得る。関心ゾーンモデル３１１は、１人または複数の観客にとって高い関心がある１つまたは複数の観客関心ゾーンを生成及び／または識別するように構成されている。例えば、関心ゾーンは、非常に人気のあるプロのプレイヤをフォローすることができ、その結果、１人または複数の観客は、ゲームセッション中またはハイライトを視聴するときにプロのプレイヤのビューをストリーミングすることを望む場合がある。
識別された関心ゾーンは、カメラパースペクティブモデル３２１を適用するように今は構成されているＡＩカメラパースペクティブトレーナ３２０への入力として提供され得る。例えば、トレーナ３２０は、ＡＩサーバ２６０として、またはＡＩサーバ２６０内に実装され得る。カメラパースペクティブモデル３２１は、対応する関心ゾーンについて１つまたは複数のカメラパースペクティブを生成するように構成されている。カメラパースペクティブは、ゲームセッション中にビデオゲームによって生成されたものであってもよく、または、以前は表示されなかったが観客にとって高い関心があるレンダリングされたビューをキャプチャするために新たに生成されたもの（例えば、射撃しているプレイヤ及び排除されたプレイヤを示すトップダウンビュー）であってもよい。
識別された及び／または生成されたカメラパースペクティブは、ブロードキャスト／ナレーションモデル３３１を適用するように今は構成されているＡＩナレーショントレーナ３３０への入力として提供される。例えば、トレーナ３３０は、ＡＩサーバ２６０として、またはＡＩサーバ２６０内に実装され得る。ブロードキャスト／ナレーションモデル３３１は、対応する識別された関心ゾーンのシーンのナレーションを生成するように構成されている。具体的には、ブロードキャスト／ナレーションモデル３３１は、人工知能によってゲームセッションのシーンに関連する統計及びファクトを選択するように構成されている。
一実施形態では、統計及びファクトは、ゲームセッションのメタデータ及びプレイヤ統計に基づいて生成された統計及びファクトのグループから選択される。例えば、ゲームセッションにおけるプレイヤ１～Ｎのメタデータ７０２及びプレイヤ統計は、ＡＩゲーム及びプレイヤ統計及びファクトトレーナ３４０に配信され、これは、統計／ファクトモデル３４１を適用して、そのゲームセッションのための全ての統計及びファクトを生成するように構成されている。例えば、トレーナ３４０は、ＡＩサーバ２６０として、またはＡＩサーバ２６０内に実装され得る。
一実施形態では、統計／ファクトモデル３４１及び／またはナレーションモデル３３１は、単独でまたは組み合わせて、１人または複数の観客にとって高い関心がある対応する関心ゾーンの対応するシーンの統計及びファクトを識別及び／または生成するように構成される。このようにして、選択された統計及びファクトを使用して、人工知能を使用したナレーション３３５を生成することができる。
例えば、ＡＩが選択した統計及びファクトは、ナレーション３３５を生成するために適切なテンプレートに織り込むことができ、テンプレートは、見られている特定のシーンに向けられ得るか、または対象となる観客に向けられ得る（例えば、興奮するナレーションの選好）。加えて、１つまたは複数のフィルタリングプロセスをナレーション３３５に対して実行することができる。例えば、文化的フィルタをナレーションに適用することができ、文化的フィルタは、対象となる観客に適用可能である。加えて、言語フィルタをナレーション３３５に適用して、解説及び／またはナレーション３３５を好ましい言語で提供するようにできる。
示されているように、ハイライトリールジェネレータは、ＡＩが生成したナレーションとともに、ゲームセッションの識別された関心ゾーンのシーンのレンダリングされたビューをパッケージ化することができる。ハイライトリールは、ネットワーク１５０を介して１人または複数の観客７２０にストリーミングされ得る。このようにして、１人または複数の観客７２０は、観客の最大の関心を生み出すために構築されたナレーションでサポートされる特定のゲームセッションの最もエキサイティングなシーンを見ることができ、ビューはライブゲームセッションのためにリアルタイムで提供することができ、または対応するゲームセッションのリプレイのために生成され得るものであり、リプレイは、ゲームセッション中、またはゲームセッションが終了した後にストリーミングされ得る。
一実施形態では、第２のハイライトリールは、ゲームセッションの別の第１のハイライトリールから生成され得る。すなわち、第１のハイライトリールは、ハイライトエンジン２４０への入力として提供され、第２のハイライトリールは、出力として生成される。すなわち、リプレイの１つまたは複数のレンダリング（例えば、ハイライトリール）を、他の観客が視聴できるようにすることができる。加えて、他の後続のハイライトリールが第２のハイライトリールから生成され得るものであり、その結果、ハイライトリールのチェーンが生成され得る。
一実施形態では、ゲームセッションのレンダリングされたビューまたはゲームセッションのハイライトリールは、マルチプレイヤゲームセッションが視聴者の前で、ライブで実行されるｅスポーツイベントなどのライブイベントのコンテキスト内で提供され得る。具体的には、複数の観客が、複数の観客が見ることができるように設定された１つまたは複数のディスプレイがある共通の場所（ｅスポーツアリーナなど）でライブイベントを見ることができる。加えて、観客は、複数の観客が見ることができる画面に加えて、自分達が見る１つまたは複数の個人用画面を持つことができる。各観客は、本開示の実施形態を使用して、イベントのどのビューが自分達の個人的なスクリーンに表示されるかを能動的に制御することができる。つまり、観客は、前述のＡＩモデルを使用して、ライブゲームプレイのレンダリングのためにカメラの位置を制御する。例えば、カメラパースペクティブをスペースに固定したり、個々のプレイヤやチームをフォローしたり、人工知能によってアクションの様々な興味深い側面をキャプチャするように構成したりできる。
図８は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス８００の構成要素を示す。例えば、図８は、本開示の実施形態において、人工知能（ＡＩ）によってゲームアプリケーションのシーンの１つまたは複数のレンダリングを生成するのに適しており、ＡＩによってシーンのナレーション及び／またはゲームアプリケーションのシーンのレンダリングを生成するのにさらに適した例示的なハードウェアシステムを示す。このブロック図は、各々が本発明の実施形態を実施するために適した、パーソナルコンピュータ、サーバコンピュータ、ゲーム機、モバイル機器、または他のデジタルデバイスを組み込むことができる、またはそれらである場合がある、デバイス８００を示す。デバイス８００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを動作させる中央処理装置（ＣＰＵ）８０２を含む。ＣＰＵ８０２は、１つまたは複数の同種または異種の処理コアで構成され得る。
様々な実施形態によれば、ＣＰＵ８０２は、１つまたは複数の処理コアを有する１つまたは複数の汎用マイクロプロセッサである。さらなる実施形態は、ゲームの実行中のグラフィック処理のために構成されたアプリケーションの、媒体及び双方向エンターテインメントアプリケーションなどのきわめて並列かつ計算集約的なアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを有する１つまたは複数のＣＰＵを使用し、実装することができる。
メモリ８０４は、ＣＰＵ８０２とＧＰＵ８１６とが使用するアプリケーション及びデータを格納する。ストレージ８０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、かつ、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。
ユーザ入力デバイス８０８は、１人または複数のユーザからのユーザ入力をデバイス８００に伝達するものであり、その例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオレコーダ／カメラ、及び／またはマイクロフォンがあり得る。ネットワークインタフェース８１４は、デバイス８００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、かつ、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介する有線または無線通信を含み得る。
オーディオプロセッサ８１２は、ＣＰＵ８０２、メモリ８０４、及び／またはストレージ８０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ８０２、ＧＰＵ８１６を含むグラフィックスサブシステム、メモリ８０４、データストレージ８０６、ユーザ入力デバイス８０８、ネットワークインタフェース８１０、及びオーディオプロセッサ８１２を含むデバイス８００の構成要素は、１つまたは複数のデータバス８２２を介して接続されている。
カメラパースペクティブエンジン２３０は、本開示の一実施形態によれば、ＣＰＵ８０２内に構成されてもよく、またはスタンドアロンハードウェアとしてＣＰＵ８０２から分離されてもよく、さらに、関心ゾーンＡＩモデルによって以前に観客にとって興味深いものとして識別された関心ゾーンのシーンのカメラパースペクティブを識別するように構成されており、カメラパースペクティブもまた、ＡＩモデルによって観客にとって興味深いものとして識別される。
ブロードキャスタ／ナレータエンジン２２０は、本開示の一実施形態によれば、ＣＰＵ８０２内に構成されてもよく、またはスタンドアロンハードウェアとしてＣＰＵ８０２から分離されてもよく、さらに、以前に関心ゾーンＡＩモデルによって観客にとって興味深いものとして識別された関心ゾーンのシーンのためのＡＩモデルを使用してナレーションを生成するように構成されており、生成されたナレーションは、ＡＩカメラパースペクティブモデルによって識別されるカメラパースペクティブに合わせて調整することができる。
ＡＩサーバ２６０は、ＡＩカメラパースペクティブモデルをトレーニング及び／または実装するために、ならびにＡＩブロードキャスト／ナレーションモデルをトレーニング及び／または実装するために構成され得る。ハイライトエンジン２４０は、本開示の実施形態によれば、ＣＰＵ８０２内に構成されてもよく、またはスタンドアロンハードウェアとしてＣＰＵ８０２から分離されてもよく、さらに、ゲームアプリケーションをプレイする１人または複数のプレイヤを含むゲームセッションのハイライトリールを生成するように構成されており、ハイライトリールは、複数のゲームアプリケーションの複数のゲームセッションにおける観客関心ゾーンを識別できるＡＩモデルを使用して生成されて、それらの識別された観客関心ゾーンの関心があるカメラパースペクティブを識別し、それらの識別された観客関心ゾーンのシーンに対するナレーションを提供する。
グラフィックスサブシステム８１４がさらに、データバス８２２及びデバイス８００の構成要素と接続されている。グラフィックスサブシステム８１４は、グラフィック処理装置（ＧＰＵ）８１６及びグラフィックメモリ８１８を含む。グラフィックメモリ８１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックメモリ８１８は、ＧＰＵ８１６と同じデバイスに統合する、ＧＰＵ８１６に別個のデバイスとして接続する、及び／またはメモリ８０４内に実装することができる。画素データは、ＣＰＵ８０２から直接グラフィックメモリ８１８へ提供することができる。
代替として、ＣＰＵ８０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ８１６に提供し、ＧＰＵ８１６は、そこから、１つまたは複数の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ８０４及び／またはグラフィックメモリ８１８に格納することができる。実施形態において、ＧＰＵ８１６は、シーンの形状、照明、陰影、質感、動き、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ８１６はさらに、シェーダプログラムを実行可能な１つまたは複数のプログラム可能実行ユニットを含み得る。
グラフィックスサブシステム８１４は、グラフィックメモリ８１８からの画像の画素データを周期的に出力して、ディスプレイデバイス８１０に表示させる、または投影システム８４０によって投影させる。ディスプレイデバイス８１０は、デバイス８００からの信号に応じて視覚情報を表示可能である任意のデバイスであり得るもので、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス８００は、ディスプレイデバイス８１０に、例えばアナログ信号またはデジタル信号を提供することができる。
グラフィックスサブシステム８１４を最適化するための他の実施形態は、ＧＰＵインスタンスが複数のアプリケーション間で共有されるマルチテナンシーＧＰＵ操作、及び単一のゲームをサポートする分散ＧＰＵを含むことができる。グラフィックスサブシステム８１４は、１つまたは複数の処理デバイスとして構成することができる。
例えば、グラフィックスサブシステム８１４は、一実施形態では、マルチテナンシーＧＰＵ機能を実行するように構成され得るものであり、１つのグラフィックスサブシステムが、複数のゲームのためのグラフィックス及び／またはレンダリングパイプラインを実装し得る。すなわち、グラフィックスサブシステム８１４は、実行されている複数のゲーム間で共有される。
他の実施形態では、グラフィックスサブシステム８１４は、対応するＣＰＵ上で実行されている単一のアプリケーションのためのグラフィック処理を実行するために組み合わされる複数のＧＰＵデバイスを含む。例えば、複数のＧＰＵが、フレームレンダリングの代替形式を実行でき、この場合、連続したフレーム期間で、ＧＰＵ１は第１のフレームをレンダリングし、ＧＰＵ２は第２のフレームをレンダリングするなどして、最後のＧＰＵに到達すると、最初のＧＰＵが次のビデオフレームをレンダリングする（例えば、ＧＰＵが２つしかない場合、ＧＰＵ１は第３のフレームをレンダリングする）。
つまり、フレームをレンダリングするときにＧＰＵが循環する。レンダリング操作は重複することができ、ＧＰＵ１が第１のフレームのレンダリングを終了する前にＧＰＵ２が第２のフレームのレンダリングを開始できる。別の実施態様では、複数のＧＰＵデバイスに、レンダリング及び／またはグラフィックスパイプラインで異なるシェーダー操作を割り当てることができる。マスターＧＰＵがメインのレンダリングと合成を実行している。例えば、３つのＧＰＵを含むグループでは、マスターＧＰＵ１がメインレンダリング（例えば、第１のシェーダー操作）及び、スレーブＧＰＵ２とスレーブＧＰＵ３からの出力の合成を実行でき、スレーブＧＰＵ２は第２のシェーダー（例えば、川などの流体効果）操作を実行でき、スレーブＧＰＵ３は第３のシェーダー（例えば、粒子の煙）操作を実行でき、マスターＧＰＵ１は、ＧＰＵ１、ＧＰＵ２、及びＧＰＵ３のそれぞれからの結果を合成する。
このようにして、様々なＧＰＵを割り当てて、様々なシェーダー操作（旗振り、風、煙の発生、炎など）を実行してビデオフレームをレンダリングできる。さらに別の実施形態では、３つのＧＰＵのそれぞれを、ビデオフレームに対応するシーンの異なるオブジェクト及び／または部分に割り当てることができる。上記の実施形態及び実施態様では、これらの操作は、同じフレーム周期で（同時に並行して）、または異なるフレーム周期で（順次並列に）実行することができる。
特定の実施形態は、人工知能（ＡＩ）によるゲームアプリケーションのシーンの１つまたは複数のレンダリングの生成、及び／または、ＡＩによるゲームアプリケーションのシーンのナレーションの生成及び／またはシーンのレンダリングを実証するために提供されてきたが、本開示を読んだ当業者は、本開示の趣旨及び範囲内に入る追加の実施形態を理解するであろう。
現在の実施形態のゲームへのアクセス提供など、広範囲な地理的エリアにわたり配信されるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意されたい。クラウドコンピューティングとは、動的に拡張縮小可能で多くの場合仮想化されたリソースがインターネットを介したサービスとして提供される、コンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャの熟練者である必要はない。クラウドコンピューティングは、Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＩａａＳ）、Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ（ＰａａＳ）、及びＳｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに格納される。クラウドという用語は、コンピュータネットワーク図におけるインターネットの描かれ方に基づいたインターネットの隠喩として使用され、複雑なインフラストラクチャを隠し持つことの抽象的概念である。
ゲーム処理サーバ（ＧＰＳ）（または単純に「ゲームサーバ」）は、ゲームクライアントにより、シングルプレイヤ及びマルチプレイヤのビデオゲームをプレイするために使用される。インターネット上でプレイされるほとんどのビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームはプレイヤからのデータを収集し、それを他のプレイヤに配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的かつ効果的であるが、サーバアプリケーションをホストするために別個のサーバが必要となる。別の実施形態では、ＧＰＳは、プレイヤとそれぞれのゲームプレイデバイスの間の通信を確立し、集中型ＧＰＳに依存せずに情報を交換する。
専用ＧＰＳは、クライアントとは無関係に稼働するサーバである。このようなサーバは、通常、データセンタに配置された専用ハードウェア上で実行し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレイヤゲームのためのゲームサーバをホスティングするのに好ましい方法である。大規模なマルチプレイヤオンラインゲームは、ゲームタイトルを所有するソフトウェア会社が通常ホストする専用サーバ上で作動し、専用サーバがコンテンツを制御及び更新することを可能にする。
ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより、リモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであってもよい。一実施形態では、ゲームサーバ上で実行されるネットワークは、クライアントによって使用されるデバイスのタイプを認識し、採用される通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネットを介してゲームサーバ上のアプリケーションにアクセスする。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施され得る。本開示はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされたリモート処理デバイスによりタスクが行われる分散型コンピューティング環境においても、実施することができる。
所与のビデオゲームが特定のプラットフォーム、及び特定の関連したコントローラデバイスのために開発されることができることを理解するであろう。しかし、このようなゲームが、本明細書に提示されるようなゲームクラウドシステムを介して利用可能となる場合、ユーザは、別のコントローラデバイスでビデオゲームにアクセスすることができる。例えば、あるゲームは、ゲームコンソール及びその関連コントローラ用に開発された可能性があるが、ユーザは、キーボード及びマウスを利用して、パーソナルコンピュータからクラウドベースバージョンのゲームにアクセスすることができる。このようなシナリオでは、入力パラメータ設定により、ユーザが利用可能なコントローラデバイス（この事例ではキーボード及びマウス）により生成され得る入力から、ビデオゲームの実行で受け入れ可能な入力へ、マッピングが定義され得る。
別の実施例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この場合、クライアントデバイス及びコントローラデバイスは、同じデバイス内に一緒に統合され、検出されたタッチスクリーン入力／ジェスチャにより入力が提供される。このようなデバイスでは、入力パラメータ設定により、ビデオゲームのゲーム入力に対応する特定のタッチスクリーン入力が定義され得る。
例えば、ユーザがタッチしてゲーム入力を生成することができるタッチスクリーン上の位置を示すために、ビデオゲームの実行中に、ボタン、方向パッド、または他の種類の入力要素が、表示またはオーバーレイされ得る。特定の方向のスワイプまたは特定のタッチ動作などのジェスチャも、ゲーム入力として検出され得る。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、タッチスクリーンを介してゲームプレイに入力する方法を示すチュートリアルが、ユーザに提供され得る。
いくつかの実施形態では、クライアントデバイスは、コントローラデバイスの接続ポイントとして機能する。すなわち、コントローラデバイスは、無線接続または有線接続を介してクライアントデバイスと通信し、コントローラデバイスからクライアントデバイスへ入力を送信する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク（例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク）を介して、クラウドゲームサーバへ送信し得る。しかし、別の実施形態では、コントローラ自体が、このような入力をまずクライアントデバイスを通して通信する必要なく、ネットワークを介して入力を直接クラウドゲームサーバに通信する能力を有するネットワークデバイスであり得る。
例えば、コントローラは、ローカルネットワークデバイス（前述のルータなど）に接続して、クラウドゲームサーバとデータを送受信し得る。したがって、クライアントデバイスは依然として、クラウドベースビデオゲームからビデオ出力を受信して、それをローカルディスプレイ上にレンダリングする必要はあるが、コントローラがクライアントデバイスを迂回して、ネットワークを介して直接クラウドゲームサーバに入力を送信することを可能にすることにより、入力レイテンシを短縮することができる。
一実施形態では、ネットワーク化されたコントローラ及びクライアントデバイスは、特定の種類の入力を直接コントローラからクラウドゲームサーバへ、及び他の種類の入力を、クライアントデバイスを介して送信するように構成され得る。例えば、コントローラ自体は別として、任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスを迂回して、ネットワークを介して直接コントローラからクラウドゲームサーバへ送信することができる。このような入力には、ボタン入力、ジョイスティック入力、埋込型動作検出入力（例えば加速度計、磁力計、ジャイロスコープ）などが含まれ得る。
しかし、追加のハードウェアを利用する、またはクライアントデバイスによる処理を要する入力は、クライアントデバイスによりクラウドゲームサーバへ送信され得る。これらは、ゲーム環境からキャプチャされたビデオまたはオーディオを含み得るもので、クラウドゲームサーバへ送信する前にクライアントデバイスにより処理され得る。さらに、コントローラの動作検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理されて、コントローラの位置及び動作が検出され得るものであり、これは次いでクライアントデバイスによりクラウドゲームサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。
本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされ得る、または組み立てられ得ることを、理解されたい。したがって、提供される実施例は、いくつかの可能な実施例にすぎず、様々な要素を組み合わせることでより多くの実装を定義することが可能な様々な実装に限定されない。いくつかの例では、いくつかの実装は、開示された、または同等の実装の趣旨から逸脱することなく、より少ない要素を含んでもよい。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施し得る。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。
上記の実施形態を念頭に置いて、本開示の実施形態がコンピュータシステムに記憶されたデータを含む様々なコンピュータ実装の動作を使用し得ることを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。本発明の実施形態はまた、これらの動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築されてもよく、または装置は、コンピュータに格納されたコンピュータプログラムにより選択的に有効化または構成された汎用コンピュータであってもよい。具体的には、本明細書の教示に従って書かれたコンピュータプログラムとともに様々な汎用マシンを使用することができる、あるいは、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合である場合もある。
本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み取ることができるデータを記憶できる任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ならびに他の光学及び非光学データストレージデバイスが含まれる。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
方法動作は特定の順序で説明されたが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他の維持管理動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてもよいことを、理解すべきである。
前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてもよい。

Claims (20)

  1. ブロードキャストを生成するための方法であって、
    １人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している前記１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信し、
    前記ゲームセッションにおいて観客関心ゾーンを識別し、前記観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができる前記ビデオゲームの前記仮想ゲーム世界のシーンを有するものであり、
    前記ゲーム状態データと前記ユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１の人工知能（ＡＩ)モデルを使用して、前記ゲームセッションの統計及びファクトを生成し、
    前記第１のＡＩモデルを使用して生成される前記統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、前記観客関心ゾーンの前記シーンのナレーションを生成し、前記選択された統計及びファクトには、前記第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、前記第２のＡＩモデルは、前記選択された統計及びファクトを使用して前記ナレーションを生成するように構成されている、方法。
  2. 前記観客関心ゾーンが、１人または複数の観客によって見られる可能性が高い１つまたは複数の観客関心ゾーンを分離するようにトレーニングされた第３のＡＩモデルに基づいて識別され、前記１つまたは複数の観客関心ゾーンのそれぞれは、前記仮想ゲーム世界の対応するシーンを有するか、または
    前記観客関心ゾーンが観客によって選択される、請求項１に記載の方法。
  3. さらに、前記ビデオゲームのビデオゲームタイプと前記観客関心ゾーンの関心ゾーンタイプとに基づくシナリオ用に構築されたナレーションテンプレートを使用して、前記ナレーションを生成する、請求項１に記載の方法。
  4. さらに、対応する観客関心ゾーンの対応するシーンの１つまたは複数の対応するカメラパースペクティブを生成するようにトレーニングされた第４のＡＩモデルに基づいて、前記観客関心ゾーンの第１のカメラパースペクティブを識別し、
    前記第１のカメラパースペクティブに基づいて前記ナレーションを生成する、請求項１に記載の方法。
  5. さらに、ネットワークを介して、前記第１のカメラパースペクティブ及び前記ナレーションを１人または複数の観客にストリーミングする、請求項４に記載の方法。
  6. 前記シーンのナレーションの前記生成では、
    １つまたは複数の第１の慣習及び第１の地理的地域の第１の通信フォーマットに合わせて調整された、前記シーンの第１のナレーションを生成し、
    １つまたは複数の第２の慣習及び第２の地理的地域の第２の通信フォーマットに合わせて調整された、前記シーンの第２のナレーションを生成する、請求項１に記載の方法。
  7. さらに、前記ゲームセッションに参加しているプレイヤの以前のゲームプレイの前記観客関心ゾーンを識別し、
    前記以前のゲームプレイのハイライトとして前記第１のカメラパースペクティブ及び前記ナレーションをストリーミングし、
    前記第１のカメラパースペクティブは、以前のゲームプレイ中に以前に生成されたものであるか、または
    前記第１のカメラパースペクティブは、前記プレイヤの前記以前のゲームプレイの前記シーンに対して新たに生成されるものである、請求項４に記載の方法。
  8. さらに、複数のビデオゲームの複数のゲームセッションに参加している複数のプレイヤのために生成された１つまたは複数の統計及びファクトを選択する人間の入力を受信し、
    人間の入力によって選択された１つまたは複数の統計及びファクトを使用して前記第２のＡＩモデルをトレーニングする、請求項１に記載の方法。
  9. さらに、複数のビデオゲームの複数のゲームセッションに参加している複数のプレイヤのゲーム状態データ及びユーザデータを受信し、
    前記複数のゲームセッションのビューに対応する情報を受信し、前記ビューは対応するナレーションを有するものであり、
    前記情報を使用して前記第２のＡＩモデルをトレーニングし、
    前記情報は、
    観客のジャンプインの数、または、
    前記複数のゲームセッションの視聴中に提供される観客の解説、または、
    前記複数のゲームセッションの視聴中に提供される観客のバイオフィードバック、または、
    前記複数のゲームセッションの視聴中に提供される観客のアクション、または、
    前記複数のゲームセッションのそれぞれに対する観客のリプレイの数、または、
    前記複数のゲームセッションのそれぞれに対する観客のライブビューの数、または、
    観客の反応、または、
    前記複数のゲームセッションのそれぞれに対するソーシャルメディアの傾向、
    を含む、請求項１に記載の方法。
  10. ブロードキャストを生成するためのコンピュータプログラムを格納する非一時的なコンピュータ可読媒体であって、
    前記１人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信するためのプログラム命令と、
    前記ゲームセッションにおいて観客関心ゾーンを識別するためのプログラム命令であって、前記観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができる前記ビデオゲームの前記仮想ゲーム世界のシーンを有する、前記プログラム命令と、
    前記ゲーム状態データと前記ユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１の人工知能（ＡＩ)モデルを使用して、前記ゲームセッションの統計及びファクトを生成するためのプログラム命令と、
    前記第１のＡＩモデルを使用して生成された統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、前記観客関心ゾーンの前記シーンのナレーションを生成するためのプログラム命令であって、前記選択された統計及びファクトには、前記第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、前記第２のＡＩモデルは、前記選択された統計及びファクトを使用して前記ナレーションを生成するように構成されているプログラム命令と、
    を含む、非一時的なコンピュータ可読媒体。
  11. 前記観客関心ゾーンが、１人または複数の観客によって見られる可能性が高い１つまたは複数の観客関心ゾーンを分離するようにトレーニングされた第３のＡＩモデルに基づいて識別され、前記１つまたは複数の観客関心ゾーンのそれぞれは、前記仮想ゲーム世界の対応するシーンを有するか、または
    前記観客関心ゾーンが観客によって選択される、請求項１０に記載の非一時的なコンピュータ可読媒体。
  12. ネットワークを介して、前記第１のカメラパースペクティブ及び前記ナレーションを１人または複数の観客にストリーミングするためのプログラム命令 をさらに含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  13. 前記シーンのナレーションを生成するための前記プログラム命令が、
    １つまたは複数の第１の慣習及び第１の地理的地域の第１の通信フォーマットに合わせて調整された、前記シーンの第１のナレーションを生成するためのプログラム命令と、
    １つまたは複数の第２の慣習及び第２の地理的地域の第２の通信フォーマットに合わせて調整された、前記シーンの第２のナレーションを生成するためのプログラム命令と、を含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  14. 前記ゲームセッションに参加しているプレイヤの以前のゲームプレイの前記観客関心ゾーンを識別するためのプログラム命令と、
    前記以前のゲームプレイのハイライトとして前記第１のカメラパースペクティブ及び前記ナレーションをストリーミングするためのプログラム命令と、
    をさらに含み、
    前記第１のカメラパースペクティブは、以前のゲームプレイ中に以前に生成されたものであるか、または
    前記第１のカメラパースペクティブは、前記プレイヤの前記以前のゲームプレイの前記シーンに対して新たに生成されるものである、請求項１２に記載の非一時的なコンピュータ可読媒体。
  15. 複数のビデオゲームの複数のゲームセッションに参加している複数のプレイヤのゲーム状態データ及びユーザデータを受信するためのプログラム命令と、
    前記複数のゲームセッションのビューに対応する情報を受信するためのプログラム命令であって、前記ビューは対応するナレーションを有する、前記プログラム命令と、
    前記情報を使用して前記第２のＡＩモデルをトレーニングするためのプログラム命令と、
    をさらに含み、
    前記情報は、
    観客のジャンプインの数、または、
    前記複数のゲームセッションの視聴中に提供される観客の解説、または、
    前記複数のゲームセッションの視聴中に提供される観客のバイオフィードバック、または、
    前記複数のゲームセッションの視聴中に提供される観客のアクション、または、
    前記複数のゲームセッションのそれぞれに対する観客のリプレイの数、または、
    前記複数のゲームセッションのそれぞれに対する観客のライブビューの数、または、
    観客の反応、または、
    前記複数のゲームセッションのそれぞれに対するソーシャルメディアの傾向、
    を含む、請求項１０に記載の非一時的なコンピュータ可読媒体。
  16. プロセッサと、
    前記プロセッサに接続され、中に命令を格納しているメモリと、
    を含み、前記命令は、前記コンピュータシステムにより実行されると、ブロードキャストを生成する方法を前記コンピュータシステムに実行させ、前記方法は、
    １人または複数のプレイヤによってプレイされているビデオゲームのゲームセッションに参加している前記１人または複数のプレイヤのゲーム状態データ及びユーザデータを受信し、
    前記ゲームセッションにおいて観客関心ゾーンを識別し、前記観客関心ゾーンは、仮想ゲーム世界の１つまたは複数のカメラパースペクティブから見ることができる前記ビデオゲームの前記仮想ゲーム世界のシーンを有する、前記識別し、
    前記ゲーム状態データと前記ユーザデータに基づいて１人または複数の観客が興味を持つ可能性が高いゲーム状態データとユーザデータを分離するようにトレーニングされた第１の人工知能（ＡＩ)モデルを使用して、前記ゲームセッションの統計及びファクトを生成し、
    前記第１のＡＩモデルを使用して生成される前記統計及びファクトから統計及びファクトを選択するように構成された第２のＡＩモデルを使用して、前記観客関心ゾーンの前記シーンのナレーションを生成し、前記選択された統計及びファクトには、前記第２のＡＩモデルによって決定される最高の潜在的な観客の関心があり、前記第２のＡＩモデルは、前記選択された統計及びファクトを使用して前記ナレーションを生成するように構成されている、コンピュータシステム。
  17. 前記方法において、前記観客関心ゾーンが、１人または複数の観客によって見られる可能性が高い１つまたは複数の観客関心ゾーンを分離するようにトレーニングされた第３のＡＩモデルに基づいて識別され、前記１つまたは複数の観客関心ゾーンのそれぞれは、前記仮想ゲーム世界の対応するシーンを有するか、または
    前記方法において、前記観客関心ゾーンが観客によって選択される、請求項１６に記載のコンピュータシステム。
  18. 前記方法では、さらに、
    ネットワークを介して、前記第１のカメラパースペクティブ及び前記ナレーションを１人または複数の観客にストリーミングする、請求項１６に記載のコンピュータシステム。
  19. 前記方法において前記シーンのナレーション生成では、
    １つまたは複数の第１の慣習及び第１の地理的地域の第１の通信フォーマットに合わせて調整された、前記シーンの第１のナレーションを生成し、
    １つまたは複数の第２の慣習及び第２の地理的地域の第２の通信フォーマットに合わせて調整された、前記シーンの第２のナレーションを生成する、請求項１６に記載のコンピュータシステム。
  20. 前記方法では、さらに、
    前記ゲームセッションに参加しているプレイヤの以前のゲームプレイの前記観客関心ゾーンを識別し、
    前記以前のゲームプレイのハイライトとして前記第１のカメラパースペクティブ及び前記ナレーションをストリーミングし、
    前記第１のカメラパースペクティブは、以前のゲームプレイ中に以前に生成されたものであるか、または
    前記第１のカメラパースペクティブは、前記プレイヤの前記以前のゲームプレイの前記シーンに対して新たに生成されるものである、請求項１８に記載のコンピュータシステム。
JP2022518936A 2019-09-26 2020-09-09 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ Active JP7320672B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/584,842 US11103782B2 (en) 2019-09-26 2019-09-26 Artificial intelligence (AI) controlled camera perspective generator and AI broadcaster
US16/584,842 2019-09-26
PCT/US2020/049977 WO2021061405A1 (en) 2019-09-26 2020-09-09 Artificial intelligence (ai) controlled camera perspective generator and ai broadcaster

Publications (2)

Publication Number Publication Date
JP2022548331A true JP2022548331A (ja) 2022-11-17
JP7320672B2 JP7320672B2 (ja) 2023-08-03

Family

ID=72603547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518936A Active JP7320672B2 (ja) 2019-09-26 2020-09-09 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ

Country Status (5)

Country Link
US (3) US11103782B2 (ja)
EP (1) EP4017606A1 (ja)
JP (1) JP7320672B2 (ja)
CN (2) CN116474378A (ja)
WO (1) WO2021061405A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11305191B2 (en) 2018-12-20 2022-04-19 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
JP7343285B2 (ja) * 2019-03-20 2023-09-12 株式会社コーエーテクモゲームス コンピュータシステム、配信用端末及び配信サーバー
US11420122B2 (en) * 2019-12-23 2022-08-23 Activision Publishing, Inc. Systems and methods for controlling camera perspectives, movements, and displays of video game gameplay
US11148061B2 (en) * 2020-01-15 2021-10-19 Sony Interactive Entertainment Inc. Spectators vote to bench players in a video game
US11439904B2 (en) 2020-11-11 2022-09-13 Activision Publishing, Inc. Systems and methods for imparting dynamic and realistic movement to player-controlled avatars in video games
JP6928709B1 (ja) * 2020-12-28 2021-09-01 プラチナゲームズ株式会社 情報処理プログラム、情報処理装置、および情報処理方法
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
US11794119B2 (en) * 2021-03-01 2023-10-24 Super League Gaming, Inc. Intelligent prioritization and manipulation of stream views
JP2024011105A (ja) * 2022-07-14 2024-01-25 株式会社電通 実況音声リアルタイム生成システム
US20240238679A1 (en) * 2023-01-17 2024-07-18 Sony Interactive Entertainment Inc. Method and system for generating an image representing the results of a gaming session

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143030A (ja) * 2005-11-22 2007-06-07 Advanced Telecommunication Research Institute International ビデオコンテンツ作成装置
US20090061974A1 (en) * 2007-08-29 2009-03-05 Lutnick Howard W Game with chance element and strategy component that can be copied
US20090325706A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Live hosting toolset
US20170157512A1 (en) * 2015-12-06 2017-06-08 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
JP2019512317A (ja) * 2016-03-15 2019-05-16 スキルズ インコーポレイテッド ピアツーピアビデオゲームトーナメントにおける試合横断分析
JP2021164146A (ja) * 2020-03-30 2021-10-11 株式会社ドワンゴ 動画配信装置、動画配信方法、および、動画配信プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8025572B2 (en) * 2005-11-21 2011-09-27 Microsoft Corporation Dynamic spectator mode
US20120276992A1 (en) * 2011-04-27 2012-11-01 Microsoft Corporation Most valuable player gamer status and applications
US20140038708A1 (en) 2012-07-31 2014-02-06 Cbs Interactive Inc. Virtual viewpoint management system
JP2018524134A (ja) * 2015-06-14 2018-08-30 株式会社ソニー・インタラクティブエンタテインメント Ｖｒ観戦のための拡大された視野再レンダリング
US20170065888A1 (en) 2015-09-04 2017-03-09 Sri International Identifying And Extracting Video Game Highlights
US20170106283A1 (en) 2015-10-16 2017-04-20 Microsoft Technology Licensing, Llc Automated generation of game event recordings
US10695680B2 (en) 2016-12-09 2020-06-30 Unity IPR ApS Systems and methods for creating, broadcasting, and viewing 3D content
CN107423274B (zh) 2017-06-07 2020-11-20 北京百度网讯科技有限公司 基于人工智能的比赛解说内容生成方法、装置及存储介质
US10765954B2 (en) 2017-06-15 2020-09-08 Microsoft Technology Licensing, Llc Virtual event broadcasting
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143030A (ja) * 2005-11-22 2007-06-07 Advanced Telecommunication Research Institute International ビデオコンテンツ作成装置
US20090061974A1 (en) * 2007-08-29 2009-03-05 Lutnick Howard W Game with chance element and strategy component that can be copied
US20090325706A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Live hosting toolset
US20170157512A1 (en) * 2015-12-06 2017-06-08 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
JP2019512317A (ja) * 2016-03-15 2019-05-16 スキルズ インコーポレイテッド ピアツーピアビデオゲームトーナメントにおける試合横断分析
JP2021164146A (ja) * 2020-03-30 2021-10-11 株式会社ドワンゴ 動画配信装置、動画配信方法、および、動画配信プログラム

Also Published As

Publication number Publication date
CN114746159B (zh) 2023-04-14
US11103782B2 (en) 2021-08-31
JP7320672B2 (ja) 2023-08-03
CN116474378A (zh) 2023-07-25
CN114746159A (zh) 2022-07-12
US20240307775A1 (en) 2024-09-19
US11992761B2 (en) 2024-05-28
US20210387089A1 (en) 2021-12-16
US20210093969A1 (en) 2021-04-01
EP4017606A1 (en) 2022-06-29
WO2021061405A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
JP7320672B2 (ja) 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ
JP7224715B2 (ja) 人工知能（ａｉ）制御のカメラパースペクティブジェネレータ及びａｉブロードキャスタ
JP7554675B2 (ja) ゲームクラウドシステム上で実行される、任意のユーザによるゲームプレイ実行を後で開始するために使用される、ゲームプレイのスナップショットを保存するための方法及びシステム
TWI716201B (zh) 用於為一線上遊戲提供資源之分佈式遊戲引擎及方法
CN109792564B (zh) 用于通过在游戏云系统上执行的视频记录访问先前所存储游戏情节的方法和系统
US20230356081A1 (en) Drama engine for dramatizing video gaming in a highlight reel including user reaction
CN103886009B (zh) 基于所记录的游戏玩法自动产生为云游戏建议的小游戏
US11666830B2 (en) Local game execution for spectating and spectator game play
JP7339318B2 (ja) ゲーム内位置ベースのゲームプレイコンパニオンアプリケーション
CN115175751A (zh) 基于预测的游戏活动和观众特性驱动虚拟影响者
US20220395756A1 (en) Building a dynamic social community based on similar interaction regions of game plays of a gaming application
US11729479B2 (en) Methods and systems for dynamic summary queue generation and provision
WO2024026205A1 (en) Impaired player accessability with overlay logic providing haptic responses for in-game effects
CN117769823A (zh) 使用在多个平台上跟踪印象的nft进行游戏内资产跟踪
US20230381649A1 (en) Method and system for automatically controlling user interruption during game play of a video game

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220509

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7320672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150