CN115604543A - 为游戏会话自动生成增强的活动和事件摘要 - Google Patents

为游戏会话自动生成增强的活动和事件摘要 Download PDF

Info

Publication number
CN115604543A
CN115604543A CN202210724542.8A CN202210724542A CN115604543A CN 115604543 A CN115604543 A CN 115604543A CN 202210724542 A CN202210724542 A CN 202210724542A CN 115604543 A CN115604543 A CN 115604543A
Authority
CN
China
Prior art keywords
game
event
events
metadata
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210724542.8A
Other languages
English (en)
Inventor
J·L·万·威尔森
G·R·科克伦
J·王
P-S·王
J·D·温特劳布
T·沙玛
S·赖卡尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of CN115604543A publication Critical patent/CN115604543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/49Saving the game status; Pausing or ending the game
    • A63F13/497Partially or entirely replaying previous game actions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308Details of the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及为游戏会话自动生成增强的活动和事件摘要。基于与玩游戏会话相关联的游戏数据使用游戏中事件的事件日志和相应的游戏内容来生成游戏摘要。事件日志可以包括指示游戏中事件的时间以及游戏中事件与捕获游戏中事件的游戏内容项之间的关联的元数据。用户可以通过时间背景与游戏中事件进行交互,从而做出更明智的选择,并更好地理解游戏会话。使用事件日志,游戏摘要可以提供诸如传达游戏中事件的相对时序的时间线、游戏中事件列表、基于游戏中事件、游戏状态信息以及统计和表现信息进行时间注释的游戏的虚拟环境的地图等特征。游戏摘要可以显示出随着时间和/或游戏会话的趋势,并传达诸如团队的选定的玩家组的信息。

Description

为游戏会话自动生成增强的活动和事件摘要
背景技术
通过社交媒体、发文本消息或电子邮件与他人保持联系已成为当今社会运作方式的一个组成部分。在一些流行的社交媒体应用程序中,向用户呈现一个界面,该界面以活动馈送(activity feed)的形式显示帖子、视频和其他(通常)经过策划的信息。活动馈送可用于评估个人网络内的那些人正在参与的活动的用户。视频游戏已经成为针对人们与他们的朋友进行互动或与其他具有类似游戏兴趣的人在线联系的日益流行的社交联系来源。通常情况下,用户会维护好友列表,以便于在玩游戏会话期间彼此进行互动,并与其他用户建立社交联系。然而,从历史上看,视频游戏在活动馈送中的地位有限,通常只是作为一种秘密或公开鼓励他人玩游戏的方式。
某些游戏系统为游戏提供基本的活动馈送。用户可以使用游戏操作系统(例如,控制台的游戏操作系统)人工截取玩游戏会话的屏幕截图或剪辑,并与其游戏社交圈内的其他用户分享。这些帖子可能会附带对所捕获到的游戏的简要描述,但通常不会为观看者提供太多用于了解玩游戏会话中发生了什么的上下文。在某些情况下,玩家在玩游戏过程中解锁的成就可能会在玩家社交馈送(feed)中触发相应的帖子。然而,利用这些功能需要游戏开发人员专门为游戏中的社交馈送互动编写代码,并非所有开发人员都能投入时间和资源来这样做。此外,这些功能是使用游戏系统的应用程序编程接口(API)实现的,其将发布功能限制为游戏引擎和游戏平台支持的那些功能。此外,在包含活动馈送的传统游戏平台中,一旦玩游戏会话完成,就不能再发布关于玩游戏会话的社交帖子。另外,确定视频的特定部段或视频剪辑是否包含有趣的内容(例如,更多的动作)对于决定哪些视频可能值得包含在活动反馈中使得“有趣的内容”被自动捕获以便在以后的时间进行审查和共享是很重要的。
发明内容
本公开涉及自动生成和更新玩游戏会话的活动和事件的增强摘要。在实施例中,可以根据从包括游戏中事件的玩游戏会话的游戏数据中提取的元数据来生成游戏摘要。本公开涉及使用元数据生成游戏摘要的系统和方法,该游戏摘要收集并传送在一个或更多个玩游戏会话内发生的游戏中事件,以便观看者可以访问相关联的屏幕截图、视频剪辑和/或其他游戏内容,以更好地理解一个或更多个玩游戏会话。
与传统系统不同,可以使用游戏中事件的事件日志和相应的屏幕截图、视频剪辑和/或其他游戏内容来生成游戏摘要,其中每一个都可以基于分析视频数据、用户输入数据、游戏数据、使用应用编程接口(API)的游戏发送的数据和/或与玩游戏会话相关的其他数据自动生成。事件日志可以包括元数据,该元数据指示玩游戏会话内游戏中事件的时间,以及游戏中事件与捕获游戏中事件的游戏内容项之间的关联。在一些实施例中,使用所公开的方法,用户可以与具有时间上下文的游戏中事件交互,从而允许更明智的选择和更好地理解玩游戏会话。在各个实施例中,可以使用事件日志生成增强的游戏摘要,该摘要提供诸如传达游戏中事件的相关时序的时间线、游戏中事件的列表(例如缩略图)、基于游戏中事件、游戏状态信息以及统计和表现信息在时间上注释的游戏虚拟环境的地图等特征。游戏摘要的一个或更多个部分可以对应于一个或更多个游戏会话和/或玩家,例如显示随时间和/或游戏会话的趋势,并传达所选玩家组(例如团队)的信息。
附图说明
以下参考附图详细描述了关于为玩游戏会话生成自动游戏摘要的本公开的系统和方法,其中:
图1示出了根据本公开的一些实施例的游戏摘要系统的示例系统图;
图2示出了根据本公开的一些实施例的游戏中事件的游戏摘要的示例,其中包括一个或更多个游戏中事件发生在其中的虚拟环境的地图;
图3示出了根据本公开的一些实施例的游戏中事件的游戏摘要的示例,其中包括捕获一个或更多个游戏中事件的游戏内容库;
图4示出了根据本公开的一些实施例的可包括在游戏中事件的游戏摘要中的附加信息的示例;
图5示出了根据本公开的一些实施例的显示了用于呈现包括与游戏中事件相关联的时间线的游戏摘要的方法的流程图;
图6示出了根据本公开的一些实施例的用于呈现包括与游戏中事件相关联的列表的游戏摘要的方法的流程图;
图7示出了根据本公开的一些实施例的用于呈现包括与游戏中事件相关联的虚拟环境的地图的游戏摘要的方法的流程图;
图8示出了根据本公开的一些实施例的游戏流媒体系统的示例系统图;
图9是适合用于实施本发明的一些实施例的示例计算环境的框图;以及
图10是适合用于实现本公开的一些实施例的示例数据中心。
具体实施方式
本公开涉及自动生成的用于玩游戏会话的游戏摘要。在实施例中,可以根据从包括游戏中事件的玩游戏会话的游戏数据中提取的元数据生成游戏摘要。本公开涉及使用元数据生成游戏摘要的系统和方法,该游戏摘要传达了在一个或更多个玩游戏会话中发生的游戏中事件,以便观看者能够访问、查看和策划(例如,为了在社交网络中发布)相关联的屏幕截图、视频剪辑和/或其他游戏内容,以更好地理解一个或更多个玩游戏会话。
游戏摘要可以使用游戏中事件的事件日志和相应的屏幕截图、视频剪辑和/或其他游戏内容生成,其中每一个都可以基于分析视频数据、用户输入数据、游戏数据、使用应用编程接口(API)的游戏发送的数据和/或与游戏会话相关的其他数据生成。事件日志可以包括元数据,该元数据指示玩游戏会话内游戏中事件的时间,以及游戏中事件与用捕获游戏中事件的游戏内容项之间的关联。在某些实施例中,使用所公开的方法,用户可以与具有时间上下文的游戏中事件交互,从而允许更明智的选择并更好地理解玩游戏会话。游戏摘要的一个或更多个部分可以显示在用户的活动馈送中,和/或可以从活动馈送中访问,从而提供对玩家活动的更稳健的视图。在一个或更多个实施例中,游戏摘要的一个或更多个部分可与一个或更多个游戏会话和/或玩家对应,例如显示随时间和/或游戏会话的趋势,并传达所选玩家集(例如团队)的信息。
在至少一个实施例中,使用事件日志,游戏摘要可以提供一个界面,在界面中显示对应于或以其他方式指示游戏中事件的界面元素(例如,包括缩略图)。在某些实施例中,还可以显示时间线以传达游戏中事件的相关时序。在至少一个实施例中,界面元素可以形成游戏中事件的列表,并且可以使用元数据以时间(例如,按发生时间顺序排列的)顺序显示。例如,每个界面元素可以与其中发生一个或更多个游戏中事件的视频剪辑或屏幕截图的缩略图对应,并且可使用元数据(例如,在图像转盘中)按时间顺序显示。在至少一个实施例中,用户可以选择界面元素,其可以导致将捕获游戏中事件的相关游戏内容项加载到用户界面中。
在包括时间线的实施例中,基于选择,时间线也可以更新以指示游戏中事件。举例来说,更新可以包括至少代表游戏中事件的时间线上图标或其他指示符的视觉强调。此外或者可替代地,事件日志可以将游戏中事件组织成玩游戏会话中的回合或比赛。当用户选择界面元素时,可以更新时间线以对应于包括游戏中事件的回合(例如,在时间线中显示回合和/或将时间线与回合的游戏中事件相匹配)。用户界面中显示的游戏状态信息也可以更新,以对应于游戏中事件。例如,可以使用事件日志更新一个或更多个玩家分数,以反映他们在与游戏中事件相关联的游戏期间的状态。
在进一步的方面,用户界面可包括与玩游戏会话对应的游戏虚拟环境的地图。基于界面元素的选择,可以使用与元数据中游戏中事件相关联的位置和时间来注释地图。在游戏中事件发生时和/或发生期间或之后,该位置可以与玩家和/或另一个游戏中的对象相对应。在各个实施例中,注释可以包括在地图上显示和/或更新游戏中对象的路径,其中终点可以基于位置和时间。例如,玩家、敌人、非玩家角色(NPC)、游戏中事件、物品和/或其他元素的一个或更多个位置的路径或其他指示符可以显示在地图上,以反映游戏中事件之前、期间和/或之后的游戏状态。在各个实施例中,可以使用相应的符号或图标来显示元素,并且可以对每种元素类型使用不同的符号或图标。
在至少一个实施例中,可分析与玩游戏会话相关联的游戏数据,以自动检测游戏中事件,这可能会通过屏幕截图、视频、和/或捕捉游戏事件以及元数据的其他游戏内容项(例如,时间戳、游戏内对象位置、分数、玩家状态、玩家统计数据、按用户名划分的游戏参与者、事件类型、杀死/死亡/协助比率等)触发玩游戏的记录和/或保存。可以在玩游戏会话期间执行分析(例如,通过分析玩游戏的一个或更多个方面(例如,视频、用户输入等)、来自游戏的API消息和/或视频流平台或应用程序的观看者的流),和/或可在玩游戏会话之后执行分析(例如,在玩游戏会话或其他游戏数据的视频文件和/或保存重播上)。
在各个实施例中,可以使用观察屏幕以寻找视觉线索的算法来检测游戏中事件(例如,使用神经网络、计算机视觉等)。当检测到这些视觉线索时,它可以自动触发玩游戏的记录和/或保存。在至少一个实施例中,它可以附加地或替代地触发对相应视频数据的进一步分析,以提取元数据的一个或更多个元素,或者至少一些元数据可以通过检测相应的视觉线索来导出。元数据、屏幕截图、视频剪辑、地图(例如,从游戏中提取和/或与游戏相关联)、玩游戏中的玩家图标等可以存储在数据实体中,以用于显示游戏摘要。
参考图1,图1是根据本公开的一些实施例的游戏摘要系统(“GSS系统”)100的示例系统图。应当理解,本文所述的这种和其他安排仅作为示例阐述。除了所示的布置和元素之外,还可以使用其他布置和元素(例如,机器、界面、功能、命令、功能分组等),或者可以使用其他布置和元素来代替所示的布置和元素,并且可以完全省略一些元素。此外,本文描述的许多元素是功能实体,其可以作为离散或分布式组件实现,或者与其他组件结合实现,并且可以以任何合适的组合和位置实现。本文中描述的由实体执行的各种功能可以通过硬件、固件和/或软件来执行。例如,各种功能可以由执行存储在存储器中的指令的处理器来执行。
除其他外,GSS系统100可以包括客户端设备104(A)、104(B)和104(C)(在本文中统称为“客户端设备104”)、游戏摘要服务器116和/或游戏服务器126。尽管在图1中示出了客户端设备104(A)、104(B)和104(C),但这并不旨在限制。在任何示例中,可以存在任意数量的客户端设备104。GSS系统100(及其组件和/或特征)可以使用一个或更多个计算设备来实现。
GSS系统100的组件可以通过网络102进行通信。网络可以包括广域网(WAN)(例如,因特网、公共交换电话网(PSTN)等)、局域网(LAN)(例如,Wi-Fi、ZigBee、Z-Wave、蓝牙、低能耗蓝牙(BLE)、以太网等)、低功耗广域网(LPWAN)(例如,LoRaWAN、Sigfox等)、全球导航卫星系统(GNSS)网络(例如全球定位系统(GPS))和/或其他网络类型。在任何示例中,GSS系统100的每个组件可以经由一个或更多个网络102与一个或更多个其他组件通信。
客户端设备104可以包括智能手机、笔记本电脑、平板电脑、台式电脑、可穿戴设备、游戏控制台、虚拟现实系统(例如,耳机、电脑、游戏控制台、一个或更多个遥控器、一个或更多个控制器和/或其他组件)、流媒体设备、可以包括智能个人助理的智能家居设备,和/或其他类型的能够支持玩游戏的设备。
客户端设备104可以包括一个或更多个应用程序106、显示器108、通信接口110、一个或更多个输入设备112、图形界面管理器130、游戏数据捕获器138和兴趣确定器140。一个或更多个游戏摘要服务器116可以包括图形界面管理器130、通信接口122和一个或更多个数据存储库124。一个或更多个游戏摘要服务器116除了包括在一个或更多个客户端设备104中的那些组件,还可以包括图形界面管理器130、游戏数据捕获器138和/或兴趣确定器140的一个或更多个部分,或者不包括在一个或更多个客户端设备104中的那些组件。一个或更多个游戏服务器126可以包括游戏引擎128、通信接口132和数据存储库134。
尽管图1中仅示出了客户端设备104、游戏摘要服务器116和游戏服务器126的一些组件和/或特征,但这并不旨在限制本公开。例如,客户端设备104、游戏摘要服务器116和游戏服务器126可以包括附加的或替代的组件。此外,组件的配置仅作为示例提供,但根据GSS系统100的实现方式,组件的配置可以是高度灵活的。例如,如本文所述,游戏服务器126中的一个或更多个可以实现为一个或更多个游戏摘要服务器116和/或包括其至少一些功能。示例包括图形界面管理器130、游戏数据捕获器138或兴趣确定器140的一个或更多个部分。类似地,游戏摘要服务器116的至少一些功能可以包括在应用程序106中,也可以不包括在应用程序106中,或者至少部分地由客户端设备104执行或不由客户端设备104执行。图1中通过图示游戏摘要服务器116和客户端设备104中的图形界面管理器130、游戏数据捕获器138和兴趣确定器140来指示示例。
作为概述,应用程序106可以包括能够在客户端设备104的显示器108上呈现一个或更多个游戏摘要(例如,游戏摘要136)的各种潜在类型的软件中的任何一种。在至少一个实施例中,应用程序106(和/或一个或更多个客户端设备104上的不同应用程序)可以包括游戏应用程序,该游戏应用程序通过一个或更多个输入设备112促进在客户端设备104上玩游戏(例如,云和/或本地游戏)。通信接口110可以包括用于跨一个或更多个网络(例如,一个或更多个网络102)进行通信的一个或更多个组件和特征,例如接收和/或发送与一个或更多个游戏摘要(例如,元数据、视频剪辑、屏幕截图等)、到输入设备112的用户输入、流媒体内容等相对应的数据。
输入设备112可以包括能够向游戏提供用户输入的任何类型的设备。输入设备可以包括键盘、鼠标、麦克风、触摸屏显示器、控制器、遥控器、耳机(例如,虚拟现实耳机的传感器)和/或其他类型的输入设备。
通信接口110可以包括用于跨一个或更多个网络(例如,一个或更多个网络102)进行通信的一个或更多个组件和特征。通信接口110可被配置为经由本文所述的任意数量的网络102进行通信。例如,为了在图1的GSS系统100中通信,客户端设备104可以通过路由器使用以太网或Wi-Fi连接来访问互联网,以便与一个或更多个游戏摘要服务器116、一个或更多个游戏服务器126和/或其他客户端设备104通信。
图形界面管理器130可以包括各种计算机可读介质中的任何一种。计算机可读介质可以是可以由客户端设备104(A)访问的任何可用介质。计算机可读介质可以包括易失性介质和非易失性介质,以及可移动和不可移动介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。图形界面管理器130可以包括附加或替代组件,例如下面关于图6的存储器604描述的组件。
图形界面管理器130可被配置为在用户界面(例如应用程序106的用户界面150)中生成游戏摘要和/或管理游戏摘要的显示。游戏数据捕获器138可以被配置为从游戏的游戏玩法中捕获游戏数据,例如元数据、视频剪辑和屏幕截图。兴趣确定器140可由游戏数据捕获器138使用,并可被配置为选择和/或识别游戏数据的一个或更多个部分(例如,用户可能感兴趣的游戏数据)。在至少一个实施例中,游戏数据捕获器138、兴趣确定器140和/或图形界面管理器130的一个或更多个部分可以是应用程序106(和/或游戏引擎128)的一部分。
如图1所示,在一个或更多个实施例中,一个或更多个游戏摘要服务器116可以除客户端设备104以外还包括图形界面管理器130、游戏数据捕获器138和/或兴趣确定器140的至少一部分,或者不包括客户端设备104。例如,一个或更多个游戏摘要服务器116可用于GSS系统100的基于客户端-服务器的实现中,其中应用程序106包括客户端应用程序。通信接口122可以被配置为通过本文所述的任意数量的网络102进行通信,以接收和/或发送用于生成一个或更多个游戏摘要的数据(例如,玩游戏会话的视频流、玩游戏会话的记录、录音、视频剪辑、屏幕截图、对一个或更多个输入设备112的用户输入、流式内容等,用于生成元数据和/或从与游戏玩法相关的数据生成)。一个或更多个数据存储库124可用于存储与游戏摘要服务器116相关联的各种信息中的任何一种(例如,视频剪辑、屏幕截图、缩略图、游戏摘要、元数据等)。
游戏服务器126的游戏引擎128可以包括游戏功能,该功能使得客户端设备104的一个或更多个用户能够通过网络玩游戏。游戏引擎128可以至少部分地提供在游戏服务器126中,以用于GSS系统100的基于云的实现。在一些实施例中,然而,游戏引擎128可以至少部分地被包括在应用程序106中。通信接口132可以包括用于跨一个或更多个网络(例如,一个或更多个网络102)进行通信的一个或更多个组件和特征。例如,通信接口132可用于发送和/或接收来自一个或更多个输入设备112的用户输入、游戏玩法的视频数据(例如,记录和/或实时流)等。
如本文所述,应用程序106可以包括能够在客户端设备104的显示器108上呈现一个或更多个游戏摘要(例如,用户界面150中的游戏摘要136)的各种潜在类型的软件中的任何一种。应用程序106的示例包括移动应用程序、计算机应用程序、控制台应用程序、基于云的游戏流应用程序、web浏览器、游戏应用程序、本地应用程序、客户端应用程序、社交应用程序、系统或本机应用程序和/或其他类型的应用程序或软件。
对于基于云的游戏流应用程序,应用程序106可包括指令,该指令在由一个或更多个处理器执行时,可以使处理器(但不限于)接收表示到一个或更多个输入设备112的用户输入的输入数据,将输入数据发送到一个或更多个游戏服务器126,从存储器或本地存储装置检索游戏数据,使用通信接口110从游戏服务器126接收游戏数据,并使游戏显示在显示器108上。更一般地,在一些实施例中,应用程序106可以作为促进者来操作,以实现用户与客户端设备104上的游戏实例之间的交互。
应用程序106可以附加地或可选地包括指令,这些指令在由一个或更多个处理器执行时,使一个或更多个处理器向一个或更多个游戏摘要服务器116发送数据并从中接收数据(例如,游戏数据、游戏摘要等)。例如,应用程序106可以向一个或更多个游戏捕获服务器116发送在一个或更多个客户端设备104上玩游戏时生成的116个视频记录,并从一个或更多个游戏捕获服务器116接收视频剪辑、元数据、屏幕截图、游戏摘要数据和/或从游戏数据中提取的其他数据。本文中的游戏数据通常可指与一个或更多个游戏的一个或更多个玩游戏会话相关联的数据,例如视频数据、音频数据、来自一个或更多个游戏的一个或更多个API消息(例如,包括或识别一个或更多个游戏中事件)和/或用户输入数据(例如,来自用户输入设备112)。附加地或可选地,一个或更多个游戏摘要服务器116可以从游戏服务器126接收至少一些游戏数据。
在一个或更多个实施例中,客户端设备104可以使用应用程序106(例如,在客户端设备104上运行)渲染游戏,而在其他示例中,客户端设备104可以接收显示数据(例如,如关于图8所描述的编码的显示数据),并使用显示数据在显示器108上显示游戏(例如,在一个或更多个在游戏服务器126上运行)。在一些示例中,第一客户端设备(例如客户端设备104(A))可以渲染游戏,而第二客户端设备(例如客户端设备104(B))可以接收显示数据并使用显示数据显示游戏。在由客户端设备接收显示数据的示例中(例如,在客户端设备104未生成渲染的情况下),GSS系统100可以是游戏流媒体系统的一部分,例如下面图8中更详细地描述的游戏流媒体系统800。
显示器108可以包括能够显示游戏和/或游戏摘要的任何类型的显示器(例如,发光二极管显示器(LED)、有机LED显示器(OLED)、液晶显示器(LCD)、有源矩阵OLED显示器(AMOLED)、量子点显示器(QDD)、等离子显示器、LED/LCD显示器和/或其他类型的显示器)。在一些示例中,显示器108可以包括多个显示器(例如,用于计算机游戏的双监视器显示器、用于配置游戏的第一显示器和用于玩游戏的虚拟现实显示器等)。在一些示例中,显示器是触摸屏显示器,例如智能手机、平板电脑、笔记本电脑等的触摸屏,其中触摸屏是客户端设备104的输入设备112中的至少一个。
如本文所述,客户端设备104的应用程序106可以经由显示器108显示一个或更多个游戏摘要,例如用户界面150中的游戏摘要136。为此,图形界面管理器130可以在应用程序106的用户界面150中生成一个或更多个游戏摘要和/或管理游戏摘要的显示。在一个或更多个实施例中,可以在客户端和/或服务器端生成表示游戏摘要和/或其中部分的一个或更多个数据结构。将数据结构渲染为用户界面(UI)可以由在客户端设备上运行的应用程序(例如,应用程序106)来处理。
在至少一个实施例中,图形界面管理器130可以使用游戏中事件的事件日志的元数据和相应的屏幕截图、视频剪辑和/或其他游戏内容生成游戏摘要,其中每一个都可以由游戏数据捕获器138基于分析与玩游戏会话相关联的游戏数据自动生成。元数据可以指示一个或更多个玩游戏会话内游戏中事件的时序信息,以及游戏中事件与屏幕截图、视频剪辑和/或捕获游戏中事件的其他游戏内容之间的关联。作为示例而非限制,元数据可以包括游戏中事件和/或游戏内容的时间戳,其对应于游戏中事件(例如,开始时间、结束时间、非持续性事件的时间等)。时间戳可以用于显示与具有时间上下文的游戏中事件相对应的数据(例如,通过时间线、网格上的缩略图、地图上的图标、每轮统计表等)。
在一个或更多个实施例中,事件日志可以将游戏中事件组织成玩游戏会话的回合或比赛。例如,元数据可以描述回合和时间范围或与回合相对应的段。可与时间、游戏中事件和/或回合相关联的元数据的其他示例包括游戏中对象位置、分数、玩家状态、玩家统计数据、按用户名划分的游戏参与者、事件类型、分数与得分或辅助比率,和/或用于配置游戏摘要136的其他信息。
在用户界面150中显示的游戏摘要136可以采用各种潜在形式,并且可以在各种潜在上下文中显示(例如,使用活动馈送、社交馈送、游戏应用程序、游戏流媒体应用程序等)。作为示例而非限制,图1中的游戏摘要136包括游戏中事件的列表155、视觉指示器和/或界面元素、游戏内容显示区域142、时间线190、回合显示区域192、与游戏摘要相对应的游戏的游戏名称152,以及在与游戏摘要136相对应的一个或更多个游戏会话中玩游戏的时间量154。如本文所述,游戏摘要136可以包括少于所有这些特征和/或不同特征或它们的组合。
列表155可以对应于从游戏会话(例如,通过游戏数据捕获器138)捕获的屏幕截图、视频剪辑和/或其他游戏内容。例如,列表155包括使用视觉指示器显示的条目156、158、160、162和164,视觉指示器可以包括相应的屏幕截图和/或视频剪辑的图像(例如缩略图)。列表155可以采用各种形式,但显示为带子或转盘。在各种实施例中,列表155可以采用转盘、图库、横幅旋转器、横幅滑块、垂直列表、水平列表、网格和/或滚动滑块的形式。
列表155的条目可以与玩游戏会话的一个或更多个游戏中事件相对应,并且与条目相关联的游戏内容(例如,视频剪辑和/或屏幕截图)可捕获或以其他方式对应于相应的游戏中事件的一个或更多个部分。图形界面管理器130可以使用元数据以与游戏会话内发生的游戏中事件对应的顺序显示列表155中的条目。例如,时间戳可用于根据相应的游戏中事件按时间顺序显示条目。
视频剪辑、屏幕截图和/或其他游戏内容可以从玩游戏会话中捕捉亮点,用户可以在游戏摘要136中查看所述亮点。例如,游戏摘要136可以包括与游戏中事件相对应的界面元素,例如视觉指示器和/或关联的复选框、选择区域和/或按钮(例如,在列表155中或与列表155关联)。用户可以选择与一个或更多个游戏中事件对应的一个或更多个界面元素,以使得在游戏摘要136的游戏内容显示区域142中显示、播放和/或加载相应的游戏内容。
例如,在选择条目158时,如图1所示,条目158可能会被强调(例如,突出显示、视觉区分等),以用于表明相应的一个或更多个游戏中事件和/或游戏内容已被选择。同样,在选择条目158时,与游戏中事件相对应的游戏内容166,例如视频剪辑、屏幕截图和/或音频,可以在游戏摘要136的游戏内容显示区域142中显示、播放和/或加载,如图所示。在游戏内容166包括多个项的情况下,用户可以使用游戏内容显示区域142中所示的箭头或其他方式导航各项。附加地或可替换地,游戏内容显示区域142中的箭头和/或其他界面元素可用于选择列表155中的另一条目,例如相邻条目。当另一个条目被选中时(通过列表155、箭头或其他方式),则可以取消选择当前条目。取消选择可以导致重点从视觉指示器移除,以及相应的游戏内容被移除和/或替换为游戏内容显示区域142中新选择的游戏内容。
当游戏摘要136的其他元素对应于使用列表155中的条目选择的一个或更多个游戏中事件时,这些元素也可以基于选择进行更新。例如,在选择时可以类似地强调和/或不强调其他元素。示例包括时间线190中的条目168和/或回合显示区域192中的条目170。
根据元数据,游戏摘要136可以包括与条目(例如,在列表155、时间线190、回合显示区域192中等)相关联地显示的各种补充信息。补充信息可以帮助用户确定要选择哪些条目。例如,条目可以显示与游戏会话内的游戏中事件相对应的时间和/或持续时间的指示。例如,条目164指示其对应于20秒视频剪辑。作为进一步的示例,补充信息可以包括与条目相关联的游戏中事件的事件类型的指示。例如,条目164指示作为游戏摘要136的主体的玩家连续得分两次。其他事件类型可以与玩家得分、辅助、赢、输、升级等的相对应。作为进一步的示例,时间线190包括诸如复选标记178、“x”180和乘法器144之类的符号,这些符号表示一个或更多个特定事件类型和/或其多重或变型的发生。补充信息的其他示例包括游戏状态信息,例如分数信息、玩家信息、团队信息和/或其他信息。例如,回合显示区域192中的条目170包括与回合(以及一个或更多个游戏中事件)对应的得分信息。然而,游戏状态信息可以类似地与列表155和/或时间线190中的条目相关联地呈现。
可以显示时间线190,以传达在事件日志中捕获的一个或更多个游戏中事件的相关时序。与列表155类似,时间线190可以与游戏中事件相关联地指示游戏中事件的时间。时间线190中的条目(例如,条目168)可以根据相关联的时间戳定位。与游戏数据捕获器138自动提取的游戏中事件和/或游戏内容相对应的条目可以在视觉上与玩家和/或用户手动捕获的条目区分开来(例如,手动捕获的菱形和自动捕获的圆圈)。在至少一个实施例中,时间线190中的每个条目可以与列表155中的一个或更多个条目相对应(例如,分别地)。例如,条目168可以对应于与列表155中的条目158相同的游戏中事件。在一个或更多个实施例中,时间线190中的条目可以与列表155中的条目具有一一对应的关系。
在一个或更多个实施例中,时间线中的每个条目可以对应于与列表155中的条目类似的一个或更多个游戏内容项。此外,时间线190中的一个或更多个条目可以是可选择的。例如,在选择条目168时,如图1所示,条目168可以被强调(例如,高亮显示、视觉区分等),指示相应的游戏中事件和/或游戏内容已被选择。同样,如图所示,在选择条目168时,与游戏中事件相对应的游戏内容166(例如(但不限于)视频剪辑、屏幕截图和/或音频)可以在游戏摘要136的游戏内容显示区域142中显示、播放和/或加载。如果选择了另一个条目,则可以取消选择当前条目。取消选择可以导致从条目的视觉指示器中移除强调,以及相应的游戏内容被移除和/或替换为在游戏内容显示区域142中新选择的游戏内容。
回合显示区域192可以表示按回合组织的一个或更多个游戏中事件。例如,回合显示区域192可以包括条目170、条目172、条目174和条目176,它们对应于游戏摘要136的一个或更多个玩游戏会话的各个回合。在一个或更多个实施例中,回合显示区域192可以用于选择在游戏摘要136的一个或更多个其他部分中显示的游戏中事件和/或相应条目的子集。例如,用户对条目170的选择可以将列表155和/或时间线190限制为对应于条目170的事件(例如,在回合内发生的事件)和/或以其他方式导致一个或更多个条目以被显示在游戏摘要136的那些部分中,其可以包括替换与条目170不对应的现有条目。在一个或更多个实施例中,时间线190上的时间可以根据当前选择的回合的时间跨度进行缩放。时间线190上的开始时间可以对应于玩游戏会话中的回合的开始时间,时间线190上的结束时间可以对应于玩游戏会话中的回合的结束时间。
在一个或更多个实施例中,可以一次选择多于一个回合。同样,在一个或更多个实施例中,与回合对应的条目的取消选择可以从与该回合对应的游戏摘要136中的其他部分移除条目。在一些示例中,条目的选择可能会自动导致取消选择一个或更多个当前选择的条目。如图1所指示的,与在游戏摘要136的其他部分中选择的条目类似,可以在游戏摘要136中强调选择的条目。取消选择条目可能同样会导致该条目的重要性降低。
关于图2至图4描述了游戏摘要136中可能包含的特征的其他示例,除了关于图1所描述的特征之外,或者不包括关于图1所描述的特征。现在参考图2,图2示出了根据本公开的一些实施例的包括虚拟环境的地图204的游戏中事件的游戏摘要136的示例,其中一个或更多个游戏中事件在虚拟环境中发生。作为示例而非限制,图2中的游戏摘要136包括列表155、游戏内容显示区域142和时间线190。游戏内容显示区域142被显示为包括回放控制元素,例如用户可以与之交互以查看在一个或更多个选定的游戏中事件期间发生的活动的播放按钮和时间线。
地图204可以动态更新,以说明一个或更多个对象和/或实体在整个玩游戏会话随时间的移动,如元数据所示。例如,一个或更多个玩家、NPC和/或对象的位置可以叠加在地图204上或以其他方式用于注释地图204,以指示这些对象或实体在玩游戏会话的特定时间位于虚拟环境中的位置。时间可以至少基于在游戏摘要136中做出的其他选择,例如选择的游戏中事件、游戏内容和/或用户界面150中的条目。例如,在游戏内容显示区域142对应于包括视频剪辑的游戏内容202的情况下,当视频剪辑播放地图204中显示的游戏中事件、对象和/或实体和/或可以在地图204中添加、删除,或者修改其位置或其他属性(例如,健康、项目数、分数、事件类型等)以反映视频剪辑中相应时间的游戏状态。用于更新地图204的对应信息可以在元数据中被捕获,并且一个或更多个更新可以周期性地和/或连续地发生。元数据值之间的插值可用于为更新提供中间值。地图204可以类似地被更新以反映游戏内容显示区域142中的其他游戏内容的游戏状态,例如选择的屏幕截图或音频剪辑。
在一个或更多个实施例中,注释地图204可包括在整个虚拟环境中添加、移除和/或更新一个或更多个实体或对象的一个或更多个路径。例如,玩家(例如,游戏摘要136的主题)在整个游戏中的路径208用虚线显示。路径的端点可以对应于与正在观看的视频剪辑中的点220相关联的播放器的位置。在其他示例中,端点可能对应于正在查看的屏幕截图的时间戳。地图204上的视图指示器206可以指示在与正在观看的游戏内容相关联的当前时间内玩家在虚拟环境中的位置,和/或可对应于虚拟环境中在该时间可供游戏观看或以其他方式与玩家相关联的区域。在一个或更多个实施例中,地图204可以对应于在玩游戏会话期间向玩家显示的游戏中地图。地图204的注释可以限于玩家帐户已知和/或玩家可在游戏中地图上查看(例如,在游戏会话的相应时间)的信息,或可以包括玩家帐户未知和/或玩家可查看的信息(例如,从其他玩家或观众聚合的)。
现在参考图3,图3示出了根据本公开的一些实施例的游戏中事件的游戏摘要136的示例,其中包括捕获一个或更多个游戏中事件的游戏内容库300。在一个或更多个实施例中,库300可以是关于图1和图2描述的列表155的示例。如上所述,游戏摘要136可以对应于来自多个游戏、跨越多个游戏平台和/或多于一个玩游戏会话的游戏中事件和/或游戏内容。例如,一组游戏内容302被指示为来自游戏2,一组游戏内容310被指示为来自游戏3。作为示例而非限制,指示图像304以显示与游戏会话相关联的地图。在一个或更多个实施例中,图像304的用户选择可以在游戏内容显示区域142中显示相关联的游戏内容,游戏内容显示区域142可以包括在游戏摘要136中,基于选择添加到游戏摘要136中,和/或基于用户选择包括在弹出窗口中。在一个或更多个实施例中,用户对条目的选择可导致显示对应的地图204,如关于图2所述。
现在参考图4,图4示出了根据本公开的一些实施例的可以包括在游戏中事件的游戏摘要136中的附加信息的示例。图4的游戏摘要136包括游戏标题和从相应的玩游戏会话捕获的若干游戏中事件的指示符402以及相关时间406(例如,“今天下午1:00”)。下面,示出了五个捕获事件的图像,例如图像404,其可对应于本文描述的列表155。与列表155的其他示例中的条目一样,标记可以包括在图像或其他视觉指示器中(例如,双重消除、评分等)。这些图像可以作为游戏中事件的视觉预览,并且可以包括基本游戏内容的缩略图。
此外,游戏摘要136包括游戏状态信息,例如所玩游戏的级别414(例如,级别1、2、3等)、游戏的模式416(例如,团队、夺取旗帜、自由混战等)和玩游戏的时间。游戏摘要136还可以包括表现或统计摘要420,其可以包括表现和/或统计信息,例如在一个或更多个特定玩游戏会话或其聚合中的淘汰次数、分数、点数或任何其他值得注意的事件。还包括游戏统计数据422,其可以描述重要的统计数据,例如每一轮的得分、玩了多少轮、淘汰次数,或者可能有助于用户在玩游戏会话期间跟踪其进度的任何其他游戏统计数据。在方面中,活动馈送还可以包括成绩列表424。成绩424将取决于所玩游戏的类型。例如,在中世纪主题的游戏中,成绩424可以包括完成的目标数量(例如,征服的城镇、消灭的敌人等)。除了这些特征之外,活动馈送还可以包括地图428,其示出了游戏路线的地图以及用户在活动馈送摘要400中所示的整个捕获事件中遵循的路径。
回到图1,提供了如何从游戏数据中捕获游戏中事件和/或游戏内容的进一步示例。如本文所述,游戏数据可指与一个或更多个游戏的一个或更多个玩游戏会话相关联的数据,例如视频数据、音频数据、来自一个或更多个游戏的一个或更多个API消息(例如,包括或识别一个或更多个游戏中事件),和/或由一个或更多个游戏生成和/或与之相关联的用户输入数据(例如,来自用户输入设备112)。
在一个或更多个实施例中,应用程序106和/或游戏数据捕获器138可以包括指令,指令在被执行时,将记录玩游戏会话中的游戏数据,并将记录的游戏数据本地存储在客户端设备104上,或将记录的游戏数据发送到游戏摘要服务器116或游戏服务器126,以分别存储在数据存储库124和134中。在客户端设备104不生成渲染的示例中,游戏服务器126可以记录和存储游戏数据,或者将游戏数据发送到游戏摘要服务器116以存储在数据存储库124中。
如本文所述,可能期望从包括有趣内容的游戏数据中识别剪辑(例如,视频和/或音频)和/或其他游戏内容,例如在其中提供更大量用户输入的剪辑和/或在玩游戏会话中发生某些重要事件的剪辑。因此,可以为此目的提供游戏数据捕获器138。
如本文所述,游戏数据捕获器138可以是应用程序106的一部分,也可以是单独应用程序(例如,一个或更多个系统服务、程序等)的一部分。游戏数据捕获器138可以包括当由处理器执行时,使处理器不限于录制或记录游戏数据(例如输入设备使用数据、视频数据和/或与玩游戏会话相关联的其他数据)的指令。输入设备使用数据的示例包括描述或代表键盘、鼠标或其他输入设备使用的数据,这些数据与一个或更多个游戏会话相关。可记录的信息的示例包括键盘笔划、鼠标点击、鼠标移动、麦克风输入、摄像机输入和/或在玩游戏会话期间对客户端设备104的输入。此外,游戏数据捕获器138可以存储时间戳信息以及与游戏会话视频数据的时间戳信息相关的这些输入。
游戏数据捕获器138可以使用兴趣确定器140,兴趣确定器140通常可以配置为向游戏数据捕获器138指示用户可能感兴趣的游戏内容。可以设想,兴趣确定器140可以自动识别游戏内容,或者可以由用户和/或玩家手动指示(例如,通过一个或更多个用户输入或命令来创建标签、书签、捕获事件等)这样做。在一个或更多个实施例中,兴趣确定器140可以分析玩游戏会话的游戏数据以检测游戏内容。该分析可在记录的游戏数据上执行,例如在游戏会话完成后,和/或在游戏会话发生时进行实时分析。兴趣确定器140可以是应用程序106的一部分,或者可以是单独应用程序(例如,一个或更多个系统服务、程序等)的一部分。在某些示例中,兴趣确定器140是与游戏数据捕获器138相同的应用程序的一部分。
兴趣确定器140可以使用多种潜在的方法来检测游戏数据中的游戏内容和/或相应的游戏中事件(例如,自动地),本文描述了这些方法的示例。为此,兴趣确定器140分析任何形式的游戏数据,例如游戏流、记录的游戏数据和/或识别的游戏内容,以确定和/或检测游戏中事件的发生。例如,分析可用于触发捕获事件,并指示从游戏流捕获(或从缓冲区保存)游戏内容的至少一部分,和/或对检测到的游戏中事件和/或其一个或更多个属性进行分类(例如,用于包含在一个或更多个游戏摘要136的元数据中)。游戏数据捕获器138可以基于人工智能、对象检测、计算机视觉、文本识别和/或其他分析方法来确定游戏中事件已经发生。例如,兴趣确定器140可以利用任何类型的机器学习模型来检测游戏中的事件和相应的游戏内容,例如使用线性回归、逻辑回归、决策树、支持向量机(SVM)、朴素贝叶斯、k最近邻(Knn)、K均值聚类、随机森林、降维算法、梯度提升算法、神经网络(例如,自动编码器、卷积、递归、感知器、长/短期记忆、霍普菲尔德、玻尔兹曼、深度信念、反卷积、生成对抗、液态机等)的机器学习模型和/或其他类型的机器学习模型。在一些实施例中,机器学习模型包括深度卷积神经网络。
可以检测到的游戏中事件的例子包括消除游戏中的另一个角色、收集某个物品、得分、打出本垒打、攀登高楼或山、执行或实现用户指定的任务或目标、升级、赢一轮、输一轮和/或其他事件类型。例如,在一些实施例中,兴趣确定器140可以识别指示游戏中事件的游戏的十字线或其他界面元素的变化,例如游戏内消除角色并触发捕获事件。作为进一步的示例,游戏数据捕获器138可以识别游戏实例中的文本(例如,使用光学字符识别(OCR))来表示“玩家1淘汰了玩家4”或“玩家1触地得分”,或其他游戏中事件以触发一个或更多个捕获事件。依赖于目标检测的方法可以分析游戏视觉数据,以识别一个或更多个捕获事件和/或对游戏内容进行分类。
在一个或更多个实施例中,为了识别一个或更多个游戏中事件,兴趣确定器140可以基于游戏数据确定玩游戏会话中更高级别(例如,频率或浓度)的动作的持续时间。例如,游戏数据可用于识别玩游戏会话期间包括更高级别动作的时间段,并且这些持续时间或时间段可被称为“预测兴趣的持续时间”。当检测到时间段时,可以使用公开的方法(例如,对于屏幕截图)来识别特定时间。例如,兴趣确定器140可以至少部分地基于每分钟高按键次数(KPMs)、动作键选择的高百分比和/或其他输入设备度量的时间段,将玩游戏会话内的时间段识别为高动作。此外,可以对这些输入设备度量进行额外的分析,以便在识别更高的动作时间段时减少潜在的噪声。例如,可以将兴趣级别算法应用于输入设备度量,以便随着时间的推移将度量转换为运行活动测量结果。
基于随时间变化的兴趣级别算法的值,可以确定与潜在的高游戏中活动相关的时间段。例如,具有高于阈值(例如,平均值)的数据点(例如,连续)的时间段可被识别为与可能值得突出显示的剪辑或屏幕截图相关。时间段的开始可以基于运行活动测量结果超过阈值的时间,时间段的结束可以基于运行活动测量结果低于阈值的时间。然后可以识别对应于时间段的视频剪辑或屏幕截图。例如,视频剪辑可以存储为捕获跨越时间段的帧的离散文件,和/或可以存储为元数据,该元数据用于识别游戏会话视频数据中与时间段相对应的区域(例如,使用开始时间戳、结束时间戳和/或持续时间)。
虽然可以使用用户输入(例如,输入设备度量)将游戏中的活动量化为兴趣级别,但除了用户输入之外或代替用户输入,还可以使用其他类型的数据。例如,可以使用游戏会话视觉和/或音频度量,其对应于游戏中的相机和/或视野移动、颜色变化、音频音量、音频动态和/或音频变化等。此外,虽然在一些示例中,兴趣确定器140可以识别预测兴趣的持续时间,然后使用该持续时间来生成视频剪辑或屏幕截图,在其他示例中,兴趣确定器140可以分析视频剪辑(使用任何合适的方法生成)以确定其是否足够有趣,例如通过使用兴趣级别算法(例如,基于确定剪辑的平均兴趣级别大于阈值)。
一旦使用本文所述的任何方法将时间段识别为预测兴趣的持续时间,就可以从玩游戏会话的视频数据中识别相应的视频段。例如,兴趣确定器140可以将与预测兴趣的持续时间对应的时间戳发送到应用程序106、游戏服务器126和/或玩游戏捕获服务器116。然后,这些组件的任何组合可以使用时间戳从上述游戏会话视频数据(例如,存储在数据存储库124或134中)生成和/或识别离散视频剪辑,并在元数据中针对一个或更多个游戏摘要136对视频剪辑或其他游戏内容加时间戳。
游戏摘要服务器116可以包括一个或更多个服务器,用于对来自游戏会话的游戏内容和/或游戏数据进行存储、整理、聚类和/或分类。尽管在图1中仅示出了游戏摘要服务器138的一些组件和/或特征,但这并不旨在限制。例如,游戏摘要服务器166可以包括附加的或替代的组件,例如下面关于图9的计算设备900描述的组件。
如图1进一步所示,游戏摘要服务器116可以与游戏服务器126分开或不同;然而,这并不是为了限制。在某些示例中,游戏摘要服务器116可以是与游戏服务器126相同或类似的服务器(例如,在游戏服务器126上作为任务运行)。在某些示例中,游戏摘要服务器116可由第一实体(例如,第一公司)操作或托管,而游戏服务器126可由第二实体(例如,第二不同公司)操作或托管。在此类示例中,第二实体可以是游戏开发者,并且第一实体和第二实体可以共享数据,使得第一实体可以使用从第二实体接收的数据来识别感兴趣的游戏内容。在其他示例中,玩游戏捕获服务器116和游戏服务器126可由同一实体操作或托管。在进一步的示例中,GSS系统100可以完全在客户端设备104上实现,和/或被示为包括在服务器中的一个或更多个组件和/或其功能可以至少部分地在客户端设备104上实现。
游戏摘要服务器116可以包括一个或更多个应用程序编程接口(API),以实现与游戏服务器126或客户端设备104的信息通信(例如,游戏数据、时间戳、游戏内容选择数据等)。例如,游戏摘要服务器116可以包括一个或更多个与客户端设备104或游戏服务器126接口以接收游戏数据和/或游戏摘要数据的游戏API。作为又一示例,游戏摘要服务器116可以包括一个或更多个API,该API与客户端设备104接口,用于传输分类的游戏内容和/或游戏摘要数据。尽管本文描述了不同的API,但是这些API可以是单个API的一部分,可以组合两个或更多个API,可以包括不同的API,而不是本文作为示例描述的API,或者它们的组合。
游戏服务器126可以包括一个或更多个服务器(例如,专用游戏服务器),用于存储、托管、管理以及在一些示例中渲染游戏。在某些示例中,第一游戏服务器126可用于创建、更新和修改游戏(例如,游戏的程序代码),第二游戏服务器126可用于托管游戏(例如,作为专用游戏服务器)。尽管在图1中仅示出了游戏服务器126的一些组件和/或特征,但这并不旨在限制。例如,游戏服务器126可以包括附加的或替代的组件,例如下面关于图9的计算设备900描述的组件。
游戏服务器126可以包括一个或更多个API,以使客户端设备104能够进行游戏,和/或能够与游戏摘要服务器116和/或客户端设备104进行信息(例如,用户配置文件、游戏会话数据、游戏数据、游戏摘要等)通信。例如,游戏服务器126可以包括一个或更多个与客户端设备104的应用程序106接口的游戏API,以使客户端设备104能够进行游戏。作为又一示例,游戏服务器126可包括一个或更多个API,其接收分类的游戏内容和/或其他游戏摘要数据以用于发送到客户端设备104。尽管本文描述了不同的API,但是这些API可以是单个API的一部分,可以组合两个或更多个API,可以包括不同的API,而不是本文作为示例描述的API,或者它们的组合。
游戏服务器126可以包括游戏引擎128。游戏引擎128可以包括使一个或更多个用户能够通过网络玩游戏的游戏的功能。游戏引擎128可以包括渲染引擎、音频引擎、物理引擎、动画引擎、人工智能引擎、网络引擎、流媒体引擎、存储器管理引擎和/或其他组件或特征。游戏引擎128可用于在游戏会话期间生成部分或全部游戏会话数据。
现在参考图5,方法500的每个框以及本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合执行的计算过程。例如,各种功能可以由执行存储在存储器中的指令的处理器来执行。这些方法还可以被实现为存储在计算机存储介质上的计算机可用指令。这些方法可以由独立应用程序、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件提供,仅举几例。此外,通过示例的方式,描述了关于图1的系统的方法。然而,这些方法可以附加地或替代地由任何一个系统或系统的任何组合执行,包括但不限于本文所述的系统。
图5示出了根据本公开的一些实施例的显示了用于呈现包括与游戏中事件相关联的时间线的游戏摘要的方法的流程图。在框B502,方法500包括接收指示游戏中事件的时序信息的元数据。例如,图形界面管理器130和/或应用程序106可以接收元数据,该元数据指示一个或更多个游戏中事件在一个或更多个游戏中会话中的时序,以及一个或更多个游戏中事件与捕获一个或更多个游戏中事件的一个或更多个视频剪辑之间的关联。可以至少基于分析代表一个或更多个玩游戏会话的视频数据和/或其他游戏数据来确定游戏中事件。
在框B504,方法500包括使用元数据呈现与一个或更多个游戏中事件对应的界面元素以及与一个或更多个游戏中事件相关联地指示时序信息的时间线。例如,图形界面管理器130和/或应用程序106可以使用元数据在用户界面150中呈现对应于一个或更多个游戏中事件的一个或更多个界面元素,以及与一个或更多个游戏中事件相关联地指示一个或更多个时序的时间线190。
在框B506,方法500包括加载捕获游戏中事件的游戏内容,并至少基于界面元素的选择来更新时间线以指示游戏中事件。例如,图形界面管理器130和/或应用程序106可以在用户界面150中加载一个或更多个视频剪辑中的视频剪辑的图像数据,该视频剪辑捕获一个或更多个游戏中事件,并至少基于对一个或更多个界面元素中的与一个或更多个游戏中事件相对应的界面元素的选择以及至少基于一个或更多个游戏中事件与一个或更多个视频剪辑之间的关联来更新时间线以指示一个或更多个游戏中事件。
现在参考图6,图6是示出了根据本公开的一些实施例的用于呈现包括与游戏中事件相关联的列表的游戏摘要的方法600的流程图。在框B602,方法600包括接收指示游戏中事件的时间的元数据。例如,图形界面管理器130和/或应用程序106可以访问元数据,该元数据指示一个或更多个玩游戏会话中的一个或更多个游戏中事件的一个或多个时间,并且包括一个或更多个游戏中事件与捕获一个或更多个游戏中事件的一个或更多个游戏内容项(例如,图像、视频等)之间的一个或更多个关联。
在框B604,方法600包括在使用元数据的游戏中事件列表中,呈现一个与游戏中事件对应的界面元素,其位置与玩游戏会话中的游戏中事件的时序信息相对应。例如,图形界面管理器130和/或应用程序106可以在用户界面150中使用元数据的游戏中事件列表155中,在与一个或更多个玩游戏会话的时序信息相对应的一个或更多个位置处,呈现与一个或更多个游戏中事件相对应的一个或更多个界面元素。
在框B606,方法600包括至少基于对界面元素的选择来呈现与游戏中事件相对应的游戏内容。例如,图形界面管理器130和/或应用程序106可以至少基于游戏中事件列表中的一个或更多个界面元素的一个或更多个选择,以及一个或更多个游戏中事件和一个或更多个游戏内容之间的一个或更多个关联,在用户界面中呈现对应于一个或更多个游戏中事件的一个或更多个游戏内容项。
现在参考图7,图7示出了根据本公开的一些实施例的用于呈现游戏摘要的方法700的流程图,该游戏摘要包括与游戏中事件相关联的虚拟环境的地图。在框B702,方法700包括接收指示与游戏中事件相关联的时序信息和位置的元数据。例如,图形界面管理器130和/或应用程序106可以接收指示与游戏的游戏会话的游戏中事件相关联的一个或多个时间以及一个或更多个位置的元数据。可以至少基于分析与玩游戏会话相关联的游戏数据来确定游戏中事件。
在框B704,方法700包括使用元数据呈现与游戏中事件对应的界面元素,以及游戏的虚拟环境的地图。例如,图形界面管理器130和/或应用程序106可以使用元数据呈现与玩游戏会话的一个或更多个游戏中事件相对应的一个或更多个界面元素,以及游戏的一个或更多个虚拟环境的一个或更多个地图。
在框B706,该方法包括至少基于界面元素的选择,使用位置和时序信息来注释地图。例如,图形界面管理器130和/或应用程序106可以至少基于与一个或更多个游戏中事件相对应的一个或更多个界面元素的一个或更多个选择,使用与一个或更多个游戏中事件相关联的一个或更多个位置和时序信息来注释一个或更多个地图中的至少一个。
现在参考图8,图8是根据本公开的一些实施例的游戏流媒体系统800的示例系统图。图8包括游戏服务器802(其可包括与图1的游戏服务器126和/或图9的计算设备900类似的组件、特征和/或功能)、客户端设备804(其可包括与图1的客户端设备104和/或图9的计算设备900类似的组件、特征和/或功能),以及网络805(其可以类似于图1的网络102)。在本公开的一些实施例中,可以实现游戏流媒体系统800。应用程序会话可对应于游戏流媒体应用程序(例如,NVIDIA GEFORCE NOW)、远程桌面应用程序、模拟应用程序(例如,自主或半自主车辆模拟)、计算机辅助设计(CAD)应用程序、虚拟现实(VR)和/或增强现实(AR)流媒体应用程序、深度学习应用程序和/或其他应用程序类型。
在游戏流媒体系统800中,对于游戏会话,客户端设备804可以仅接收响应于输入设备的输入的输入数据,将输入数据发送到游戏服务器802,从游戏服务器802接收编码的显示数据,并在显示器824上显示显示数据。因此,计算强度更高的计算和处理被卸载到游戏服务器802(例如,游戏会话的渲染由游戏服务器802的GPU执行)。换句话说,游戏会话从游戏服务器802流式传输到客户端设备804,从而降低客户端设备804对图形处理和渲染的要求。
例如,关于游戏会话的实例化,客户端设备804可以基于从游戏服务器802接收显示数据,在显示器824上显示游戏会话的帧。客户端设备804可以接收到输入设备之一的输入,并作为响应生成输入数据。客户端设备804可以经由通信接口820并通过网络806(例如,因特网)将输入数据发送到游戏服务器802,并且游戏服务器802可以经由通信接口818接收输入数据。CPU可以接收输入数据,处理输入数据,并向GPU发送数据,从而使GPU生成游戏会话的渲染。例如,输入数据可以代表用户角色在游戏中的移动、发射武器、重新加载、传球、使车辆转弯等。渲染组件812可以渲染游戏会话(例如,代表输入数据的结果),渲染捕获组件814可以将游戏会话的渲染捕获为显示数据(例如,捕获游戏会话的渲染帧的图像数据)。编码器816随后可以对显示数据进行编码以生成编码的显示数据,并且编码的显示数据可以经由通信接口818经由网络806发送到客户端设备804。客户端设备804可以经由通信接口820接收编码的显示数据,解码器822可以解码编码的显示数据以生成显示数据。然后,客户端设备804可以经由显示器824显示显示数据。
图9是适用于实施本公开的一些实施例的示例计算设备900的框图。计算设备900可以包括直接或间接耦合以下设备的互连系统或总线902:存储器904、一个或更多个中央处理单元(CPU)906、一个或更多个图形处理单元(GPU)908、通信接口910、输入/输出(I/O)端口912、输入/输出组件914、电源916、一个或更多个呈现组件918(例如,显示器)和一个或更多个逻辑单元920。
在至少一个实施例中,计算设备900可包括一个或更多个虚拟机(VM),和/或其任何组件可包括虚拟组件(例如,虚拟硬件组件)。对于非限制性示例,一个或更多个GPU 908可以包括一个或更多个vGPU,一个或更多个CPU 906可以包括一个或更多个vCPU,和/或一个或更多个逻辑单元920可以包括一个或更多个虚拟逻辑单元。因此,计算设备900可以包括离散组件(例如,专用于计算设备900的完整GPU)、虚拟组件(例如,专用于计算设备900的GPU的一部分)或其组合。
互连系统902可以表示一个或更多个链路或总线,例如地址总线、数据总线、控制总线或其组合。互连系统902可以包括一种或多种总线或链路类型,例如工业标准体系结构(ISA)总线、扩展工业标准体系结构(EISA)总线、视频电子标准协会(VESA)总线、外围组件互连(PCI)总线、外围组件互连快速(PCIe)总线和/或另一种类型的总线或链路。在一些实施例中,组件之间存在直接连接。例如,CPU 906可以直接连接到存储器904。此外,CPU 906可以直接连接到GPU 908。在组件之间存在直接连接或点对点连接的情况下,互连系统902可包括用于执行连接的PCIe链路。在这些示例中,计算设备900中不需要包括PCI总线。
互连系统902可代表一条或多条总线,例如地址总线、数据总线、控制总线或其组合。互连系统902可以包括一种或多种总线类型,例如工业标准体系结构(ISA)总线、扩展工业标准体系结构(EISA)总线、视频电子标准协会(VESA)总线、外围组件互连(PCI)总线、外围组件互连直通(PCIe)总线和/或另一种类型的总线。
尽管图9中的各个框显示为通过互连系统902与线路连接,但这并不是为了限制,只是为了清楚起见。例如,在某些实施例中,诸如显示设备的呈现组件918可以被视为I/O组件914(例如,如果显示器是触摸屏)。作为另一示例,CPU 906和/或GPU 908可以包括存储器(例如,除了GPU908、CPU 906和/或其他组件的存储器之外,存储器904还可以代表存储设备)。换句话说,图9的计算设备仅仅是说明性的。在诸如“工作站”、“服务器”、“笔记本电脑”、“台式机”、“平板电脑”、“客户端设备”、“移动设备”、“手持设备”、“游戏控制台”、“电子控制单元(ECU)、“虚拟现实系统”和/或其他设备或系统类型之间没有区别,因为所有这些都是在图9的计算设备的范围内设想的。
存储器904可以包括任何一种计算机可读的介质。计算机可读介质可以是可以由计算设备900访问的任何可用介质。计算机可读介质可以包括易失性和非易失性介质以及可移除和不可移除介质。举例而言且非限制性地,计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质可以包括易失性和非易失性介质和/或可移除和不可移除介质,其以用于存储诸如计算机可读指令、数据结构、程序模块和/或其他数据类型之类的信息的任何方法或技术实现。例如,存储器904可以存储计算机可读指令(例如其表示程序和/或程序元素,例如操作系统)。计算机存储介质可以包括但不限于RAM、ROM、EEPROM、闪存或者其他存储技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备,或者可以用来存储期望的信息且可以由计算设备900访问的任何其他介质。当在本文使用时,计算机存储介质并不包括信号本身。
计算机存储介质可以在诸如载波之类的调制数据信号或其他传输机制中包含计算机可读指令、数据结构、程序模块和/或其他数据类型,并且包括任何信息输送介质。术语“调制数据信号”可以指这样的信号,该信号使它的特性中的一个或更多个以这样的将信息编码到该信号中的方式设置或改变。举例而言且非限制性地,通信介质可以包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声音、RF、红外和其他无线介质之类的无线介质。任何以上所述的组合也应当包含在计算机可读介质的范围内。
CPU 906可以被配置为执行计算机可读指令,以便控制计算设备900的一个或更多个组件执行本文描述的方法和/或过程中的一个或更多个。CPU 906中的每一个可以包括能够同时处理大量软件线程的一个或更多个核(例如一个、两个、四个、八个、二十八个、七十二个等等)。CPU 906可以包括任何类型的处理器,并且可以包括不同类型的处理器,这取决于实现的计算设备900的类型(例如具有用于移动设备的较少核的处理器以及具有用于服务器的更多核的处理器)。例如,取决于计算设备900的类型,处理器可以是使用精简指令集计算(RISC)实现的ARM处理器或者使用复杂指令集计算(CISC)实现的x86处理器。除了一个或更多个微处理器或者诸如数学协处理器之类的补充协处理器之外,计算设备900还可以包括一个或更多个CPU 906。
除了或替代CPU 906,GPU 908还可以被配置为执行至少一些计算机可读指令,以控制计算设备900的一个或更多个组件执行一个或更多个本文所述的方法和/或过程。一个或更多个GPU 908可以是集成GPU(例如,具有一个或更多个CPU 906)和/或一个或更多个GPU 908可以是离散GPU。在实施例中,一个或更多个GPU 908可以是一个或更多个CPU 906的协处理器。计算设备900可以使用GPU 908来渲染图形(例如,3D图形)或执行通用计算。例如,GPU 908可用于GPU上的通用计算(GPGPU)。GPU908可以包括能够同时处理数百或数千个软件线程的数百或数千个核。GPU 908可以响应于渲染命令(例如经由主机接口接收的来自CPU 906的渲染命令)而生成用于输出图像的像素数据。GPU 908可以包括诸如显示内存之类的用于存储像素数据或任何其他合适的数据(例如GPGPU数据)的图形内存。显示内存可以作为存储器904的部分而被包括。GPU 908可以包括(例如经由链路)并行操作的两个或更多GPU。链路可以直接连接GPU(例如,使用NVLINK),也可以通过交换机(例如,使用NVSwitch)连接GPU。当组合在一起时,每个GPU 908可以生成用于输出的不同部分或者用于不同输出的像素数据或GPGPU数据(例如,第一GPU用于第一图像,第二GPU用于第二图像)。每个GPU可以包括它自己的存储器,或者可以与其他GPU共享存储器。在计算设备900不包含GPU 908的示例中,可以使用CPU 906渲染图形。
除了或替代CPU 906和/或GPU 908,逻辑单元920可以被配置为执行至少一些计算机可读指令,以控制计算设备900的一个或更多个组件来执行本文描述的一种或更多种方法和/或过程。在实施例中,CPU 906、GPU908和/或逻辑单元920可以离散地或联合地执行方法、过程和/或其部分的任何组合。一个或更多个逻辑单元920可以是一个或更多个CPU 906和/或一个或更多个GPU 908的一部分和/或集成在其中,和/或一个或更多个逻辑单元920可以是CPU 906和/或GPU 908的离散组件或以其他方式在其外部。在实施例中,一个或更多个逻辑单元920可以是一个或更多个CPU 906和/或一个或更多个GPU 908的处理器。
逻辑单元920的示例包括一个或更多个处理核心和/或其组件,例如数据处理单元(DPU)、张量核心(TC)、张量处理单元(TPU)、像素视觉核心(PVC)、视觉处理单元(VPU)、图形处理集群(GPC)、纹理处理集群(TPC)、流式多处理器(SM)、树遍历单元(TTU)、人工智能加速器(AIA)、深度学习加速器(DLA)、算术逻辑单元(ALU))、专用集成电路(ASIC)、浮点单元(FPU)、输入/输出(I/O)元件、外围组件互连(PCI)或外围组件互连快速(PCIe)元件等。
通信接口910可以包括一个或更多个接收器、发送器和/或收发器,其使得计算设备900能够经由电子通信网络与其他计算设备通信,包括有线和/或无线通信。通信接口910可以包括使能通过若干不同网络中的任何网络进行通信的组件和功能,所述网络例如无线网络(例如Wi-Fi、Z波、蓝牙、蓝牙LE、ZigBee等等)、有线网络(例如通过以太网或InfiniBand通信)、低功率广域网(例如LoRaWAN、SigFox等等)和/或因特网。在一个或更多个实施例中,一个或更多个逻辑单元920和/或通信接口910可以包括一个或更多个数据处理单元(DPU),用于将通过网络和/或通过互连系统902接收的数据直接传输至一个或更多个GPU 908(例如,其存储器)。
I/O端口912可以使得计算设备900能够逻辑地耦合到包括I/O组件914、呈现组件918和/或其他组件在内的其他设备,其中一些可以内置到(例如集成到)计算设备900中。说明性I/O组件914包括麦克风、鼠标、键盘、操纵杆、游戏垫、游戏控制器、碟形卫星天线、浏览仪、打印机、无线设备等等。I/O组件914可以提供处理用户生成的空中手势、语音或其他生理输入的自然用户接口(NUI)。在一些实例中,输入可以传输至适当的网络元件以便进一步处理。NUI可以实现语音识别、手写笔识别、面部识别、生物特征识别、屏幕上和邻近屏幕的手势识别、空中手势、头部和眼睛跟踪以及与计算设备900的显示器关联的触摸识别(如下文更详细地描述的)的任意组合。计算设备900可以包括诸如立体相机系统之类的深度相机、红外相机系统、RGB相机系统、触摸屏技术以及这些的组合,以用于手势检测和识别。此外,计算设备900可以包括使能运动检测的加速度计或陀螺仪(例如作为惯性测量单元(IMU)的部分)。在一些示例中,加速度计或陀螺仪的输出可以由计算设备900用来渲染沉浸式增强现实或者虚拟现实。
电源916可以包括硬接线电源、电池电源或者其组合。电源916可以向计算设备900供电以使得计算设备900的组件能够操作。
呈现组件918可以包括显示器(例如监视器、触摸屏、电视屏幕、平视显示器(HUD)、其他显示器类型或者其组合)、扬声器和/或其他呈现组件。呈现组件918可以接收来自其他组件(例如GPU 608、CPU 906、DPU等等)的数据,并且输出该数据(例如作为图像、视频、声音等等)。
图10示出了示例数据中心1000,其可用于本公开的至少一个实施例中。数据中心1000可以包括数据中心基础设施层1010、框架层1020、软件层1030和应用层1040。
如图10所示,数据中心基础设施层1010可以包括资源协调器1012、分组的计算资源1014和节点计算资源(“节点C.R.”)1016(1)-1016(N),其中“N”代表任何完整的正整数。在至少一个实施例中,节点C.R.1016(1)-1016(N)可以包括但不限于任何数量的中央处理单元(CPU)或其他处理器(包括DPU、加速器、现场可编程门阵列(FPGA)、图形处理器或图形处理单元(GPU)等),内存设备(例如动态只读内存),存储设备(例如固态硬盘或磁盘驱动器),网络输入/输出(NW I/O)设备,网络交换机,虚拟机(VM),电源模块和冷却模块等。在一些实施例中,节点C.R.1016(1)-1016(N)中的一个或更多个节点C.R.可以对应于具有一个或更多个上述计算资源的服务器。此外,在一些实施例中,节点C.R.
1016(1)-1016(N)可以包括一个或更多个虚拟组件,例如vGPU、vCPU等,和/或节点C.R.1016(1)-1016(N)中的一个或更多个可以对应于虚拟机(VM)。
在至少一个实施例中,分组的计算资源1014可以包括容纳在一个或更多个机架内的节点C.R.1016的单独分组(未示出),或者容纳在各个地理位置的数据中心内的许多机架(也未示出)。分组的计算资源1014内的节点C.R.1016的单独分组可以包括可以被配置或分配为支持一个或更多个工作负载的分组的计算、网络、内存或存储资源。在至少一个实施例中,可以将包括CPU、GPU、DPU和/或其他处理器的几个节点C.R.1016分组在一个或更多个机架内,以提供计算资源来支持一个或更多个工作负载。一个或更多个机架还可以包括以任意组合的任何数量的电源模块、冷却模块和/或网络交换机。
资源协调器1012可以配置或以其他方式控制一个或更多个节点C.R.1016(1)-1016(N)和/或分组的计算资源1014。在至少一个实施例中,资源协调器1012可以包括用于数据中心1000的软件设计基础结构(SDI)管理实体。资源协调器1012可以包括硬件、软件或其某种组合。
在至少一个实施例中,如图10所示,框架层1020可以包括作业调度器1032、配置管理器1034、资源管理器1036和分布式文件系统1038。框架层1020可以包括支持软件层1030的软件1050和/或应用程序层1040的一个或更多个应用程序1042的框架。软件1050或应用程序1042可以分别包括基于Web的服务软件或应用程序,例如由Amazon Web Services,Google Cloud和Microsoft Azure提供的服务软件或应用程序。框架层1020可以是但不限于一种免费且开源的软件网络应用框架,例如可以利用分布式文件系统1038来进行大规模数据处理(例如“大数据”)的Apache SparkTM(以下称为“Spark”)。在至少一个实施例中,作业调度器1032可以包括Spark驱动器,用于促进对数据中心1000的各个层所支持的工作负载进行调度。在至少一个实施例中,配置管理器1034可以能够配置不同的层,例如软件层1030和包括Spark和用于支持大规模数据处理的分布式文件系统1038的框架层1020。资源管理器1036能够管理映射到或分配用于支持分布式文件系统1038和作业调度器1032的集群或分组计算资源。在至少一个实施例中,集群或分组计算资源可以包括数据中心基础设施层1010处的分组的计算资源1014。资源管理器1036可以与资源协调器1012协调以管理这些映射的或分配的计算资源。
在至少一个实施例中,包括在软件层1030中的软件1050可以包括由节点C.R.1016(1)-1016(N)的至少部分,分组的计算资源1014和/或框架层1020的分布式文件系统1038使用的软件。一种或更多种类型的软件可以包括但不限于Internet网页搜索软件、电子邮件病毒浏览软件、数据库软件和流视频内容软件。
在至少一个实施例中,应用层1040中包括的一个或更多个应用程序1042可以包括由节点C.R.1016(1)-1016(N)的至少部分、分组的计算资源1014和/或框架层1020的分布式文件系统1038使用的一种或更多种类型的应用程序。一种或更多种类型的应用程序可以包括但不限于任何数量的基因组学应用程序,认知计算和机器学习应用程序,包括训练或推理软件,机器学习框架软件(例如PyTorch、TensorFlow、Caffe等)和/或其他与一个或更多个实施例结合使用的机器学习应用程序。
在至少一个实施例中,配置管理器1034、资源管理器1036和资源协调器1012中的任何一个可以基于以任何技术上可行的方式获取的任何数量和类型的数据来实现任何数量和类型的自我修改动作。自我修改动作可以减轻数据中心1000的数据中心操作员做出可能不好的配置决定并且可以避免数据中心的未充分利用和/或行差的部分。
数据中心1000可以包括工具、服务、软件或其他资源,用于根据本文所述的一个或更多个实施例来训练一个或更多个机器学习模型或者使用一个或更多个机器学习模型来预测或推理信息。例如,可以通过使用上文关于数据中心1000描述的软件和计算资源,根据神经网络架构计算权重参数来训练机器学习模型。在至少一个实施例中,通过使用通过一种或更多种训练技术计算出的权重参数,可以使用上面与关于数据中心1000所描述的资源,使用对应于一个或更多个神经网络的经训练的机器学习模型来推理或预测信息,例如但不限于本文所述的那些。
在至少一个实施例中,数据中心1000可以使用CPU、专用集成电路(ASIC)、GPU、FPGA和/或其他硬件(或与之对应的虚拟计算资源)来使用上述资源来执行训练和/或推理。此外,上述的一个或更多个软件和/或硬件资源可以配置成一种服务,以允许用户训练或执行信息推理,例如图像识别、语音识别或其他人工智能服务。
示例网络环境
适用于实现本公开的实施例的网络环境可以包括一个或更多个客户端设备、服务器、网络附加存储(NAS)、其他后端设备和/或其他设备类型。客户端设备、服务器和/或其他设备类型(例如,每个设备)可以在图9的计算设备900的一个或更多个实例上实现—例如,每个设备可以包括计算设备900的类似组件、特征和/或功能。此外,在实现后端设备(例如,服务器、NAS等)的情况下,后端设备可以是作为数据中心1000的一部分而被包括的,其示例在此关于图10更详细地描述。
网络环境的组件可以通过网络彼此通信,网络可以是有线、无线或两者。网络可以包括多个网络,或者多个网络中的网络。举例来说,网络可以包括一个或更多个广域网(WAN)、一个或更多个局域网(LAN)、一个或更多个公共网络(例如因特网和/或公共交换电话网(PSTN))、和/或一个或更多个专用网络。在网络包括无线电信网络的情况下,诸如基站、通信塔或甚至接入点(以及其他组件)之类的组件可以提供无线连接。
兼容的网络环境可以包括一个或更多个对等网络环境(在这种情况下服务器可能不包括在网络环境中),以及一个或更多个客户端-服务器网络环境(在这种情况下一个或更多个服务器可以包含在网络环境中)。在对等网络环境中,本文描述的关于服务器的功能可以在任意数量的客户端设备上实现。
在至少一个实施例中,网络环境可以包括一个或更多个基于云的网络环境、分布式计算环境、它们的组合等。基于云的网络环境可以包括框架层、作业调度器、资源管理器,以及在一个或更多个服务器上实现的分布式文件系统,这些服务器可以包括一个或更多个核心网络服务器和/或边缘服务器。框架层可以包括用于支持软件层的软件和/或应用层的一个或更多个应用程序的框架。软件或应用程序可分别包括基于网络的服务软件或应用程序。在实施例中,一个或更多个客户端设备可以使用基于网络的服务软件或应用程序(例如,通过经由一个或更多个应用程序编程接口(API)访问服务软件和/或应用程序)。框架层可以是但不限于一种类型的免费且开源软件网络应用程序框架,例如可以使用分布式文件系统进行大规模数据处理(例如,“大数据”)。
基于云的网络环境可以提供执行本文描述的计算和/或数据存储功能(或其一个或更多个部分)的任何组合的云计算和/或云存储。这些各种功能中的任何一个都可以分布在来自(例如,可以分布在州、地区、国家、全球等地的一个或更多个数据中心的)中央或核心服务器的多个位置。如果到用户(例如,客户端设备)的连接相对靠近边缘服务器,则核心服务器可以将功能的至少一部分指定给边缘服务器。基于云的网络环境可以是私有的(例如,仅限于单个组织),可以是公共的(例如,对许多组织可用),和/或其组合(例如,混合云环境)。
客户端设备可以包括本文关于图9描述的示例计算设备900的至少一些组件、特征和功能。作为示例而非限制,客户端设备可以体现为个人计算机(PC)、膝上型计算机、移动设备、智能手机、平板计算机、智能手表、可穿戴计算机、个人数码助理(PDA)、MP3播放器、虚拟现实头戴式显示器、全球定位系统(GPS)或设备、视频播放器、摄像机、监视设备或系统、车辆、船只、飞行器、虚拟机器、无人机、机器人、手持通信设备、医院设备、游戏设备或系统、娱乐系统、车载计算机系统、嵌入式系统控制器、遥控器、电器、消费电子设备、工作站、边缘设备、这些描述设备的任意组合或任何其他合适的设备。
本公开可以在由计算机或者诸如个人数字助理或其他手持式设备之类的其他机器执行的、包括诸如程序模块之类的计算机可执行指令的机器可使用指令或者计算机代码的一般背景下进行描述。通常,包括例程、程序、对象、组件、数据结构等等的程序模块指的是执行特定任务或者实现特定抽象数据类型的代码。本公开可以在各种各样的系统配置中实践,这些配置包括手持式设备、消费电子器件、通用计算机、更专业的计算设备等等。本公开也可以在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。
如在本文中使用的,“和/或”关于两个或更多元素的叙述应当解释为仅指一个元素或者元素组合。例如,“元素A、元素B和/或元素C”可以包括仅仅元素A,仅仅元素B,仅仅元素C,元素A和元素B,元素A和元素C,元素B和元素C,或者元素A、B和C。此外,“元素A或元素B中的至少一个”可以包括元素A中的至少一个,元素B中的至少一个,或者元素A中的至少一个和元素B中的至少一个。进一步,“元素A和元素B中的至少一个”可以包括元素A中的至少一个,元素B中的至少一个,或者元素A中的至少一个和元素B中的至少一个。
这里详细地描述了本公开的主题以满足法定要求。然而,描述本身并非意在限制本公开的范围。相反地,本发明人已经设想到,要求保护的主题也可以以其他的方式具体化,以包括与本文中结合其他当前或未来技术描述的步骤不同的步骤或者相似的步骤的组合。而且,尽管术语“步骤”和/或“块”在本文中可以用来隐含采用的方法的不同元素,但是这些术语不应当被解释为暗示本文公开的各个步骤之中或之间的任何特定顺序,除非明确描述了各步骤的顺序。

Claims (20)

1.一种方法,包括:
接收元数据,所述元数据指示玩游戏会话内的游戏中事件的时序信息以及所述游戏中事件与捕获所述游戏中事件的视频剪辑之间的关联,其中至少基于分析表示所述玩游戏会话的视频数据来确定所述游戏中事件;
在图形用户界面中并使用所述元数据,呈现与所述游戏中事件相对应的界面元素,以及与所述游戏中事件相关联地指示所述时序信息的时间线;
在所述图形用户界面中显示所述视频剪辑中的捕获游戏中事件的视频剪辑的图像数据;以及
至少基于以下内容更新所述时间线以指示所述游戏中事件:
所述界面元素中的与所述游戏中事件相对应的界面元素的选择,以及
所述游戏中事件和所述视频剪辑之间的所述关联。
2.根据权利要求1所述的方法,其中,所述选择至少包括与所述视频剪辑和所述游戏中事件对应的图像。
3.根据权利要求1所述的方法,其中,所述选择来自游戏中事件列表,所述游戏中事件列表使用所述元数据以按与所述游戏中事件的所述时间相对应的顺序显示多个所述游戏中事件。
4.根据权利要求1所述的方法,其中,所述元数据将所述游戏中事件与多轮所述玩游戏会话中的一轮相关联,并且所述时间线的所述更新基于所述一轮。
5.根据权利要求1所述的方法,其中,所述更新包括在视觉上强调所述时间线中所述游戏中事件的指示器。
6.根据权利要求1所述的方法,其中,所述元数据进一步将所述游戏中事件与事件类型相关联,所述选择来自游戏中事件列表,并且所述元数据用于将所述事件类型与所述游戏中事件列表中的对应的所述游戏中事件一起显示。
7.根据权利要求1所述的方法,其中,所述更新进一步包括:至少基于与所述游戏中事件相关联的所述时序信息的一个或更多个实例,使用所述元数据对其中发生所述游戏中事件的虚拟环境的地图进行注释。
8.一种处理器,包括:
一个或更多个电路,用于访问元数据,所述元数据指示与玩游戏会话内的游戏中事件相对应的时序信息,并且包括所述游戏中事件与捕获所述游戏中事件的一个或更多个图像之间的关联,
使用所述元数据在用户界面中的游戏中事件列表中,在与所述玩游戏会话内的所述时序信息相对应的位置呈现与所述游戏中事件相对应的界面元素,以及
至少基于来自所述游戏中事件列表的所述界面元素的选择和所述游戏中事件与所述一个或更多个图像之间的所述关联,在所述用户界面中呈现与所述游戏中事件相对应的所述一个或更多个图像。
9.根据权利要求8所述的处理器,其中,所述一个或更多个图像包括所述玩游戏会话的视频剪辑。
10.根据权利要求8所述的处理器,进一步包括:至少基于所述选择,在所述游戏中事件列表中从视觉上强调所述游戏中事件的所述界面元素。
11.根据权利要求8所述的处理器,其中,所述元数据进一步将所述游戏中事件与事件类型相关联,所述元数据用于将所述游戏中事件的所述界面元素与所述事件类型的指示器一起显示。
12.根据权利要求8所述的处理器,其中,所述元数据将所述游戏中事件与多轮所述玩游戏会话中的一轮相关联,并且所述选择进一步导致在所述用户界面中显示的游戏中事件的时间线被更新以与所述一轮相对应。
13.根据权利要求8所述的系统,进一步包括:至少基于所述选择,使用所述元数据更新在所述用户界面中显示的游戏状态信息,以与所述游戏中事件相对应。
14.根据权利要求8所述的系统,进一步包括:至少基于与所述游戏中事件相对应的所述时序信息,使用所述元数据对其中发生所述游戏中事件的虚拟环境的地图进行注释。
15.一种系统,包括:
一个或更多个处理单元;
存储指令的一个或更多个存储器设备,当使用所述一个或更多个处理单元执行所述指令时,使所述一个或更多个处理单元执行一种方法,所述方法包括:
接收元数据,所述元数据指示与游戏的玩游戏会话的游戏中事件相关联的时序信息和游戏中位置,其中至少基于分析与所述玩游戏会话相关联的游戏数据来确定所述游戏中事件;
使用所述元数据,将与所述玩游戏会话的游戏中事件相对应的界面元素与所述游戏的虚拟环境的地图一起呈现;以及
至少基于与所述游戏中事件对应的所述界面元素中的一个或更多个的选择,使用与所述游戏中事件相关联的所述位置和所述时序信息来注释所述地图。
16.根据权利要求15所述的系统,其中,所述注释包括:在所述地图上呈现所述游戏中的游戏中对象的路径,其中所述路径的端点至少基于所述时序信息。
17.根据权利要求15所述的系统,其中,所述注释包括:至少基于所述位置和所述时序信息,在所述地图上呈现所述游戏的游戏中对象的位置。
18.根据权利要求15所述的系统,其中,所述注释包括:至少基于所述位置和所述时序信息,在所述地图上呈现所述游戏的一个或更多个游戏中事件的位置。
19.根据权利要求15所述的系统,其中,所述注释包括:至少基于所述元数据中为所述游戏中事件指定的事件类型呈现所述游戏中事件的符号。
20.根据权利要求15所述的系统,其中,在对应于与所述玩游戏会话中的所述游戏中事件对应的时序信息的位置处,所述界面元素显示在用户界面的时间线中。
CN202210724542.8A 2021-06-28 2022-06-23 为游戏会话自动生成增强的活动和事件摘要 Pending CN115604543A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/359,961 2021-06-28
US17/359,961 US11617951B2 (en) 2021-06-28 2021-06-28 Automatically generated enhanced activity and event summaries for gameplay sessions

Publications (1)

Publication Number Publication Date
CN115604543A true CN115604543A (zh) 2023-01-13

Family

ID=84388892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210724542.8A Pending CN115604543A (zh) 2021-06-28 2022-06-23 为游戏会话自动生成增强的活动和事件摘要

Country Status (4)

Country Link
US (1) US11617951B2 (zh)
JP (1) JP2023007398A (zh)
CN (1) CN115604543A (zh)
DE (1) DE102022114647A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230233943A1 (en) * 2019-10-11 2023-07-27 Pepper Esports Inc. Method and system for processing textual depictions in a computer game screenshot
CN114584599B (zh) * 2022-03-18 2023-05-16 北京字跳网络技术有限公司 游戏数据处理方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756349B2 (en) * 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
US7500916B2 (en) * 2005-11-07 2009-03-10 Microsoft Corporation Game strategy analysis tool generating a two dimensional image overlaid with telemetry data
US8893047B2 (en) * 2009-11-09 2014-11-18 International Business Machines Corporation Activity triggered photography in metaverse applications
US20120100910A1 (en) * 2010-10-20 2012-04-26 Microsoft Corporation High quality video game replay
US8834277B2 (en) * 2012-12-27 2014-09-16 Sony Computer Entertainment America Llc Systems and methods for sharing cloud-executed mini-games, challenging friends and enabling crowd source rating
JP2015150172A (ja) * 2014-02-13 2015-08-24 任天堂株式会社 情報共有システム、情報処理装置、プログラム及び情報共有方法
US10335679B2 (en) * 2014-10-27 2019-07-02 Sony Interactive Entertainment Inc. Video processing device, video processing method, and program
US20170228600A1 (en) * 2014-11-14 2017-08-10 Clipmine, Inc. Analysis of video game videos for information extraction, content labeling, smart video editing/creation and highlights generation
US11351466B2 (en) * 2014-12-05 2022-06-07 Activision Publishing, Ing. System and method for customizing a replay of one or more game events in a video game
US20160317933A1 (en) * 2015-05-01 2016-11-03 Lucidlogix Technologies Ltd. Automatic game support content generation and retrieval
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US10223449B2 (en) * 2016-03-15 2019-03-05 Microsoft Technology Licensing, Llc Contextual search for gaming video
WO2018049254A1 (en) * 2016-09-09 2018-03-15 Cayke, Inc. System and method of creating, analyzing, and categorizing media
JP6744182B2 (ja) * 2016-09-28 2020-08-19 任天堂株式会社 表示制御装置、表示制御システム、表示制御方法および表示制御プログラム
US10586433B2 (en) * 2017-02-13 2020-03-10 Google Llc Automatic detection of zones of interest in a video
US11018884B2 (en) * 2017-04-24 2021-05-25 Microsoft Technology Licensing, Llc Interactive timeline that displays representations of notable events based on a filter or a search
US10547654B2 (en) * 2017-05-16 2020-01-28 Microsoft Technology Licensing, Llc Concurrent engagement with live content of multiple conference sessions
US11007445B2 (en) * 2019-08-16 2021-05-18 Lenovo (Singapore) Pte. Ltd. Techniques for curation of video game clips
CN112492346A (zh) * 2019-09-12 2021-03-12 上海哔哩哔哩科技有限公司 确定游戏视频中精彩时刻的方法和游戏视频的播放方法
US11392717B1 (en) * 2021-03-02 2022-07-19 Yes, Inc. Event-centric matching system utilizing privacy-preserving data exchange

Also Published As

Publication number Publication date
DE102022114647A1 (de) 2022-12-29
US11617951B2 (en) 2023-04-04
JP2023007398A (ja) 2023-01-18
US20220410004A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US11158346B2 (en) Determining high-interest durations of gameplay sessions from user inputs
JP6538776B2 (ja) クラウドベースのゲームスライス生成および即時再生との無摩擦ソーシャルシェアリング
US11712621B2 (en) Video clip classification using feature vectors of a trained image classifier
US20200184225A1 (en) System and method for obtaining image content
US11007445B2 (en) Techniques for curation of video game clips
CN115604543A (zh) 为游戏会话自动生成增强的活动和事件摘要
US11816890B2 (en) Automatic content recognition and information in live streaming suitable for video games
US11657627B2 (en) Focusing regions of interest using dynamic object detection for textual information retrieval
US11786823B2 (en) System and method for creating personalized game experiences
CN116867554A (zh) 针对电子竞技流的数据显示叠加
JP2023055615A (ja) 自然言語処理を使用するゲーム・ログからのイベント情報抽出
CN117426099A (zh) 利用尾迹渲染器的频谱算法
US20230267063A1 (en) Real-time latency measurements in streaming systems and applications
US20230177583A1 (en) Playstyle analysis for game recommendations
TWI814318B (zh) 用於使用模擬角色訓練模型以用於將遊戲角色之臉部表情製成動畫之方法以及用於使用三維(3d)影像擷取來產生遊戲角色之臉部表情之標籤值之方法
US11504618B2 (en) Server-based video help in a video game
US20240033640A1 (en) User sentiment detection to identify user impairment during game play providing for automatic generation or modification of in-game effects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination