CN115039401A - 用于按需渲染帧的视频生成系统 - Google Patents

用于按需渲染帧的视频生成系统 Download PDF

Info

Publication number
CN115039401A
CN115039401A CN202180011951.7A CN202180011951A CN115039401A CN 115039401 A CN115039401 A CN 115039401A CN 202180011951 A CN202180011951 A CN 202180011951A CN 115039401 A CN115039401 A CN 115039401A
Authority
CN
China
Prior art keywords
media content
content item
client device
item segments
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180011951.7A
Other languages
English (en)
Other versions
CN115039401B (zh
Inventor
阿兰·巴里尔
基拉格·加达
高扬
布雷德利·科措普洛斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN115039401A publication Critical patent/CN115039401A/zh
Application granted granted Critical
Publication of CN115039401B publication Critical patent/CN115039401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4786—Supplemental services, e.g. displaying phone caller identification, shopping application e-mailing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Abstract

按需生成帧的方法开始于系统从客户端设备接收对媒体内容项的请求。请求包括媒体内容标识和主用户标识。系统向客户端设备发送包括第一组媒体内容项片段的播放列表。当在客户端设备上显示第一组媒体内容项片段时，系统使用媒体内容标识和主用户标识渲染第二组媒体内容项片段。渲染第二组媒体内容项片段可以包括基于主用户标识来渲染主用户化身，以及将主用户化身并入第二组媒体内容项片段中。系统然后更新播放列表以包括第二组媒体内容项片段。本文中公开了其他实施方式。

Description

用于按需渲染帧的视频生成系统
相关申请的交叉引用
本申请要求于2020年1月30日提交的美国专利申请序列号16/777,793的优先权，该美国专利申请的内容通过引用整体并入本文。
本申请涉及于2020年1月30日提交的美国专利申请序列号16/777,817、于2020年1月30日提交的美国专利申请序列号16/777,798、于2020年1月30日提交的美国专利申请序列号62/968,111、以及于2020年1月30日提交的美国专利申请序列号16/777,799，上述美国专利申请中的每一个的内容通过引用整体并入本文。
背景技术
社交联网系统的普及性持续增长，以及用户越来越多地在诸如文本消息、电子邮件、聊天的电子消息内使用定制的化身，反映了更直观地进行通信的全球需求。
这些定制的化身可以由用户个性化以在各种应用、视频游戏、消息传递服务等中表示用户。由于定制的化身可以在不同的情况阵列中生成，从而显示各种情绪，或者甚至是动画的，因此用户能够使用定制的化身在消息中更准确地传达他们的感受。用户可以使用定制的化身作为他们自身在线上的虚拟扩展。
此外，随着社交联网系统上的用户的数目的增加，每个用户也具有她所关注的个体的增长的网络。为了维护用户在社交联网系统上的参与，最重要的是系统具有向每个用户呈现她最感兴趣或最相关的媒体内容项的能力。除了需要策展媒体内容项之外，社交联网系统还面对提供图形用户界面的挑战，该图形用户界面吸引用户的注意力并且允许她观看策展的媒体内容项并且与她所关注的个体的网络进一步进行交互。
附图说明
为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高位数字指代该元件被首次引入时所在的图号。
图1是根据一些示例实施方式的可以部署本公开内容的联网环境的图形表示。
图2是根据一些示例实施方式的消息传递客户端应用的图形表示。
图3是根据一些示例实施方式的如在数据库中维护的数据结构的图形表示。
图4是根据一些示例实施方式的消息的图形表示。
图5是根据一些示例实施方式的可以部署本公开内容的联网环境的细节的图形表示。
图6示出了根据一个实施方式的用于按需渲染视频的过程的流程图。
图7示出了根据一个实施方式的用于渲染第二组媒体内容项片段的过程的流程图。
图8示出了根据一个实施方式的用于使用多个GPU来按需渲染视频的过程的流程图。
图9示出了根据一个实施方式的用于使用多个服务器来按需渲染视频的过程的流程图。
图10示出了根据一个实施方式的用于选择要包括在按需生成的视频中的化身的过程的流程图。
图11示出了根据一个实施方式的由客户端设备显示的用户界面1100的示例。
图12示出了根据一个实施方式的由客户端设备显示的媒体内容项的帧1200的示例。
图13示出了根据一个实施方式的由客户端设备显示的媒体内容项的帧1300的示例。
图14是示出根据一些示例实施方式的可以在其中实现本公开内容的软件架构的框图。
图15是根据一些示例实施方式的呈计算机系统形式的机器的图形表示，在该计算机系统中可以执行一组指令以使机器执行本文中讨论的方法中任何一种或更多种。
图16是根据一些示例实施方式的处理环境的图形表示。
具体实施方式
下面的描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对本发明主题的各种实施方式的理解。然而，对于本领域技术人员而言明显的是，可以在没有这些具体细节的情况下实践本发明主题的实施方式。通常，不一定详细示出公知的指令实例、协议、结构和技术。
随着定制的化身越来越多地被用作用户在线上的虚拟扩展，消息传递系统100还可以通过创建可以以用户的化身以及用户的联络人的化身为特征的内容(例如视频内容)来吸引用户。内容可以是像周期性(例如每天、每周、每月等)发布的电视系列节目一样的系列节目中的多个剧集的形式。
如本文中所使用的，用户的“化身”是用户的任何视觉表示。用户的化身可以基于从用户的图像得出的信息(例如特性)连同从用户与其他用户的关系识别的化身特性。替选地或另外地，用户可以经由用户的计算设备选择和定制用户的化身的特性。这样的化身特性可以包括例如用户的身体特征(例如，强壮的、瘦的等)、面部特征、衣着和配饰、结合化身显示的文本、以及结合化身显示的图像。
在数字内容平台上，内容被预先生成，被上载至服务器，并且在接收到用户的请求后被传送至用户的设备。然而，考虑到内容需要被个性化以表征用户的化身和/或用户的朋友的化身，在消息传递系统100上为数百万用户中的每一个单独地生成内容并等待用户请求该内容将是具有挑战性的。此外，消息传递系统100上的用户突发奇想定制他们的化身，并且还与消息传递系统100上的不同用户交互，使得预先生成包括最新化身的内容也将是具有挑战性的。
本发明的实施方式通过按需渲染包括用户的化身的视频内容来改进电子消息传递和成像软件及系统的功能。因此，视频内容对于请求用户恰好在传送至用户的客户端设备102的时间被个性化。因此，本发明的实施方式可以从内容创建者接收例如具有占位化身的动画(例如媒体内容项)，并且当用户请求媒体内容项时，占位化身由用户的化身代替，并且对于请求用户被个性化的媒体内容项被发送至用户的设备。
通过使请求媒体内容项与向用户的设备发送媒体内容项之间的延迟最小化，通过选择要并入媒体内容中的相关化身，以及通过简化内容创建者的动画过程，本发明的实施方式进一步改进了电子消息传递和成像软件及系统的功能。
图1是示出用于通过网络交换数据(例如消息和相关联的内容)的示例消息传递系统100的框图。消息传递系统100包括客户端设备102的多个实例，每个实例托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104经由网络106(例如因特网)通信上耦接至消息传递客户端应用104的其他实例和消息传递服务器系统108。
消息传递客户端应用104能够经由网络106与另一消息传递客户端应用104和消息传递服务器系统108通信和交换数据。在消息传递客户端应用104之间以及消息传递客户端应用104与消息传递服务器系统108之间交换的数据包括功能(例如调用功能的命令)以及有效载荷数据(例如文本、音频、视频或其他多媒体数据)。
消息传递服务器系统108经由网络106向特定消息传递客户端应用104提供服务器侧功能。虽然消息传递系统100的某些功能在本文中被描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是在消息传递客户端应用104或消息传递服务器系统108内的某些功能的位置是设计选择。例如，在技术上优选的是：可以最初将某些技术和功能部署在消息传递服务器系统108内，但是稍后将该技术和功能迁移至客户端设备102具有足够处理能力的消息传递客户端应用104。
消息传递服务器系统108支持向消息传递客户端应用104提供的各种服务和操作。这样的操作包括向消息传递客户端应用104发送数据、从消息传递客户端应用104接收数据以及对由消息传递客户端应用104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持续条件、社交网络信息和实况事件信息。通过经由消息传递客户端应用104的用户界面(UI)可用的功能来调用和控制消息传递系统100内的数据交换。
现在具体地转至消息传递服务器系统108，应用程序接口(API)服务器110耦接至应用服务器112并向应用服务器112提供编程接口。应用服务器112通信上耦接至数据库服务器118，数据库服务器118便于访问数据库120，在该数据库120中存储有与通过应用服务器112处理的消息相关联的数据。
应用程序接口(API)服务器110在客户端设备102与应用服务器112之间接收和发送消息数据(例如命令和消息有效载荷)。特别地，应用程序接口(API)服务器110提供一组接口(例如例程和协议)，消息传递客户端应用104可以调用或查询这组接口以调用应用服务器112的功能。应用程序接口(API)服务器110公开由应用服务器112支持的各种功能，包括帐户注册、登录功能、经由应用服务器112将消息从特定消息传递客户端应用104发送至另一消息传递客户端应用104、将媒体文件(例如图像或视频)从消息传递客户端应用104发送至消息传递服务器应用114，并可由另一消息传递客户端应用104访问、媒体数据(例如故事)集合的设置、检索客户端设备102的用户的朋友列表、检索这样的集合、检索消息和内容、向社交图添加朋友以及从社交图删除朋友、定位社交图内的朋友、以及打开应用事件(例如，与消息传递客户端应用104有关的)。
应用服务器112托管多个应用和子系统，包括消息传递服务器应用114、图像处理系统116、社交网络系统122和内容控制器系统124。消息传递服务器应用114实现多个消息处理技术和功能，特别是与从消息传递客户端应用104的多个实例接收到的消息中包括的内容(例如文本和多媒体内容)的聚合和其他处理有关的消息处理技术和功能。如将进一步详细描述的，来自多个源的文本和媒体内容可以聚合成内容集合(例如，被称为故事或图库)。然后，由消息传递服务器应用114使这些集合对消息传递客户端应用104可用。鉴于用于这样的处理的硬件要求，消息传递服务器应用114还可以在服务器侧执行其他处理器和存储器密集型的数据处理。
应用服务器112还包括图像处理系统116，该图像处理系统116专用于执行各种图像处理操作，典型地，关于在消息传递服务器应用114处的消息的有效载荷内接收到的图像或视频执行各种图像处理操作。
社交网络系统122支持各种社交联网功能服务并且使这些功能和服务对消息传递服务器应用114可用。为此，社交网络系统122维护并访问数据库120内的实体图304(如图3所示)。由社交网络系统122支持的功能和服务的示例包括特定用户与之有关系或“关注”其的消息传送系统100的其他用户的标识，以及识别特定用户的其他实体和兴趣。
应用服务器112通信上耦接至数据库服务器118，该数据库服务器118便于访问数据库120，在数据库120中存储有与由消息传递服务器应用114处理的消息相关联的数据。
内容控制器系统124专用于管理媒体内容项，该媒体内容项被按需渲染成包括客户端设备102的化身的用户。内容控制器系统124可以包括传送服务器系统502和渲染服务器系统504，如图5所示。
图2是示出根据示例实施方式的关于消息传递系统100的另外的细节的框图。具体地，消息传递系统100被示出为包括消息传递客户端应用104和应用服务器112，它们又包含多个一些子系统，即短计时器系统202、集合管理系统204和注释系统206。
短计时器系统202负责实施对由消息传递客户端应用104和消息传递服务器应用114允许的内容的临时访问。为此，短计时器系统202结合了多个计时器，这些计时器基于与消息或消息的集合(例如故事)相关联的持续时间和显示参数，选择性地显示消息和相关联的内容以及使得能够经由消息传递客户端应用104访问消息和相关联的内容。下面提供关于短计时器系统202的操作的另外的细节。
集合管理系统204负责管理媒体的集合(例如文本、图像视频和音频数据的集合)。在一些示例中，内容(例如包括图像、视频、文本和音频的消息)的集合可以被组织成“事件图库”或“事件故事”。可以使这样的集合在例如与内容有关的事件的持续时间的指定的时间段内可用。例如，可以在音乐会的持续时间内使与音乐会有关的内容作为“故事”可用。集合管理系统204还可以负责向消息传递客户端应用104的用户界面发布提供特定集合存在的通知的图标。
此外，集合管理系统204还包括允许集合管理器管理和策展内容的特定集合的策展接口208。例如，策展接口208使得事件组织者能够策展与特定事件有关的内容的集合(例如删除不适当的内容或冗余消息)。另外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地策展内容集合。在某些实施方式中，可以向用户支付补偿以将用户生成的内容包括到集合中。在这样的情况下，策展接口208操作以自动向这样的用户支付费用以使用其内容。
注释系统206提供使得用户能够注释或以其他方式修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与生成和发布用于由消息传递系统100处理的消息的媒体覆盖有关的功能。注释系统206基于客户端设备102的地理位置可操作上向消息传递客户端应用104供应媒体覆盖或补充(例如图像过滤器)。在另一示例中，注释系统206基于其他信息(例如客户端设备102的用户的社交网络信息)可操作上向消息传递客户端应用104供应媒体覆盖。媒体覆盖可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、标志、动画和声音效果。视觉效果的示例包括颜色覆盖。音频和视觉内容或视觉效果可以应用于客户端设备102处的媒体内容项(例如照片)。例如，媒体覆盖可以包括可以覆盖在由客户端设备102拍摄的照片之上的文本。在另一示例中，媒体覆盖包括位置标识(例如威尼斯海滩)覆盖、实况事件的名称或商家名称(例如海滩咖啡馆)覆盖。在另一示例中，注释系统206使用客户端设备102的地理位置来标识包括在客户端设备102的地理位置处的商家名称的媒体覆盖。媒体覆盖可以包括与商家相关联的其他标记。媒体覆盖可以存储在数据库120中并通过数据库服务器118访问。
在一个示例实施方式中，注释系统206提供基于用户的发布平台，该发布平台使得用户能够选择地图上的地理位置，并且上载与选择的地理位置相关联的内容。用户还可以指定特定媒体覆盖应当被提供给其他用户的环境。注释系统206生成包括上载的内容的媒体覆盖并且将上载的内容与选择的地理位置相关联。
在另一示例实施方式中，注释系统206提供基于商家的发布平台，该发布平台使得商家能够经由竞价过程来选择与地理位置相关联的特定媒体覆盖。例如，注释系统206在预定义时间量内将最高出价商家的媒体覆盖与对应的地理位置相关联。
图3是示出根据某些示例实施方式的可以存储在消息传递服务器系统108的数据库120中的数据结构300的示意图。虽然数据库120的内容被示为包括多个表，但是应当认识到，数据可以存储在其他类型的数据结构中(例如作为面向对象的数据库)。
数据库120包括存储在消息表314内的消息数据。实体表302存储实体数据，包括实体图304。其记录被维护在实体表302内的实体可以包括个人、公司实体、组织、对象、地点、事件等。不管类型如何，消息传递服务器系统108存储关于其的数据的任何实体可以是识别的实体。每个实体设置有唯一标识符以及实体类型标识符(未示出)。
实体图304还存储关于实体之间的关系和关联的信息。仅作为示例，这样的关系可以基于感兴趣的或基于活动的社交关系、专业关系(例如，在共同的公司或组织工作)。
数据库120还以过滤器的示例形式将注释数据存储在注释表312中。其数据存储在注释表312内的过滤器与视频(其数据存储在视频表310中)和/或图像(其数据存储在图像表308中)相关联并且应用于视频和/或图像。在一个示例中，过滤器是在呈现给接收者用户期间显示为覆盖在图像或视频上的覆盖。过滤器可以是各种类型的，包括当发送者用户正在编写消息时由消息传递客户端应用104呈现给发送者用户的过滤器图库中用户选择的过滤器。其他类型的过滤器包括地理位置过滤器(也被称为地理过滤器)，其可以基于地理位置呈现给发送用户。例如，基于由客户端设备102的GPS单元确定的地理位置信息，消息传递客户端应用104可以在用户界面内呈现特定于附近或特殊位置的地理位置过滤器。另一类型的过滤器是数据过滤器，其可以由消息传递客户端应用104基于在消息创建过程期间由客户端设备102收集的其他输入或信息选择性地呈现给发送用户。数据过滤器的示例包括特定位置处的当前温度、发送用户行进的当前速度、客户端设备102的电池寿命或当前时间。
可以存储在图像表308内的其他注释数据是所谓的“透镜”数据。“透镜”可以是可以添加至图像或视频的实时特殊效果和声音。
如以上所提及的，视频表310存储视频数据，在一个实施方式中，该视频数据与其记录被维护在消息表314内的消息相关联。类似地，图像表308存储与其消息数据存储在实体表302中的消息相关联的图像数据。实体表302可以将来自注释表312的各种注释与存储在图像表308和视频表310中的各种图像和视频相关联。
故事表306存储关于消息和相关联的图像、视频或音频数据的集合的数据，这些数据被编译成集合(例如故事或图库)。特定集合的创建可以由特定用户(例如其记录被维护在实体表302中的每个用户)发起。用户可以以已由该用户创建和发送/广播的内容的集合的形式创建“个人故事”。为此，消息传递客户端应用104的用户界面可以包括用户可选择以使得发送用户能够将特定内容添加至他或她的个人故事的图标。
集合还可以构成“生活故事”，其是来自多个用户的内容的集合，该集合是手动、自动或使用手动和自动技术的组合创建的。例如，“现场故事”可以构成来自各种位置和事件的用户提交的内容的策展流。可以例如经由消息传递客户端应用104的用户界面向其客户端设备使位置服务被启用并且在特定时间处于公共位置事件的用户呈现选项以将内容贡献给特定的现场故事。可以由消息传递客户端应用104基于用户的位置向他或她标识现场故事。最终结果是从社区视角讲述的“现场故事”。
另一类型的内容集合被称为“位置故事”，“位置故事”使得其客户端设备102位于特定地理位置(例如，在大学或大学校园)内的用户能够对特定集合做出贡献。在一些实施方式中，对位置故事的贡献可能需要第二程度的认证来验证最终用户属于特定组织或其他实体(例如，是大学校园中的学生)。
数据库120还存储元数据表316、片段表318和片段状态表320。元数据表316包括与媒体内容项相关联的元数据。元数据可以与由内容创建者创建的动画和媒体内容标识符相关联。媒体内容项可以包括多个媒体内容片段，这些媒体内容片段包括用户的化身。随着包括用户的化身的媒体内容片段被生成，片段表318可以存储媒体内容片段。片段状态表320可以存储与媒体内容片段中的每一个相关联的片段状态。例如，片段状态可以指示与其相关联的媒体内容片段已准备好并且能够用于传输。
图4是示出根据一些实施方式中的一些的消息400的结构的示意图，该消息由消息传递客户端应用104生成以传送至另一消息传递客户端应用104或消息传递服务器应用114。特定消息400的内容用于填充存储在消息传递服务器应用114可访问的数据库120内的消息表314。类似地，消息400的内容作为客户端设备102或应用服务器112的“运输中”或“飞行中”数据存储在存储器中。消息400被示出为包括以下组成部分：
·消息标识符402：标识消息400的唯一标识符。
·消息文本有效载荷404：要由用户经由客户端设备102的用户界面生成并且包括在消息400中的文本。
·消息图像有效载荷406：由客户端设备102的相机部件捕获或从客户端设备102的存储器部件检索并且包括在消息400中的图像数据。
·消息视频有效载荷408：由相机部件捕获或从客户端设备102的存储器部件检索并且包括在消息400中的视频数据。
·消息音频有效载荷410：由麦克风捕获或从客户端设备102的存储器部件检索并且包括在消息400中的音频数据。
·消息注释412：表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的注释的注释数据(例如过滤器、贴纸或其他增强)。
·消息持续时间参数414：以秒为单位指示消息的内容(例如消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)将被呈现或使得用户可经由消息传递客户端应用104访问的时间量的参数值。
·消息地理位置参数416：与消息的内容有效载荷相关联的地理位置数据(例如纬度坐标和经度坐标)。多个消息地理位置参数值416可以被包括在有效载荷中，这些参数值中的每个参数值与关于内容中包括的内容项(例如消息图像有效载荷406内的特定图像或消息视频有效载荷408中的特定视频)相关联。
·消息故事标识符418：标识与消息400的消息图像有效载荷406中的特定内容项相关联的一个或更多个内容集合(例如“故事”)的标识符值。例如，消息图像有效载荷406内的多个图像可以各自使用标识符值与多个内容集合相关联。
·消息标签420：每个消息400可以用多个标签来标记，多个标签中的每个标签指示消息有效载荷中包括的内容的主题。例如，在消息图像有效载荷406中包括的特定图像描绘动物(例如狮子)的情况下，标签值可以被包括在指示相关动物的消息标签420内。标签值可以基于用户输入手动生成，或者可以使用例如图像识别自动生成。
·消息发送者标识符422：指示在其上生成消息400并且从其发送消息400的客户端设备102的用户的标识符(例如消息传递系统标识符、电子邮件地址或设备标识符)。
·消息接收者标识符424：指示消息400寻址到的客户端设备102的用户的标识符(例如消息传递系统标识符、电子邮件地址或设备标识符)。
消息400的各个组成部分的内容(例如值)可以是指向在其内存储内容数据值的表中的位置的指针。例如，消息图像有效载荷406中的图像值可以是指向图像表308内的位置(或地址)的指针。类似地，消息视频有效载荷408内的值可以指向存储在视频表310内的数据，存储在消息注释412内的值可以指向存储在注释表312中的数据，存储在消息故事标识符418内的值可以指向存储在故事表306中的数据，并且存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表302内的用户记录。
图5是根据一些示例实施方式的可以部署本公开内容的联网环境的细节500的图形表示。
如图5所示，包括传送服务器系统502和渲染服务器系统504的内容控制器系统124与客户端设备102以及数据库120的片段表318、片段状态表320和元数据表316通信上耦接。
内容创建者(例如动画制作者)可以周期性地将新内容上载至图1中的消息传递服务器系统108。内容创建者可以经由电子设备(例如客户端设备102)上载新内容，或者可以由消息传递服务器系统108上载新内容。内容可以是系列节目中的多个剧集的形式，例如周期性(例如每天、每周、每月等)发布的电视系列节目。媒体内容项可以是包括动画的视频形式。
在一个实施方式中，内容控制器系统124从客户端设备102接收对新内容(例如媒体内容项)的请求。内容控制器系统124通过使用流播放列表来按需向客户端设备102传送媒体内容项，其中传送服务器系统502与渲染服务器系统504协调以在播放列表的末尾渐进地附加新渲染的媒体内容项片段(例如2秒至3秒视频片段)。
在一个实施方式中，传送服务器系统502接收来自客户端设备102的请求。当客户端设备102的用户选择与媒体内容项相关联的、正在客户端设备102上显示的可选择图标或链接时，可以将请求发送至传送服务器系统502。图11示出了在客户端设备102上显示的示例用户界面1100。如图11所示，用户界面1100可以是包括视频节目(例如，类似于电视系列节目)或单个视频(例如，类似于长篇电影)的多个剧集的电子节目指南。用户界面1100中的电子节目指南的部分可以是可选择的以使得对媒体内容项的请求被发送至传送服务器系统502。例如，当用户在用户界面1100中选择链接“夜间法庭”时，对“夜间法庭”媒体内容项的请求被发送至传送服务器系统502。
来自客户端设备102的请求可以包括请求参数，例如媒体内容标识和主用户标识。媒体内容标识标识被请求观看的媒体内容项。媒体内容标识可以是剧集标识(例如夜间法庭剧集1)。主用户标识可以是请求媒体内容项的客户端设备102的用户的标识。主用户标识还可以是与进行请求的客户端设备102的用户相关联的化身的标识(例如主用户化身标识)。在一个实施方式中，来自客户端设备102的请求还包括与不同客户端设备102的用户相关联的第二用户标识。在另一实施方式中，来自客户端设备102的请求还包括与不同客户端设备102的多个用户相关联的多个用户标识。
内容控制器系统124的传送服务器系统502可以从片段状态表320检索(或获取)媒体内容项的片段的状态。传送服务器系统502可以使用媒体内容标识和主用户标识符(和/或第二用户标识)来检索片段的状态。传送服务器系统502利用最新的可用视频片段(例如媒体内容项片段)编译播放列表。在一个实施方式中，当媒体内容项片段中的每一个可用时，渲染服务器系统504更新片段状态表320中的片段的状态以指示片段可用。
内容控制器系统124可以向客户端设备102发送包括第一组媒体内容片段的播放列表。在一个实施方式中，传送服务器系统502将包括第一组媒体内容片段的播放列表发送至客户端设备102。第一组媒体内容片段可以包括媒体内容项的介绍视频部分。介绍视频部分可以是媒体内容项的前几个视频片段(例如3个视频片段)。介绍视频部分可以是例如6秒至10秒的静态介绍视频。该组媒体内容项片段也可以是媒体内容项中包括的多个帧。
在显示第一组媒体内容项片段时，传送服务器系统502还可以向渲染服务器系统504发信号通知以开始渲染随后的一组媒体内容项片段(例如第二组媒体内容项片段)，这使得渲染服务器系统504开始渲染。第二组媒体内容项可以是例如介绍视频部分之后的接下来的3个片段。在一个实施方式中，当显示第一组媒体内容项片段时，渲染服务器系统504使用媒体内容标识和主用户标识来渲染第二组媒体内容项片段。
在一个实施方式中，渲染服务器系统504从元数据表316检索(或获取)元数据并将其处理成第二组媒体内容项片段。元数据可以是例如与渲染请求的视频片段所需的媒体内容项标识符(例如剧集元数据)相关联的元数据。元数据可以被打包为每剧集一个大文件，使得渲染服务器系统504通过将文件切割成多个帧窗口以渲染相应的片段。一旦被渲染，渲染服务器系统504就将第二组媒体内容项片段存储在片段表318中。存储在片段表318中的各组媒体内容项片段可以是MPEG-TS(.ts)文件格式。在一个实施方式中，渲染服务器系统504可以通过基于主用户标识渲染主用户化身并且将主用户化身并入第二组媒体内容片段中来渲染第二组媒体内容项片段。
图12和图13示出了根据本发明的一些实施方式的在客户端设备102的用户界面上显示的媒体内容项的不同帧的示例。如帧1200和帧1300所示，与客户端设备102的用户相关联的化身可以被并入媒体内容项中。例如，帧1200和帧1300可以是电视系列节目的动画剧集的帧。帧1200和帧1300可以包括系列中的反复出现的人物(例如化身角色成员)，并且还包括与客户端设备102的用户相关联的化身以及/或者与社交网络系统122上的客户端设备102的用户的朋友或联系人相关联的化身。因此，系列中的剧集可以以客户端设备102的化身的用户以及用户的朋友的化身为特征。通过使用主用户标识和第二用户的标识(例如作为联络人的不同客户端设备102的用户)，渲染服务器系统504可以检索最新版本的化身以被并入媒体内容项片段中。
渲染服务器系统504还可以通过更新与第二组媒体内容项片段相关联的状态来更新片段状态表320以指示第二组媒体内容项片段能够用于由传送服务器系统502进行处理。下一次客户端设备102尝试刷新播放列表时，传送服务器系统502可以拾取可用的下一组媒体内容项片段(例如第二组媒体内容项片段)的状态的改变，并且编译新的播放列表。在一个实施方式中，渲染服务器系统504可以更新播放列表以包括第二组媒体内容项片段。传送服务器系统502可以将更新的播放列表发送至客户端设备102。
由传送服务器系统502和渲染服务器系统504重复该过程，直到确定媒体内容项被完全渲染。例如，一旦传送服务器系统502和/或渲染服务器系统504确定媒体内容项中的各组媒体内容项片段的全部均被渲染，就不再更新播放列表并且客户端设备102将已经显示整个媒体内容项。
尽管下面的流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新布置操作的顺序。在其操作完成时，终止处理。过程可以对应于方法、程序等。方法的步骤可以全部或部分执行，可以结合其他方法中的一些或所有步骤来执行，并且可以通过任何数目的不同系统例如图1、图5、图14、图15和/或图16中描述的系统或者其任何部分例如任何系统中包括的处理器执行。
图6示出了根据一个实施方式的用于按需渲染视频的过程600的流程图。在操作602中，内容控制器系统124的传送服务器系统502从客户端设备102接收对媒体内容项的请求。请求可以包括媒体内容标识和主用户标识。在一个实施方式中，媒体内容项是与媒体内容标识相关联的视频，并且主用户标识与客户端设备102的用户相关联。
在操作604中，传送服务器系统502将包括第一组媒体内容项片段的播放列表发送至客户端设备102。第一组媒体内容项片段可以是媒体内容项的介绍视频部分。在一个实施方式中，内容控制器系统124使第一组媒体内容项片段显示在客户端设备102上。
当在客户端设备102的显示器上显示第一组媒体内容项片段时，在操作606处，内容控制器系统124的渲染服务器系统504使用媒体内容标识和主用户标识来渲染第二组媒体内容项片段。渲染服务器系统504可以将第二组媒体内容项片段上载至存储装置。例如，渲染服务器系统504可以将第二组媒体内容项片段上载并存储至片段表318。渲染服务器系统504还可以设置片段状态以指示存储装置(例如片段表318)包括用于由客户端设备102消费的第二组媒体内容项片段。渲染服务器系统504可以设置存储在片段状态表320中并且与第二组媒体内容项片段相关联的片段状态。
在操作608处，渲染服务器系统504更新播放列表以包括第二组媒体内容项片段。在一个实施方式中，传送服务器系统502从片段状态表320检索片段状态，并且基于片段状态来更新播放列表。
在操作610处，传送服务器系统502将更新的播放列表发送至客户端设备102。在一个实施方式中，当在客户端设备102上显示第一组媒体内容项片段时，传送服务器系统502将更新的播放列表传送至客户端设备102。
图7示出了根据一个实施方式的用于渲染图6中的第二组媒体内容项片段(操作606)的过程700的流程图。为了渲染第二组媒体内容项片段，渲染服务器系统504可以在操作702中基于主用户标识来渲染主用户化身。在操作704中，渲染服务器系统504可以将主用户化身并入第二组媒体内容项片段中。
在一个实施方式中，渲染服务器系统504还可以使用与和不同客户端设备102相关联的用户(例如第二用户)相关联的次用户标识来渲染第二组媒体内容项片段。第二用户可以是社交网络系统122上的客户端设备102的用户(例如主用户)的联络人。第二用户可以是例如社交网络系统122上的主用户的朋友、家庭成员或联系人。渲染服务器系统504可以基于次用户标识来渲染次用户化身，并且将次用户化身并入第二组媒体内容项片段中。
在该实施方式中，渲染服务器系统504生成要显示在主用户的客户端设备102上的包括第二用户的化身的媒体内容项片段。因此，为请求媒体内容项的客户端设备102的主用户显示的媒体内容项可以包括主用户的化身或他的朋友、家庭成员或联系人的化身(例如第二用户)中的至少之一作为剧集的主演。
图8示出了根据一个实施方式的用于使用多个图形处理单元(GPU)按需渲染视频的过程800的流程图。在消息传递系统100上为每个请求用户生成媒体内容项涉及大量渲染和视频编码，使得使用GPU使能的实例可以极大地加速向多个客户端设备102提供媒体内容项的过程。
传送服务器系统502可以从客户端设备102接收对媒体内容项的请求，该请求包括媒体内容标识和主用户标识。在一个实施方式中，媒体内容项是与媒体内容标识相关联的视频，并且主用户标识与客户端设备102的用户(例如主用户)相关联。
在该实施方式中，渲染服务器系统504包括多个GPU以使用媒体内容标识和主用户标识来渲染一组媒体内容项片段。该组媒体内容项片段可以是媒体内容项中包括的多个帧。渲染服务器系统504中包括的多个GPU可以是分别渲染媒体内容项片段的GPU组。
为了渲染该组媒体内容项片段，渲染服务器系统504可以执行操作802至操作808。在操作802处，渲染服务器系统504从元数据数据库(例如元数据表316)检索元数据。检索到的元数据与媒体内容标识相关联。
在操作804处，渲染服务器系统504使用元数据渲染该组媒体内容项片段。在操作806处，渲染服务器系统504基于主用户标识来生成主用户化身。在操作808处，渲染服务器系统504将主用户化身并入该组媒体内容项片段中。在操作810处，渲染服务器系统504然后将该组媒体内容项片段上载至片段数据库(例如片段表318)。片段状态表320中的片段状态指示与媒体内容项片段相关联的可用性。渲染服务器系统504然后更新片段状态数据库(例如片段状态表320)中的片段状态以指示该组媒体内容项片段是可用的。
传送服务器系统502可以从片段状态数据库(例如片段状态表320)检索片段状态，并且编译包括该组媒体内容项片段的播放列表并将其发送至客户端设备102。
在一个实施方式中，当传送服务器系统502从客户端设备102接收到对媒体内容项的请求时，传送服务器系统502从片段状态数据库(例如片段状态表320)检索片段状态，并且编译基于片段状态的第一组媒体内容项片段并将其发送至客户端设备102。例如，第一组媒体内容项片段可以是媒体内容项的介绍视频部分。传送服务器系统502然后初始化第二组媒体内容项片段的渲染。
在该实施方式中，包括多个GPU的渲染服务器系统504使用媒体内容标识和主用户标识来渲染第二组媒体内容项片段。第一组媒体内容项片段和第二组媒体内容项片段分别是媒体内容项中包括的多个帧。第一组媒体内容项片段可以与第二组媒体内容项片段连续。
例如，渲染服务器系统504可以通过从与媒体内容标识相关联的元数据数据库(例如元数据表316)检索元数据、使用元数据渲染第二组媒体内容项片段、基于主用户标识来生成主用户化身、以及将主用户化身并入第二组媒体内容项片段中来渲染第二组媒体内容项片段。渲染服务器系统504然后可以将第二组媒体内容项片段上载至片段数据库(例如片段表318)并且更新片段状态数据库(例如片段状态表320)中的片段状态以指示第二组媒体内容项片段是可用的。
在该实施方式中，传送服务器系统502可以更新播放列表以包括第二组媒体内容项片段。传送服务器系统502可以通过编译更新的播放列表以包括第二组媒体内容项片段来更新播放列表，并且将更新的播放列表发送至客户端设备102。在一个实施方式中，客户端设备102从片段数据库接收第二组媒体内容项片段。
图9示出了根据一个实施方式的用于使用多个服务器按需渲染视频的过程900的流程图。在消息传递系统100上为每个请求用户生成媒体内容项涉及大量渲染和视频编码，使得分别生成媒体内容项中的片段的服务器组可以极大地加速向多个客户端设备102提供媒体内容项的过程。多个服务器中的服务器中的每一个可以同时或顺序地执行操作。
在一个实施方式中，过程900开始于操作902，其中包括多个服务器的渲染服务器系统504接收多个片段渲染请求。片段渲染请求可以分别对应于一组媒体内容项片段中包括的片段。该组媒体内容项片段是媒体内容项中包括的多个帧。媒体内容项可以是与媒体内容标识相关联的视频。
渲染服务器系统504使用媒体内容标识和主用户标识来渲染与片段渲染请求对应的片段。主用户标识与客户端设备102的用户相关联。
在一个实施方式中，渲染服务器系统504可以通过执行操作904至操作910渲染片段。在操作904处，渲染服务器系统504从与媒体内容标识相关联的元数据数据库(例如元数据表316)检索元数据。在操作906处，渲染服务器系统504使用元数据渲染片段。在操作908处，渲染服务器系统504基于主用户标识来生成主用户化身。在操作910处，渲染服务器系统504将主用户化身并入片段中。
在操作912处，渲染服务器系统504将片段上载至片段数据库(例如片段表318)。在操作914处，渲染服务器系统504更新片段状态数据库(例如片段状态表320)中的片段状态以指示片段是可用的。
在一个实施方式中，内容控制器系统124可以包括传送服务器系统502和包括多个服务器的渲染服务器系统504。在一个实施方式中，传送服务器系统502从客户端设备102接收对媒体内容项的请求。请求包括媒体内容标识和主用户标识。传送服务器系统502从指示与媒体内容项片段相关联的可用性的片段状态数据库(例如片段状态表320)检索片段状态。传送服务器系统502编译包括第一组媒体内容项片段的播放列表并将其发送至客户端设备102。第一组媒体内容项片段基于片段状态。传送服务器系统502通过生成多个片段渲染请求初始化第二组媒体内容项片段的渲染。在一个实施方式中，片段渲染请求分别对应于第二组媒体内容项片段中包括的片段。第一组媒体内容项片段可以与第二组媒体内容项片段连续。
在一个实施方式中，渲染服务器系统504中的多个服务器分别接收片段渲染请求，并且使用媒体内容标识和主用户标识分别渲染与片段渲染请求对应的片段。
如图9所示，多个服务器中的每一个可以通过从与媒体内容标识相关联的元数据数据库检索元数据来渲染片段(操作904)，使用元数据渲染片段(操作906)，基于主用户标识来生成主用户化身(操作908)，以及将主用户化身并入片段中(操作910)。渲染服务器系统504中的多个服务器然后可以将片段上载至片段数据库(操作912)，并且更新片段状态数据库中的片段状态以指示片段是可用的(操作914)。在一个实施方式中，传送服务器系统502还从片段状态数据库(例如片段状态表320)检索片段状态。
在一个实施方式中，传送服务器系统502收集片段并且生成第二组媒体内容项片段。在一个实施方式中，传送服务器系统502更新播放列表以包括第二组媒体内容项片段。传送服务器系统502可以通过编译更新的播放列表以包括第二组媒体内容项片段并且通过将更新的播放列表发送至客户端设备102来更新播放列表。
考虑到媒体内容项被个性化以表征消息传递系统100上的主用户(例如请求媒体内容项的用户)的化身和/或连接至主用户的另一用户的化身，需要确定哪些化身要并入媒体内容项中。图10示出了根据一个实施方式的用于选择要包括在按需生成的视频中的化身的过程1000的流程图。
下面的过程1000可以由任何数目的不同系统例如内容控制器系统124和/或客户端设备102、或者其任何部分例如任何系统或设备中包括的处理器执行。
在过程1000的操作1002处，处理器可以使电子节目指南显示在第一客户端设备102的显示器上。第一客户端设备102与和第一化身相关联的第一用户(例如主用户)相关联。图11示出了根据一个实施方式的由客户端设备102显示的用户界面1100的示例。用户界面1100可以是包括与多个媒体内容项相关联的可选项(例如文本、图像、链接或图标)的电子节目指南的示例。
在另一实施方式中，包括电子节目指南的用户界面是多个可选图块的形式。用户可以在显示屏幕上竖直地或水平地滚动电子节目指南。可选图块中的每一个可以与不同的媒体内容项(例如动画系列的剧集)相关联。在另一实施方式中，可选图块还可以与多个媒体内容项(例如包括多个剧集的动画系列)相关联。在该实施方式中，通过选择可选图块中之一，使得显示与选择的可选图块相关联的动画系列的简况页面。经由动画系列的简况页面，用户可以访问可获得的剧集。
在操作1004处，处理器检测第一用户对与媒体内容项相关联的可选项的选择。例如，处理器可以检测到用户经由客户端设备102的触摸屏或显示设备通过选择“黄金女郎”文本周围的区域而选择了与“黄金女郎”媒体内容项相关联的可选项。
在操作1006处，处理器识别与在通信平台(例如消息传递系统100)上连接至第一用户的第二客户端设备102相关联的第二用户。第二用户可以是通信平台上的朋友、家庭成员、联络人或联系人。在一个实施方式中，第二用户可以是对于第一用户随机或未知的通信平台上的另一用户。在一个实施方式中，第二用户可以基于在消息传递系统100上与第一用户的最后通信的定时。在该实施方式中，处理器可以通过识别最近向第一客户端设备102发送电子消息的用户来识别第二用户。处理器还可以通过识别在预定时间段内向第一客户端设备102发送电子消息的用户来识别第二用户。在另一实施方式中，第一用户还可以从用户列表中选择第二用户。替选地，第二用户可以选择第一用户，使得第二用户向处理器识别他自己。
在一些情况下，处理器需要基于用户是否已经为消息传递系统100创建了个性化化身来选择第二用户。为了确保第二用户具有可以用于媒体内容项的渲染的化身，处理器可以通过识别与通信平台(例如消息传递系统100)上的第一用户相关联的、与化身相关联的用户来识别第二用户。处理器还可以基于用户与第一用户之间的最后通信的定时以及用户是否与化身相关联两者来选择第二用户。在该实施方式中，处理器通过确定在预定时间段内向第一客户端设备102发送电子消息的用户是否与化身相关联来识别第二用户。
在一个实施方式中，如果处理器确定在通信平台(例如消息传递系统100)上与第一用户相关联的用户没有与化身相关联，则处理器选择通用的第二用户，并且指示应当使用通用的化身作为第二化身。在另一实施方式中，处理器可以选择作为消息传递系统100上的第一用户的联系人，但将通用的化身分配给该联系人的第二用户。
在操作1008处，处理器可以检索与第一用户相关联的主用户标识和与第二用户相关联的次用户标识。第二用户与第二化身相关联。
在操作1010处，处理器生成对媒体内容项的请求。请求可以包括与媒体内容项相关联的媒体内容标识、主用户标识和次用户标识。
在操作1012处，处理器接收与媒体内容项相关联的播放列表。播放列表包括多个媒体内容项片段，这些媒体内容项片段包括第一化身和第二化身。图12和图13示出了根据一个实施方式的由客户端设备102显示的媒体内容项的可以包括第一化身和第二化身的帧(例如帧1200和帧1300)的示例。
在一个实施方式中，对媒体内容项的请求可以由内容控制器系统124(例如传送服务器系统502)的处理器接收，并且内容控制器系统124(例如渲染服务器系统504)的处理器使用媒体内容标识、主用户标识和次用户标识来渲染媒体内容项片段。内容控制器系统124的处理器可以通过基于主用户标识渲染第一化身、基于次用户标识渲染第二化身、以及将第一化身和第二化身并入媒体内容项片段中来渲染媒体内容项片段。
为了进一步优化媒体内容项的按需渲染，内容控制器系统124还可以包括木偶动画系统和化身匹配系统。在一个实施方式中，木偶动画系统和化身匹配系统可以被包括在渲染服务器系统504中。
木偶动画系统从内容创建者的客户端设备102接收动画输入。内容创建者是媒体内容项的作者(例如动画制作者)。动画输入可以包括用于生成用于创建媒体内容项的动画文件的软件、代码或艺术品。木偶动画系统基于动画输入来生成包括元数据的动画文件。动画文件与媒体内容标识相关联。因此，动画文件可以包括基于动画输入而被制作成动画的占位木偶。这些占位木偶可以被换成主用户的化身(第一化身)和/或第二用户的化身(第二化身)。
化身匹配系统可以接收动画文件，并且用化身代替占位木偶。
渲染服务器系统504使用媒体内容标识和主用户标识来渲染一组媒体内容项片段。在一个实施方式中，渲染服务器系统504通过从与媒体内容标识相关联的元数据数据库检索元数据、使用元数据渲染该组媒体内容项片段、基于主用户标识来生成主用户化身、以及将主用户化身并入该组媒体内容项片段中来渲染该组媒体内容项片段。渲染服务器系统504还可以将该组媒体内容项片段上载至片段数据库，并且更新片段状态数据库中的片段状态以指示该组媒体内容项片段是可用的。
图14是示出可以安装在本文描述的设备中的任何一个或更多个上的软件架构1404的框图1400。软件架构1404由诸如包括处理器1420、存储器1426和I/O部件1438的机器1402的硬件来支持。在该示例中，软件架构1404可以被概念化为层的堆栈，其中每个层提供特定功能。软件架构1404包括诸如操作系统1412、库1410、框架1408和应用1406的层。在操作上，应用1406通过软件堆栈来调用API调用1450并且响应于API调用1450接收消息1452。
操作系统1412管理硬件资源并且提供公共服务。操作系统1412包括例如内核1414、服务1416和驱动器1422。内核1414充当硬件层与其他软件层之间的抽象层。例如，内核1414提供存储器管理、处理器管理(例如调度)、部件管理、联网和安全设置等功能。服务1416可以为其他软件层提供其他公共服务。驱动器1422负责控制底层硬件或与底层硬件对接。例如，驱动器1422可以包括显示驱动器、相机驱动器、
Figure BDA0003772959850000211
或
Figure BDA0003772959850000212
低功耗驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、
Figure BDA0003772959850000213
驱动器、音频驱动器、电源管理驱动器等。
库1410提供由应用1406使用的低级公共基础设施。库1410可以包括系统库1418(例如C标准库)，该系统库1418提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外，库1410可以包括API库1424，例如媒体库(例如用于支持各种媒体格式的呈现和操纵的库，该媒体格式例如是运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、可缩放矢量图形(SVG)、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如用于在显示器上的图形内容中以二维(2D)和三维(3D)进行渲染的OpenGL框架)、数据库库(例如提供各种关系数据库功能的SQLite)、web库(例如提供web浏览功能的WebKit)、统一计算设备架构(CUDATM)等。库1410还可以包括各种各样的其他库1428以向应用1406提供许多其他API。
框架1408提供由应用1406使用的高级公共基础设施。例如，框架1408提供各种图形用户界面(GUI)功能、高级资源管理以及高级位置服务。框架1408可以提供可以由应用1406使用的广范的其他API，其中一些API可以特定于特定的操作系统或平台。
在示例实施方式中，应用1406可以包括主页应用1436、联系人应用1430、浏览器应用1432、书籍阅读器应用1434、位置应用1442、媒体应用1444、消息传递应用1446、游戏应用1448、以及诸如第三方应用1440的各种其他应用。应用1406是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的一个或更多个应用1406，编程语言例如面向对象的编程语言(例如Objective-C、Java或C++)或过程编程语言(例如C语言或汇编语言)。在特定示例中，第三方应用1440(例如由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、
Figure BDA0003772959850000221
Phone的移动操作系统或其他移动操作系统上运行的移动软件。在该示例中，第三方应用1440可以调用由操作系统1412提供的API调用1450以有助于本文中描述的功能。
图15是机器1500的图形表示，在该机器1500中可以执行使机器1500执行本文中讨论的方法中的任何一种或更多种的指令1508(例如软件、程序、应用、小程序、app或其他可执行代码)。例如，指令1508可以使机器1500执行本文中描述的方法中的任何一种或更多种。指令1508将通用的未编程的机器1500转换成被编程为以所描述的方式执行描述和示出的功能的特定机器1500。机器1500可以作为独立设备操作，或者可以耦接(例如联网)至其他机器。在联网部署中，机器1500可以在服务器客户端网络环境中以服务器机器或客户端机器的身份操作，或者在对等(或分布式)网络环境中作为对等机器操作。机器1500可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如智能手表)、智能家居设备(例如智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指令1508的任何机器，该指令1508指定要由机器1500采取的动作。此外，虽然仅示出了单个机器1500，但是术语“机器”还应当被视为包括单独或联合执行指令1508以执行本文中讨论的方法中的任何一种或更多种的机器的集合。
机器1500可以包括处理器1502、存储器1504和I/O部件1542，处理器1502、存储器1504和I/O部件1542可以被配置成经由总线1544彼此通信。在示例实施方式中，处理器1502(例如中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其他处理器或其任何合适的组合)可以包括例如执行指令1508的处理器1506和处理器1510。术语“处理器”旨在包括可以包括可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)的多核处理器。尽管图15示出了多个处理器1502，但是机器1500可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或其任何组合。
存储器1504包括主存储器1512、静态存储器1514以及存储单元1516，其均可由处理器1502经由总线1544访问。主存储器1504、静态存储器1514以及存储单元1516存储实现本文中描述的方法或功能中的任何一种或更多种的指令1508。指令1508在其由机器1500执行期间还可以完全地或部分地驻留在主存储器1512内、在静态存储器1514内、在存储单元1516内的机器可读介质1518内、在处理器1502中的至少之一内(例如，在处理器的高速缓存存储器内)或者在其任何合适的组合内。
I/O部件1542可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量结果等的各种各样的部件。特定机器中包括的特定I/O部件1542将取决于机器的类型。例如，诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器将可能不包括这样的触摸输入设备。将认识到，I/O部件1542可以包括图15中未示出的许多其他部件。在各种示例实施方式中，I/O部件1542可以包括输出部件1528和输入部件1530。输出部件1528可以包括视觉部件(例如诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、听觉部件(例如扬声器)、触觉部件(例如振动马达、阻力机构)、其他信号生成器等。输入部件1530可以包括字母数字输入部件(例如键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如物理按钮、提供触摸或触摸姿势的位置和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如麦克风)等。
在其他示例实施方式中，I/O部件1542可以包括生物计量部件1532、运动部件1534、环境部件1536或定位部件1538以及各种其他部件。例如，生物计量部件1532包括用于检测表达(例如手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、出汗或脑电波)、识别人(例如语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件1534包括加速度传感器部件(例如加速计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等。环境部件1536包括例如照明传感器部件(例如光度计)、温度传感器部件(例如检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如气压计)、声学传感器部件(例如检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如检测附近对象的红外传感器)、气体传感器(例如为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。定位部件1538包括位置传感器部件(例如GPS接收器部件)、海拔传感器部件(例如检测气压的高度计或气压计，根据气压可以得到海拔)、取向传感器部件(例如磁力计)等。
可以使用各种技术来实现通信。I/O部件1542还包括通信部件1540，该通信部件1540可操作成分别经由耦接1524和耦接1526将机器1500耦接至网络1520或设备1522。例如，通信部件1540可以包括与网络1520接口的网络接口部件或其他合适的设备。在其他示例中，通信部件1540可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
Figure BDA0003772959850000241
部件(例如
Figure BDA0003772959850000242
低能耗)、
Figure BDA0003772959850000243
部件、和用于经由其他形式提供通信的其他通信部件。设备1522可以是其他机器或各种各样的外围设备中的任何外围设备(例如经由USB耦接的外围设备)。
此外，通信部件1540可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件1540可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如用于检测下述的光学传感器：一维条形码，例如，通用产品代码(UPC)条形码；多维条形码，例如快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCC RSS-2D条形码和其他光学代码)、或者声学检测部件(例如用于识别标记的音频信号的麦克风)。另外，可以经由通信部件1540得到各种信息，例如经由因特网协议(IP)地理定位的位置、经由
Figure BDA0003772959850000244
信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
各种存储器(例如存储器1504、主存储器1512、静态存储器1514和/或处理器1502的存储器)和/或存储单元1516可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如软件)中的一组或更多组。这些指令(例如指令1508)在被处理器1502执行时使各种操作实现所公开的实施方式。
可以经由网络接口设备(例如，通信部件1540中包括的网络接口部件)，使用传输介质并且使用许多公知的传输协议中的任何一种传输协议(例如超文本传输协议(HTTP))，通过网络1520来发送或接收指令1508。类似地，可以使用传输介质经由耦接1526(例如对等耦接)将指令1508发送或接收至设备1522。
现在转至图16，示出了处理环境1600的图解表示，其包括处理器1606和处理器1602(例如GPU、CPU或其组合)。
处理器1602被示为耦接至电源1604，并且包括(永久配置或临时实例化的)模块，即传送部件1608和渲染部件1610。传送部件1608操作上执行传送服务器系统502的操作，例如处理媒体内容项的请求和传送，并且渲染部件1610操作上执行渲染服务器系统504的操作，例如生成播放列表中包括的媒体内容项的片段。
在使用类似于“A、B或C中的至少之一”、“A、B和C中的至少之一”、“一个或更多个A、B或C”或“A、B和C中的一个或更多个”的短语时，意图将该短语解释为意指A可以单独存在于实施方式中，B可以单独存在于实施方式中，C可以单独存在于实施方式中，或元件A、B和C的任何组合可以存在于单个实施方式中；例如，A和B、A和C、B和C、或A和B以及C。
在不脱离本公开内容的范围的情况下，可以对所公开的实施方式进行改变和修改。这些和其他改变或修改旨在被包括在本公开内容的范围内，如所附权利要求中所表达的那样。

Claims (21)

1.一种方法，包括：
从客户端设备接收对媒体内容项的请求，所述请求包括媒体内容标识和主用户标识；
向所述客户端设备发送包括第一组媒体内容项片段的播放列表；以及
当在所述客户端设备上显示所述第一组媒体内容项片段时，
使用所述媒体内容标识和所述主用户标识来渲染第二组媒体内容项片段，其中，渲染所述第二组媒体内容项片段包括：
基于所述主用户标识来渲染主用户化身，以及
将所述主用户化身并入所述第二组媒体内容项片段中，以及
更新所述播放列表以包括所述第二组媒体内容项片段。
2.根据权利要求1所述的方法，还包括：
当在所述客户端设备上显示所述第一组媒体内容项片段时，
将所述第二组媒体内容项片段上载至存储装置；以及
设置片段状态以指示所述存储装置包括用于由所述客户端设备消费的第二组媒体内容项片段。
3.根据权利要求2所述的方法，还包括：
检索所述片段状态，其中，更新所述播放列表基于所述片段状态。
4.根据权利要求2所述的方法，还包括：
当在所述客户端设备上显示所述第一组媒体内容项片段时，
将所更新的播放列表发送至所述客户端设备。
5.根据权利要求1所述的方法，其中，所述主用户标识与所述客户端设备的用户相关联。
6.根据权利要求1所述的方法，其中，所述媒体内容项是与所述媒体内容标识相关联的视频。
7.根据权利要求1所述的方法，其中，所述第一组媒体内容项片段是所述媒体内容项的介绍视频部分。
8.根据权利要求1所述的方法，还包括：
使所述第一组媒体内容项片段显示在所述客户端设备上。
9.根据权利要求1所述的方法，其中，渲染所述第二组媒体内容项片段还包括：
使用次用户标识来渲染所述第二组媒体内容项片段，其中，所述次用户标识与和不同客户端设备相关联的用户相关联。
10.根据权利要求9所述的方法，其中，使用所述次用户标识来渲染所述第二组媒体内容项片段包括：
基于所述次用户标识来渲染次用户化身；以及
将所述次用户化身并入所述第二组媒体内容项片段中。
11.一种系统，包括：
处理器；以及
存储器部件，所述存储器部件具有存储在其上的指令，所述指令在由所述处理器执行时，使所述处理器执行操作，所述操作包括：
从客户端设备接收对媒体内容项的请求，所述请求包括媒体内容标识和主用户标识；
向所述客户端设备发送包括第一组媒体内容项片段的播放列表；以及
当在所述客户端设备上显示所述第一组媒体内容项片段时，
使用所述媒体内容标识和所述主用户标识来渲染第二组媒体内容项片段，其中，渲染所述第二组媒体内容项片段包括：
基于所述主用户标识来渲染主用户化身，以及
将所述主用户化身并入所述第二组媒体内容项片段中，以及
更新所述播放列表以包括所述第二组媒体内容项片段。
12.根据权利要求11所述的系统，其中，所述操作还包括：
当在所述客户端设备上显示所述第一组媒体内容项片段时，
将所述第二组媒体内容项片段上载至存储装置；以及
设置片段状态以指示所述存储装置包括用于由所述客户端设备消费的第二组媒体内容项片段。
13.根据权利要求12所述的系统，其中，所述操作还包括：
检索所述片段状态，其中，更新所述播放列表基于所述片段状态。
14.根据权利要求12所述的系统，其中，所述操作还包括：
当在所述客户端设备上显示所述第一组媒体内容项片段时，
将所更新的播放列表发送至所述客户端设备。
15.根据权利要求11所述的系统，其中，所述主用户标识与所述客户端设备的用户相关联。
16.根据权利要求11所述的系统，其中，所述媒体内容项是与所述媒体内容标识相关联的视频。
17.根据权利要求11所述的系统，其中，所述第一组媒体内容项片段是所述媒体内容项的介绍视频部分。
18.根据权利要求11所述的系统，其中，所述操作还包括：
使所述第一组媒体内容项片段显示在所述客户端设备上。
19.根据权利要求11所述的系统，其中，渲染所述第二组媒体内容项片段还包括：
使用次用户标识来渲染所述第二组媒体内容项片段，其中，所述次用户标识与和不同客户端设备相关联的用户相关联。
20.根据权利要求19所述的系统，其中，使用所述次用户标识来渲染所述第二组媒体内容项片段包括：
基于所述次用户标识来渲染次用户化身；以及
将所述次用户化身并入所述第二组媒体内容项片段中。
21.一种其上存储有指令的非暂态计算机可读存储介质，所述指令在由处理器执行时，使所述处理器执行操作，所述操作包括：
从客户端设备接收对媒体内容项的请求，所述请求包括媒体内容标识和主用户标识；
向所述客户端设备发送包括第一组媒体内容项片段的播放列表；以及
当在所述客户端设备上显示所述第一组媒体内容项片段时，
使用所述媒体内容标识和所述主用户标识来渲染第二组媒体内容项片段，其中，渲染所述第二组媒体内容项片段包括：
基于所述主用户标识来渲染主用户化身，以及
将所述主用户化身并入所述第二组媒体内容项片段中；以及
更新所述播放列表以包括所述第二组媒体内容项片段。
CN202180011951.7A 2020-01-30 2021-01-22 用于按需渲染帧的视频生成系统 Active CN115039401B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/777,793 2020-01-30
US16/777,793 US11356720B2 (en) 2020-01-30 2020-01-30 Video generation system to render frames on demand
PCT/US2021/070063 WO2021155394A1 (en) 2020-01-30 2021-01-22 Video generation system to render frames on demand

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410035032.9A Division CN118042218A (zh) 2020-01-30 2021-01-22 用于按需渲染帧的视频生成系统

Publications (2)

Publication Number Publication Date
CN115039401A true CN115039401A (zh) 2022-09-09
CN115039401B CN115039401B (zh) 2024-01-26

Family

ID=74673456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180011951.7A Active CN115039401B (zh) 2020-01-30 2021-01-22 用于按需渲染帧的视频生成系统

Country Status (5)

Country Link
US (2) US11356720B2 (zh)
EP (1) EP4097967A1 (zh)
KR (1) KR20220128665A (zh)
CN (1) CN115039401B (zh)
WO (1) WO2021155394A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11651022B2 (en) 2020-01-30 2023-05-16 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11729441B2 (en) 2020-01-30 2023-08-15 Snap Inc. Video generation system to render frames on demand
US11831937B2 (en) 2020-01-30 2023-11-28 Snap Inc. Video generation system to render frames on demand using a fleet of GPUS

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180576B1 (ko) * 2020-05-18 2020-11-18 주식회사 일루니 사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치
US11669596B2 (en) * 2020-05-22 2023-06-06 Disney Enterprises, Inc. Digital rights protected content playing
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11424945B1 (en) * 2021-06-30 2022-08-23 Dropbox, Inc. Techniques for avoiding conflicting user actions during a video collaboration session
US11863600B2 (en) 2021-06-30 2024-01-02 Dropbox, Inc. Techniques for efficient communication during a video collaboration session
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083320A1 (en) * 2008-10-01 2010-04-01 At&T Intellectual Property I, L.P. System and method for a communication exchange with an avatar in a media communication system
CN102450031A (zh) * 2009-05-29 2012-05-09 微软公司 集成化身的共享媒体体验
CN104170374A (zh) * 2012-03-14 2014-11-26 谷歌公司 在视频会议期间修改参与者的外观
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的系统和方法
US20150071613A1 (en) * 2012-04-13 2015-03-12 In Situ Media Corporation Method and system for inserting and/or manipulating dynamic content for digital media post production
US20150244754A1 (en) * 2014-02-25 2015-08-27 Stephen Beckham, JR. Technologies for multi-user interactive media streaming
CN108476329A (zh) * 2016-04-27 2018-08-31 谷歌有限责任公司 类似引入缓存机制
CN108475280A (zh) * 2016-04-19 2018-08-31 谷歌有限责任公司 用于使用第二屏幕设备来与内容交互的方法、系统和介质
CN109863527A (zh) * 2016-12-30 2019-06-07 谷歌有限责任公司 用于展现的本地内容的服务器侧渲染的方法和系统
CN110168478A (zh) * 2017-01-09 2019-08-23 斯纳普公司 表面识别镜头

Family Cites Families (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6023270A (en) 1997-11-17 2000-02-08 International Business Machines Corporation Delivery of objects in a virtual world using a descriptive container
US6842779B1 (en) 1998-03-11 2005-01-11 Yasuo Nishizawa Agent accessory tool cooperating with integrated application on WEB server by HTTP protocol
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6223165B1 (en) 1999-03-22 2001-04-24 Keen.Com, Incorporated Method and apparatus to connect consumer to expert
US8479251B2 (en) 1999-03-31 2013-07-02 Microsoft Corporation System and method for synchronizing streaming content with enhancing content using pre-announced triggers
US6889325B1 (en) 1999-04-28 2005-05-03 Unicate Bv Transaction method and system for data networks, like internet
US6772195B1 (en) 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
US6754904B1 (en) 1999-12-30 2004-06-22 America Online, Inc. Informing network users of television programming viewed by other network users
JP2001230801A (ja) 2000-02-14 2001-08-24 Sony Corp 通信システムとその方法、通信サービスサーバおよび通信端末装置
US6922685B2 (en) 2000-05-22 2005-07-26 Mci, Inc. Method and system for managing partitioned data resources
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7853664B1 (en) 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US20020072982A1 (en) 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US20020184634A1 (en) 2001-05-31 2002-12-05 Cooper Robert M. Television rides
MXPA03000966A (es) 2002-02-28 2003-09-04 Pfizer Prod Inc Agentes antidiabeticos.
US20050162419A1 (en) 2002-03-26 2005-07-28 Kim So W. System and method for 3-dimension simulation of glasses
KR100493525B1 (ko) 2002-05-03 2005-06-07 안현기 아바타 메일 제공시스템 및 방법
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US20040179039A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate
US20070168863A1 (en) 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
KR20040091331A (ko) 2003-04-21 2004-10-28 홍지선 자연어처리기술을 이용하여 입력된 문자메시지와 그 문장내용에 상응하는 아바타 표현 방법 및 시스템
KR100762629B1 (ko) 2003-08-26 2007-10-01 삼성전자주식회사 휴대단말기의 백업서비스 처리방법
US7321852B2 (en) 2003-10-28 2008-01-22 International Business Machines Corporation System and method for transcribing audio files of various languages
US7986913B2 (en) 2004-02-19 2011-07-26 Landmark Digital Services, Llc Method and apparatus for identificaton of broadcast source
US20050192863A1 (en) 2004-02-26 2005-09-01 Krishna Mohan Web site vistor incentive program in conjunction with promotion of anonymously identifying a user and/or a group
US20070192784A1 (en) 2004-03-01 2007-08-16 Signature Systems Llc Broadcast television reward program and method of use for issuing, aggregating and redeeming sponsor's reward points
US20070214049A1 (en) 2004-03-01 2007-09-13 Richard Postrel Broadcast television reward program and method of use for issuing, aggregating and redeeming sponsor's reward points
US20050209917A1 (en) 2004-03-17 2005-09-22 Brian Anderson Employee incentive program
WO2005110567A2 (en) 2004-05-10 2005-11-24 Nintendo Co., Ltd. Video game including effects for providing different first person experiences of the same video game world and a storage medium storing software for the video game
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
US8090579B2 (en) 2005-02-08 2012-01-03 Landmark Digital Services Automatic identification of repeated material in audio signals
US20060195359A1 (en) 2005-02-28 2006-08-31 Robinson Nancy J Combined rewards system and process
US20060224452A1 (en) 2005-03-29 2006-10-05 Ng Gene F System and method for incentive-based advertising and marketing
KR100714192B1 (ko) 2005-04-08 2007-05-02 엔에이치엔(주) 노출 부위가 가변되는 아바타 제공 시스템 및 그 방법
US20070179850A1 (en) 2005-05-24 2007-08-02 American Express Travel Related Services Company, Inc. Method, system, and computer program product for rewarding customer loyalty
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
KR20070014408A (ko) 2005-07-28 2007-02-01 삼성전자주식회사 아바타 관리 방법 및 시스템
US7775885B2 (en) 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
JP2009524273A (ja) 2005-11-29 2009-06-25 グーグル・インコーポレーテッド 放送メディア内の反復コンテンツの検出
RU2396599C2 (ru) 2005-12-31 2010-08-10 Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед Способ отображения трехмерного аватара и система, осуществляющая этот способ
US20070176921A1 (en) 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
WO2007093813A1 (en) 2006-02-16 2007-08-23 Weeworld Limited Portable account information
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
WO2007134402A1 (en) 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
JP3989942B1 (ja) 2006-05-24 2007-10-10 シャープ株式会社 テレビジョン受信装置、プログラムおよび記録媒体
US20080158222A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Apparatus and Methods for Selecting and Customizing Avatars for Interactive Kiosks
US8504926B2 (en) 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
GB2447094B (en) 2007-03-01 2010-03-10 Sony Comp Entertainment Europe Entertainment device and method
US9811935B2 (en) 2007-04-26 2017-11-07 Ford Global Technologies, Llc Emotive advisory system and method
CN101071457B (zh) 2007-04-28 2010-05-26 腾讯科技（深圳）有限公司 一种网络游戏中改变角色形象的方法、装置以及服务器
WO2008141125A1 (en) 2007-05-10 2008-11-20 The Trustees Of Columbia University In The City Of New York Methods and systems for creating speech-enabled avatars
US8130219B2 (en) 2007-06-11 2012-03-06 Autodesk, Inc. Metadata for avatar generation in virtual environments
US8230458B2 (en) 2007-06-29 2012-07-24 At&T Intellectual Property I, L.P. System and method of providing video content commentary
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090016617A1 (en) 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US20090046097A1 (en) 2007-08-09 2009-02-19 Scott Barrett Franklin Method of making animated video
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US20090070688A1 (en) 2007-09-07 2009-03-12 Motorola, Inc. Method and apparatus for managing interactions
US20100030746A1 (en) 2008-07-30 2010-02-04 Ryan Steelberg System and method for distributing content for use with entertainment creatives including consumer messaging
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
US8332887B2 (en) 2008-01-10 2012-12-11 Touchtunes Music Corporation System and/or methods for distributing advertisements from a central advertisement network to a peripheral device via a local advertisement server
US20090099925A1 (en) 2007-10-04 2009-04-16 Mehta Kaushal N Apparatus and Method for Virtual World Item Searching
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8537166B1 (en) 2007-12-06 2013-09-17 Nvidia Corporation System and method for rendering and displaying high-resolution images
US8151191B2 (en) 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8495505B2 (en) 2008-01-10 2013-07-23 International Business Machines Corporation Perspective based tagging and visualization of avatars in a virtual world
US8037095B2 (en) 2008-02-05 2011-10-11 International Business Machines Corporation Dynamic webcast content viewer method and system
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
CN106021913B (zh) 2008-03-03 2019-08-09 耐克创新有限合伙公司 交互式运动设备系统及方法
US9744466B2 (en) 2008-03-13 2017-08-29 Mattel, Inc. Widgetized avatar and a method and system of creating and using same
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US20090265604A1 (en) 2008-04-21 2009-10-22 Microsoft Corporation Graphical representation of social network vitality
KR101517769B1 (ko) 2008-04-24 2015-05-06 삼성전자주식회사 미디어 컨텐츠 재생장치에서 방송 컨텐츠의 추천 방법과 그장치
US9246613B2 (en) 2008-05-20 2016-01-26 Verizon Patent And Licensing Inc. Method and apparatus for providing online social networking for television viewing
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8095878B2 (en) 2008-06-23 2012-01-10 International Business Machines Corporation Method for spell check based upon target and presence of avatars within a virtual environment
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
AU2008358849A1 (en) 2008-06-30 2010-01-07 Accenture Global Services Limited Gaming system
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
CA2732268C (en) 2008-07-28 2020-07-21 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US20100034466A1 (en) 2008-08-11 2010-02-11 Google Inc. Object Identification in Images
US8832201B2 (en) 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
US20100070858A1 (en) 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Interactive Media System and Method Using Context-Based Avatar Configuration
US8648865B2 (en) 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US8108774B2 (en) 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US8869197B2 (en) 2008-10-01 2014-10-21 At&T Intellectual Property I, Lp Presentation of an avatar in a media communication system
US8683354B2 (en) 2008-10-16 2014-03-25 At&T Intellectual Property I, L.P. System and method for distributing an avatar
US8010429B2 (en) 2008-11-04 2011-08-30 American Express Travel Related Services Company, Inc. Customized financial transaction pricing
US20100115426A1 (en) 2008-11-05 2010-05-06 Yahoo! Inc. Avatar environments
US8745152B2 (en) 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
AU2009330607B2 (en) 2008-12-04 2015-04-09 Cubic Corporation System and methods for dynamically injecting expression information into an animated facial mesh
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
KR101558553B1 (ko) 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20100227682A1 (en) 2009-03-04 2010-09-09 Microsoft Corporation Awarding of avatar items in video game environment
US8650603B2 (en) 2009-04-02 2014-02-11 Koninklijke Kpn N.V. Playing out interludes based on predicted duration of channel-switching delay or of invoked pause
US20110145275A1 (en) 2009-06-19 2011-06-16 Moment Usa, Inc. Systems and methods of contextual user interfaces for display of media items
US8850328B2 (en) 2009-08-20 2014-09-30 Genesismedia Llc Networked profiling and multimedia content targeting system
US20110093780A1 (en) 2009-10-16 2011-04-21 Microsoft Corporation Advertising avatar
US8631428B2 (en) 2009-11-30 2014-01-14 Charles Scott System and method for displaying media usage
KR20110070056A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8484158B2 (en) 2010-02-01 2013-07-09 International Business Machines Corporation Managing information about avatars across virtual worlds
US8346229B2 (en) 2010-02-26 2013-01-01 Research In Motion Limited Scheduling and delivering ad meetings
US20110239136A1 (en) 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
AU2011239567A1 (en) 2010-04-14 2012-12-06 Sven Riethmueller Platform-independent interactivity with media broadcasts
US20120191231A1 (en) 2010-05-04 2012-07-26 Shazam Entertainment Ltd. Methods and Systems for Identifying Content in Data Stream by a Client Device
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
KR101168337B1 (ko) 2010-07-08 2012-07-24 에스케이하이닉스 주식회사 데이터 출력 임피던스를 조절할 수 있는 집적회로 및 데이터 출력 임피던스 조절방법
US20120013621A1 (en) 2010-07-15 2012-01-19 Miniclip SA System and Method for Facilitating the Creation of Animated Presentations
US20120016926A1 (en) * 2010-07-15 2012-01-19 Vivox Inc. Scalable techniques for providing real-time per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US8930996B2 (en) 2010-11-05 2015-01-06 Echostar Technologies L.L.C. Apparatus, systems and methods for automatically presenting stored media content at its beginning
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR101445263B1 (ko) 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US8613646B2 (en) 2011-01-21 2013-12-24 Henk B. Rogers Systems and methods for controlling player characters in an interactive multiplayer story
US8978047B2 (en) 2011-02-03 2015-03-10 Sony Corporation Method and system for invoking an application in response to a trigger event
US20120200667A1 (en) 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US9839844B2 (en) 2011-03-01 2017-12-12 Disney Enterprises, Inc. Sprite strip renderer
WO2012126135A1 (en) 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
US20130103760A1 (en) 2011-04-11 2013-04-25 Robert K. Golding Location-sensitive virtual identity system, apparatus, method and computer-readable medium
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US10044448B2 (en) 2011-05-18 2018-08-07 Sparcq, Inc. Sonic signaling communication for user devices
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
WO2012170353A1 (en) 2011-06-10 2012-12-13 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US20120316969A1 (en) 2011-06-13 2012-12-13 Metcalf Iii Otis Rudy System and method for advertisement ranking and display
US20130031579A1 (en) 2011-07-28 2013-01-31 United Video Properties, Inc. Systems and methods for selectively modifying the display of advertisements and providing supplementary media content
US20130029762A1 (en) 2011-07-28 2013-01-31 United Video Properties, Inc. Systems and methods for selectively modifying the display of advertisements based on an interactive gaming environment
KR101608253B1 (ko) 2011-08-09 2016-04-01 인텔 코포레이션 이미지 기반 멀티 뷰 3d 얼굴 생성
KR101711828B1 (ko) 2011-08-19 2017-03-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US8559980B2 (en) 2011-09-02 2013-10-15 John J. Pujol Method and system for integrated messaging and location services
US10140620B2 (en) 2011-09-15 2018-11-27 Stephan HEATH Mobile device system and method providing combined delivery system using 3D geo-target location-based mobile commerce searching/purchases, discounts/coupons products, goods, and services, or service providers-geomapping-company/local and socially-conscious information/social networking (“PS-GM-C/LandSC/I-SN”)
US10102546B2 (en) 2011-09-15 2018-10-16 Stephan HEATH System and method for tracking, utilizing predicting, and implementing online consumer browsing behavior, buying patterns, social networking communications, advertisements and communications, for online coupons, products, goods and services, auctions, and service providers using geospatial mapping technology, and social networking
US20130085828A1 (en) 2011-10-04 2013-04-04 Andrew Michael Schuster System and methods for content distribution with integrated game mechanics
US20130111519A1 (en) 2011-10-27 2013-05-02 James C. Rice Exchange Value Engine
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
US8532914B2 (en) 2011-11-11 2013-09-10 Verizon Patent Licensing Inc. Live traffic congestion detection
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
CN106961621A (zh) 2011-12-29 2017-07-18 英特尔公司 使用化身的通信
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US10702773B2 (en) 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US9402057B2 (en) 2012-04-02 2016-07-26 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive avatars for telecommunication systems
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US10613743B2 (en) 2012-05-09 2020-04-07 Apple Inc. User interface for receiving user input
JP5497931B2 (ja) 2012-05-30 2014-05-21 株式会社コナミデジタルエンタテインメント アプリケーション装置、アプリケーション装置の制御方法、及びプログラム
AU2013206649A1 (en) 2012-07-05 2014-01-23 Aristocrat Technologies Australia Pty Limited A gaming system and a method of gaming
US20140125678A1 (en) 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US10116598B2 (en) 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9936165B2 (en) 2012-09-06 2018-04-03 Intel Corporation System and method for avatar creation and synchronization
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9501942B2 (en) 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140129343A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9027048B2 (en) 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
US9256860B2 (en) 2012-12-07 2016-02-09 International Business Machines Corporation Tracking participation in a shared media session
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US20140278845A1 (en) 2013-03-15 2014-09-18 Shazam Investments Limited Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content
WO2014146258A1 (en) 2013-03-20 2014-09-25 Intel Corporation Avatar-based transfer protocols, icon generation and doll animation
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US20160134938A1 (en) 2013-05-30 2016-05-12 Sony Corporation Display control device, display control method, and computer program
WO2014194439A1 (en) 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US20150032798A1 (en) 2013-07-24 2015-01-29 Alcatel-Lucent Canada Inc. Method And Apparatus For Providing Redundant Data Access
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US10318916B2 (en) 2013-08-28 2019-06-11 Barbaro Technologies Apparatus and method of identifying and sizing clothing in an inventory management system
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
WO2015070416A1 (en) 2013-11-14 2015-05-21 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9361510B2 (en) 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
WO2015123201A1 (en) 2014-02-11 2015-08-20 The Nielsen Company (Us), Llc Methods and apparatus to calculate video-on-demand and dynamically inserted advertisement viewing probability
AU2015218353A1 (en) 2014-02-14 2016-09-01 Pluto Inc. Methods and systems for generating and providing program guides and content
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9503845B2 (en) 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
JPWO2016021482A1 (ja) 2014-08-06 2017-05-25 シャープ株式会社 グループ視聴支援装置、グループ視聴支援方法、及び、視聴機器
US9898849B2 (en) 2014-11-05 2018-02-20 Intel Corporation Facial expression based avatar rendering in video animation and method
EP3238176B1 (en) 2014-12-11 2023-11-01 Intel Corporation Avatar selection mechanism
JP6493417B2 (ja) 2015-01-15 2019-04-03 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
JP6462386B2 (ja) 2015-02-05 2019-01-30 任天堂株式会社 プログラム、通信端末及び表示方法
US20170087473A1 (en) 2015-09-29 2017-03-30 Sportsworld, Inc. Virtual environments for managing and interacting with virtual sports leagues
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
WO2017101094A1 (en) 2015-12-18 2017-06-22 Intel Corporation Avatar animation system
US9973785B1 (en) 2015-12-28 2018-05-15 Amazon Technologies, Inc. Automatic failover for live video streaming
US20170199855A1 (en) 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US20170312634A1 (en) 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US11320982B2 (en) 2016-05-18 2022-05-03 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10580319B2 (en) 2016-05-20 2020-03-03 Creative Styles LLC Interactive multimedia story creation application
US10657701B2 (en) 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10573048B2 (en) 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
KR20210013323A (ko) 2016-09-23 2021-02-03 애플 인크. 아바타 생성 및 편집
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10949872B2 (en) 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
US10210648B2 (en) 2017-05-16 2019-02-19 Apple Inc. Emojicon puppeting
US11094001B2 (en) 2017-06-21 2021-08-17 At&T Intellectual Property I, L.P. Immersive virtual entertainment system
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10572121B2 (en) 2018-02-09 2020-02-25 International Business Machines Corporation Contextual user profile photo selection
US20190320141A1 (en) 2018-04-17 2019-10-17 Hadif Hamad Mehad Mohamed Almheiri Method for initiating and organizing video calls in which video effects apply to video streams captured by cameras on users' devices
DK180212B1 (en) * 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US11740630B2 (en) 2018-06-12 2023-08-29 Skydio, Inc. Fitness and sports applications for an autonomous unmanned aerial vehicle
US11103773B2 (en) 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10885693B1 (en) 2019-06-21 2021-01-05 Facebook Technologies, Llc Animating avatars from headset cameras
US11194879B2 (en) * 2019-07-08 2021-12-07 Valve Corporation Custom compilation videos
US11335051B2 (en) 2019-10-25 2022-05-17 Disney Enterprises, Inc. Parameterized animation modifications
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
EP4096798A1 (en) 2020-01-30 2022-12-07 Snap Inc. System for generating media content items on demand
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US20210243503A1 (en) 2020-01-30 2021-08-05 Snap Inc Selecting avatars to be included in the video being generated on demand

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083320A1 (en) * 2008-10-01 2010-04-01 At&T Intellectual Property I, L.P. System and method for a communication exchange with an avatar in a media communication system
CN102450031A (zh) * 2009-05-29 2012-05-09 微软公司 集成化身的共享媒体体验
CN104170374A (zh) * 2012-03-14 2014-11-26 谷歌公司 在视频会议期间修改参与者的外观
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的系统和方法
US20150071613A1 (en) * 2012-04-13 2015-03-12 In Situ Media Corporation Method and system for inserting and/or manipulating dynamic content for digital media post production
US20150244754A1 (en) * 2014-02-25 2015-08-27 Stephen Beckham, JR. Technologies for multi-user interactive media streaming
CN108475280A (zh) * 2016-04-19 2018-08-31 谷歌有限责任公司 用于使用第二屏幕设备来与内容交互的方法、系统和介质
CN108476329A (zh) * 2016-04-27 2018-08-31 谷歌有限责任公司 类似引入缓存机制
CN109863527A (zh) * 2016-12-30 2019-06-07 谷歌有限责任公司 用于展现的本地内容的服务器侧渲染的方法和系统
CN110168478A (zh) * 2017-01-09 2019-08-23 斯纳普公司 表面识别镜头

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651539B2 (en) 2020-01-30 2023-05-16 Snap Inc. System for generating media content items on demand
US11651022B2 (en) 2020-01-30 2023-05-16 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11729441B2 (en) 2020-01-30 2023-08-15 Snap Inc. Video generation system to render frames on demand
US11831937B2 (en) 2020-01-30 2023-11-28 Snap Inc. Video generation system to render frames on demand using a fleet of GPUS

Also Published As

Publication number Publication date
US20220368960A1 (en) 2022-11-17
US11356720B2 (en) 2022-06-07
EP4097967A1 (en) 2022-12-07
WO2021155394A1 (en) 2021-08-05
US11729441B2 (en) 2023-08-15
KR20220128665A (ko) 2022-09-21
CN115039401B (zh) 2024-01-26
US20210243482A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN115039401B (zh) 用于按需渲染帧的视频生成系统
US20210243503A1 (en) Selecting avatars to be included in the video being generated on demand
US11716301B2 (en) Generating interactive messages with asynchronous media content
US11263254B2 (en) Video generation system to render frames on demand using a fleet of servers
US11831937B2 (en) Video generation system to render frames on demand using a fleet of GPUS
CN115552357A (zh) 基于姿势的共享ar会话创建
US11722442B2 (en) Event planning in a content sharing platform
US11651539B2 (en) System for generating media content items on demand
US20220076492A1 (en) Augmented reality messenger system
US11876763B2 (en) Access and routing of interactive messages
CN115428414A (zh) 事件覆盖邀请消息传送系统
CN115668119A (zh) 用于消息收发系统的具有标贴的回复界面
US20210382585A1 (en) Timeline media content navigation system
US11128715B1 (en) Physical friend proximity in chat
US11645324B2 (en) Location-based timeline media content system
CN118042218A (zh) 用于按需渲染帧的视频生成系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant