CN111630550A - 生成具有异步媒体内容的交互式消息 - Google Patents

生成具有异步媒体内容的交互式消息 Download PDF

Info

Publication number
CN111630550A
CN111630550A CN201980007176.0A CN201980007176A CN111630550A CN 111630550 A CN111630550 A CN 111630550A CN 201980007176 A CN201980007176 A CN 201980007176A CN 111630550 A CN111630550 A CN 111630550A
Authority
CN
China
Prior art keywords
media content
content item
computing device
interactive message
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007176.0A
Other languages
English (en)
Other versions
CN111630550B (zh
Inventor
G·科热米亚克
O·皮什琴科
V·沙布罗夫
T·斯蒂芬森
A·斯托利尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/860,397 external-priority patent/US10523606B2/en
Application filed by Snap Inc filed Critical Snap Inc
Priority to CN202410260627.4A priority Critical patent/CN117974339A/zh
Publication of CN111630550A publication Critical patent/CN111630550A/zh
Application granted granted Critical
Publication of CN111630550B publication Critical patent/CN111630550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J19/00—Chemical, physical or physico-chemical processes in general; Their relevant apparatus
    • B01J19/08—Processes employing the direct application of electric or wave energy, or particle radiation; Apparatus therefor
    • B01J19/12—Processes employing the direct application of electric or wave energy, or particle radiation; Apparatus therefor employing electromagnetic waves
    • B01J19/121—Coherent waves, e.g. laser beams
    • C—CHEMISTRY; METALLURGY
    • C25—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES; APPARATUS THEREFOR
    • C25B—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES FOR THE PRODUCTION OF COMPOUNDS OR NON-METALS; APPARATUS THEREFOR
    • C25B1/00—Electrolytic production of inorganic compounds or non-metals
    • C25B1/01—Products
    • C25B1/02—Hydrogen or oxygen
    • C25B1/04—Hydrogen or oxygen by electrolysis of water
    • C—CHEMISTRY; METALLURGY
    • C25—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES; APPARATUS THEREFOR
    • C25B—ELECTROLYTIC OR ELECTROPHORETIC PROCESSES FOR THE PRODUCTION OF COMPOUNDS OR NON-METALS; APPARATUS THEREFOR
    • C25B15/00—Operating or servicing cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/146—Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J2219/00—Chemical, physical or physico-chemical processes in general; Their relevant apparatus
    • B01J2219/08—Processes employing the direct application of electric or wave energy, or particle radiation; Apparatus therefor
    • B01J2219/12—Processes employing electromagnetic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Organic Chemistry (AREA)
  • Electrochemistry (AREA)
  • Materials Engineering (AREA)
  • Metallurgy (AREA)
  • Computing Systems (AREA)
  • Inorganic Chemistry (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Operations Research (AREA)

Abstract

系统和方法被提供用于接收与交互式消息的第一交互式对象相关联的第一媒体内容项，接收与交互式消息的第二交互式对象相关联的第二媒体内容项，基于第一媒体内容项和第二媒体内容项生成第三媒体内容项，其中第三媒体内容项包括第一媒体内容项和第二媒体内容项的组合特征，并引起所生成的第三媒体内容项的显示。

Description

生成具有异步媒体内容的交互式消息
优先权
本申请是2018年12月31日提交的序列号为16/237,296的美国专利申请的继续申请并要求其优先权权益，该美国专利申请要求于2018年3月15日提交的序列号为62/643,449的美国临时专利申请的优先权权益；本申请还是于2018年1月2日提交的美国专利申请15/860,397的继续申请，并要求其权益，据此要求其中每一个申请的优先权权益，并且通过引用将其全部内容并入本文。
背景技术
内容共享平台可以从期望在用户装置(例如，移动装置、个人计算机等)之间共享诸如音频、图像和视频的媒体内容的用户接收数百万条消息。这些消息的媒体内容可以与共同的地理位置、共同的时间段、共同的事件等相关联。传统上，第一用户向第二用户或若干用户发送消息，并且第二用户或若干用户可以查看该消息。然后，第二用户或若干用户可以创建新消息，并向第一用户或其他用户发送新消息。
附图说明
附图中的各个附图仅示出了本公开的示例实施例，并且不应被认为是对其范围的限制。
图1是示出根据一些示例实施例的用于通过网络交换数据(例如，消息和相关联内容)的示例消息传递系统的框图。
图2是示出根据一些示例实施例的关于消息传递系统的进一步细节的框图。
图3是示出根据一些示例实施例的可以存储在消息传递服务器系统的数据库中的数据的示意图。
图4是示出根据一些实施例的由消息传递客户端应用生成的用于通信的消息的结构的示意图。
图5是示出根据一些示例实施例的方法的方面的流程图。
图6是示出根据一些示例实施例的共享交互式消息的示例的图。
图7-9示出根据一些示例实施例的示例图形用户界面。
图10是示出根据一些示例实施例的共享交互式消息的示例的图。
图11-17示出根据一些示例实施例的示例图形用户界面。
图18是示出根据一些示例实施例的方法的方面的流程图。
图19-20是示出根据一些示例实施例的方法的方面的框图。
图21示出根据一些示例实施例的样本形状特征。
图22示出根据一些示例实施例的示例图形用户界面。
图23是示出根据一些示例实施例的可以安装在机器上的软件架构的示例的框图。
图24示出根据示例实施例的以计算机系统的形式的机器的示意图，在该计算机系统内可以执行一组指令以使机器执行本文讨论的方法中的任何一个或多个。
具体实施方式
在此描述的系统和方法涉及采用异步媒体内容生成交互式消息。如上所述，通常在消息传递系统中，第一用户创建消息并将消息发送给第二用户。第二用户从第一用户接收消息，并且然后创建新消息并将新消息发送回第一用户或其他用户。示例实施例允许交互式消息传递，该交互式消息传递允许用户经由交互式消息彼此交互。例如，第一用户可以使用个人媒体内容(诸如采集他自己的视频)来创建消息。第一用户可以向第二用户发送消息。第二用户可以查看具有第一用户的个人媒体内容的消息，并且然后添加她自己的个人媒体内容，诸如她自己的视频。第二用户可以将具有第一用户的个人媒体内容和第二用户的个人媒体内容的消息发送给第三用户，发送回第二用户或若干用户。第三用户可以查看具有第一用户的个人媒体内容和第二用户的个人媒体内容的消息，并且然后添加她自己的个人媒体内容，诸如她自己的视频。然后，第三用户可以向一个或多个其他用户发送消息。以该方式，该消息从一个用户传递到下一个用户，并且每个用户能够为该消息做出贡献。可以在交互式消息中采集这些异步体验。
交互式消息可以是具有与交互式消息中的不同区域或角色相关联的多个对象的预定义消息(例如，视频、图像等)，用户可以为其添加个人内容(例如，乐队成员、比赛选手、场景中的位置等)。例如，交互式消息可以是乐队演奏的视频，其具有用于每个乐队成员的对象。用户可以将乐队成员的面部的图像或视频添加到每个乐队成员的面部。
一种发送来自一个或多个用户的具有个人媒体内容的交互式消息的方法是每次添加个人媒体内容时重新压缩交互式消息并且然后将交互式消息作为一个文件发送给另一用户。例如，当第二用户将她的个人内容添加到交互式消息时，计算装置将通过使用从第一用户接收到的交互式消息并覆盖来自第二用户的个人内容并且然后记录整个消息作为一个文件来生成交互式消息。然而，该方法可能会导致非常大的文件大小，这可能不适合计算装置(诸如移动装置)发送和接收。此外，发明人发现，将视频重新压缩几次会导致压缩伪像。由于这些原因，示例实施例在每次由接收交互式消息的计算装置生成交互式消息时，利用来自每个用户的原始个人内容来重新创建该交互式消息。此外，示例实施例允许针对在交互式消息中的对象记录图像或视频的一部分或子集(例如，只是用户的面部)，以减小图像和视频的文件大小。因此，示例实施例通过使用较小的文件大小提供了更有效的系统，并通过使用原始个人内容提供了更高质量的消息传递。
在描述进一步的细节之前，描述图6以示出根据一些示例实施例的共享交互式消息的示例。例如，可能存在多个用户，诸如P1(602)、P2(604)、P3(606)至n(608)用户。用户P1的第一用户装置610使用来自用户P1的输入(例如，文本、音频、视频、图像等)来生成交互式消息。用户P1可以指示612他希望向至少用户P2发送交互式消息。第一用户装置610向与用户P2相关联的第二用户装置614发送交互式消息。第二用户装置614渲染并显示交互式消息。第二用户装置614使用来自用户P2的输入(例如，文本、音频、视频、图像等)生成内容以添加到交互式消息616。用户P2可以指示618她希望向与用户P3相关联的第三用户装置620发送交互式消息616。第三用户装置620渲染并显示交互式消息622。第三用户装置620使用来自用户P3的输入(例如，文本、音频、视频、图像等)生成内容，以添加到交互式消息622。用户P3可以指示624她希望向与用户n相关联的第四用户装置626发送交互式消息622。第四用户装置626渲染并显示交互式消息628。第四用户装置626使用来自用户n的输入(例如，文本、音频、视频、图像等)生成内容，以添加到交互式消息628。用户n可以指示630她希望向第五用户装置发送交互式消息628，因此该过程可以继续。注意，该图示出了在链中发送交互式消息(例如，从一个用户到下一个用户)。在其它示例实施例中，用户可以向多于一个的用户发送交互式消息，并且然后这些用户中的每一个可以向一个或多个用户发送消息。
图1是示出用于通过网络交换数据(例如消息和相关联内容)的联网系统100(例如消息传递系统)的框图。联网系统100包括多个客户端装置110，每个客户端装置托管多个客户端应用114。每个客户端应用114经由网络104通信地耦合到客户端应用114的其它实例和服务器系统108。
客户端装置110可以包括但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超极本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程的消费电子系统、游戏控制台、机顶盒、车载计算机、可穿戴装置或用户可用来访问联网系统100的任何其它通信装置。在一些实施例中，客户端装置110可包括显示模块(未示出)以显示信息(例如，以用户界面的形式)。在进一步的实施例中，客户端装置110可以包括触摸屏、加速度计、陀螺仪、相机、麦克风、全球定位系统(GPS)装置等中的一个或多个。
客户端装置110可以是用于创建诸如视频、图像(例如照片)和音频的媒体内容项以及用于向其他用户发送和从其他用户接收包含该媒体内容项、文本等的消息的用户装置。客户端装置110可以是用于创建和编辑媒体覆盖的用户的装置。
一个或多个用户可以是与客户端装置110进行交互的人、机器或其它部件。在示例实施例中，用户可能不是系统100的一部分，而是可以经由客户端装置110或其它部件与系统100进行交互。例如，用户可以提供到客户端装置110的输入(例如，触摸屏输入或字母数字输入)，并且该输入可以经由网络104传送给系统100中的其它实体(例如，第三方服务器、服务器系统108等)。在该情况下，系统100中的其它实体响应于接收到来自用户的输入，可以经由网络104将信息传送给客户端装置110，以呈现给用户。以该方式，用户可以使用客户端装置110与系统100中的各个实体进行交互。
系统100可以进一步包括网络104。网络104的一个或多个部分可以是自组织网络、内部网、外部网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网络(PSTN)的一部分、蜂窝电话网络、无线网络、WI-FI网络、WiMax网络、另一种类型的网络，或两个或更多个此类网络的组合。
客户端装置110可以经由web客户端(例如，浏览器，诸如由华盛顿州雷德蒙德的微软
Figure BDA0002565355120000051
公司开发的
Figure BDA0002565355120000052
浏览器)或一个或多个客户端应用114访问由系统100中的其它实体提供的各种数据和应用。客户端装置110可以包括一个或多个客户端应用114(也称为“应用软件”)，诸如但不限于Web浏览器、消息传递应用、电子邮件(电子邮件)应用、电子商务站点应用、地图或位置应用、媒体覆盖应用、交互式消息传递应用等。
在一些实施例中，一个或多个客户端应用114可以被包括在客户端装置110的给定的一个客户端装置中，并且被配置为本地地提供用户界面和至少一些功能，其中客户端应用114被配置为根据需要与系统100中的其它实体(例如，第三方服务器、服务器系统108等)进行通信，以获取本地不可用的数据和/或处理功能(例如，处理用户查询，验证用户身份，验证付款方式等)。相反，一个或多个客户端应用114可能不包括在客户端装置110中，并且然后客户端装置110可以使用其Web浏览器访问系统100中其它实体(例如，第三方服务器、服务器系统108等)上托管的一个或多个应用。
在一个示例中，客户端应用114可以是允许用户拍摄照片或视频、添加标题或以其它方式编辑照片或视频、并且然后向另一用户发送照片或视频的消息传递应用。在一个示例中，该消息可以是短时的，并且在查看之后或在预定量的时间(例如10秒、24小时等)之后从接收用户装置中删除。短时消息是指可以在限定时间的持续时间内访问的消息。短时消息可以是文本、图像、视频以及根据在此所述实施例可以缝在一起的其它此类内容。用于短时消息的访问时间可以由消息发送者设置。可替代地，访问时间可以是默认设置，或接收方指定的设置。不管设置技术如何，消息是暂态的。
消息传递应用可以进一步允许用户创建图库或消息集合。图库可以是照片和视频的集合，其他用户可以“跟随”该用户的图库(例如，订阅以查看和接收该用户的图库中的更新)来查看该照片和视频。在一个示例中，图库也可以是短时的(例如，持续24小时，持续事件的持续时间(例如，在音乐会、体育赛事等期间)或持续另一预定时间)。
短时消息可以与消息持续时间参数相关联，该消息持续时间参数的值确定该短时消息将被客户端应用114显示给该短时消息的接收用户的时间量。短时消息可以进一步与消息接收者标识符和消息定时器相关联。消息定时器可以负责确定短时消息显示给由消息接收者标识符识别的特定接收用户的时间量。例如，短时消息可以仅在由消息持续时间参数的值确定的时间段内显示给相关的接收用户。
在另一示例中，消息传递应用可以允许用户存储照片和视频并创建非短时的并且可以发送给其他用户的图库。例如，用户可以组合最近假期的照片和视频以与朋友和家人分享。
服务器系统108可以经由网络104(例如，因特网或广域网(WAN))向一个或多个客户端装置110和/或一个或多个第三方服务器(未示出)提供服务器端功能。服务器系统108可以包括应用编程接口(API)服务器102、应用服务器112、消息传递应用服务器116、媒体内容处理系统118和社交网络系统122，它们可以彼此通信地耦合并与一个或多个数据存储设备(诸如数据库120)耦合。
根据一些示例实施例，服务器系统108可以是云计算环境。在一个示例实施例中，服务器系统108以及与服务器系统108相关联的任何服务器可以与基于云的应用相关联。
一个或多个数据库120可以是存储装置，其存储如下信息：诸如未处理的媒体内容，来自用户的原始媒体内容(例如，高质量媒体内容)，已处理的媒体内容(例如，被格式化以与客户端装置110共享并在客户端装置110上查看的媒体内容)，与媒体内容项有关的上下文数据，与用户装置(例如，计算或客户端装置110)有关的上下文数据，媒体覆盖，媒体覆盖智能小部件或智能元素，用户数据，用户装置信息，媒体内容(例如，视频和图像)，媒体内容数据(例如，与视频和图像相关联的数据)，计算装置上下文数据，序列化数据，会话数据项等。一个或多个数据库120可以进一步存储与第三方服务器、第三方应用、客户端装置110、客户端应用114、用户等有关的信息。
一个或多个数据库120可以包括服务器系统108外部的基于云的存储设备(例如，由服务器系统108外部的一个或多个第三方实体托管的)。尽管存储装置被示为数据库120，但是应当理解，系统100可以在诸如数据库120、二进制对象(blob)存储设备以及其它类型的存储方法的存储装置中访问和存储数据。
系统100可以进一步包括一个或多个第三方服务器(未示出)。该一个或多个第三方服务器可以包括一个或多个第三方应用。在第三方服务器上执行的一个或多个第三方应用可以经由API服务器102提供的编程接口经由API服务器102与服务器系统108交互。例如，一个或多个第三方应用可以经由API服务器102请求并利用来自服务器系统108的信息来支持第三方托管的网站或第三方托管的应用上的一个或多个特征或功能。第三方网站或应用例如可以提供由服务器系统108中的相关功能和数据支持的功能。
因此，每个客户端应用114能够经由网络104与其它客户端应用114和服务器系统108通信和交换数据。在客户端应用114之间以及客户端应用114和服务器系统108之间交换的数据包括功能(例如，调用功能的命令)以及有效载荷数据(例如，文本、音频、视频或其它多媒体数据)。
服务器系统108经由网络104向特定的客户端应用114提供服务器端功能。虽然系统100的某些功能在此被描述为由客户端应用114或由服务器系统108来执行，但是可以理解，某些功能的位置是在客户端应用114内还是服务器系统108内是设计选择的。例如，技术上优选的是在服务器系统108内初始部署某些技术和功能，但稍后将该技术和功能迁移到其中客户端装置110具有足够的处理能力的客户端应用114。
服务器系统108支持提供给客户端应用114的各种服务和操作。此类操作包括向客户端应用114发送数据，从客户端应用114接收数据以及处理由客户端应用114生成的数据。该数据可以包括例如消息内容、客户端装置信息、地理位置信息、媒体注释和覆盖物、消息内容持久性条件、社交网络信息、直播事件信息、日期和时间戳、媒体内容(例如视频和图像)以及媒体内容数据(例如与视频和图像相关联的数据)。通过经由客户端应用114的用户界面(UI)可用的功能来调用和控制联网系统100内的数据交换。
在服务器系统108中，API服务器110耦合到应用服务器112，并提供编程接口给应用服务器112。应用服务器112通信地耦合到数据库服务器124，该数据库服务器124便于访问一个或多个数据库120，在该数据库120中存储与应用服务器112处理的消息相关联的数据。
API服务器102在客户端装置110和应用服务器112之间接收和发送消息数据(例如，命令和消息有效载荷)。具体地，API服务器102提供可由客户端应用114调用或查询的一组接口(例如，例程和协议)，以便调用应用服务器112的功能。API服务器102显现由应用服务器112支持的各种功能，各种功能包括账户注册；登录功能；经由应用服务器112从特定客户端应用114向另一个客户端应用114发送消息；从客户端应用114向消息传递应用服务器116发送媒体文件(例如，图像或视频)，以用于可能由另一客户端应用114访问；设置媒体数据的集合(例如，图库、故事、消息集合或媒体集合)；取得客户端装置110的用户的朋友的列表；取得此类集合；取得消息和内容；对社交图添加朋友和删除朋友；朋友在社交图内的位置；打开应用事件(例如，与客户端应用114有关的)等等。
应用服务器112托管多个应用和子系统，包括消息传递应用服务器116、媒体内容处理系统118和社交网络系统122。消息传递应用服务器116实现多个消息处理技术和功能，特别是与从客户端应用114的多个实例接收的消息中包含的内容(例如，文本和多媒体内容)的聚合和其它处理有关的技术和功能。来自多个源的文本和媒体内容可以聚合到内容集合(例如，称为故事、图库或媒体集合)。然后，由消息传递应用服务器116使这些集合对客户端应用114可用。鉴于用于此类处理的硬件要求，还可以由消息传递应用服务器116在服务器端执行其它处理器和存储器密集的数据处理。
应用服务器112还包括媒体内容处理系统118，该媒体内容处理系统118专用于通常关于在消息传递应用服务器116处的消息的有效载荷内接收的图像或视频执行各种媒体内容处理操作。媒体内容处理系统118可以访问一个或多个数据存储设备(例如数据库120)以取得存储的数据以用于处理媒体内容并存储处理的媒体内容的结果。
社交网络系统122支持各种社交网络功能和服务，并使这些功能和服务可用于消息传递应用服务器116。为此，社交网络系统122维护并访问数据库120内的实体图304(图3中所示)。社交网络系统122支持的功能和服务的示例包括特定用户与其有关系或特定用户正在“关注”的网络系统100的其他用户的标识，以及特定用户的其它实体和兴趣的标识。
消息传递应用服务器116可以负责在客户端装置110的用户之间生成和传递消息。消息传递应用服务器116可以利用多种消息传递网络和平台中的任何一种来向用户传递消息。例如，消息传递应用服务器116可以经由有线网络(例如因特网)、普通老式电话服务(POTS)或无线网络(例如移动、蜂窝、WIFI、长期演进(LTE)或蓝牙)使用电子式邮件(电子邮件)、即时消息(IM)、短消息服务(SMS)、文本、传真或语音(例如，IP语音(VoIP))消息来传递消息。
图2是示出根据示例实施例的关于系统200的进一步细节的框图200。具体地，系统200被示出为包括消息传递客户端应用114和应用服务器112，其进而体现多个子系统，即短时定时器系统202、集合管理系统204和注释系统206。
短时定时器系统202负责实施对由消息传递客户端应用114和消息传递应用服务器116允许的内容的临时访问。为此，短时定时器系统202包括多个定时器，该定时器基于与消息相关联的持续时间和显示参数或消息集合(例如，在此另称为媒体集合、图库、消息集合、故事等)，经由消息传递客户端应用114选择性地显示和启用对消息和相关联内容的访问。
集合管理系统204负责管理媒体集合(例如，文本、图像视频和音频数据的集合)。在一些示例中，内容的集合(例如，消息，包括图像、视频、文本和音频)可以被组织成“事件图库”或“事件故事”。该集合可以在指定的时间段(诸如内容所涉及的事件的持续时间)内可用。例如，与音乐会有关的内容可以在该音乐会的持续时间内作为“故事”可用。集合管理系统204还可以负责发布向消息传递客户端应用114的用户界面提供特定集合的存在的通知的图标。
集合管理系统204另外包括策展界面208，策展界面208允许集合管理器管理和策展特定的内容集合。例如，策展界面208使事件组织者能够策展与特定事件有关的内容集合(例如，删除不适当的内容或冗余消息)。另外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动策展内容集合。在某些实施例中，为了将用户生成的内容包括在集合中，可以向用户支付报酬(例如，金钱，与该消息传递系统或第三方奖励系统相关联的非金钱积分或点数，旅行里程，对艺术品或专用镜头的访问等)。在此类情况下，策展界面208操作以便为了使用其内容而自动向此类用户付款。
注释系统206提供使得用户能够注释或以其它方式修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与由联网系统100处理的消息的媒体覆盖的生成和发布有关的功能。在一个示例中，注释系统206基于客户端装置110的地理位置可操作地向消息传递客户端应用114提供媒体覆盖(例如，滤镜或媒体增强)。在另一示例中，注释系统206基于诸如客户端装置110的用户的社交网络信息的其它信息可操作地向消息传递客户端应用114提供媒体覆盖。媒体覆盖可包括音频和视觉内容和视觉效果。音频和视觉内容的示例包括图片、文本、徽标、动画和声音效果。视觉效果的示例包括颜色覆盖。可以将音频和视觉内容或视觉效果应用于客户端装置110处的媒体内容项(例如，图像或视频)。例如，媒体覆盖包括可以覆盖在由客户端装置110生成的照片之上的文本。在另一示例中，媒体覆盖包括位置覆盖的标识(例如，威尼斯海滩)、直播事件的名称或商家覆盖的名称(例如，海滩咖啡馆)。在另一示例中，注释系统206使用客户端装置110的地理位置来识别包括客户端装置110的地理位置处的商家名称的媒体覆盖。媒体覆盖可以包括与商家相关联的其它标记。媒体覆盖可以存储在数据库120中并通过数据库服务器124访问。
注释系统206可以进一步使用户能够与交互式消息进行交互，诸如通过将一个或多个媒体内容项添加到交互式消息中，如下面进一步详细描述的。在一个示例实施例中，注释系统206提供一种发布平台，该发布平台允许用户或商家创建具有与交互式消息相关联的多个对象的交互式消息，用户可以针对该交互式消息添加个人内容。例如，设计师可以为乐队的不同成员(鼓手、键盘手、吉他手等)创建带有各种交互式对象的摇滚乐队的视频。摇滚乐队的视频可以作为交互式消息对用户可用。
在一个示例实施例中，注释系统206提供基于用户的发布平台，其使用户能够在地图上选择地理位置，并上传与所选地理位置相关联的内容。用户还可以指定应该向其他用户提供特定的媒体覆盖的环境。注释系统206生成包括所上传的内容的媒体覆盖，并将所上传的内容与所选地理位置相关联。
在另一示例实施例中，注释系统206提供基于商家的发布平台，其使商家能够经由投标过程选择与地理位置相关联的特定的媒体覆盖。例如，注释系统206在预定义的时间量内将最高投标商家的媒体覆盖与对应的地理位置相关联。
图3是示出根据某些示例实施例的可存储在服务器系统108的数据库120中的数据的示意图。虽然数据库120的内容被示出为包括多个表，但是可以理解，数据可以以其它类型的数据结构存储(例如，作为面向对象的数据库)。
数据库120包括存储在消息表314内的消息数据。实体表302存储实体数据，包括实体图304。实体(其记录被维护在实体表302内)可以包括个人、公司实体、组织、对象、地点、事件等。无论何种类型，与服务器系统108存储数据相关的任何实体可以是公认的实体。每个实体被提供唯一标识符，以及实体类型标识符(未示出)。
实体图304另外存储关于实体之间的关系和关联的信息。仅用于示例，此类关系可以是社交关系、基于专业(例如，在共同的公司或组织工作)兴趣的关系、或基于活动的关系。
数据库120还将注释数据(例如，以媒体覆盖或滤镜的形式)存储在注释表312中。注释数据在此也可以称为“创意工具”或“交互特征”。注释数据可以包括要提供给用户的预定义的交互消息。
媒体覆盖或滤镜(其数据存储在注释表312内)与视频(其数据存储在视频表310中)和/或图像(其数据存储在图像表308中)相关联并应用于视频和/或图像。在一个示例中，滤镜是在向接收者用户呈现期间显示为覆盖在图像或视频上的覆盖物。滤镜可以是各种类型的，包括当发送用户编写消息时由消息传递客户端应用114向发送用户呈现的滤镜的图库中的用户选择的滤镜。其它类型的滤镜包括地理位置滤镜(也称为地理滤镜)，其可以基于地理位置呈现给发送用户。例如，基于由客户端装置110的GPS单元确定的地理位置信息，消息客户端应用114可以在用户界面内呈现特定于邻域或特定位置的地理位置滤镜。另一类型的滤镜是数据滤镜，其可以基于由客户端装置110在消息创建过程期间收集的其它输入或信息，由消息传递客户端应用114选择性地呈现给发送用户。数据滤镜的示例包括特定位置处的当前温度、发送用户行进的当前速度、客户端装置110的电池寿命或当前时间。
可以存储在注释表312内的其它注释数据是所谓的“镜头”数据。“镜头”可以是可以添加到图像或视频的实时特效和声音。
如上所述，视频表310存储视频数据，在一个实施例中，该视频数据与消息(其记录被维护在消息表314内)相关联。类似地，图像表308存储与消息(其消息数据被存储在消息表314中)相关联的图像数据。实体表302可以将来自注释表312的各种注释与存储在图像表308中的各种图像和视频表310中的各种视频相关联。
故事表306存储关于消息和相关联图像、视频或音频数据的集合的数据，其被编译成集合(例如，故事、图库或媒体集合)。特定集合的创建可以由特定用户(例如，在实体表302中维护其记录的任何用户)发起。用户可以以由该用户创建和发送/广播的内容集合的形式创建“个人故事”。为此，消息传递客户端应用114的用户界面可以包括用户可选择的图标，以使发送用户能够将特定内容添加到他或她的个人故事中。
媒体或消息集合还可以构成“直播故事”，其是来自多个用户的通过手动、自动或使用手动和自动技术的组合创建的内容的集合。例如，“直播故事”可以构成来自不同位置和事件的用户提交内容的策展流。例如，可以经由消息传递客户端应用114的用户界面向用户(该用户的客户端装置110启用了位置服务并且其在特定时间处于公共事件位置)呈现选项，以针对特定的直播故事贡献内容。可以由消息传递客户端应用114基于他或她的位置向用户识别直播故事。最终结果是从共同体角度讲述的“直播故事”。
另一种类型的内容集合被称为“位置故事”，其使得其客户端装置110位于特定地理位置(例如，在学院或大学校园内)的用户能够对特定集合做出贡献。在一些实施例中，对位置故事的贡献可能需要验证终端用户属于特定组织或其它实体(例如，是大学校园中的学生)的第二程度的认证。
图4是示出根据一些实施例中的由客户端应用114生成用于与另一客户端应用114或消息传递应用服务器116进行通信的消息400的结构的示意图。特定消息400的内容用于填充存储在数据库120内的可由消息传递应用服务器116访问的消息表314。类似地，消息400的内容作为客户端装置110或应用服务器112的“传输中”或“飞行中”数据存储在存储器中。消息400被示出为包括以下组件：
·消息标识符402：识别消息400的唯一标识符。
·消息文本有效负载404：文本，其由用户经由客户端装置110的用户界面生成并且被包括在消息400中。
·消息图像有效载荷406：图像数据，其由客户端装置110的相机组件采集或从客户端装置110的存储器取得，并且被包括在消息400中。
·消息视频有效载荷408：视频数据，其由相机组件采集或从客户端装置110的存储器组件取得，并且被包括在消息400中。
·消息音频有效载荷410：音频数据，其由麦克风采集或从客户端装置110的存储器组件取得，并且被包括在消息400中。
·消息注释412：注释数据(例如，媒体覆盖，诸如滤镜、贴纸或其它增强)，其表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的注释。
·消息持续时间参数414：参数值，其以秒为单位指示消息400的内容(例如，消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)将经由消息传递客户端应用114呈现给用户或可由用户访问的时间量。
·消息地理位置参数416：与消息400的内容有效载荷相关联的地理位置数据(例如，纬度和纵向坐标)。多个消息地理位置参数416值可以被包括在有效载荷中，这些参数值中的每一个参数值与内容中包括的内容项目相关联(例如，消息图像有效载荷406内的特定图像，或消息视频有效载荷408中的特定视频)。
·消息故事标识符418：识别与消息400的消息图像有效载荷406中的特定内容项相关联的一个或多个内容集合(例如，“故事”)的标识符值。例如，消息图像有效载荷406内的多个图像可以各自使用标识符值与多个内容集合相关联。
·消息标签420：每个消息400可以采用多个标签标记，每个标签指示消息有效载荷中包括的内容的主题。例如，在消息图像有效负载406中包括的特定图像描绘动物(例如，狮子)的情况下，标签值可以被包括在指示相关动物的消息标签420内。标签值可以基于用户输入手动生成，或者可以使用例如图像识别自动生成。
·消息发送者标识符422：指示生成消息400并且从其发送消息400的客户端装置110的用户的标识符(例如，消息传递系统标识符、电子邮件地址或装置标识符)。
·消息接收者标识符424：指示消息400被寻址到的客户端装置110的用户的标识符(例如，消息系统标识符、电子邮件地址或装置标识符)。
消息400的各种组件的内容(例如，值)可以是指向其中存储内容数据值的表中的位置的指示器。例如，消息图像有效载荷406中的图像值可以是指向图像表308内的位置(或其地址)的指示器。类似地，消息视频有效载荷408内的值可以指向存储在视频表310内的数据，存储在消息注释412内的值可以指向存储在注释表312中的数据，存储在消息故事标识符418内的值可以指向存储在故事表306中的数据，以及存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表302内的用户记录。
图5是示出根据一些示例实施例的方法500的方面的流程图。为了说明的目的，关于图1的联网系统100来描述方法500。应该理解，在其它实施例中，方法500可以采用其它系统配置实践。
在操作502中，服务器计算机(例如，经由服务器系统108)接收与交互式消息的第一交互式对象相关联的第一媒体内容项。交互式消息可以包括多个交互式对象。服务器计算机可以从第一计算装置(例如，客户端装置110)接收第一媒体内容项。服务器计算机可以在向一个或多个其它计算装置发送交互式消息的请求中接收与交互式消息的第一交互式对象相关联的第一媒体内容项。
在一个示例中，第一计算装置可以向服务器计算机发送用于交互式消息的请求。例如，第一用户可能正在使用第一计算装置来生成消息以发送给一个或多个用户(例如，经由在第一计算装置上运行的消息传递应用)。用户可以指示他希望生成交互式消息(例如，经由选择菜单项，与第一计算装置的显示器的触摸屏进行交互，与第一计算装置上的按钮进行交互等)。交互式消息可以在第一计算装置上本地可用(例如，存储在第一计算装置的存储器中)，或者可以从服务器计算机请求。如果从服务器计算机请求交互式消息，则服务器计算机接收用于交互式消息的请求，并向第一客户端装置发送交互式消息。
第一计算装置可以在第一计算装置的显示器上显示交互式消息。第一用户可以采集媒体内容项(例如，图像或视频)，输入文本或音频，或者以其它方式与交互式消息交互以将媒体内容添加到交互式消息。例如，用户可以使用第一计算装置的相机装置来采集视频或图像。
图7示出交互式消息702的示例，其中用户可以将他自己的图像或视频添加到乐队中。交互式消息702中的第一交互式对象704可以是鼓手。用户可以采集其面部的图像或视频以添加到鼓手。例如，用户可以选择显示器上或计算装置上其它地方的选项以开始采集他自己的视频。计算装置可以采集用户的视频，并将用户的视频与鼓手的第一交互式对象704相关联。在一个示例中，计算装置可以识别可以被采集的视频或图像的一部分，并且仅采集视频或图像的一部分。例如，在该示例中，计算装置可以检测用户的面部并且仅采集用户的面部以显示为鼓手706的面部。这将导致更小的媒体内容项的文件大小。用户的图像或视频(例如，用户的面部)被显示在鼓手的第一交互式对象704中。
用户可以指示他希望共享交互式消息702。例如，用户可以选择将交互式消息702保存为媒体集合708的一部分，以供稍后由该用户或有权访问媒体集合708的其他用户查看，或可以向一个或多个用户710发送交互式消息702。计算装置向服务器计算机发送交互式消息702和与第一交互式对象704相关联的媒体内容项(例如，由用户采集的图像或视频)。
在一个示例中，由计算装置发送的交互式消息可以包括主消息(例如，交互式消息和任何相关联数据)、元数据(例如，数据，诸如键值数据存储，保存任意信息，诸如对应于辅助媒体资产的唯一标识符)，辅助媒体资产(例如，诸如图像和视频的媒体内容项)以及脚本逻辑。主消息本身可以是可以与其他用户共享并包括在一个或多个媒体集合中的常规消息。元数据、辅助媒体资产和脚本逻辑的添加使交互性得以实现。
在一个示例中，元数据被注入到主消息中，并且从一个计算装置发送到另一计算装置，并且辅助媒体资产独立于主消息和元数据从发送计算装置上传到服务器计算系统。在一个示例中，辅助媒体资产也独立于主消息和元数据而下载到接收计算装置上。在一个示例中，辅助媒体资产不是以元数据可能的方式嵌入主消息中。脚本逻辑将元数据和辅助媒体资产组合在一起，以生成或再现交互式消息。脚本逻辑可能已经被合并到计算装置中(例如，应用(诸如消息传递应用)的一部分)，或者如果不是这样，则单独的过程可以开始从内容传递系统(例如服务器系统108)中取得脚本逻辑。
因此，使用当前示例，计算装置可以将新条目添加到与用于交互式消息的媒体内容项(例如，辅助资产)相关联的元数据，向服务器计算机发送交互式消息702(例如，主消息)、元数据以及与第一交互式对象704相关联的媒体内容项(例如，用户采集的图像或视频)。在另一示例中，如下所述，服务器计算机可以将新条目添加到元数据以生成序列化数据。
返回图5，在接收到与第一交互式对象相关联的第一媒体内容项之后，服务器计算机存储第一媒体内容项，并通过生成第一会话数据项来生成用于交互式消息的序列化数据，该第一会话数据项包括用于交互式消息的第一交互式对象的媒体内容项(例如，辅助媒体资产)的唯一标识符和存储第一媒体内容项的位置，如操作504中所示。例如，第一会话数据项可以包括用于第一媒体内容项的标识符(例如，唯一标识符)和用于存储第一媒体内容项的位置。例如，第一会话数据项可以包括键值对，其中键是用于媒体内容项的唯一标识符(例如，video1：123456)，而值是存储媒体内容项的位置(例如，URL)。还可以存储其它数据(例如，“得分：300”，“timeElapsed：60”等)。如上所述，媒体内容项的唯一标识符可被序列化作为交互式消息的元数据的一部分。如上所述，第一会话数据项可以被存储作为交互式消息的元数据的一部分。在另一示例中，如上所述，元数据可以由计算装置生成(例如，通过将第一会话数据项添加到交互式消息的元数据)。
在操作506中，服务器计算机将包括第一会话数据项的序列化数据与交互式消息一起存储。例如，服务器计算机可以将序列化数据和交互式消息存储在一个或多个数据库120中。第一媒体内容项也可以存储在一个或多个数据库120中。
在操作508中，服务器计算机向第二计算装置发送交互式消息的序列化数据，其包括第一会话数据项。例如，服务器计算机可以发送具有序列化数据(例如，作为二进制对象附加的元数据)的交互式消息。第二计算装置接收序列化数据，使用第一会话数据项渲染交互式消息，并显示包括第一媒体内容项的被渲染的交互式消息。例如，第二计算装置可以对序列化数据进行反序列化(例如，解码二进制对象或其它格式)以重新创建交互式消息。第二计算装置可以通过使用用于第一媒体内容项的标识符和用于存储第一媒体内容项的位置来取得第一媒体内容项来渲染交互式消息。第二计算装置显示与图7中的交互式消息702中显示的交互式消息类似的交互式消息。第二计算装置可以在接收到交互式消息后立即显示该交互式消息，或者可以根据来自用户的查看交互式消息的请求来显示该交互式消息。
图8示出交互式消息802的示例，其中第二用户可以将他自己的图像或视频添加到乐队。交互式消息802中的第二交互式对象804可以是键盘手。用户可以采集其面部的图像或视频以添加到键盘手，如上面针对鼓手所解释的。在键盘手的第二交互式对象804中显示用户的图像或视频806(例如，作为键盘手的面部部分)。在一个示例中，第二交互式对象804(以及除其他用户已经包括的对象之外的任何其它对象)在第二用户查看交互式消息802之前不可见。在一个示例中，第二交互式对象804可能在用户正在查看交互式消息802时呈现，指示用户可将内容添加到交互式消息802。
用户可以指示他希望共享交互式消息802。例如，用户可以选择保存交互式消息802作为媒体集合808的一部分，以供稍后由用户或有权访问媒体集合808的其他用户查看，或可以向一个或多个用户810发送交互式消息802。计算装置向服务器计算机发送交互式消息802和与第二交互式对象804相关联的媒体内容项(例如，由用户采集的图像或视频806)。
返回图5，在操作510中，服务器计算机接收与交互式消息的第二交互式对象相关联的第二媒体内容项(例如，与乐队的键盘手相关联的第二用户面部的视频)。例如，服务器计算机可以从第二计算装置接收第二媒体内容项。
在操作512中，服务器计算机存储第二媒体内容项，并且通过生成包括用于第二媒体内容项的标识符(唯一标识符)和用于存储第二媒体内容项的位置的第二会话数据项来生成用于交互式消息的序列化数据，以及将第二会话数据项添加到序列化数据。如以上针对第一会话数据项所述，第二会话数据项可以包括用于第二媒体内容项的标识符(例如，唯一标识符)和用于存储第二媒体内容项的位置。同样如上所述，在另一示例中，元数据可以由计算装置生成，如上面所解释的(例如，通过将第一会话数据项添加到交互式消息的元数据)。
在操作514中，服务器计算机存储包括第一会话数据项和第二会话数据项的序列化数据连同交互式消息。例如，服务器计算机可以将序列化数据存储在一个或多个数据库120中。第二媒体内容项也可以存储在一个或多个数据库120中。
在操作516中，服务器计算机向第三计算装置发送包括第一会话数据项和第二会话数据项的交互式消息的序列化数据。例如，服务器计算机可以发送具有序列化数据(例如，作为二进制对象附加的元数据)的交互式消息。第三计算装置接收序列化数据，并使用第一会话数据项和第二会话数据项来渲染交互式消息，并显示包括第一媒体内容项和第二媒体内容项的渲染的交互式消息。例如，第三计算装置可以对序列化数据进行反序列化(例如，解码二进制对象或其它格式)以重新创建交互式消息。第三计算装置可以通过使用用于第一媒体内容项的标识符和存储第一媒体内容项的位置取得第一媒体内容项来渲染交互式消息，并使用用于第一媒体内容项的标识符和存储第二媒体内容项的位置来取得第二媒体内容项。第二计算装置显示与在图8中的交互式消息802中显示的交互式消息类似的交互式消息。第三计算装置可以在接收到交互式消息后立即显示该交互式消息，或者可以根据来自用户的查看交互式消息的请求来显示该交互式消息。
图9示出交互式消息902的示例，其中第三用户可以将他自己的图像或视频添加到乐队。交互式消息902中的第三交互式对象904可以是吉他手。用户可以采集他的面部的图像或视频以添加到吉他手，如上面针对鼓手所解释的。用户的图像或视频906被显示在吉他手的第三交互式对象904中。
用户可以指示他希望共享交互式消息902。例如，用户可以选择保存交互式消息902作为媒体集合908的一部分，以供稍后由用户或有权访问媒体集合908的其他用户查看，或可以向一个或多个用户910发送交互式消息902。计算装置向服务器计算机发送交互式消息902和与第三交互式对象904相关联的媒体内容项(例如，由用户采集的图像或视频906)。
如上所述，服务器计算机接收第三媒体内容项并继续该过程。出于示例的目的，使用与三个用户相关联的三个计算装置来描述上述过程。在其它示例中，可能存在更多或更少的计算装置和用户。此外，每个交互式消息可以仅被发送到一个计算装置，或者可以被发送到多个计算装置。此外，每个交互式消息可以被发送回先前发送该交互式消息的计算装置。
在另一示例实施例中，交互式消息可以包括可以在用户之间玩和共享的游戏。例如，交互式消息可以是挑战体验，其中第一用户玩游戏，并且然后挑战第二用户(或多于一个的用户)以击败他们的高分。用户可以通过相互之间来回(或在多个用户之间)发送用户生成的交互式消息来玩该异步游戏。例如，用户可以在第一计算装置上运行的消息传递应用中选择游戏。游戏可以采集他的图像(例如，用户面部的视频或照片)，并且在第一用户玩完游戏后，第一计算装置生成包括第一用户的图像和游戏结果的消息(例如，分数或赢/输状态)。然后，第一用户可以自定义生成的消息(例如，添加文本或音频，添加图像或视频，添加媒体覆盖等)，并将其发送给第二(或多个)用户作为以击败他的分数的“挑战”。第一计算装置(例如，经由如上所述的服务器系统108)向第二计算装置发送所生成的消息。当第二用户接收到生成的消息时，她可以与生成的消息进行交互以进入游戏并尝试击败第一用户的分数。在一些情况下，新游戏会话中使用原始挑战者的面部。这些会话然后在朋友之间来回进行，直到一个人决定不响应为止。
图10示出在两个用户P1(1002)和P2(1004)之间玩的游戏的示例。使用计算装置1010的第一用户P1 1002通过玩游戏来生成交互式消息。然后，第一用户P1 1002可以向第二用户P2 1004发送1012交互式消息。第二用户P2 1004在第二计算装置1014处接收交互式消息，并通过玩游戏来生成交互式消息1016。然后，第二用户P2 1004可以(经由第二用户的装置1014)将交互式消息1016发送1018回第一用户P1 1002。
图11示出在计算装置的显示器上的一组图形用户界面(GUI)的示例，其示出了可以经由交互式消息在两个或更多个用户之间玩的示例游戏1102。计算装置可以检测来自第一用户的以玩游戏1102的指示。例如，第一用户可以与计算装置上的触摸屏或其它控件进行交互，诸如按下“玩游戏”按钮1104。游戏1102可以包括第一用户的图像1106，并且可以可选地包括已经被用户应用于用户的图像1106的创意工具1108A-1108C(例如，媒体覆盖、文本、音频等)。GUI 1110示出第一用户玩游戏1102的示例。GUI 1112示出具有一些附加文本1114的游戏1102的结果的示例，第一用户已经将该一些附加文本1114添加到游戏1102的结果中以生成要发送给另一用户的交互式消息。第一用户可以将创意工具、文本、音频等应用于游戏结果。GUI 1116示出第一用户可以向其发送交互式消息的用户的选择的示例。第一用户可以向任何数量的朋友或其他用户发送交互式消息。例如，第一用户可以向第二用户发送具有游戏结果的交互式消息。
图12示出计算装置的显示器上的一组示例GUI，其示出第二用户以交互式消息1202的形式接收来自第一用户的邀请。GUI 1204示出第二用户玩游戏(例如，游戏1102)的示例，GUI 1206示出游戏的结果的示例，而GUI 1208示出第二用户可以向其发送交互式游戏的用户的选择的示例，如上所述。第二用户可将游戏发送回第一用户和/或任何数量的其他用户。
在通过玩游戏生成的交互式消息的该示例中，序列化数据(例如，用于交互式消息的元数据)可以包括由结束玩家达到的分数，由每个玩家(例如，每个发送者)达到的所有分数，和/或指示游戏状态的其它数据，该其它数据可用于向接收用户显示游戏状态等(例如，到目前为止的最高分，以向接收用户指示他赢了或输了，等等)。
在一个示例实施例中，在用户从另一用户接收到交互式消息之后，在接收该交互式消息的用户的计算装置上显示该交互式消息，并且在显示该交互式消息之后，计算装置可以显示回复插页式广告(reply interstitial)，其使得交互式消息动画化为在回复插页式广告上的圆圈。在图13中示出了示例回复插页式广告1300。回复插页式广告可以提供以允许第二用户加入或添加到交互式消息(例如，“点击加入”或“点击播放”)的机制1302(例如，一个或多个用户界面元素)或以跳过与交互式消息的交互(例如，“跳过”)的机制1304。
在一个示例中，交互式消息的焦点在回复插页式广告中的圆圈1306中动画化。焦点可以基于交互式消息中最令人兴奋或最有趣的部分而变化。在一个示例中，焦点可以是交互式消息中的一个或多个面部，或者可以是交互式消息内的预定区域。在一个示例中，计算装置可以基于通过确定交互式消息中的一个或多个面部或其它动作区域来确定交互式消息中的关注区域从而确定在圆圈中显示什么。
在一个示例中，焦点可以是显示在回复插页式广告中的圆圈中的静止图像。在另一示例中，焦点可以继续在圆圈中动画化。例如，在焦点处示出的用户(例如，图13中的鼓手)可以持续被示出为正在移动(例如，在图13中的打鼓)。
在用户指示他想与交互式消息进行交互(例如，加入、添加内容等)后，计算装置显示要编辑的交互式消息，如上面进一步详细描述的。例如，计算装置允许用户采集诸如图像或视频的媒体内容项，以添加到交互式消息，使用媒体覆盖，添加文本等。
在其它示例实施例中，插页式广告还可用于指示计算装置正在向一个或多个其他用户发送交互式消息，或者该交互式消息已发送给一个或多个其他用户。图14示出指示交互式消息正在发送的示例插页式广告1400，并且图15示出指示交互式消息已被发送的示例插页式广告1500。
在一个示例实施例中，交互式消息可以基于特定地理位置、基于特定事件、针对用户的子集等等可用。在该示例中，有资格访问交互式消息的用户可以生成交互式消息并将该交互式消息发送给不具有访问交互式消息的资格的用户。例如，第一用户可能有资格基于第一用户的地理位置访问交互式消息。第一用户可以向第二用户发送交互式消息，但是第二用户可能不在用于访问交互式消息的地理位置中。示例实施例允许在即使第二用户不在用于访问交互式消息的地理位置中的情况下，第二用户也可查看交互式消息并与交互式消息交互。
例如，与第二用户相关联的计算装置接收交互式消息。交互式消息可以包括用于交互式消息的唯一标识符。在接收到交互式消息后，计算装置可以解析唯一标识符并检查元数据和资产的存在。如果交互式消息和元数据存在于计算装置的客户端缓存中，则计算装置不执行任何操作并等待用户操作。如果元数据存在但是资产尚不可用，则计算装置将按照预定的时间表启动资产的下载。在一个示例中，该时间表可以取决于计算装置。如果计算装置未找到元数据，则计算装置经由解锁端点请求解锁交互式消息。解锁端点为用户解锁交互式消息，并返回有关该交互式消息的所有地理滤镜元数据。计算装置将使用该元数据来下载资产并基于用户操作启动交互式消息。在一个示例中，交互式消息可以在预定的时间段(例如24小时)内被解锁。
图16示出在计算装置(例如，客户端装置110)的显示器上的一组GUI 1602、1604和1606的示例，其示出可以在两个或更多个用户之间共享的示例交互式消息。在该示例中，第一用户经由计算装置采集第一媒体内容项，诸如她自己的图像。如GUI 1602中所示，计算装置在交互式消息中的第一位置1608中显示用户的图像。在一个示例中，如上所述，位置1608是第一交互式对象。然后，第一用户可以经由计算装置向第二用户发送交互式消息，或者可以采集第二媒体内容项，诸如第二用户(或另一人)的图像。如果第一用户采集另一用户的图像，则计算装置在交互式消息中的第二位置1610中显示另一用户的图像，如GUI 1604中所示。在一个示例中，如上所述，位置1610是第二交互式对象。如果第一用户经由计算装置向第二用户发送交互式消息，则与第二用户相关联的第二计算装置可以接收交互式消息，并允许第二用户采集媒体内容项(诸如图像)并将其添加到交互式消息。例如，第二计算装置可以在第一位置1608中显示具有第一用户的图像的交互式消息，并采集第二用户的图像，并且在交互式消息的第二位置1610中显示第二图像，如GUI 1604中所示。
在采集了两个图像后，计算装置(例如，客户端装置110或服务器/服务器系统，诸如媒体内容处理系统118或服务器系统108)基于第一用户的图像和第二用户的图像生成第三媒体内容项(例如，新图像)。在该示例中，第三媒体内容项可能是两个用户的“婴儿”可能长相的图像。在该示例中，使用了两个人脸。在其它实施例中，可以使用任何两个或更多个对象(例如，人、动物、卡通人物等)。第三图像可以显示在交互式消息的第三位置1612中，如GUI 1606中所示。
图17示出计算装置的显示器上的一组GUI 1702、1704和1706的示例，其示出可以在两个或更多个用户之间共享的另一示例交互式消息。类似于图16中的示例，一个或两个用户可以使用第一和/或第二计算装置来采集他们的图像，并且可以基于两个采集的图像来生成一个或多个新图像。如GUI 1702和GUI 1704中所示，采集的第一图像显示在第一位置1708中，采集的第二图像显示在第二位置1710中。在图17中的示例中，从第一图像和第二图像生成若干新图像1712-1722，以创建如GUI 1706中所示的“家庭”。
图18是示出根据一些示例实施例的用于在交互式消息中从至少第一图像和第二图像中生成第三图像的方法1800的方面的流程图。为了说明的目的，关于图1的联网系统100以及图16和图17中的示例GUI来描述方法1800。应当理解，在其它实施例中，可以采用其它系统配置来实践方法1800。
在操作1802中，计算装置(例如，客户端装置110或服务器/服务器系统，诸如媒体内容处理系统118或服务器系统108)接收用于交互式消息的第一媒体内容项。在一个示例中，如上所述，第一媒体内容项与交互式消息的第一交互式对象相关联。如以上关于图16和图17所解释的，第一媒体内容项可以由第一计算装置采集。如以上关于图16和图17所解释的，计算装置可以从相机装置接收第一媒体内容项，并且使第一媒体内容项被显示在第一计算装置上。第一计算装置可以向第二计算装置发送第一媒体内容项。如以上关于图16和图17所解释的，第二计算装置接收第一媒体内容项，并且使第一媒体内容项被显示在第二计算装置上。
第二计算装置可以直接地或者经由服务器系统108从第一计算装置接收第一媒体内容项。服务器系统108可以从第一计算装置接收第一媒体内容项并将其发送到第二计算装置使其显示在第二计算装置上。
在操作1804中，计算装置接收用于交互式消息的第二媒体内容项。在一个示例中，如上所述，第二媒体内容项与交互式消息的第二交互式对象相关联。在一个示例中，第一计算装置的第一用户使用第一计算装置采集第二媒体内容项，并且第二媒体内容项可以被显示在第一计算装置上。在另一示例中，第二计算装置的第二用户使用第二计算装置采集第二媒体内容项，并且第一媒体内容项和第二媒体内容项可以被显示在第二计算装置上。第二媒体内容项也可以由第二计算装置(例如，直接地或经由服务器系统108)发送到第一计算装置，并且第二媒体内容项可以显示在第一计算装置上。在该示例中，如上所述，服务器系统108接收第二媒体内容项，并且向第一计算装置发送第二媒体内容项。
在操作1806中，计算装置基于第一媒体内容项和第二媒体内容项生成第三媒体内容项。在一个示例中，第三媒体内容项包括第一媒体内容项和第二媒体内容项的组合特征。在一个示例中，生成第三图像包括生成用于第一图像的第一特征向量和用于第二图像的第二特征向量，组合第一和第二特征向量以生成组合的特征向量，并且然后渲染第三图像，如在图19和图20中进一步详细示出。
图19是示出从图像1902生成特征向量1916的框图1900。首先，将图像1902输入到网格提取器1904中。网格提取器1904使用网格提取算法(例如，使用生成图像的网格的任何已知的或将来的网格提取技术)从图像生成网格1906。网格1906是图像的三维(3D)模型。例如，网格提取器1904生成面部的3D模型，诸如图16和图17中的示例中的1608、1610、1708和1710所示的面部，以指示各种面部特征(例如，眼睛、鼻子、嘴巴、眉毛、脸颊等)的深度等。网格1906可以是图像中的面部、场景、对象等的3D模型。
网格提取器1904还从图像生成纹理1908。纹理1908指示网格1906中的颜色值。例如，纹理包括映射到网格1906的每个像素的颜色值。例如，网格提取器1904生成指示面部(诸如在图16和图17的示例中1608、1610、1708和1710中所示的面部)的颜色值的纹理1908。
在一个示例中，纹理是二维(2D)图像。例如，网格提取器1904通过将2D图像投影到3D模型的表面上以进行纹理映射(例如，UV映射)来生成纹理1908(例如，2D图像)。
将网格1906输入到形状回归器组件1910中，以生成用于一个或多个图像特征(例如，面部特征)的形状类型。在图像包含面部的示例中，形状回归器组件1910生成用于一个或多个面部特征的形状类型。在一个示例中，计算装置使用预训练的网格回归器提取用于每个面部(例如，眼睛、眉毛、鼻子、嘴巴等)的几何特征。形状回归器组件1910估计用于图像1902的特征类型，诸如鼻子形状、眼睛形状等的类型(在图像是面部的示例中)。图21示出用于每个面部特征的示例形状特征2102(例如，眼睛、眉毛和鼻子)和示例特征类型2104(例如，几何特征)。特征类型可以包括特定的形状或宽度，诸如眉毛形状(例如，直线的、弯曲的)或眉毛宽度(细、粗)、眼睛、鼻子或嘴巴形状等。
返回图19，纹理1908被输入到纹理编码器1912中。在一个示例中，纹理编码器1912使用预训练的编码器(例如，诸如主成分分析(PCA))提取低维纹理表示。在另一示例中，神经网络可以用于生成低维纹理表示。
计算装置可使用附加特征提取器1914从图像1902提取附加特征。在一个示例中，计算装置使用预训练的回归器从每个面部图像或纹理中提取附加面部特征。在一个示例中，附加特征包括发型、头发颜色、皮肤颜色、眼睛颜色等。在一个示例中，附加特征是在网格1906或纹理1908中未表示或者可以比从所生成的网格1906或纹理1908更准确地直接从图像1902推导的特征。在一个示例中，可以使用神经网络确定附加特征(诸如眼睛颜色和头发颜色)，以估计眼睛颜色、头发颜色等。
形状回归器1910、纹理编码器1912以及来自附加特征提取器1914的任何附加特征的输出被组合以生成针对图像的特征向量1916。例如，形状回归器1910的输出可以是代表图像中一个或多个特征的形状的向量，纹理编码器1912的输出可以是代表图像1902的纹理的向量，并且附加特征提取器1914的输出可以是代表任何附加特征的向量。然后将这三个向量组合以生成针对图像的特征向量1916。
计算装置生成针对每个图像的特征向量1916。在具有两个面部图像的上述示例中，计算装置可以生成针对第一图像中的面部的第一特征向量，并且生成针对第二图像中的面部的第二特征向量。图20的框图2000示出如何使用第一特征向量2002和第二特征向量2004来生成组合特征向量2006。在一个示例中，通过平均每个特征向量中表示的特征来组合第一特征向量2002和第二特征向量2004，以生成组合特征向量2006。在一个示例中，可以对特征进行加权(例如，使用预定义的权重)，使得某些特征更像第一图像或者更像第二图像。例如，用于第一图像的特征(例如，由第一特征向量2002表示)可以被加权0.8，并且来自第二图像的特征(例如，由第一特征向量2004表示)可以被加权0.2，使得权重与每个特征向量相关联。因此，当组合两个特征向量时，相比第二图像，最终特征向量可能更像第一图像。在一个示例中，根据与第一向量相关联的权重和与第二向量相关联的权重对在第一向量和第二向量中表示的特征进行加权，以生成组合特征向量的平均特征。
在另一示例中，加权可以是随机的，使得每次计算装置生成组合特征向量2006时权重都是不同的(例如，第一遍为0.5/0.5，第二遍为0.7/0/3，等)。这样，即使使用相同的两个图像，每次得到的结果第三图像也将不同，这可能会带来更有趣的用户体验。
组合特征向量2006用于例如使用目标模板网格2012生成新图像(例如，第三图像)，以及使用渲染组件2014以渲染要在计算装置上显示的图像。在一个示例中，从组合特征向量渲染第三图像包括将组合的特征向量应用于目标模板网格并渲染目标模板网格以生成第三图像。
模板网格可以是基于应用的使用情况的目标网格(例如，对于由组合以形成第三“婴儿”图像的两个图像表示的两个用户的“婴儿”)。因此，模板网格可以取决于使用情况而变化。
在一个示例中，将组合特征向量输入到应用混合形状组件2008中，以将组合特征向量2006中表示的网格混合到目标模板网格中(例如，允许网格变形为一个或多个预定义形状)，并且然后将组合特征向量2006输入到应用纹理组件2010中，以将组合特征向量2006中表示的纹理应用到目标模板网格2012。例如，计算装置可以使用预训练的解码器将组合纹理(例如，描述纹理的组合特征向量)重新投影到目标域。计算装置可以使用预训练的或预设计的混合形状在目标网格上应用几何特征。然后，计算装置渲染最终的网格(例如，具有来自重新投影的梳理纹理、混合形状、期望的眼睛颜色等的纹理)。然后，目标模板网格2012由渲染组件2012渲染以生成最终图像。然后，计算装置可以使最终图像显示在计算装置或其它计算装置上。图22示出示例GUI 2200，其显示第一图像2202、第二图像2204和从第一图像2202和第二图像2204生成的第三图像2204。
图23是示出软件架构2302的框图2300，该软件架构2302可以被安装在上述装置中的任何一个或多个装置上。例如，在各种实施例中，可以使用软件架构2302的一些或全部元素来实现客户端装置110、服务器系统102、112、116、118、122和124。图23仅是软件架构的非限制性示例，并且应当理解，可以实现许多其它架构以便于在此描述的功能。在各种实施例中，软件架构2302由诸如图24的机器2400的硬件来实现，机器2400包括处理器2410、存储器2430和I/O组件2450。在该示例中，软件架构2302可以被概念化为层的堆栈，其中每一个层可以提供特定的功能。例如，软件架构2302包括诸如操作系统2304、库2306、框架2308和应用2310的层。操作上，与一些实施例一致，应用2310通过软件堆栈调用API调用2312，并响应于API调用2312接收消息2314。
在各种实现方式中，操作系统2304管理硬件资源并提供公共服务。操作系统2304包括例如内核2320、服务2322和驱动器2324。与一些实施例一致，内核2320作为硬件与其它软件层之间的抽象层。例如，内核2320提供了存储器管理、处理器管理(例如调度)、组件管理、网络连接和安全设置等功能。服务2322可以为其它软件层提供其它公共服务。根据一些实施例，驱动器2324负责控制底层硬件或与底层硬件接口连接。例如，驱动器2324可以包括显示器驱动器、相机驱动器、蓝牙
Figure BDA0002565355120000291
驱动器、蓝牙
Figure BDA0002565355120000292
低功耗驱动器、闪存驱动器、串行通信驱动器(例如通用串行总线(USB)驱动器)、
Figure BDA0002565355120000293
驱动器、音频驱动器、电源管理驱动器等。
在一些实施例中，库2306提供由应用2310利用的低级通用基础设施。库2306可以包括系统库2030(例如，C标准库)，其可以提供诸如存储器分配函数、字符串操作函数、数学函数等的函数。此外，库2306可以包括API库2332，诸如媒体库(例如，支持各种媒体格式(诸如运动图像专家组-4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层-3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))的呈现和操纵的库)、图形库(例如，用于在显示器上的图形内容中呈现二维(2D)和三维(3D)的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供网页浏览功能的WebKit)等。库2306同样可以包括各种各样的其它库2334，以向应用2310提供许多其它API。
根据一些实施例，框架2308提供可由应用2310利用的高级公共架构。例如，框架2308提供各种图形用户界面(GUI)功能、高级别资源管理、高级位置节点等。框架2308可以提供可由应用2310利用的其它广泛范围的API，其中的一些可以特定于特定操作系统2304或平台。
在示例实施例中，应用2310包括主页应用2350、联系人应用2352、浏览器应用2354、书籍阅读器应用2356、位置应用2358、媒体应用2360、消息传递应用2362、游戏应用2364以及诸如第三方应用2366的其它广泛分类的应用。根据一些实施例，应用2310是执行程序中定义的功能的程序。可以利用各种编程语言来创建以各种方式构造的一个或多个应用2310，诸如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用2366(例如，由特定平台的供应商之外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在移动操作系统(诸如IOSTM、ANDROIDTM、
Figure BDA0002565355120000301
或其它移动操作系统)上运行的移动软件。在该示例中，第三方应用2366可以调用由操作系统2304提供的API调用2312以便于执行在此描述的功能。
一些实施例可以特别地包括交互式消息传递应用2367。在某些实施例中，这可以是用于管理与服务器系统(诸如第三方服务器或服务器系统108)的通信的独立应用。在其它实施例中，该功能可以与另一个应用(例如，消息传递应用2362)集成。交互式消息传递应用2367可以请求并显示与消息传递、媒体内容、媒体集合、媒体覆盖等相关的各种数据，并且可以向用户提供以下功能：用户经由触摸界面、键盘或使用机器2400的相机装置输入与系统有关的数据，经由I/O组件1150与服务器系统通信，以及接收和存储存储器1130中的对象数据。信息的呈现和与信息相关联的用户输入可以由交互式消息传递应用2367使用在机器2400上运行的不同的框架2308、库2306元素或操作系统2304元素来管理。
图24是示出根据一些实施例能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一种或多种方法的机器2400的组件的框图。具体地，图24示出了以计算机系统的示例形式的机器2400的示意图，在该计算机系统内可以执行用于使机器2400执行在此讨论的任何一种或多种方法的指令2416(例如，软件、程序、应用、小程序、应用程序或其它可执行代码)。在替代实施例中，机器2400作为独立装置操作或者可以耦接(例如，网络连接)到其它机器。在联网部署中，机器2400可以以服务器-客户端网络环境中的服务器机器102、112、116、118、122、124等或客户端装置110的能力操作，或者作为对等(或分布式)网络环境中的对等机器。机器2400可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能手机、移动装置、可穿戴装置(例如，智能手表)、智能家居装置(例如，智能家电)、其它智能装置、网络装置、网络路由器、网络交换机、网络桥接器、或者连续或以其它方式指定机器2400将采取的动作的能够执行指令2416的任何机器。此外，虽然只示出单个机器2400，但是术语“机器”同样可被认为包括单独或联合执行指令2416以执行在此所讨论的任何一种或多种方法的机器2400的集合。
在各种实施例中，机器2400包括可被配置成经由总线2402彼此通信的处理器2410、存储器2430以及I/O组件2450。在示例实施例中，处理器2410(例如，中央处理单元(CPU)、简化指令集计算(RISC)处理器、复合指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一个处理器或其任何合适的组合)包括例如可以执行指令2416的处理器2412和处理器2414。术语“处理器”旨在包括多核处理器2410，该多核处理器可以包括可以同时执行指令2416的两个以上独立处理器2412、2414(同样称为“核”)。尽管图24示出了多个处理器2410，但是机器2400可以包括单个具有单核的处理器2410、单个具有多核的处理器2410(例如，多核处理器2410)、多个具有单核的处理器2412、2414、多个具有多核的处理器2412、2414或其任何组合。
根据一些实施例，存储器2430包括主存储器2432、静态存储器2434和经由总线2402可被处理器2410访问的存储单元2436。存储单元2436可以包括机器可读存储介质2418，在该机器可读存储介质2418上存储了体现在此所述的任何一种或多种方法或功能的指令2416。指令2416同样可以在由机器2400的其执行期间完全或至少部分地驻留在主存储器2432内、静态存储器2434内、处理器2410中的至少一个内(例如，在处理器的高速缓冲存储器内)或任何合适的组合。因此，在各种实施例中，主存储器2432、静态存储器2434和处理器2410被认为是机器可读介质2418。
如在此所使用的，术语“存储器”是指能够临时或永久地存储数据的机器可读介质2418，并且可以认为包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存和高速缓存。虽然机器可读介质2418在示例实施例中被示出为单个介质，但术语“机器可读介质”应当被认为包括能够存储指令2416的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”同样可被视为包括能够存储指令(例如，指令2416)用于由机器(例如，机器2400)执行的任何介质或多个介质的组合，使得指令2416在由机器2400的一个或多个处理器(例如，处理器2410)执行时使机器2400执行在此描述的任何方法。因此，“机器可读介质”是指单个存储设备或装置，以及包括多个存储设备或装置的“基于云”的存储系统或存储网络。因此，术语“机器可读介质”可被视为包括但不限于以固态存储器(例如，闪存)、光学介质、磁性介质、其它非易失性存储器(例如，可擦除可编程只读存储器(EPROM))或其任何合适的组合的形式的一个或多个数据存储库。术语“机器可读介质”特别排除非法定信号本身。
I/O组件2450包括用于接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等的各种各样的组件。通常，可理解的是I/O组件2450可以包括图24中未示出的许多其它组件。I/O组件2450根据功能被分组，仅用于简化以下讨论，并且分组决不是限制性的。在各种示例实施例中，I/O组件2450包括输出组件2452和输入组件2454。输出组件2452包括视觉组件(例如，显示器，诸如等离子体显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、听觉组件(例如扬声器)、触觉组件(例如振动电动机)、其它信号发生器等。输入组件2454包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指示仪器)、触知输入组件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其它触知输入组件)、音频输入组件(例如，麦克风)等。
在一些另外的示例实施例中，I/O组件2450包括各种其它组件中的生物度量组件2456、运动组件2458、环境组件2460或位置组件2462。例如，生物度量组件2456包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件2458包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件2460包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器组件(例如，机器嗅觉检测传感器、用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。位置组件2462包括定位传感器组件(例如，全球定位系统(GPS)接收器组件)、高度传感器组件(例如，高度计，或检测空气压力的气压计，可从该空气压力得到高度)、取向传感器组件(例如，磁力计)等。
通信可以使用各种各样的技术来实现。I/O组件2450可以包括通信组件2464，其可操作以分别经由耦接器2482和耦接器2472将机器2400耦接到网络2480或装置2470。例如，通信组件2464包括网络接口组件或与网络2480接口连接的另一合适装置。在另外的示例中，通信组件2464包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、蓝牙
Figure BDA0002565355120000341
组件(例如，低功耗蓝牙
Figure BDA0002565355120000342
)、
Figure BDA0002565355120000343
组件和经由其它模式提供通信的其它通信组件。装置2470可以是另一机器2400或各种各样的外围装置(例如，经由通用串行总线(USB)耦接的外围装置)中的任何一个。
此外，在一些实施例中，通信组件2464检测标识符或包括可操作以检测标识符的组件。例如，通信组件2464包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)代码、Aztec代码、数据矩阵、数字图形、最大码、PDF417、超码、统一商业代码缩减空格符号(UCC RSS)-2D条形码和其它光学代码的多维条形码)、声学检测组件(例如，用于识别标记的音频信号的麦克风)或其任何合适的组合。此外，可以经由可以指示特定位置的通信组件2464来导出各种信息，诸如经由因特网协议(IP)地理位置的位置、经由
Figure BDA0002565355120000344
信号三角测量的位置、经由检测蓝牙
Figure BDA0002565355120000345
或NFC信标信号的位置等。
在各种示例实施例中，网络2480的一个或多个部分可以是自组织网络、内联网、外部网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002565355120000351
网络、另一种类型的网络，或两个以上此类网络的组合。例如，网络2480或网络2480的一部分可以包括无线或蜂窝网络，并且耦接2482可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦接。在该示例中，耦接2482可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
在示例实施例中，经由网络接口装置(例如，在通信组件2464中包括的网络接口组件)使用传输介质通过网络2480发送或接收指令2416，并且利用多个公知的传输协议(例如，超文本传输协议(HTTP))中的任何一个。类似地，在其它示例实施例中，使用传输介质经由耦接2472(例如，对等耦接)向装置2470发送或接收指令2416。术语“传输介质”可被视为包括能够存储、编码或携带由机器2400执行的指令2416的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以便于这种软件的通信实现。
此外，因为机器可读介质2418不体现传播信号，所以机器可读介质2418可以是非暂态的(换句话说，不具有任何短时信号)。然而，将机器可读介质2418标记为“非暂态”不应被解释为意味着介质不能移动。介质2418应该被认为是可从一个物理位置传送到另一物理位置。另外，由于机器可读介质2418是有形的，因此机器可读介质2418可以被认为是机器可读装置。
在整个说明书中，多个实例可以实现被描述为单个实例的组件、操作或结构。虽然将一种或多种方法的单独操作示出和描述为单独的操作，但可以同时执行一个或多个单独的操作，并且不需要以所示顺序执行操作。作为示例配置中的单独组件呈现的结构和功能可以被实现为组合的结构或组件。类似地，作为单个组件呈现的结构和功能可以被实现为分离的多个组件。这些和其它变化、修改、添加和改进落入本文主题的范围内。
虽然已经参考具体示例实施例描述了本发明主题的概述，但是在不脱离本公开的实施例的更广泛范围的情况下，可以对这些实施例进行各种修改和改变。
在此示出的实施例足够详细地描述，以使本领域技术人员能够实践所公开的教导。可以使用和从中导出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。因此，具体实施方式不应被认为是限制性的，并且各种实施例的范围仅由所附权利要求以及这些权利要求所赋予的等同物的全部范围来限定。
如在此所使用的，术语“或”可以以包含或排除的方式来解释。此外，可以为在此所述的资源、操作或结构提供多个实例作为单个实例。此外，各种资源、操作、模块、引擎和数据存储之间的边界是一定程度上任意的，并且在特定说明性配置的上下文中示出了特定的操作。可以设想功能的其它分配，并且这些其它分配可以落入本公开的各种实施例的范围内。通常，作为示例配置中的分离的资源呈现的结构和功能可以被实现为组合的结构或资源。类似地，作为单个资源呈现的结构和功能可以被实现为分离的资源。这些和其它变化、修改、添加和改进落入由所附权利要求所表示的本公开的实施例的范围内。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种方法，包括：
由服务器计算机从第一计算装置接收与交互式消息的第一交互式对象相关联的第一媒体内容项，所述交互式消息包括多个交互式对象；
由所述服务器计算机通过生成第一会话数据项来生成用于所述交互式消息的序列化数据，所述第一会话数据项包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的唯一标识符以及存储所述第一媒体内容项的位置；
由所述服务器计算机存储所述序列化数据，所述序列化数据包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的所述唯一标识符以及存储所述第一媒体内容项的所述位置；
由所述服务器计算机向第二计算装置发送用于所述交互式消息的所述序列化数据，其中，所述第二计算装置使用所述第一会话数据项渲染所述交互式消息并显示包括所述第一媒体内容项的所渲染的交互式消息；
由所述服务器计算机从所述第二计算装置接收与所述交互式消息的第二交互式对象相关联的第二媒体内容项；
由所述服务器计算机通过生成第二会话数据项来生成用于所述交互式消息的序列化数据，所述第二会话数据项包括用于所述交互式消息的所述第二交互式对象的所述第二媒体内容项的唯一标识符以及存储所述第二媒体内容项的位置，并将所述第二会话数据项添加到所述序列化数据；
由所述服务器计算机存储用于所述交互式消息的所述序列化数据；以及
由所述服务器计算机向第三计算装置发送包括用于所述交互式消息的所述第一会话数据项和所述第二会话数据项的所述交互式消息的所述序列化数据；
其中，所述第三计算装置使用所述第一会话数据项和所述第二会话数据项来渲染所述交互式消息，并显示包括所述第一媒体内容项和所述第二媒体内容项的所渲染的交互式消息。
2.根据权利要求1所述的方法，其中，在接收与所述交互式消息的所述第一交互式对象相关联的所述第一媒体内容项之前，所述方法包括：
由所述服务器计算机从所述第一计算装置接收用于交互式消息的请求；以及
由所述服务器计算机向所述第一计算装置发送所述交互式消息。
3.根据权利要求1所述的方法，其中，在向所述第二计算装置发送所述交互式消息的请求中，接收所述第一媒体内容项。
4.根据权利要求1所述的方法，其中，使用所述第一计算装置采集所述第一媒体内容项，并且使用所述第二计算装置采集所述第二媒体内容项。
5.根据权利要求1所述的方法，其中，所述第一媒体内容项和所述第二媒体内容项中的每一个是视频或图像。
6.根据权利要求1所述的方法，其中，所述第三计算装置通过使用用于所述第一媒体内容项的所述标识符和存储所述第一媒体内容项的所述位置以及用于所述第二媒体内容项的所述标识符和存储所述第二媒体内容项的所述位置取得所述第一媒体内容项和所述第二媒体内容项来渲染所述交互式消息。
7.根据权利要求1所述的方法，其中，在向所述第三计算装置发送所述交互式消息的请求中，接收所述第二媒体内容项。
8.一种计算装置，包括：
一个或多个硬件处理器；以及
与所述一个或多个硬件处理器耦合的计算机可读介质，所述计算机可读介质包括存储在其上的指令，所述指令可由所述一个或多个硬件处理器执行以使所述计算装置执行操作，所述操作包括：
从第一计算装置接收与交互式消息的第一交互式对象相关联的第一媒体内容项，所述交互式消息包括多个交互式对象；
通过生成第一会话数据项来生成用于所述交互式消息的序列化数据，所述第一会话数据项包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的唯一标识符以及存储所述第一媒体内容项的位置；
存储所述序列化数据，所述序列化数据包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的所述唯一标识符以及存储所述第一媒体内容项的所述位置；
向第二计算装置发送用于所述交互式消息的所述序列化数据，其中，所述第二计算装置使用所述第一会话数据项渲染所述交互式消息并显示包括所述第一媒体内容项的所渲染的交互式消息；
从所述第二计算装置接收与所述交互式消息的第二交互式对象相关联的第二媒体内容项；
通过生成第二会话数据项来生成用于所述交互式消息的序列化数据，所述第二会话数据项包括用于所述交互式消息的所述第二交互式对象的所述第二媒体内容项的唯一标识符以及存储所述第二媒体内容项的位置，并将所述第二会话数据项添加到所述序列化数据；
存储用于所述交互式消息的所述序列化数据；以及
向第三计算装置发送包括用于所述交互式消息的所述第一会话数据项和所述第二会话数据项的所述交互式消息的所述序列化数据；
其中，所述第三计算装置使用所述第一会话数据项和所述第二会话数据项来渲染所述交互式消息，并显示包括所述第一媒体内容项和所述第二媒体内容项的所渲染的交互式消息。
9.根据权利要求8所述的计算装置，其中，在接收与所述交互式消息的所述第一交互式对象相关联的所述第一媒体内容项之前，所述方法包括：
由服务器计算机从所述第一计算装置接收用于交互式消息的请求；以及
由所述服务器计算机向所述第一计算装置发送所述交互式消息。
10.根据权利要求8所述的计算装置，其中，在向所述第二计算装置发送所述交互式消息的请求中，接收所述第一媒体内容项。
11.根据权利要求8所述的计算装置，其中，使用所述第一计算装置采集所述第一媒体内容项，并且使用所述第二计算装置采集所述第二媒体内容项。
12.根据权利要求8所述的计算装置，其中，所述第一媒体内容项和所述第二媒体内容项中的每一个是视频或图像。
13.根据权利要求8所述的计算装置，其中，所述第三计算装置通过使用用于所述第一媒体内容项的所述标识符和存储所述第一媒体内容项的所述位置以及用于所述第二媒体内容项的所述标识符和存储所述第二媒体内容项的所述位置取得所述第一媒体内容项和所述第二媒体内容项来渲染所述交互式消息。
14.根据权利要求8所述的计算装置，其中，在向所述第三计算装置发送所述交互式消息的请求中，接收所述第二媒体内容项。
15.一种非暂态计算机可读介质，包括存储在其上的指令，所述指令可由至少一个处理器执行以使计算装置执行操作，所述操作包括：
从第一计算装置接收与交互式消息的第一交互式对象相关联的第一媒体内容项，所述交互式消息包括多个交互式对象；
通过生成第一会话数据项来生成用于所述交互式消息的序列化数据，所述第一会话数据项包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的唯一标识符以及存储所述第一媒体内容项的位置；
存储所述序列化数据，所述序列化数据包括用于所述交互式消息的所述第一交互式对象的所述第一媒体内容项的所述唯一标识符以及存储所述第一媒体内容项的所述位置；
向第二计算装置发送用于所述交互式消息的所述序列化数据，其中，所述第二计算装置使用所述第一会话数据项渲染所述交互式消息并显示包括所述第一媒体内容项的所渲染的交互式消息；
从所述第二计算装置接收与所述交互式消息的第二交互式对象相关联的第二媒体内容项；
通过生成第二会话数据项来生成用于所述交互式消息的序列化数据，所述第二会话数据项包括用于所述交互式消息的所述第二交互式对象的所述第二媒体内容项的唯一标识符以及存储所述第二媒体内容项的位置，并将所述第二会话数据项添加到所述序列化数据；
存储用于所述交互式消息的所述序列化数据；以及
向第三计算装置发送包括用于所述交互式消息的所述第一会话数据项和所述第二会话数据项的所述交互式消息的所述序列化数据；
其中，所述第三计算装置使用所述第一会话数据项和所述第二会话数据项来渲染所述交互式消息，并显示包括所述第一媒体内容项和所述第二媒体内容项的所渲染的交互式消息。
16.根据权利要求15所述的非暂态计算机可读介质，其中，在向所述第二计算装置发送所述交互式消息的请求中，接收所述第一媒体内容项。
17.根据权利要求15所述的非暂态计算机可读介质，其中，使用所述第一计算装置采集所述第一媒体内容项，并且使用所述第二计算装置采集所述第二媒体内容项。
18.根据权利要求15所述的非暂态计算机可读介质，其中，所述第一媒体内容项和所述第二媒体内容项中的每一个是视频或图像。
19.根据权利要求15所述的非暂态计算机可读介质，其中，所述第三计算装置通过使用用于所述第一媒体内容项的所述标识符和存储所述第一媒体内容项的所述位置以及用于所述第二媒体内容项的所述标识符和存储所述第二媒体内容项的所述位置取得所述第一媒体内容项和所述第二媒体内容项来渲染所述交互式消息。
20.根据权利要求15所述的非暂态计算机可读媒体，其中，在向所述第三计算装置发送所述交互式消息的请求中，接收所述第二媒体内容项。
CN201980007176.0A 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息 Active CN111630550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410260627.4A CN117974339A (zh) 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US15/860,397 2018-01-02
US15/860,397 US10523606B2 (en) 2018-01-02 2018-01-02 Generating interactive messages with asynchronous media content
US201862643449P 2018-03-15 2018-03-15
US62/643,449 2018-03-15
US16/237,296 US10567321B2 (en) 2018-01-02 2018-12-31 Generating interactive messages with asynchronous media content
US16/237,296 2018-12-31
PCT/US2019/012081 WO2019136089A1 (en) 2018-01-02 2019-01-02 Generating interactive messages with asynchronous media content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410260627.4A Division CN117974339A (zh) 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息

Publications (2)

Publication Number Publication Date
CN111630550A true CN111630550A (zh) 2020-09-04
CN111630550B CN111630550B (zh) 2024-03-12

Family

ID=67143967

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410260627.4A Pending CN117974339A (zh) 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息
CN201980007176.0A Active CN111630550B (zh) 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410260627.4A Pending CN117974339A (zh) 2018-01-02 2019-01-02 生成具有异步媒体内容的交互式消息

Country Status (5)

Country Link
US (3) US10567321B2 (zh)
EP (1) EP3735672A1 (zh)
KR (2) KR102521790B1 (zh)
CN (2) CN117974339A (zh)
WO (1) WO2019136089A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11044217B2 (en) 2018-01-02 2021-06-22 Snap Inc. Generating interactive messages with asynchronous media content
US11356397B2 (en) 2018-06-08 2022-06-07 Snap Inc. Generating interactive messages with entity assets
US11398995B2 (en) 2018-01-02 2022-07-26 Snap Inc. Generating interactive messages with asynchronous media content
US11876763B2 (en) 2020-02-28 2024-01-16 Snap Inc. Access and routing of interactive messages

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016134415A1 (en) * 2015-02-23 2016-09-01 Zuma Beach Ip Pty Ltd Generation of combined videos
US11653072B2 (en) 2018-09-12 2023-05-16 Zuma Beach Ip Pty Ltd Method and system for generating interactive media content
JP7218178B2 (ja) * 2018-12-28 2023-02-06 キヤノン株式会社 プロセスカートリッジ
WO2020211923A1 (en) * 2019-04-15 2020-10-22 Telefonaktiebolaget Lm Ericsson (Publ) Mobile communications device and application server
US11164353B2 (en) 2019-12-31 2021-11-02 Snap Inc. Layering of post-capture processing in a messaging system
US11695718B2 (en) 2019-12-31 2023-07-04 Snap Inc. Post-capture processing in a messaging system
US11750546B2 (en) * 2019-12-31 2023-09-05 Snap Inc. Providing post-capture media overlays for post-capture processing in a messaging system
US11675494B2 (en) * 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11277658B1 (en) 2020-08-21 2022-03-15 Beam, Inc. Integrating overlaid digital content into displayed data via graphics processing circuitry
US11481933B1 (en) 2021-04-08 2022-10-25 Mobeus Industries, Inc. Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
US11483156B1 (en) * 2021-04-30 2022-10-25 Mobeus Industries, Inc. Integrating digital content into displayed data on an application layer via processing circuitry of a server
US11475610B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US11601276B2 (en) 2021-04-30 2023-03-07 Mobeus Industries, Inc. Integrating and detecting visual data security token in displayed data via graphics processing circuitry using a frame buffer
US11586835B2 (en) 2021-04-30 2023-02-21 Mobeus Industries, Inc. Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
US11477020B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
US11682101B2 (en) 2021-04-30 2023-06-20 Mobeus Industries, Inc. Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer
US11562153B1 (en) 2021-07-16 2023-01-24 Mobeus Industries, Inc. Systems and methods for recognizability of objects in a multi-layer display
WO2023130016A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Combining content items in a shared content collection
US20230377609A1 (en) * 2022-05-23 2023-11-23 Snap Inc. Creating time-based combination videos

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621752A (zh) * 2008-07-02 2010-01-06 华为技术有限公司 发送多媒体消息的方法、系统及相应的设备
US20110061108A1 (en) * 2009-09-09 2011-03-10 Nokia Corporation Method and apparatus for media relaying and mixing in social networks
US20120259927A1 (en) * 2011-04-05 2012-10-11 Lockhart Kendall G System and Method for Processing Interactive Multimedia Messages
CN103430563A (zh) * 2010-12-23 2013-12-04 雅虎公司 信号驱动的交互式电视
WO2014024279A1 (ja) * 2012-08-08 2014-02-13 富士通株式会社 メモリ障害リカバリ装置、方法、及びプログラム
CN105378728A (zh) * 2013-06-04 2016-03-02 诺基亚技术有限公司 用于表示和操纵元数据的装置和方法
CN105684384A (zh) * 2013-07-18 2016-06-15 谷歌公司 关于媒体内容项生成和提供授权指示
CN105956495A (zh) * 2016-04-15 2016-09-21 奇酷软件（深圳）有限公司 社交应用程序的运行控制方法、运行控制系统和移动终端
US20170010860A1 (en) * 2015-07-07 2017-01-12 Matthew James Henniger System and method for enriched multilayered multimedia communications using interactive elements
US20170098332A1 (en) * 2014-06-10 2017-04-06 2MEE Ltd. Augmented reality apparatus and method
US20170263030A1 (en) * 2016-02-26 2017-09-14 Snapchat, Inc. Methods and systems for generation, curation, and presentation of media collections
GB201714504D0 (en) * 2016-10-24 2017-10-25 Adobe Systems Inc Combined interaction monitoring for media content groups on social media services
US20170318065A1 (en) * 2016-04-27 2017-11-02 Google Inc. Similar introduction advertising caching mechanism

Family Cites Families (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865394B1 (en) 2000-04-17 2011-01-04 Alterian, LLC Multimedia messaging method and system
US7493276B2 (en) 2001-09-21 2009-02-17 International Business Machines Corporation Tool, for asset data management
US20040103147A1 (en) * 2001-11-13 2004-05-27 Flesher Kevin E. System for enabling collaboration and protecting sensitive data
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US20030196206A1 (en) 2002-04-15 2003-10-16 Shusman Chad W. Method and apparatus for internet-based interactive programming
US8029364B2 (en) * 2004-07-23 2011-10-04 Wms Gaming Inc. System, method, and apparatus for presenting media in a wagering game machine
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
KR100746027B1 (ko) * 2006-02-01 2007-08-06 삼성전자주식회사 메시지 서비스 제공 장치 및 방법
KR100763237B1 (ko) 2006-05-11 2007-10-04 삼성전자주식회사 디지털 컨텐츠를 송수신하는 장치 및 방법
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
KR100821163B1 (ko) 2007-01-25 2008-04-14 삼성전자주식회사 휴대용 단말기의 메시지 처리방법
US20090012788A1 (en) 2007-07-03 2009-01-08 Jason Andre Gilbert Sign language translation system
US8887189B2 (en) 2007-09-28 2014-11-11 Verizon Patent And Licensing Inc. Methods and systems for providing synchronized display of content
US8595757B2 (en) 2008-03-05 2013-11-26 At&T Intellectual Property I, L.P. System and method of sharing media content
US20090237328A1 (en) 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
CN101562682A (zh) 2008-04-14 2009-10-21 鸿富锦精密工业（深圳）有限公司 视频图像处理系统及其服务器、用户端和视频图像处理方法
KR101517769B1 (ko) 2008-04-24 2015-05-06 삼성전자주식회사 미디어 컨텐츠 재생장치에서 방송 컨텐츠의 추천 방법과 그장치
KR20100028689A (ko) * 2008-09-05 2010-03-15 고광현 개인 실사 캐릭터 생성 시스템 및 그 방법
US8487938B2 (en) 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100257457A1 (en) * 2009-04-07 2010-10-07 De Goes John A Real-time content collaboration
US8527602B1 (en) * 2009-05-28 2013-09-03 Google Inc. Content upload system with preview and user demand based upload prioritization
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US20140171036A1 (en) 2009-11-18 2014-06-19 Gwendolyn Simmons Method of communication
US8508614B2 (en) 2010-06-02 2013-08-13 Futurity Ventures LLC Teleprompting system and method
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
CN102710992B (zh) 2012-03-22 2015-07-29 华为技术有限公司 一种互动消息展示方法、装置及系统
US9300835B2 (en) * 2012-04-12 2016-03-29 Thinglink Oy Image based interaction
US20150370320A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
US20130339857A1 (en) 2012-06-15 2013-12-19 The Mad Video, Inc. Modular and Scalable Interactive Video Player
US9230160B1 (en) 2012-08-27 2016-01-05 Amazon Technologies, Inc. Method, medium, and system for online ordering using sign language
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US20140129605A1 (en) * 2012-11-06 2014-05-08 Wei-Hsin Huang Social network platform based on electronic maps
EP2936861B1 (en) 2012-12-20 2021-07-21 Airbiquity, Inc. Efficient headunit communication integration
CN103049761B (zh) 2013-01-21 2016-08-03 中国地质大学（武汉） 基于手语手套的手语识别方法及系统
KR101978219B1 (ko) 2013-03-15 2019-05-14 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
JP6269654B2 (ja) * 2013-03-29 2018-01-31 日本電気株式会社 表示制御装置、表示制御方法およびプログラム
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
KR101301127B1 (ko) 2013-06-21 2013-09-03 남양우 콘텐츠 시청 확인 장치 및 그 방법
US9558756B2 (en) 2013-10-29 2017-01-31 At&T Intellectual Property I, L.P. Method and system for adjusting user speech in a communication session
US10115139B2 (en) * 2013-11-19 2018-10-30 Walmart Apollo, Llc Systems and methods for collaborative shopping
US10490099B2 (en) * 2013-11-26 2019-11-26 At&T Intellectual Property I, L.P. Manipulation of media content to overcome user impairments
CN104731829B (zh) * 2013-12-24 2019-06-21 腾讯科技（深圳）有限公司 一种网络图片的互动方法和装置
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US11831692B2 (en) 2014-02-06 2023-11-28 Bongo Learn, Inc. Asynchronous video communication integration system
US9553841B1 (en) * 2014-02-27 2017-01-24 Twitter, Inc. Interactive content in a messaging platform
KR102211396B1 (ko) * 2014-03-11 2021-02-02 에스케이플래닛 주식회사 컨텐츠 공유 서비스 시스템, 그의 컨텐츠 공유를 위한 장치 및 컨텐츠 공유 서비스 제공 방법
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
KR101596707B1 (ko) 2014-07-24 2016-02-23 주식회사 벤플 근거리 무선 장치를 이용한 이동 단말기들 사이의 커뮤니케이션 서비스 제공 방법
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
CN105988578B (zh) 2015-03-04 2019-06-21 华为技术有限公司 一种交互式视频显示的方法、设备及系统
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10109219B2 (en) 2015-04-16 2018-10-23 Robert Bosch Gmbh System and method for automated sign language recognition
US20160321313A1 (en) 2015-04-30 2016-11-03 Rovi Guides, Inc. Systems and methods for determining whether a descriptive asset needs to be updated
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10671234B2 (en) 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
BR112018002047A2 (pt) 2015-07-31 2018-09-18 Hsni Llc sistema para a geração de um conteúdo de vídeo, e método para a geração de conteúdo de vídeo
US20170331689A1 (en) * 2015-09-22 2017-11-16 Truepal Llc Method and system of facilitating social interactions of users
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10084833B2 (en) 2015-11-09 2018-09-25 Cisco Technology, Inc. Initiating a collaboration session between devices using an audible message
KR20170059331A (ko) * 2015-11-20 2017-05-30 주식회사 티슈 어플을 이용한 이미지 추출 및 공유 시스템과, 그 방법
US10075399B2 (en) 2016-01-22 2018-09-11 Alkymia Method and system for sharing media content between several users
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
JP2017174300A (ja) 2016-03-25 2017-09-28 富士ゼロックス株式会社 情報処理装置、情報処理方法およびプログラム
US9965467B2 (en) 2016-03-28 2018-05-08 Avaya Inc. Sign language communication with communication devices
US20170293969A1 (en) 2016-04-11 2017-10-12 Adorno Publishing Group, Inc. Systems and methods for generating interactive content for in-page purchasing
CN107346386A (zh) * 2016-05-05 2017-11-14 阿里巴巴集团控股有限公司 一种认证、用于认证的信息生成方法及装置
US10361982B2 (en) 2016-05-17 2019-07-23 Daybreak Game Company Llc Interactive message-based delivery of narrative content using a communication network
KR102511443B1 (ko) 2016-05-18 2023-03-16 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
US10852935B2 (en) 2016-05-18 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10628664B2 (en) 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
US11386931B2 (en) * 2016-06-10 2022-07-12 Verizon Patent And Licensing Inc. Methods and systems for altering video clip objects
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
CN106331345B (zh) 2016-08-24 2021-03-16 腾讯科技（深圳）有限公司 一种交互消息展示方法、装置及系统
US10469354B2 (en) 2016-10-31 2019-11-05 Microsoft Technology Licensing, Llc Pre- and post-sharing insights for shared content
CA3046077A1 (en) * 2016-12-05 2018-06-14 Case Western Reserve University Systems, methods, and media for displaying interactive augmented reality presentations
US10446059B2 (en) 2016-12-07 2019-10-15 Thomas William Pryor Hand motion interpretation and communication apparatus
US10462077B2 (en) * 2016-12-29 2019-10-29 Dropbox, Inc. File-level comments in collaborative content items
US20200196113A1 (en) * 2017-02-07 2020-06-18 Ruchup Inc. Boosting Web Contents
US20180234371A1 (en) 2017-02-10 2018-08-16 Gobitech AS Method, system and computer program product for providing interactive elements in messages
US10306293B2 (en) 2017-07-18 2019-05-28 Wowza Media Systems, LLC Systems and methods of server based interactive content injection
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US11847426B2 (en) 2017-11-08 2023-12-19 Snap Inc. Computer vision based sign language interpreter
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US11037206B2 (en) * 2017-12-27 2021-06-15 Facebook, Inc. Sponsored-content-item stories for live media items
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10962809B1 (en) 2018-01-10 2021-03-30 Snap Inc. Eyewear device with finger activated touch sensor
US11092998B1 (en) 2018-01-12 2021-08-17 Snap Inc. Eyewear device with fingerprint sensor for user input
US11227626B1 (en) 2018-05-21 2022-01-18 Snap Inc. Audio response messages
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US10996846B2 (en) 2018-09-28 2021-05-04 Snap Inc. Neural network system for gesture, wear, activity, or carry detection on a wearable or mobile device
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
WO2021051131A1 (en) 2019-09-09 2021-03-18 Snap Inc. Hand pose estimation from stereo cameras
US11169600B1 (en) 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
US11087728B1 (en) 2019-12-21 2021-08-10 Snap Inc. Computer vision and mapping for audio applications
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621752A (zh) * 2008-07-02 2010-01-06 华为技术有限公司 发送多媒体消息的方法、系统及相应的设备
US20110061108A1 (en) * 2009-09-09 2011-03-10 Nokia Corporation Method and apparatus for media relaying and mixing in social networks
CN103430563A (zh) * 2010-12-23 2013-12-04 雅虎公司 信号驱动的交互式电视
US20120259927A1 (en) * 2011-04-05 2012-10-11 Lockhart Kendall G System and Method for Processing Interactive Multimedia Messages
WO2014024279A1 (ja) * 2012-08-08 2014-02-13 富士通株式会社 メモリ障害リカバリ装置、方法、及びプログラム
CN105378728A (zh) * 2013-06-04 2016-03-02 诺基亚技术有限公司 用于表示和操纵元数据的装置和方法
CN105684384A (zh) * 2013-07-18 2016-06-15 谷歌公司 关于媒体内容项生成和提供授权指示
US20170098332A1 (en) * 2014-06-10 2017-04-06 2MEE Ltd. Augmented reality apparatus and method
US20170010860A1 (en) * 2015-07-07 2017-01-12 Matthew James Henniger System and method for enriched multilayered multimedia communications using interactive elements
US20170263030A1 (en) * 2016-02-26 2017-09-14 Snapchat, Inc. Methods and systems for generation, curation, and presentation of media collections
CN105956495A (zh) * 2016-04-15 2016-09-21 奇酷软件（深圳）有限公司 社交应用程序的运行控制方法、运行控制系统和移动终端
US20170318065A1 (en) * 2016-04-27 2017-11-02 Google Inc. Similar introduction advertising caching mechanism
GB201714504D0 (en) * 2016-10-24 2017-10-25 Adobe Systems Inc Combined interaction monitoring for media content groups on social media services

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付强;霍龙社;谷建华;: "基于ISMA的AVS流媒体系统研究与实现", 微处理机, no. 05 *
罗莉;苗方;吴敏;: "融合媒体下视频内容关联聚合的研究", 电视技术, no. 22 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11044217B2 (en) 2018-01-02 2021-06-22 Snap Inc. Generating interactive messages with asynchronous media content
US11398995B2 (en) 2018-01-02 2022-07-26 Snap Inc. Generating interactive messages with asynchronous media content
US11558325B2 (en) 2018-01-02 2023-01-17 Snap Inc. Generating interactive messages with asynchronous media content
US11716301B2 (en) 2018-01-02 2023-08-01 Snap Inc. Generating interactive messages with asynchronous media content
US11356397B2 (en) 2018-06-08 2022-06-07 Snap Inc. Generating interactive messages with entity assets
US11722444B2 (en) 2018-06-08 2023-08-08 Snap Inc. Generating interactive messages with entity assets
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11394676B2 (en) 2019-03-28 2022-07-19 Snap Inc. Media content response in a messaging system
US11876763B2 (en) 2020-02-28 2024-01-16 Snap Inc. Access and routing of interactive messages

Also Published As

Publication number Publication date
CN117974339A (zh) 2024-05-03
KR20230053720A (ko) 2023-04-21
US11044217B2 (en) 2021-06-22
US20190207885A1 (en) 2019-07-04
US10567321B2 (en) 2020-02-18
WO2019136089A1 (en) 2019-07-11
EP3735672A1 (en) 2020-11-11
US20200106729A1 (en) 2020-04-02
US20210299630A1 (en) 2021-09-30
US11558325B2 (en) 2023-01-17
CN111630550B (zh) 2024-03-12
KR102521790B1 (ko) 2023-04-14
KR20200104897A (ko) 2020-09-04

Similar Documents

Publication Publication Date Title
US11558325B2 (en) Generating interactive messages with asynchronous media content
US11398995B2 (en) Generating interactive messages with asynchronous media content
US11722444B2 (en) Generating interactive messages with entity assets
US11265274B1 (en) Access and routing of interactive messages
KR20230031915A (ko) 카메라 사용자 인터페이스에 대한 서드-파티 수정들
KR20230031921A (ko) 콘텐츠를 발생시키기 위한 카메라 사용자 인터페이스
US20230273950A1 (en) Location-based timeline media content system
US20220103495A1 (en) Generating media content items for sharing to external applications
US11855938B2 (en) Tokens in a messaging application
US20240039878A1 (en) Mutual affinity widget

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant