CN112041891A - 增强表情系统 - Google Patents

增强表情系统 Download PDF

Info

Publication number
CN112041891A
CN112041891A CN201980026234.4A CN201980026234A CN112041891A CN 112041891 A CN112041891 A CN 112041891A CN 201980026234 A CN201980026234 A CN 201980026234A CN 112041891 A CN112041891 A CN 112041891A
Authority
CN
China
Prior art keywords
facial
client device
user
presentation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026234.4A
Other languages
English (en)
Inventor
曹晨
高扬
薛泽浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN112041891A publication Critical patent/CN112041891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021—Flattening

Abstract

本发明涉及对用于确定客户端设备的当前位置以及用于基于客户端设备的当前位置来识别和选择适当的地理围栏的系统和方法的改进。改进的地理围栏选择系统执行操作，包括：将媒体内容与包围地理区域的一部分的地理围栏相关联，对来自客户端设备的位置数据进行采样，基于所采样的来自客户端设备的位置数据来定义边界，检测边界和地理围栏之间的重叠，取得与地理围栏相关联的媒体内容，并响应于检测到重叠将媒体内容加载在客户端设备的存储位置。

Description

增强表情系统
优先权要求
本申请要求于2018年4月18日提交的序列号为62/659,337的美国临时专利申请的优先权的权益，在此要求其优先权的权益，其全部内容通过引用并入本文。
技术领域
本公开的实施例一般涉及移动计算技术，并且更具体地但非限制性地涉及用于生成和显示增强现实界面的系统。
背景技术
增强现实(AR)是物理现实世界环境的实时直接或间接视图，物理现实世界环境的元素通过计算机生成的感官输入来增强。
附图说明
为了容易地识别对任何特定元素或动作的讨论，参考数字中的一个或多个最高有效数字是指其中首次引入该元素的附图编号。
图1是示出了根据一些实施例的用于通过网络交换数据(例如，消息和相关联的内容)的示例消息传递系统的框图，其中，消息传递系统包括增强表情系统。
图2是示出了根据示例实施例的关于消息传递系统的进一步细节的框图。
图3是示出根据某些示例实施例的增强表情系统的各模块的框图。
图4是示出根据某些示例实施例的用于呈现增强现实显示的方法的流程图。
图5是示出根据某些示例实施例的用于呈现增强现实显示的方法的流程图。
图6是示出根据某些示例实施例的用于呈现增强现实显示的方法的流程图。
图7是示出根据某些示例实施例的用于基于面部跟踪输入来生成3D模型的方法的流程图。
图8是根据某些示例实施例的用于显示增强现实图像的界面的图。
图9是根据某些示例实施例的用于显示增强现实图像的界面的图。
图10是根据某些示例实施例的用于显示增强现实图像的界面的图。
图11是示出可与本文中所描述的各种硬件架构结合使用并用于实现各种实施例的代表性软件架构的框图。
图12是示出根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的方法中的任何一个或多个。
具体实现方式
在此描述的实施例涉及增强表情系统，其用于生成并使得显示特别配置的界面以呈现增强现实视角。增强表情系统接收用户的图像和视频数据，并基于图像和视频数据实时跟踪用户的面部界标，以生成并呈现用户的三维(3D)表情符号(bitmoji)。系统呈现增强现实显示，该增强现实显示包括用户的描述，用户的描述包括增强现实3D表情符号头部和元素，其覆盖在图像数据的呈现中的位置处。例如，用户可以显示，流式传输或录制描述其自己及其周围环境的视频。系统检测面部界标的存在，并作为响应，用3D表情符号头部来“替换”用户的头部，3D表情符号头部模仿并跟踪用户的面部表情动作。
增强表情系统从与客户端设备相关联的相机(例如，前置相机)接收图像和视频数据，其中，图像和视频数据包括用户的一组面部界标。响应于检测到一组面部界标的存在，系统基于一组面部界标来生成3D模型(例如3D表情符号)，在图像数据的呈现中将3D模型覆盖在一组面部界标上的位置处，并基于所检测的一组面部界标的移动(例如通过面部跟踪)来动态地对3D模型进行动画处理。
在一些实施例中，系统基于由图像数据描绘的一组面部界标来识别一个或多个用户，并且基于与该用户相关联的用户简档来生成3D模型。例如，用户可以通过从一组3D表情符号中选择特定的3D表情符号来定义用户简档中3D表情符号的显示特性，或者可以基于3D表情符号的各个组件的选择来配置3D表情符号，例如面部特征、颜色、发型、眼睛颜色以及配饰(例如眼镜、帽子、太阳镜、单片眼镜)。在进一步的实施例中，系统基于用户的一组面部界标的属性来生成3D表情符号。例如，属性可以包括各种面部界标之间的距离和斜率，面部界标的大小和形状以及用户的肤色。系统根据面部标志的属性来选择3D表情符号的各个组成部分。
增强表情系统基于对图像数据所描绘的一组面部界标应用的面部界标跟踪技术来识别用户的面部表情。增强表情系统经由面部跟踪模块接收作为面部界标相对于彼此的移动和位置的输入。例如，面部跟踪模块接收输入，其包括界标标识符(例如，鼻子、嘴巴、左眼、右眼)，指示面部界标相对于静态位置已经移动或改变了多少的输入值，以及指示移动的方向的移动方向。基于输入以及输入的组合，增强表情系统的面部跟踪模块确定用户的表情。例如，该系统可以跟踪用户的眼睛眉毛同时抬起，同时用户的嘴巴张开，并作为响应确定面部界标的移动和位置与“惊讶”表情相对应。
增强表情系统包括数据库，该数据库包括表情定义，其中，表情定义包括各种面部跟踪输入到表情的映射。这些表情包括用于3D表情符号的显示指令，而不仅仅是使3D表情符号模仿用户的一组面部界标的移动和位置。例如，显示指令可以包括响应于识别到特定表情而将被呈现在图像数据的呈现内的3D图形元素(例如，气球、五彩纸屑、心形)或者通过夸大一个或多个面部界标来强调表情(例如下颌、眼睛从头部冒出、眼睛变为程式化的“X”)的。用户还可以通过提供作为到支持触摸的设备中的触觉输入或作为面部界标的移动(例如眨眼，起皱纹或吹气等)的其它输入来与3D图形元素进行交互。
增强表情系统促进了包括3D表情符号的内容的共享和分发。例如，用户可以流式传输或录制视频，该视频包括包含3D表情符号和视频的合成呈现。在一些实施例中，用户可以选择先前记录的图像或视频，并且使增强表情系统利用模仿用户的面部运动和表情的3D表情符号的显示来增强先前记录的图像或视频。在进一步的实施例中，用户可以实时记录或流式传输包括3D表情符号的显示的合成呈现，使得当在客户端设备处接收到图像数据时，将3D表情符号渲染到图像或视频上。
用户可以另外通过将3D表情符号和关联的图像数据分配给将要分发给一个或多个接收者的消息，来共享或分发包括3D表情符号的合成呈现。响应于向消息分配3D表情符号，系统基于图像数据和3D表情符号生成合成呈现的平面化呈现。用户可以将平面化的呈现分配或发送给一个或多个接收者(例如，作为消息或通过将平面化的呈现添加到与该用户的用户简档相关联的故事中)。
在进一步的实施例中，系统可以分别将描绘用户和3D表情符号的图像数据发送给一个或多个接收者，并使接收者在图像数据中的位置处基于一组面部界标生成包括3D表情符号的显示的图像数据的呈现。例如，系统可以将3D表情符号分割成一组区域，其中每个区域对应于该组面部界标中的不同的面部界标。在接收者设备处接收到3D表情符号和包括一组面部界标的图像数据后，系统通过基于每个面部界标的位置在图像数据中的位置处呈现3D表情符号，来使接收者设备生成图像数据的呈现。
在一些实施例中，用户可以发送3D表情符号指令，其使3D表情符号指令的接收者能够将3D表情符号显示在其个人设备上创建的内容上。例如，用户可以通过选择一个或多个表情符号组件和属性(例如，头部形状、颜色、配饰等)来配置3D表情符号。用户向3D表情符号分配标识符(例如，“Angry Putin”)，并且增强表情系统索引并将3D表情符号指令和标识符存储在与用户的用户简档相关联的存储器位置处。3D表情符号指令的接受者可以生成增强现实呈现，其包括3D表情符号的显示(例如“Angry Putin”)。
图1是示出了用于通过网络交换数据(例如，消息以及相关联的内容)的示例性消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104经由网络106(例如，因特网)通信地耦接到消息传递客户端应用104的其它实例和消息传递服务器系统108。
因此，每个消息传递客户端应用104能够经由网络106与另一消息传递客户端应用104以及与消息传递服务器系统108通信和交换数据。在消息传递客户端应用104之间交换的数据以及在消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括函数(例如，调用函数的命令)以及有效载荷数据(例如，文本、音频、视频或其它多媒体数据)。
消息传递服务器系统108经由网络106向特定的消息传递客户端应用104提供服务器侧功能。尽管消息传递系统100的某些功能在本文中被描述为由消息传递客户端应用104或者由消息传递服务器系统108执行，但是可以理解的是，某些功能的位置在消息传递客户端应用104内或者消息传递服务器系统108是设计选择的。例如，在技术上优选首先在消息传递服务器系统108内部署某些技术和功能，但是随后将该技术和功能迁移到其中客户端设备102具有足够处理能力的消息传递客户端应用104。
消息传递服务器系统108支持提供给消息传递客户端应用104的各种服务和操作。该操作包括向消息传递客户端应用104发送数据，从消息传递客户端应用104接收数据以及处理由消息传递客户端应用104生成的数据。在一些实施例中，作为示例，该数据包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持久性条件、社交网络信息和实况事件信息。在其它实施例中，其它数据也被使用。在消息传递系统100内的数据交换通过经由消息传递客户端应用104的GUI(图形用户界面)可用的功能来调用和控制。
现在具体转向消息传递应用服务器系统108，应用编程接口(API)服务器110被耦接到应用服务器112，并向应用服务器112提供编程接口。应用服务器112通信地耦接到数据库服务器118，数据库服务器118有助于访问数据库120，在数据库120中存储了与由应用服务器112处理的消息相关联的数据。
具体地处理应用程序接口(API)服务器110，该服务器在客户端设备102和应用服务器112之间接收和发送消息数据(例如，命令和消息有效载荷)。具体地，应用程序接口(API)服务器110提供可以由消息传递客户端应用104调用或查询的一组接口(例如，例程和协议)，以调用应用服务器112的功能。应用程序接口(API)服务器110公开了由应用服务器112支持的各种功能，包括帐户注册，登录功能，经由应用服务器112从特定消息传递客户端应用104向另一消息传递客户端应用104发送消息，从消息传递客户端应用104向消息传递服务器应用114发送媒体文件(例如，图像或视频)，以及用于由另一消息传递客户端应用104的可能访问，媒体数据集合(例如故事)的设置，对客户端设备102的用户的朋友列表的取得，对该集合的取得，对消息和内容的取得，对社交图添加和删除朋友，对社交图内的朋友的定位，打开并应用事件(例如，与消息传递客户端应用104有关的应用事件)。
应用服务器112托管许多应用和子系统，包括消息传递服务器应用114、图像处理系统116、社交网络系统122和增强表情系统124。消息传递服务器应用114实现多种消息处理技术和功能，特别是与从消息传递客户端应用104的多个实例接收的消息中包含的内容(例如，文本和多媒体内容)的聚合和其它处理有关的技术和功能。如将进一步详细描述的，来自多个源的文本和媒体内容可以聚合到内容集合(例如，称为故事或图库)中。然后，消息传递服务器应用114可将这些集合提供给消息传递客户端应用104。鉴于用于此处理的硬件要求，消息传递服务器应用114还可在服务器侧执行其它处理器和存储器密集型数据处理。
应用服务器112还包括图像处理系统116，该图像处理系统116专用于执行各种图像处理操作，典型地与消息传递服务器应用114的消息的有效载荷内接收的图像或视频相关。
社交网络系统122支持各种社交网络功能和服务，并使这些功能和服务可用于消息传递服务器应用114。为此，社交网络系统122维护并访问数据库120内的实体图304。由社交网络系统122支持的功能和服务的示例包括消息传递系统100中与特定用户有关系或其“关注”的其他用户的标识，以及还有特定用户的其它实体和兴趣的标识。
应用服务器112通信地耦合到数据库服务器118，数据库服务器118促进对数据库120的访问，数据库120中存储有与由消息传递服务器应用114处理的消息相关联的数据。
图2是示出根据示例实施例的关于消息传递系统100的进一步细节的框图。具体地，消息传递系统100被示为包括消息传递客户端应用104和应用服务器112，其依次体现若干一些子系统，即短时计时器系统202、集合管理系统204和注释系统206。
短时计时器系统202负责对消息传递客户端应用104和消息传递服务器应用114所允许的内容(诸如，3D表情符号)执行临时访问。为此，短时计时器系统202并入了许多计时器，计时器基于与消息、消息的集合或图形元素相关联的持续时间和显示参数，经由消息传递客户端应用104选择性地显示消息和相关内容以及启用对消息和相关内容的访问。下面提供关于短时计时器系统202的操作的进一步详细信息。
集合管理系统204负责管理媒体集合(例如，文本、图像、视频和音频数据、3D表情符号、3D表情符号的平面化呈现的集合)。在一些示例中，内容的集合(例如，包括图像、视频、文本和音频的消息)可以被组织成“事件图库”或“事件故事”。这种集合可以在指定的时间期间内可用，诸如，与内容相关的事件的持续时间。例如，与音乐会有关的内容可以在该音乐会的持续时间内作为“故事”提供。集合管理系统204还可以负责向消息传递客户端应用104的用户界面发布提供对特定集合的存在的通知的图标。
集合管理系统204此外包括策展界面208，策展界面208允许集合管理者管理和策展特定的内容集合。例如，策展界面208使事件组织者能够策展与特定事件有关的内容的集合(例如，删除不适当的内容或冗余消息)。附加地，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地策展内容集合。在某些实施例中，可以向用户支付报酬，以将用户生成的内容包含在集合中。在这种情况下，策展界面208操作以便为了使用用户的内容而自动向该用户支付费用。
注释系统206提供使用户能够注释或以其它方式修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与由消息传递系统100处理的消息的媒体覆盖的生成和发布有关的功能。注释系统206可操作地基于客户端设备102的地理位置来向消息传递客户端应用104提供媒体覆盖。在另一示例中，注释系统206可操作地基于其它信息(例如，客户端设备102的用户的社交网络信息)将媒体覆盖提供给消息传递客户端应用104。媒体覆盖可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、徽标、动画和音效、以及动画的面部模型，诸如由增强表情系统124所生成的那些。视觉效果的示例包括颜色覆盖。音频和视觉内容或视觉效果可以在客户端设备102处被应用到媒体内容项(例如，照片)。例如，媒体覆盖包括可以覆盖在客户端设备102拍摄生成的照片上的文本。在另一示例中，媒体覆盖包括位置标识覆盖(例如，威尼斯海滩)、实况事件名称或商家名称覆盖(例如，海滩咖啡馆)。在另一个示例中，注释系统206使用客户端设备102的地理位置来识别媒体覆盖，该媒体覆盖包括在客户端设备102的地理位置处的商家的名称。媒体覆盖可以包括与商家相关联的其它标记。媒体覆盖可以被存储在数据库120中并且可以通过数据库服务器118来访问。
在一个示例实施例中，注释系统206提供基于用户的发布平台，该平台使用户能够选择地图上的地理位置，并上传与所选地理位置相关联的内容。用户还可以指定环境，在该环境下应向其他用户提供特定媒体覆盖。注释系统206生成包括上传内容的媒体覆盖，并将上传内容与所选地理位置相关联。
在另一示例实施例中，注释系统206提供基于商家的发布平台，该平台使商人能够通过投标过程选择与地理位置相关联的特定媒体覆盖。例如，注释系统206在预定的时间量内将出价最高的商家的媒体覆盖与对应的地理位置相关联。
图3是示出了根据一些示例实施例的增强表情系统124的组件的框图，其配置增强表情系统124以基于图像数据和3D表情符号来生成和显示增强现实呈现。增强表情系统124被示为包括特征跟踪模块302、建模模块304、呈现模块306和通信模块308，它们均被配置为彼此通信(例如，经由总线、共享存储器或交换机)。这些模块中的任何一个或多个可以使用一个或多个处理器310来实现(例如，通过配置该一个或多个处理器来执行针对该模块描述的功能)，并因此可以包括一个或多个处理器310。
所描述的模块中的任何一个或多个可以使用单独的硬件(例如，机器的一个或多个处理器310)或硬件和软件的组合来实现。例如，所描述的增强表情系统124任何模块可以物理地包括被配置为执行本文针对该模块所描述的操作的一个或多个处理器310(例如，机器的一个或多个处理器的子集或之中的一个子集)的布置。作为另一示例，增强表情系统124的任何模块可以包括软件，硬件或两者，其配置一个或多个处理器310(例如，在机器的一个或多个处理器之中)的布置以执行本文针对该模块所描述的操作。因此，增强表情系统124的不同模块可以包括并配置该处理器310的不同布置或者在不同的时间点处的该处理器310的单个布置。此外，增强表情系统124的任何两个或更多个模块可以被组合成单个模块，并且本文针对单个模块描述的功能可被细分为多个模块。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备内实现的模块可以分布在多个机器，多个数据库或多个设备上。
图4是示出根据某些示例实施例的用于呈现增强现实显示的方法400的流程图。方法400的操作可以由以上参照图3描述的模块来执行。如图4所示，方法400包括一个或多个操作402、404、406、408和410。
在操作402，呈现模块306使得在客户端设备(例如，客户端设备102A)处显示图像数据的呈现，其中图像数据描绘了用户的一组面部界标。例如，图像数据可以由与客户端设备102A相关联的相机(诸如前置相机)收集。
在操作404，建模模块304响应于呈现模块306显示图像数据的呈现而基于一组面部界标来生成3D模型(例如3D表情符号)。在一些实施例中，建模模块304响应于检测到图像数据内的面部界标的存在而生成3D模型。例如，面部跟踪模块302可以采用各种面部运动采集方法，其包括基于标记的技术以及无标记技术。无标记的面部运动采集方法可基于面部界标(例如，鼻孔、嘴唇和眼睛的角、瞳孔和皱纹)识别并跟踪面部运动和表情。响应于在图像数据中检测到该面部界标的存在，面部跟踪模块302使得建模模块基于所识别的面部界标来生成3D模型。
在一些实施例中，面部跟踪模块302基于所识别的一组面部界标的属性来识别用户，诸如每个面部界标之间的距离和斜率，每个面部界标的大小和形状以及客户端设备102A的设备属性(例如，设备标识符)，并取得与该用户相关联的用户简档，其中用户简档包括用于3D表情符号的显示指令。
在另外的实施例中，建模模块304基于面部界标的属性来即时(on the fly)生成3D表情符号，使得3D表情符号类似于用户。例如，建模模块304可以访问包含表情符号元素的表情符号存储库，基于面部界标的属性来选择一组表情符号元素，并且基于所选择的表情符号元素来生成3D表情符号。
在一些实施例中，由建模模块304生成的3D表情符号包括一组表情符号区域，其中每个区域对应于该组面部界标中的不同的面部界标(例如，与表示用户的嘴的面部界标相对应的区域，与表示用户左眼的面部界标相对应的区域等)。在另外的实施例中，由建模模块304生成的3D表情符号包括将一组面部界标表示为一系列顶点位置的混合形状。
在操作406，呈现模块306基于一组面部界标的位置而将由建模模块304生成的3D表情符号覆盖在显示在客户端设备102A上的图像数据上的位置处。例如，面部跟踪模块302可以基于一组面部界标来识别一组参考特征，并且使呈现模块306将3D表情符号的呈现覆盖在客户端设备102A处的图像数据上。
在操作408，特征跟踪模块302接收面部跟踪输入(例如，一组面部界标中的面部界标的移动)。例如，用户可以张开或合上嘴巴，抬起眉毛或转头。响应于特征跟踪模块302接收到面部跟踪输入，在操作410，呈现模块302动态地使3D表情符号的与客户端设备102A处的面部界标相对应的区域动画化。客户端设备102A上显示的3D表情符号模仿用户的运动和面部表情。
图5是示出根据某些示例实施例的用于呈现增强现实显示的方法500的流程图。方法500的操作可以由以上参照图3描述的模块来执行。如图5所示，方法500包括一个或多个操作502、504、506、508和510。
在操作502，面部跟踪模块302基于作为一组面部界标的移动和位置而接收到的输入来识别用户的表情(例如，面部表情)。例如，面部跟踪模块302接收输入，其包括界标标识符(例如，鼻子，嘴巴，左眼，右眼)，指示面部界标相对于静态位置移动或改变了多少的输入值，以及指示移动方向的移动方向。响应于接收到输入，面部跟踪模块302访问包括一组表情定义的存储库，其中表情定义包括各种面部跟踪输入到预定表情的映射。
在一些实施例中，客户端设备102A的用户经由一个或多个用户输入显式地提供表情定义。例如，用户可以将他们的脸形成为特定表情并在客户端设备102A处采集描绘表情的图像。面部跟踪模块302确定图像中的一组面部界标中的每个面部界标的相对位置，并将面部界标的相对位置分配给特定的表情，其中用户可以对该特定的表情分配表情标识符以及显示指令。例如，用户可以指示响应于基于面部跟踪输入检测到特定表情，增强表情系统124在图像数据的呈现内显示特定图形元素。
在操作504，建模模块304基于由面部跟踪模块302识别的表情从一组图形元素中选择图形元素。例如，响应于面部跟踪模块302识别表情，建模模块304取得对应的表情定义，该表情定义包括用于显示特定图形元素(诸如3D对象)以及在客户端设备102A处图像数据的呈现的指令。
在操作506，呈现模块306使得在客户端设备102A处图像数据的呈现内显示图形元素。在一些实施例中，图形元素的位置和取向是基于用户的表情的。例如，每个图形元素可包括显示指令，该显示指令基于由面部跟踪模块302所跟踪的一组面部界标的位置、移动和取向来定义在图像数据的呈现中如何以及在何处显示图形元素。
在操作508，面部跟踪模块302接收第二面部跟踪输入(例如，与先前的移动不同的移动)。在操作510，呈现模块306基于第二面部跟踪输入的属性(诸如，输入值)将改变应用于图形元素。
例如，在图像数据的呈现内显示的图形元素可以包括显示在代表用户的嘴唇的3D表情符号的区域附近的3D气球。使用者可以皱起他们的嘴唇以表明他们正在吹气球。响应于检测到用户嘴唇的移动，呈现模块306使3D气球膨胀，如同用户在给它充气。
图6是示出根据某些示例实施例的用于呈现增强现实显示的方法600的流程图。方法600的操作可以由以上参照图3描述的模块来执行。如图6所示，方法600包括一个或多个操作602、604、606和608。
在操作602，通信模块308基于图像数据和3D表情符号生成平面化的呈现。平面化的呈现包括图像数据和3D表情符号的合并。在将图像数据和3D表情符号合并成单个层之后，在操作604，客户端设备102A的用户将平面化的呈现分配给消息。例如，该消息可以寻址到一个或多个接收者，包括第二客户端设备102B。
在操作606，通信模块308将包括平面化呈现的消息分发给包括第二客户端设备102B的接收者。在操作608，呈现模块306使得在第二客户端设备102B处显示平面化的呈现，例如作为短暂消息。
图7是示出根据某些示例实施例的用于基于面部跟踪输入来生成3D模型的方法的流程图700。如图7所示，流程图700包括步骤700A、700B和700C。
在步骤700A，如在图4中的方法400的操作402所述，在客户端设备102A处接收图像数据702。例如，图像数据702可以由客户端设备102A关联的相机收集，例如前置相机。
在步骤700B，面部跟踪模块302识别图像数据702中的一组面部界标704。如图7所示，一组面部界标704可以表示为图像数据702中描绘的表示用户面部的面部界标的点的分布。面部界标704可以例如包括鼻尖、眼角、眉毛角、嘴角和瞳孔。可以将点的分布细分为点的集合，使得点的每个集合对应于3D表情符号706的区域。例如，沿图像数据702中所描绘的面部的下部划线的点的集合708可以对应于3D表情符号706的下部710。
在步骤700C，建模模块304基于一组面部界标704生成3D表情符号706，如在图4中的方法400的操作404处所述。如图7的步骤700C所示，在基于一组面部界标704的位置处，将3D表情符号706覆盖在图像数据702上。
图8是根据某些示例实施例的用于显示增强现实图像的界面的图800。如图8中所见，图800包括根据诸如图4的方法400中所描述的那些的某些示例实施例的，覆盖在图像数据804上的3D表情符号802的描绘。
图9是根据某些示例实施例的用于显示增强现实图像的界面的图900。如图9所示，图900包括覆盖在图像数据904上的3D表情符号902的描绘。图900还包括界面项906，以接收用户输入以记录内容，该内容包括包含图像数据804和3D表情符号902的合成呈现。
如图9所示，3D表情符号902包括由增强表情系统124识别的表情的夸大描绘，如图5的方法500所述。响应于基于在客户端设备102A处接收的一个或多个面部跟踪输入而检测到特定表情，增强表情系统124使3D表情符号呈现该表情的夸张描绘。
图10是根据某些示例实施例的用于显示增强现实图像的界面的图1000。如图10所示，根据诸如图5的方法500中所描述的那些实施例的某些示例实施例，图10包括3D表情符号1002，图形元素1004，其覆盖在图像数据1006上。
例如，响应于面部跟踪模块302接收到与特定表情相对应的面部跟踪输入(例如，用户皱起他的嘴唇)，呈现模块306使图形元素1004显示在图像数据1006中的位置处。
软件架构
图11是示出示例软件架构1106的框图，其可以与在此描述的各种硬件架构结合使用。图11是软件架构的非限制性示例，并且可以理解，许多其它架构可被实现以促进在此描述的功能。软件架构1106可以在诸如图12的机器1200的硬件上执行，机器1200包括处理器1204、存储器1214、和I/O组件1218等。代表性硬件层1152被示出并且可以表示例如图12的机器1200。代表性硬件层1152包括具有相关联可执行指令1104的处理单元1154。可执行指令1104表示软件架构1106的可执行指令，包括在此描述的方法、组件等的实施方式。硬件层1152还包括存储器和/或存储模块存储器/存储设备1156，其也具有可执行指令1104。硬件层1152还可以包括其它硬件1158。
在图11的示例性架构中，软件架构1106可以概念化为层的堆栈，其中每个层提供特定的功能。例如，软件架构1106可以包括诸如操作系统1102、库1120、应用1116和呈现层1114的层。在操作上，层内的应用1116和/或其它组件可以通过软件堆栈来调用应用编程接口(API)API调用1108，并且响应于API调用1108而接收响应。所示的层本质上是代表性的，并且并不是所有软件架构都具有所有层。例如，一些移动或专用操作系统可能不提供框架/中间件1118，而其它操作系统可提供此类层。其它软件架构可以包括附加的层或不同的层。
操作系统1102可以管理硬件资源并提供公共服务。操作系统1102可以包括例如内核1122、服务1124和驱动器1126。内核1122可以用作硬件和其它软件层之间的抽象层。例如，内核1122可以负责存储器管理、处理器管理(例如，调度)、组件管理、网络、安全设置等。服务1124可以为其它软件层提供其它公共服务。驱动器1126负责控制底层硬件或与底层硬件接口连接。例如，驱动器1126包括显示驱动器、相机驱动器、
Figure BDA0002727202980000141
驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、Wi-Fi驱动器、音频驱动器、电源管理驱动器等等，取决于硬件配置。
库1120提供由应用1116和/或其它组件和/或层使用的公共基础结构。库1120提供允许其它软件组件以比与底层操作系统1102功能(例如，内核1122、服务1124和/或驱动器1126)直接通过接口连接更容易的方式执行任务的功能。库1120可以包括系统库1144(例如，C标准库)，其可以提供诸如存储器分配功能、字符串操作功能、数学功能等的功能。另外，库1120可以包括API库1146，诸如媒体库(例如，用于支持各种媒体格式(诸如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操作的库)、图形库(例如，可用于在显示器上的图形内容中渲染2D和3D的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、web库(例如，可提供web浏览功能的WebKit)等。库1120还可以包括各种其它库1148，以向应用1116和其它软件组件/模块提供许多其它API。
框架/中间件1118(有时也称为中间件)提供可由应用1116和/或其它软件组件/模块使用的更高级别的公共基础结构。例如，框架/中间件1118可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件1118可以提供可以由应用1116和/或其它软件组件/模块使用的宽范围的其它API，其中的一些可以针对特定操作系统1102或平台。
应用1116包括内置应用1138和/或第三方应用1140。代表性内置应用1138的示例可包括但不限于联系人应用、浏览器应用、书籍阅读器应用、位置应用、媒体应用、消息传递应用和/或游戏应用。第三方应用1140可以包括由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用，并且可以是在诸如IOSTM、ANDROIDTM、
Figure BDA0002727202980000151
Phone的移动操作系统或其它移动操作系统上运行的移动软件。第三方应用1140可以调用由移动操作系统(诸如操作系统1102)提供的API调用1108以便于实现在此描述的功能。
应用1116可以使用内置操作系统功能(例如，内核1122、服务1124和/或驱动器1126)、库1120和框架/中间件1118来创建用户界面以与系统的用户交互。可替代地或另外地，在一些系统中，与用户的交互可以通过表示层(诸如呈现层1114)发生。在这些系统中，应用/组件“逻辑”可以与和用户交互的应用/组件的方面分开。
图12是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此所讨论的任何一种或多种方法的机器1200的组件的框图。具体地，图12示出了以计算机系统的示例形式的机器1200的图形表示，在该计算机系统内可以执行用于使机器1200执行在此所讨论的任何一种或多种方法的指令1210(例如，软件、程序、应用、小应用、应用软件或其它可执行代码)。这样，指令1210可用于实现在此描述的模块或组件。指令1210将通用的非程序化的机器1200变换成被编程为以所描述的方式执行所描述和示出的功能的特定的机器1200。在替代实施例中，机器1200作为独立装置操作或者可以耦接(例如，联网)到其它机器。在联网部署中，机器1200可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者作为对等(或分布式)网络环境中的对等机器操作。机器1200可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其它智能设备、网络装置、网络路由器、网络交换机、网络桥接器、或者能够顺序地或以其它方式执行指令1210的任何机器，该指令1210指定机器1200要采取的动作。此外，尽管仅示出了单个机器1200，但是术语“机器”还可被视为包括单独或联合地执行指令1210以执行在此所讨论的任何一种或多种方法的机器的集合。
机器1200可以包括处理器1204、存储器/存储设备1206和I/O组件1218，其可以被配置为例如经由总线1202彼此通信。存储器/存储设备1206可以包括存储器1214(诸如主存储器或其它存储设备)和存储单元1216，两者都可由处理器1204诸如经由总线1202访问。存储单元1216和存储器1214存储体现在此描述的任何一种或多种方法或功能的指令1210。在机器1200的执行期间，指令1210还可以完全或部分地驻留在存储器1214内、存储单元1216内、处理器1204中的至少一个处理器内(例如，处理器的缓存存储器内)、或其任何合适的组合。因此，存储器1214、存储单元1216和处理器1204的存储器是机器可读介质的示例。
I/O组件1218可以包括各种组件，以接收输入、提供输出、产生输出、发送信息、交换信息、采集测量等。在特定机器1200中包括的特定I/O组件1218将取决于机器的类型。例如，诸如移动电话的便携式机器可能包括触摸输入设备或其它此类输入机构，而无头服务器机器可能不包括此类触摸输入设备。可以理解，I/O组件1218可以包括图12中未示出的许多其它组件。I/O组件1218根据功能分组仅仅是为了简化以下讨论，并且分组决不是限制性的。在各种示例实施例中，I/O组件1218可以包括输出组件1226和输入组件1228。输出组件1226可以包括可视组件(例如，显示器，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如，振动电机、电阻机构)、其它信号发生器等等。输入组件1228可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向仪器)、触知输入组件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏，或其它触知输入组件)、音频输入组件(例如，麦克风)等。
在进一步的示例实施例中，I/O组件1218可以包括生物度量组件1230、运动组件1234、环境组件1236或定位组件1238，以及多种其它组件。例如，生物度量组件1230可包括检测表达(例如手部表达、面部表情、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的组件。运动组件1234可包括加速度传感器组件(例如，加速度计)、重力传感器组件、旋转传感器组件(例如陀螺仪)等。环境组件1236可包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近度传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，用于为了安全而检测危险气体浓度或测量大气中的污染物的气体检测传感器)或可能提供与周围物理环境相对应的指示、测量或信号的其它组件。定位组件1238可包括定位传感器组件(例如，全球定位系统(GPS)接收器组件)、高度传感器组件(例如，高度计或检测气压的气压计，从该气压可以导出高度)、取向传感器组件(例如，磁力计)等。
通信可以使用各种技术来实现。I/O组件1218可以包括通信组件1240，其可操作以分别经由耦接器1222和耦接器1224将机器1200耦接到网络1232或设备1220。例如，通信组件1240可包括网络接口组件或与网络1232接口连接的另一合适设备。在另外的示例中，通信组件1240包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、
Figure BDA0002727202980000181
组件(例如，低功耗
Figure BDA0002727202980000182
)、
Figure BDA0002727202980000183
组件和经由其它模式提供通信的其它通信组件。设备1220可以是另一机器或各种外围设备(例如，经由通用串行总线(USB)耦接的外围设备)中的任何一个。
此外，通信组件1240可检测标识符或包括可操作以检测标识符的组件。例如，通信组件1240可包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，光学传感器，其用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)代码、Aztec代码、数据矩阵、数字图形、最大码、PDF417、超码、UCC RSS-2D条形码和其它光学代码的多维条形码)或声学检测组件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由可以指示特定位置的通信组件1240来导出各种信息，诸如经由因特网协议(IP)地理位置的位置、经由
Figure BDA0002727202980000184
信号三角测量的位置、经由检测NFC信标信号的位置等。
词汇表
在该上下文中的“载波信号”是指能够存储、编码或承载用于由机器执行的指令的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以便于此类指令的通信。可以使用传输介质经由网络接口设备并使用许多公知的传输协议中的任何一个传输协议来通过网络发送或接收指令。
在该上下文中的“客户端设备”是指与通信网络接口连接以从一个或多个服务器系统或其它客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、笔记本、多处理器系统、基于微处理器或可编程的消费电子产品、游戏控制台、机顶盒或用户可用其访问网络的任何其它通信设备。
在该上下文中的“通信网络”是指网络的一个或多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002727202980000191
网络、另一种类型的网络，或两个以上此类网络的组合。例如，网络或网络的一部分可以包括无线或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其它类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线服务(GPRS)技术、GSM演进增强型数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。
在该上下文中的“短时消息”是指可在受时间限制的持续时间期间访问的消息。短时消息可以是文本、图像、视频等。短时消息的访问时间可以由消息发送者设置。可替代地，访问时间可以是默认设置或由接收者指定的设置。无论设置技术如何，消息是暂态的。
在该上下文中的“机器可读介质”是指能够临时或永久地存储指令和数据的组件、设备或其它有形介质，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁介质、高速缓冲存储器、其它类型的存储器(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应被视为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还可被视为包括能够存储由机器执行的指令(例如，代码)的任何介质或多个介质的组合，使得指令在由机器的一个或多个处理器执行时使机器执行在此描述的任何一种或多种方法。因此，“机器可读介质”是指单个存储设备或设备，以及包括多个存储设备或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”排除信号本身。
在该上下文中的“组件”是指具有由功能或子例程调用、分支点、应用编程接口(API)或提供特定处理或控制功能的分区或模块化的其它技术定义的边界的设备、物理实体或逻辑。组件可以经由它们的接口与其它组件组合以执行机器过程。组件可以是被设计用于与其它组件一起使用的封装功能硬件单元，以及通常执行相关功能的特定功能的程序的一部分。组件可以构成软件组件(例如，在机器可读介质上体现的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器)可以通过软件(例如，应用或应用部分)将其配置为操作以执行如在此所述的某些操作的硬件组件。硬件组件还可以机械地、电子地或其任何合适的组合来实现。例如，硬件组件可以包括永久配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括由软件临时配置以执行某些操作的可编程逻辑或电路。例如，硬件组件可以包括由通用处理器或其它可编程处理器执行的软件。在由该软件配置后，硬件组件就成为特定的机器(或机器的特定组件)，其被独特地定制以执行配置的功能并且不再是通用处理器。应当理解，可以由成本和时间考虑来驱动在专用和永久配置的电路中或在临时配置的电路(例如，由软件配置)中机械地实现硬件组件的决定。因此，短语“硬件组件”(或“硬件实现的组件”)应该被理解为包含有形实体，即物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)的实体，以某种方式操作或执行在此所述的某些操作。考虑其中硬件组件被临时配置(例如，编程)的实施例，不需要在任何一个时刻配置或实例化硬件组件中的每个硬件组件。例如，在硬件组件包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可以在不同时间被配置为相应的不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置特定的处理器或多个处理器，例如，在一个时刻构成特定的硬件组件，并在不同的时刻构成不同的硬件组件。硬件组件可以向其它硬件组件提供信息并从其接收信息。因此，所描述的硬件组件可以被视为通信地耦接。在同时存在多个硬件组件的情况下，可以通过在两个硬件组件之间或更多个硬件组件之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件组件的实施例中，例如通过对多个硬件组件可访问的存储器结构中的信息的存储和取得，可以实现该硬件组件之间的通信。例如，一个硬件组件可以执行操作并将该操作的输出存储在与其通信耦接的存储器设备中。然后，另一硬件组件可以稍后访问存储器设备以取得和处理所存储的输出。硬件组件还可以启动与输入或输出设备的通信，并且可以在资源(例如，信息集合)上操作。在此描述的示例方法的各种操作可以至少部分地由临时配置(例如，通过软件)或永久配置为执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久配置，该处理器可以构成处理器实现的组件，其用于执行在此描述的一个或多个操作或功能。如在此所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，在此描述的方法可以至少部分地由处理器实现，其中特定的处理器或多个处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的组件来执行。此外，一个或多个处理器还可以操作以支持“云计算”环境中的相关操作的性能或作为“软件即服务”(SaaS)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，这些操作可以经由网络(例如，因特网)并且经由一个或多个适当的接口(例如，应用编程接口(API))访问。操作中的某些操作的性能可以分布在处理器之间，不仅驻留在单个机器内，而且部署在多个机器上。在一些示例实施例中，处理器或处理器实现的组件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器群内)。在其它示例实施例中，处理器或处理器实现的组件可以分布在多个地理位置上。
在该上下文中的“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器代码”等)操纵数据值以及产生应用于操作机器的对应输出信号的任何电路或虚拟电路(由在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)或其任何组合。处理器可以进一步是具有可以同时执行指令的两个或更多个独立处理器、(有时称为“核”)的多核处理器。
在该上下文中，“时间戳”是指识别特定事件何时发生的字符序列或编码信息，例如给出日期和一天中的时间，有时精确到秒的分数。
在此上下文中，“LIFT”是针对随机选择目标模型测量的目标模型在预测或分类具有增强的响应(相对于总体而言)的情况时的性能的测量。
在此上下文中的“音素对齐(PHONEME ALIGNMENT)”，因素是将一个单词与另一个单词区分开的语音单元。一个音素可能由一系列关闭、爆发和吸气事件组成；或者，连音可能会从后元音过渡到前元音。因此，不仅可以通过语音信号所包含的音素来描述语音信号，还可以通过音素的位置来描述语音信号。因此，音素对齐可以描述为波形中音素的“时间对齐”，以便确定语音信号中每个音素的适当顺序和位置。
在本文中的“听觉到视觉转换”是指可听语音信号到可见语言的转换，其中可见语言可以包括代表可听语音信号的嘴形。
在本文中的“时延神经网络(TDNN)”中，TDNN是一种人工神经网络架构，其主要目的是处理顺序数据。例如，将连续音频转换为用于语音识别的分类音素标签流。
在本文中的“双向长短期存储器(BLSTM)”是指可在任意间隔内记忆值的递归神经网络(RNN)架构。存储的值不会随着学习的进行而被修改。RNN允许在神经元之间的向前和向后连接。在给定未知大小和事件之间的持续时间的情况下，BLSTM非常适合时间序列的分类、处理和预测。

Claims (20)

1.一种方法，包括：
使得在客户端设备处显示图像数据的呈现，所述图像数据描绘了用户的一组面部界标；
响应于使得显示所述图像数据的所述呈现，基于所述一组面部界标来生成3D模型；
在所述客户端设备处将所述3D模型覆盖在所述图像数据的所述呈现上的位置处，所述位置是基于所述一组面部界标的；
接收面部跟踪输入，所述面部跟踪输入包括所述用户的所述一组面部界标面中的面部界标的移动；以及
基于所述面部跟踪输入在所述客户端设备处动态地对所述3D模型进行动画处理。
2.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述一组面部界标和所述客户端设备的标识符来识别所述用户的用户简档；以及
基于所述用户简档和所述一组面部界标来生成所述3D模型。
3.根据权利要求1所述的方法，其中，所述方法还包括：
基于所述面部跟踪输入来识别表情；
基于所述表情从一组图形元素中选择图形元素；以及
使得在所述客户端设备处在所述图像数据的所述呈现中显示所述图形元素。
4.根据权利要求3所述的方法，其中，所述面部跟踪输入是第一面部跟踪输入，并且所述方法还包括：
接收第二面部跟踪输入，所述第二面部跟踪输入包括所述一组面部界标中的面部界标的第二移动；以及
基于所述第二面部跟踪输入对所述图形元素应用改变。
5.根据权利要求1所述的方法，其中，所述方法还包括：
至少基于所述面部跟踪输入来检测所述用户的头部的转动；以及
基于所述用户的头部的转动来旋转所述3D模型。
6.根据权利要求1所述的方法，其中，所述客户端设备是第一客户端设备，并且所述方法还包括：
基于所述3D模型和所述图像数据生成平面化呈现；
在所述第一客户端设备处将所述平面化呈现分配到消息；
将所述消息分发到第二客户端设备；以及
使得在所述第二客户端设备处显示所述平面化呈现。
7.根据权利要求6所述的方法，其中，所述消息包括短暂消息。
8.根据权利要求1所述的方法，其中，所述3D模型包括一组区域，所述3D模型的每个区域与所述用户的所述一组面部界标中的面部界标相对应，并且所述方法还包括：
基于所述面部跟踪输入来识别所述3D模型的区域；以及
响应于接收到所述面部跟踪输入而动态地对所述区域进行动画处理。
9.一种系统，包括：
存储器；以及
至少一个硬件处理器，其被耦合到所述存储器并包括使所述系统执行操作的指令，所述指令包括：
使得在客户端设备处显示图像数据的呈现，所述图像数据描绘了用户的一组面部界标；
响应于使得显示所述图像数据的所述呈现，基于所述一组面部界标来生成3D模型；
在所述客户端设备处将所述3D模型覆盖在所述图像数据的所述呈现上的位置处，所述位置是基于所述一组面部界标的；
接收面部跟踪输入，所述面部跟踪输入包括所述用户的所述一组面部界标面中的面部界标的移动；以及
基于所述面部跟踪输入在所述客户端设备处动态地对所述3D模型进行动画处理。
10.根据权利要求9所述的系统，其中，所述指令使所述系统执行操作，所述操作进一步包括：
基于所述一组面部界标和所述客户端设备的标识符来识别所述用户的用户简档；以及
基于所述用户简档和所述一组面部界标来生成所述3D模型。
11.根据权利要求9所述的系统，其中，所述指令使所述系统执行操作，所述操作进一步包括：
基于所述面部跟踪输入来识别表情；
基于所述表情从一组图形元素中选择图形元素；以及
使得在所述客户端设备处在所述图像数据的所述呈现中显示所述图形元素。
12.根据权利要求11所述的系统，其中，所述面部跟踪输入是第一面部跟踪输入，并且所述指令使所述系统执行操作，所述操作进一步包括：
接收第二面部跟踪输入，所述第二面部跟踪输入包括所述一组面部界标面中的面部界标的第二移动；以及
基于所述第二面部跟踪输入对所述图形元素应用改变。
13.根据权利要求9所述的系统，其中，所述指令使所述系统执行操作，所述操作进一步包括：
至少基于所述面部跟踪输入来检测所述用户的头部的转动；以及
基于所述用户的头部的转动来旋转所述3D模型。
14.根据权利要求9所述的系统，其中，所述客户端设备是第一客户端设备，并且所述指令使所述系统执行操作，所述操作进一步包括：
基于所述3D模型和所述图像数据生成平面化呈现；
在所述第一客户端设备处将所述平面化呈现分配到消息；
将所述消息分发到第二客户端设备；以及
使得在所述第二客户端设备处显示所述平面化呈现。
15.根据权利要求14所述的系统，其中，所述消息包括短暂消息。
16.根据权利要求9所述的系统，其中，所述3D模型包括一组区域，所述3D模型的每个区域与所述用户的所述一组面部界标中的面部界标相对应，并且所述指令使所述系统执行操作，所述操作进一步包括：
基于所述面部跟踪输入来识别所述3D模型的区域；以及
响应于接收到所述面部跟踪输入而动态地对所述区域进行动画处理。
17.一种非暂态机器可读存储介质，其包括指令，在所述指令由机器的一个或多个处理器执行时使所述机器执行操作，所述操作包括：
使得在客户端设备处显示图像数据的呈现，所述图像数据描绘了用户的一组面部界标；
响应于使得显示所述图像数据的所述呈现，基于所述一组面部界标来生成3D模型；
在所述客户端设备处将所述3D模型覆盖在所述图像数据的所述呈现上的位置处，所述位置是基于所述一组面部界标的；
接收面部跟踪输入，所述面部跟踪输入包括所述用户的所述一组面部界标面中的面部界标的移动；以及
基于所述面部跟踪输入在所述客户端设备处动态地对所述3D模型进行动画处理。
18.根据权利要求17所述的非暂态机器可读存储介质，还包括使所述机器执行操作的指令，所述指令还包括：
基于所述一组面部界标和所述客户端设备的标识符来识别所述用户的用户简档；以及
基于所述用户简档和所述一组面部界标来生成所述3D模型。
19.根据权利要求17所述的非暂态机器可读存储介质，还包括使所述机器执行操作的指令，所述指令还包括：
基于所述面部跟踪输入来识别表情；
基于所述表情从一组图形元素中选择图形元素；以及
使得在所述客户端设备处在所述图像数据的所述呈现中显示所述图形元素。
20.根据权利要求19所述的非暂态机器可读存储介质，还包括使所述机器执行操作的指令，所述指令还包括：
接收第二面部跟踪输入，所述第二面部跟踪输入包括所述一组面部界标中的面部界标的第二移动；以及
基于所述第二面部跟踪输入对所述图形元素应用改变。
CN201980026234.4A 2018-04-18 2019-04-17 增强表情系统 Pending CN112041891A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862659337P 2018-04-18 2018-04-18
US62/659,337 2018-04-18
PCT/US2019/027900 WO2019204464A1 (en) 2018-04-18 2019-04-17 Augmented expression system

Publications (1)

Publication Number Publication Date
CN112041891A true CN112041891A (zh) 2020-12-04

Family

ID=66589885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026234.4A Pending CN112041891A (zh) 2018-04-18 2019-04-17 增强表情系统

Country Status (5)

Country Link
US (3) US10719968B2 (zh)
EP (1) EP3782124A1 (zh)
KR (2) KR20240027845A (zh)
CN (1) CN112041891A (zh)
WO (1) WO2019204464A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
CN109034063A (zh) * 2018-07-27 2018-12-18 北京微播视界科技有限公司 人脸特效的多人脸跟踪方法、装置和电子设备
US11055514B1 (en) * 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
WO2020129959A1 (ja) * 2018-12-18 2020-06-25 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN111760265B (zh) * 2020-06-24 2024-03-22 抖音视界有限公司 一种操作控制的方法及装置
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN112232310B (zh) * 2020-12-09 2021-03-12 中影年年(北京)文化传媒有限公司 一种用于表情捕捉的人脸识别系统和方法
CN112764845B (zh) * 2020-12-30 2022-09-16 北京字跳网络技术有限公司 视频处理方法及装置、电子设备和计算机可读存储介质
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11900506B2 (en) * 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN104782120A (zh) * 2012-12-17 2015-07-15 英特尔公司 基于面部运动的化身动画
US20150213604A1 (en) * 2013-06-04 2015-07-30 Wenlong Li Avatar-based video encoding
US20180005420A1 (en) * 2016-06-30 2018-01-04 Snapchat, Inc. Avatar based ideogram generation
US20180089880A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Transmission of avatar data

Family Cites Families (312)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
DE59708043D1 (de) 1996-06-17 2002-10-02 Siemens Ag Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3783331B2 (ja) 1997-05-14 2006-06-07 ブラザー工業株式会社 メール送信システム、メール受信システムおよび記録媒体
US6158044A (en) 1997-05-21 2000-12-05 Epropose, Inc. Proposal based architecture system
BR9806000A (pt) 1997-06-17 2000-01-25 Purdue Pharma Lp Documento autodestrutivo e sistema de envio de mensagens por e-mail.
FI973945A (fi) 1997-10-13 1999-04-14 Nokia Telecommunications Oy Lyhytsanomia välittävä tiedonsiirtojärjestelmä
US6023270A (en) 1997-11-17 2000-02-08 International Business Machines Corporation Delivery of objects in a virtual world using a descriptive container
US6842779B1 (en) 1998-03-11 2005-01-11 Yasuo Nishizawa Agent accessory tool cooperating with integrated application on WEB server by HTTP protocol
US6484196B1 (en) 1998-03-20 2002-11-19 Advanced Web Solutions Internet messaging system and method for use in computer networks
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6205432B1 (en) 1998-06-05 2001-03-20 Creative Internet Concepts, Llc Background advertising system
WO2000017768A1 (en) 1998-09-23 2000-03-30 Ogilvie John W L Self-removing email
US6757713B1 (en) 1998-09-23 2004-06-29 John W. L. Ogilvie Method for including a self-removing indicator in a self-removing message
US6324569B1 (en) 1998-09-23 2001-11-27 John W. L. Ogilvie Self-removing email verified or designated as such by a message distributor for the convenience of a recipient
US6701347B1 (en) 1998-09-23 2004-03-02 John W. L. Ogilvie Method for including a self-removing code in a self-removing email message that contains an advertisement
US6167435A (en) 1998-10-30 2000-12-26 Netcreations, Inc. Double opt-in™ method and system for verifying subscriptions to information distribution services
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6223165B1 (en) 1999-03-22 2001-04-24 Keen.Com, Incorporated Method and apparatus to connect consumer to expert
US7240199B2 (en) 2000-12-06 2007-07-03 Rpost International Limited System and method for verifying delivery and integrity of electronic messages
US7149893B1 (en) 1999-09-07 2006-12-12 Poofaway.Com, Inc. System and method for enabling the originator of an electronic mail message to preset an expiration time, date, and/or event, and to control processing or handling by a recipient
US6772195B1 (en) 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
JP2001230801A (ja) 2000-02-14 2001-08-24 Sony Corp 通信システムとその方法、通信サービスサーバおよび通信端末装置
US7124164B1 (en) 2001-04-17 2006-10-17 Chemtob Helen J Method and apparatus for providing group interaction via communications networks
US6922685B2 (en) 2000-05-22 2005-07-26 Mci, Inc. Method and system for managing partitioned data resources
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US6754621B1 (en) 2000-10-06 2004-06-22 Andrew Cunningham Asynchronous hypertext messaging system and method
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
JP2002132647A (ja) 2000-10-19 2002-05-10 Kizna Corp 電子掲示板及び電子掲示板システム
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7243163B1 (en) 2001-08-07 2007-07-10 Good Technology, Inc. System and method for full wireless synchronization of a data processing apparatus with a messaging system
JP4440503B2 (ja) 2001-09-20 2010-03-24 富士通株式会社 情報一覧作成装置及びそのプログラム
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7356564B2 (en) 2002-01-09 2008-04-08 At&T Delaware Intellectual Property, Inc. Method, system, and apparatus for providing self-destructing electronic mail messages
US20030217106A1 (en) 2002-03-25 2003-11-20 Eytan Adar System and method for profiling clients within a system for harvesting community knowledge
KR100523742B1 (ko) 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
KR100493525B1 (ko) 2002-05-03 2005-06-07 안현기 아바타 메일 제공시스템 및 방법
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US7278168B1 (en) 2002-11-27 2007-10-02 Adobe Systems Incorporated Dynamic enabling of functionality in electronic document readers
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US20040179037A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US20070168863A1 (en) 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
US6978147B2 (en) 2003-03-19 2005-12-20 Motorola, Inc. Wireless messaging device with selectable scroll display and message pre-fetch
GB0308991D0 (en) 2003-04-17 2003-05-28 Psion Digital Ltd A data access replication or communication system comprising a distributed software application
KR20040091331A (ko) 2003-04-21 2004-10-28 홍지선 자연어처리기술을 이용하여 입력된 문자메시지와 그 문장내용에 상응하는 아바타 표현 방법 및 시스템
KR100762629B1 (ko) 2003-08-26 2007-10-01 삼성전자주식회사 휴대단말기의 백업서비스 처리방법
US7703140B2 (en) 2003-09-30 2010-04-20 Guardian Data Storage, Llc Method and system for securing digital assets using process-driven security policies
US7191221B2 (en) 2003-10-30 2007-03-13 International Business Machines Corporation Method for managing electronic mail receipts using audio-visual notification enhancements
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
JPWO2005062217A1 (ja) 2003-12-19 2007-07-19 富士通株式会社 プレゼンス情報処理方法及びプログラム
US7478402B2 (en) 2004-02-12 2009-01-13 Microsoft Corporation Configurable message pipelines
US7904510B2 (en) 2004-02-23 2011-03-08 Microsoft Corporation Systems and methods for managing discussion threads based on ratings
US7912904B2 (en) 2004-03-31 2011-03-22 Google Inc. Email system with conversation-centric user interface
US7607096B2 (en) 2004-05-01 2009-10-20 Microsoft Corporation System and method for a user interface directed to discovering and publishing presence information on a network
US7593740B2 (en) 2004-05-12 2009-09-22 Google, Inc. Location-based social software for mobile devices
US8238947B2 (en) 2004-05-27 2012-08-07 France Telecom Method and installation for transmitting a message with predetermined duration of validity addressed to a subscriber terminal
US7519670B2 (en) 2004-08-12 2009-04-14 International Business Machines Corporation Method for disappearing ink for text messaging
US8745132B2 (en) 2004-09-10 2014-06-03 Silver State Intellectual Technologies, Inc. System and method for audio and video portable publishing system
US7342587B2 (en) * 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7496347B2 (en) 2004-11-12 2009-02-24 Velocita Wireless Llc Method and apparatus for providing secure wireless communication
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
KR100714192B1 (ko) 2005-04-08 2007-05-02 엔에이치엔(주) 노출 부위가 가변되는 아바타 제공 시스템 및 그 방법
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8396456B2 (en) 2005-06-28 2013-03-12 Avaya Integrated Cabinet Solutions Inc. Visual voicemail management
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US8266219B2 (en) 2005-07-20 2012-09-11 Research In Motion Limited Method and system for instant messaging conversation security
US7610345B2 (en) 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
CN1794708A (zh) 2005-07-29 2006-06-28 华为技术有限公司 呈现业务系统及发布呈现信息的方法
WO2007023494A2 (en) 2005-08-22 2007-03-01 Triplay Communications Ltd. Messaging system and method
US7949107B2 (en) 2005-08-24 2011-05-24 International Business Machines Corporation Method, system, and computer program product for providing privacy measures in instant messaging systems
US20070073823A1 (en) 2005-09-29 2007-03-29 International Business Machines Corporation Method and apparatus to secure and retrieve instant messages
US7775885B2 (en) 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
US8284663B2 (en) 2005-10-14 2012-10-09 Turbine, Inc. Selectively ordered protocol for unreliable channels
ITMI20052290A1 (it) 2005-11-30 2007-06-01 Pasqua Roberto Della Servizio di messaggistica istantanea con interfaccia utente minimizzata
WO2007076721A2 (fr) 2005-12-31 2007-07-12 Tencent Technology (Shenzhen) Company Limited Affichage, procédé de présentation, système d'affichage et appareil de présentation d'image virtuelle 3d
US20070176921A1 (en) 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
US7856360B2 (en) 2006-01-30 2010-12-21 Hoozware, Inc. System for providing a service to venues where people aggregate
EP2024811A4 (en) 2006-02-10 2010-11-10 Strands Inc SYSTEMS AND METHOD FOR PRIORIZING FILES OF MOBILE MEDIA PLAYERS
US20100011422A1 (en) 2006-02-16 2010-01-14 Wee-World Limited Portable account information
US8112478B2 (en) 2006-03-13 2012-02-07 Oracle International Corporation Email and discussion forum system
US8255473B2 (en) 2006-04-04 2012-08-28 International Business Machines Corporation Caching message fragments during real-time messaging conversations
EP2016562A4 (en) 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
US8082363B2 (en) * 2006-05-12 2011-12-20 Hewlett-Packard Development Company, L.P. Multiplexed communication between host computer and smartphone used as wireless modem
WO2007134402A1 (en) 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US20080158222A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Apparatus and Methods for Selecting and Customizing Avatars for Interactive Kiosks
US8504926B2 (en) 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
GB0702150D0 (en) 2007-02-05 2007-03-14 Amegoworld Ltd A Communication Network and Devices
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
GB2447094B (en) 2007-03-01 2010-03-10 Sony Comp Entertainment Europe Entertainment device and method
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
WO2008134625A1 (en) 2007-04-26 2008-11-06 Ford Global Technologies, Llc Emotive advisory system and method
CN101071457B (zh) 2007-04-28 2010-05-26 腾讯科技（深圳）有限公司 一种网络游戏中改变角色形象的方法、装置以及服务器
US20080270938A1 (en) 2007-04-29 2008-10-30 Elizabeth Marie Carlson System for self-registering visitor information with geographic specificity and searchable fields
US20110115798A1 (en) 2007-05-10 2011-05-19 Nayar Shree K Methods and systems for creating speech-enabled avatars
WO2008151424A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090016617A1 (en) 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US8170957B2 (en) 2007-08-08 2012-05-01 Sinart Points Technology, Inc. System and method for managing digital interactions
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US8909714B2 (en) 2007-08-21 2014-12-09 Microsoft Corporation Electronic mail delay adaptation
US20090070688A1 (en) 2007-09-07 2009-03-12 Motorola, Inc. Method and apparatus for managing interactions
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
US20090099925A1 (en) 2007-10-04 2009-04-16 Mehta Kaushal N Apparatus and Method for Virtual World Item Searching
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US8244593B2 (en) 2007-11-20 2012-08-14 Pure Verticals, Inc. Method and system for monetizing content
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
KR101387527B1 (ko) 2007-12-06 2014-04-23 엘지전자 주식회사 단말기 및 그 메뉴 아이콘 디스플레이 방법
US8151191B2 (en) 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8495505B2 (en) 2008-01-10 2013-07-23 International Business Machines Corporation Perspective based tagging and visualization of avatars in a virtual world
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
CN101978374A (zh) 2008-03-03 2011-02-16 耐克国际有限公司 交互式运动设备系统
US8214443B2 (en) 2008-03-05 2012-07-03 Aol Inc. Electronic mail forwarding service
US9744466B2 (en) 2008-03-13 2017-08-29 Mattel, Inc. Widgetized avatar and a method and system of creating and using same
UA103021C2 (ru) 2008-03-28 2013-09-10 Селлтраст Корпорейшн Система и способ обслуживания безопасной передачи коротких сообщений и передачи мультимедийных сообщений (варианты)
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US20090265604A1 (en) 2008-04-21 2009-10-22 Microsoft Corporation Graphical representation of social network vitality
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8095878B2 (en) 2008-06-23 2012-01-10 International Business Machines Corporation Method for spell check based upon target and presence of avatars within a virtual environment
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
CA2729630C (en) 2008-06-30 2017-09-12 Accenture Global Services Limited Modification of avatar attributes for use in a gaming system via a moderator interface
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
EP4083968A1 (en) 2008-07-28 2022-11-02 Breakthrough Performancetech, LLC Systems and methods for computerized interactive skill training
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US8832201B2 (en) 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
US8108774B2 (en) 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US8648865B2 (en) 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US20100082427A1 (en) 2008-09-30 2010-04-01 Yahoo! Inc. System and Method for Context Enhanced Ad Creation
US8869197B2 (en) 2008-10-01 2014-10-21 At&T Intellectual Property I, Lp Presentation of an avatar in a media communication system
US8683354B2 (en) 2008-10-16 2014-03-25 At&T Intellectual Property I, L.P. System and method for distributing an avatar
US20100115426A1 (en) 2008-11-05 2010-05-06 Yahoo! Inc. Avatar environments
US8745152B2 (en) 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
WO2010074786A2 (en) 2008-12-04 2010-07-01 Total Immersion Software, Inc. System and methods for dynamically injecting expression information into an animated facial mesh
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US8719238B2 (en) 2009-01-22 2014-05-06 Sunstein Kann Murphy & Timbers LLP Office-based notification messaging system
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
KR101558553B1 (ko) 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20100227682A1 (en) 2009-03-04 2010-09-09 Microsoft Corporation Awarding of avatar items in video game environment
US8214446B1 (en) 2009-06-04 2012-07-03 Imdb.Com, Inc. Segmenting access to electronic message boards
US8479080B1 (en) 2009-07-12 2013-07-02 Apple Inc. Adaptive over-provisioning in memory systems
US20110093780A1 (en) 2009-10-16 2011-04-21 Microsoft Corporation Advertising avatar
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
KR20110070056A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
CN102118419B (zh) 2009-12-30 2014-07-16 华为技术有限公司 一种图片信息的传输方法、装置和通信系统
US8484158B2 (en) 2010-02-01 2013-07-09 International Business Machines Corporation Managing information about avatars across virtual worlds
US9443227B2 (en) 2010-02-16 2016-09-13 Tigertext, Inc. Messaging system apparatuses circuits and methods of operation thereof
US20110213845A1 (en) 2010-02-26 2011-09-01 Research In Motion Limited Automatic deletion of electronic messages
US20110239136A1 (en) 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
US8433755B2 (en) 2010-04-07 2013-04-30 Apple Inc. Dynamic designation of a central distributor in a multi-participant conference
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8582727B2 (en) 2010-04-21 2013-11-12 Angel.Com Communication of information during a call
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
US11073899B2 (en) * 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US20110320373A1 (en) 2010-06-25 2011-12-29 Microsoft Corporation Product conversations among social groups
AU2011274218C1 (en) 2010-07-01 2016-11-03 Absolute Software Corporation Automatic creation and modification of dynamic geofences
US8233887B2 (en) 2010-07-28 2012-07-31 Sprint Communications Company L.P. Covert message redaction and recovery in a wireless communication device
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR101445263B1 (ko) 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US8457668B2 (en) 2011-01-18 2013-06-04 Claremont Speede Mobile sender initiated SMS message deletion method and system
US20120209921A1 (en) 2011-02-10 2012-08-16 International Business Machines Corporation Instant Message Management Method and Apparatus
US9839844B2 (en) 2011-03-01 2017-12-12 Disney Enterprises, Inc. Sprite strip renderer
FR2972823B1 (fr) * 2011-03-16 2013-03-01 Alcatel Lucent Controle de publication de message relatif a un utilisateur
CN103430218A (zh) * 2011-03-21 2013-12-04 英特尔公司 用3d脸部建模和地标对齐扩增造型的方法
US9331972B2 (en) 2011-03-31 2016-05-03 Loment, Inc. Automatic expiration of messages communicated to an end user communication device
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
US20130103760A1 (en) 2011-04-11 2013-04-25 Robert K. Golding Location-sensitive virtual identity system, apparatus, method and computer-readable medium
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
WO2013008251A2 (en) 2011-07-08 2013-01-17 Hughes Systique India Private Limited Method and system for social networking in a restricted connectivity environment
US20130201187A1 (en) 2011-08-09 2013-08-08 Xiaofeng Tong Image-based multi-view 3d face generation
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US8559980B2 (en) 2011-09-02 2013-10-15 John J. Pujol Method and system for integrated messaging and location services
US20130071093A1 (en) 2011-09-16 2013-03-21 William Turner Hanks Maintaining viewer activity information of a recorded program for program deletion decisions
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US9398262B2 (en) 2011-12-29 2016-07-19 Intel Corporation Communication using avatar
US20130194301A1 (en) 2012-01-30 2013-08-01 Burn Note, Inc. System and method for securely transmiting sensitive information
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US20130257877A1 (en) 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US9402057B2 (en) 2012-04-02 2016-07-26 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive avatars for telecommunication systems
WO2013152454A1 (en) 2012-04-09 2013-10-17 Intel Corporation System and method for avatar management and selection
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
JP5497931B2 (ja) 2012-05-30 2014-05-21 株式会社コナミデジタルエンタテインメント アプリケーション装置、アプリケーション装置の制御方法、及びプログラム
AU2013206649A1 (en) 2012-07-05 2014-01-23 Aristocrat Technologies Australia Pty Limited A gaming system and a method of gaming
US20140125678A1 (en) 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US9560006B2 (en) 2012-07-26 2017-01-31 Google Inc. Method and apparatus for expiring messages in electronic communications
US10116598B2 (en) 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
WO2014036708A1 (en) 2012-09-06 2014-03-13 Intel Corporation System and method for avatar creation and synchronization
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9501942B2 (en) 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140129343A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US20150199082A1 (en) 2012-11-13 2015-07-16 Google Inc. Displaying actionable items in an overscroll area
US9256860B2 (en) 2012-12-07 2016-02-09 International Business Machines Corporation Tracking participation in a shared media session
US20140201527A1 (en) 2013-01-17 2014-07-17 Zohar KRIVOROT Systems and methods for secure and private delivery of content
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9264463B2 (en) 2013-03-15 2016-02-16 Facebook, Inc. Method and system of managing ephemeral post in a social networking system
CN104995662B (zh) 2013-03-20 2020-08-11 英特尔公司 用于管理化身的设备和方法以及用于动画化化身的设备
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US9736218B2 (en) 2013-04-24 2017-08-15 Blackberry Limited Device, system and method for processing character data
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
US9706040B2 (en) * 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
WO2015070416A1 (en) 2013-11-14 2015-05-21 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
US9361510B2 (en) 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US20150227600A1 (en) 2014-02-13 2015-08-13 Actifio, Inc. Virtual data backup
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9479909B2 (en) 2014-03-20 2016-10-25 Tigertext, Inc. Method of sending messages to devices not configured to receive them
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
KR20150116260A (ko) * 2014-04-07 2015-10-15 삼성전자주식회사 마커 추적 방법 및 그 전자 장치
US9503845B2 (en) 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
US20170080346A1 (en) 2014-05-01 2017-03-23 Mohamad Abbas Methods and systems relating to personalized evolving avatars
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9537811B2 (en) * 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
WO2016065131A1 (en) 2014-10-24 2016-04-28 Snapchat, Inc. Prioritization of messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11783898B2 (en) 2014-09-18 2023-10-10 Jonker Llc Ephemeral storage elements, circuits, and systems
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US9497624B2 (en) * 2014-10-30 2016-11-15 Alcatel-Lucent Usa Inc. Connectionless wireless access
CN107004287B (zh) 2014-11-05 2020-10-23 英特尔公司 化身视频装置和方法
US20160361653A1 (en) * 2014-12-11 2016-12-15 Intel Corporation Avatar selection mechanism
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
WO2016101131A1 (en) * 2014-12-23 2016-06-30 Intel Corporation Augmented facial animation
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
CN105844276A (zh) 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 人脸姿态校正方法和装置
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
JP6462386B2 (ja) 2015-02-05 2019-01-30 任天堂株式会社 プログラム、通信端末及び表示方法
US9294425B1 (en) 2015-02-06 2016-03-22 Snapchat, Inc. Storage and processing of ephemeral messages
US9148424B1 (en) 2015-03-13 2015-09-29 Snapchat, Inc. Systems and methods for IP-based intrusion detection
US10616239B2 (en) 2015-03-18 2020-04-07 Snap Inc. Geo-fence authorization provisioning
US9482882B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having selectively exposable feature
US9482883B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having linkage assembly between a temple and a frame
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
KR20180004218A (ko) 2015-05-06 2018-01-10 스냅 인코포레이티드 단기 그룹 채팅을 위한 시스템 및 방법
US20170018289A1 (en) * 2015-07-15 2017-01-19 String Theory, Inc. Emoji as facetracking video masks
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
EP3335195A2 (en) * 2015-08-14 2018-06-20 Metail Limited Methods of generating personalized 3d head models or 3d body models
US9665567B2 (en) * 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
US20170087473A1 (en) 2015-09-29 2017-03-30 Sportsworld, Inc. Virtual environments for managing and interacting with virtual sports leagues
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US20170199855A1 (en) 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US10686899B2 (en) 2016-04-06 2020-06-16 Snap Inc. Messaging achievement pictograph display system
US20170312634A1 (en) 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10223613B2 (en) * 2016-05-31 2019-03-05 Microsoft Technology Licensing, Llc Machine intelligent predictive communication and control system
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10657701B2 (en) 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10348662B2 (en) * 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
US20180024726A1 (en) * 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
US10573048B2 (en) 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
WO2018053703A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
KR102210150B1 (ko) 2016-09-23 2021-02-02 애플 인크. 아바타 생성 및 편집
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10949872B2 (en) 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10870056B2 (en) * 2017-11-01 2020-12-22 Sony Interactive Entertainment Inc. Emoji-based communications derived from facial features during game play
US20190182304A1 (en) * 2017-12-12 2019-06-13 Connect TechNova Inc Universal messaging protocol for limited payload size
US10839585B2 (en) * 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11334376B2 (en) * 2018-02-13 2022-05-17 Samsung Electronics Co., Ltd. Emotion-aw are reactive interface
WO2019164266A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
US10726603B1 (en) * 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11106898B2 (en) * 2018-03-19 2021-08-31 Buglife, Inc. Lossy facial expression training data pipeline
CN112041891A (zh) 2018-04-18 2020-12-04 斯纳普公司 增强表情系统
US11169613B2 (en) * 2018-05-30 2021-11-09 Atheer, Inc. Augmented reality task flow optimization systems
US11276498B2 (en) * 2020-05-21 2022-03-15 Schler Baruch Methods for visual identification of cognitive disorders

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN104782120A (zh) * 2012-12-17 2015-07-15 英特尔公司 基于面部运动的化身动画
US20150213604A1 (en) * 2013-06-04 2015-07-30 Wenlong Li Avatar-based video encoding
US20180005420A1 (en) * 2016-06-30 2018-01-04 Snapchat, Inc. Avatar based ideogram generation
US20180089880A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Transmission of avatar data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875439B2 (en) 2018-04-18 2024-01-16 Snap Inc. Augmented expression system

Also Published As

Publication number Publication date
US11875439B2 (en) 2024-01-16
KR20240027845A (ko) 2024-03-04
US20190325631A1 (en) 2019-10-24
US20240104815A1 (en) 2024-03-28
US20200242826A1 (en) 2020-07-30
KR20200143464A (ko) 2020-12-23
EP3782124A1 (en) 2021-02-24
US10719968B2 (en) 2020-07-21
WO2019204464A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US11875439B2 (en) Augmented expression system
US11706267B2 (en) Animated chat presence
US20220284656A1 (en) Semantic texture mapping system
US20200310601A1 (en) Dynamic media selection menu
US11776256B2 (en) Shared augmented reality system
US11563702B2 (en) Personalized avatar notification
US11688119B2 (en) Animated expressive icon
US11915400B2 (en) Location mapping for large scale augmented-reality
CN113228693A (zh) 动态上下文媒体过滤器
US11601388B2 (en) Media request system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination