CN111344745A - 动画化的聊天呈现 - Google Patents

动画化的聊天呈现 Download PDF

Info

Publication number
CN111344745A
CN111344745A CN201880070017.0A CN201880070017A CN111344745A CN 111344745 A CN111344745 A CN 111344745A CN 201880070017 A CN201880070017 A CN 201880070017A CN 111344745 A CN111344745 A CN 111344745A
Authority
CN
China
Prior art keywords
user
avatar
client device
presentation
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880070017.0A
Other languages
English (en)
Inventor
J·钱德
J·沃斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN111344745A publication Critical patent/CN111344745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于生成和致使通信界面的显示的方法，该通信界面通过创建3D化身来促进情感共享，更具体地说，涉及创建用于显示3D化身的这种界面，以用于与移动设备、基于云的系统等使用。

Description

动画化的聊天呈现
优先权
本申请要求享有于2017年10月30日提交的美国专利申请序列号15/797,875的优先权的权益，在此要求其优先权的权益，并且通过引用将其整体并入本文。
技术领域
本公开的实施例大致上涉及移动计算技术，并且更具体地，但非限制性，涉及用于生成和呈现包括与用户相关联的化身的图形用户界面的系统。
背景技术
移动设备的日益普及导致“社交网络”成为许多人日常生活中的重要组成部分。如今，数亿人使用他们的虚拟身份通过社交网站在万维网、互联网等上与其他人进行交流和交互。另外，这些虚拟身份被用于在万维网、互联网等上玩游戏。
尽管社交网络提供了白天或黑夜任何时间人们之间联系的能力，但通常很难通过查看虚拟身份或仅通过阅读短信来确定人们的真实感受。因此，对现有社交网站的改进将成为便利可以通过万维网、互联网等获得情绪、感觉、情感等的传达的手段。
附图的几个视图简要说明
为了容易地识别对任何特定元素或动作的讨论，参考数字中的最高位指的是首次引入该元素或动作的附图编号。
图1是示出根据一些实施例的用于通过网络交换数据(例如，消息和相关内容)的示例消息传递系统的框图，其中消息传递系统包括聊天呈现系统；
图2是示出根据示例实施例的关于消息传递系统的更多细节的框图；
图3是示出根据某些示例实施例的聊天呈现系统的各种模块的框图；
图4是描绘根据某些示例实施例的，在基于图像数据生成3D化身中聊天呈现系统的操作的流程图；
图5是根据某些示例实施例的通信界面的描绘，该通信界面包括由聊天呈现系统生成的3D化身的呈现；
图6是示出根据某些示例实施例的用于生成动画化的3D化身的方法的流程图；
图7是示出根据某些示例实施例的用于生成动画化的3D化身的方法的流程图；
图8是示出根据某些示例实施例的用于生成动画化的3D化身的方法的流程图；
图9是示出了代表性软件体系结构的框图，该软件体系结构可以与本文描述的各种硬件体系结构结合使用并用于实现各种实施例；以及
图10是示出根据一些示例实施例的机器的组件的框图，该机器能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一个或多个方法。
发明内容
本发明涉及一种用于生成和致使显示通信界面的方法，该通信界面通过创建3D化身及3D化身的交互来促进情感共享，更具体地说，通过创建这种化身以用于与移动设备、基于云的系统等一起使用。
例如，“聊天呈现系统”可以通过执行包括以下的操作来生成并显示通信界面，以显示包括与用户设备相关联的3D化身的聊天呈现指示符，所述操作包括：检测在移动设备之间的通信会话发起(例如，聊天请求，短信等)，响应于通信会话的发起，致使在移动设备处显示通信界面，其中，通信界面包括与参与通信会话的每个用户相关联的3D化身的呈现。移动设备通过集成的相机捕获图像数据，并基于图像数据，使3D化身的呈现动画化，以模仿或以其他方式传达移动设备用户的面部表情。
聊天呈现系统响应于检测到(在参与通信会话的移动设备之中的)第一移动设备与至少第二移动设备之间的通信会话的发起，激活该第一移动设备的相机(例如，前置相机)。第一移动设备的前置相机实时捕获图像数据(例如，图片、视频数据)，并基于该图像数据生成用户的面部的网格表示。聊天呈现系统因此可以基于该网格表示在通信界面内使与该第一客户端设备的用户相关联的3D化身动画化。
在一些示例实施例中，用户面部的网格表示包括用户注视点的指示，其中注视点表示用户注视的方向。例如，聊天呈现系统可以执行眼睛跟踪技术，诸如光学跟踪，通过反射来自用户眼睛的红外光，通过前置相机捕获反射的红外光并分析反射光以基于反射中的变化提取和确定注视点信息。聊天呈现系统基于来自网格表示的注视点信息，例如通过旋转3D化身的方向或移动3D化身的一双眼睛来，使与用户相关联的3D化身动画化。
在一些示例实施例中，使3D化身动画化可以包括基于用户的面部的网格表示，使3D化身模仿用户的面部运动。例如，当用户移动其头部并改变面部表情时，聊天呈现系统实时生成用户面部的网格表示，并基于该网格表示使与用户相关联的3D化身动画化。以这种方式，3D化身可以微笑、皱眉、点头以表示“是”、或者摇动以表示“否”、或者与用户一起转向/朝任何方向看。
在一些示例实施例中，聊天呈现系统在客户端设备上捕获音频数据，并在参与通信会话的一个或多个移动设备上通过通信界面呈现音频数据。例如，聊天呈现系统可以响应于基于网格表示检测到用户的嘴巴动来激活客户端设备的麦克风。
音频数据的呈现可以包括在一个或多个移动设备上播放音频数据，和/或将音频数据转录为文本字符串，并致使在通信界面内显示包括文本字符串的文本气泡，其中文本气泡包括从3D化身延伸出来的语音指示符。
一些示例实施例中，聊天呈现系统响应于检测到用户加入通信会话，在一组客户端设备处显示通信界面，并为参与通信会话的每个用户显示3D化身。从用户角度考虑以下说明性示例。第一客户端设备的用户向至少第二客户端设备发送通信请求。第二客户端设备的用户接受该通信请求，并且作为响应，通信界面被生成并显示在第一客户端设备和第二客户端设备处，其中第一客户端设备处的通信界面包括与第二客户端设备的用户相关联3D化身的呈现。并且在第二客户端设备处呈现的通信界面包括与第一客户端设备的用户相关联的3D化身的呈现。当另外的用户加入通信会话时，聊天呈现系统生成并在通信界面内显示另外的用户的3D化身。以这种方式，3D化身用作用户的“聊天呈现”，以表示用户在通信会话中的存在。类似地，当用户离开通信会话或停用捕获图像数据的相机时，聊天呈现系统会从通信界面中删除相应的3D化身，并且重新配置在通信界面内其余3D化身的呈现。
图1示出用于通过网络上交换数据(例如，消息和相关内容)的示例消息传递系统100的框图。消息传递系统100包括多个客户端设备102，每个客户端设备102托管包括消息传递客户端应用104的多个应用。每个消息传递客户端应用104经由网络106(例如，因特网)通信地耦合到消息传递客户端应用104的和消息传递服务器系统108的其他实例。
因此，每个消息传递客户端应用104能够经由网络106与另一个消息传递客户端应用104和消息传递服务器系统108通信和交换数据。在消息传递客户端应用104之间以及消息传递客户端应用104和消息传递服务器系统108之间交换的数据包括功能(例如，调用功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
消息传递服务器系统108经由网络106向特定的消息传递客户端应用104提供服务器端功能。虽然消息传递系统100的某些功能在本文中被描述为由消息传递客户端应用104或由消息传递服务器系统108执行，但是应该理解，某些功能在消息传递客户端应用104或消息传递服务器108内的的位置是设计选择。例如，在技术上优选地是，最初在消息传递服务器系统108中部署某些技术和功能，并且稍后在客户端设备102具有足够处理能力的情况下将该技术和功能迁移到消息传递客户端应用104。
消息传递服务器系统108支持提供给消息传递客户端应用104的各种服务和操作。这样的操作包括向消息传递客户端应用104发送数据、从其接收数据以及处理由消息传递客户端应用104生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持续条件、社交网络信息和实况事件信息。经由消息传递客户端应用104的用户界面(UI)可用的功能来调用和控制消息传递系统100内的数据交换。
现在具体转到消息收发服务器系统108，应用编程接口(API)服务器110耦合到应用服务器112，并提供程序接口。应用服务器112通信地耦合到数据库服务器118，这有助于访问数据库120，其中存储了与应用服务器112所处理的消息相关联的数据。
具体来说应用编程接口(API)服务器110，该服务器在客户端设备102和应用服务器112之间接收和发送消息数据(例如，命令和消息有效载荷)。具体地，API服务器110提供一组接口(例如，例程和协议)，消息传递客户端应用104可以调用或查询这些消息，以便调用应用服务器112的功能。API服务器110公开由应用服务器112支持的各种功能，包括：账户注册；登录功能；经由应用服务器112从特定的消息传递客户端应用104向另一消息传递客户端应用104发送消息；从消息传递客户端应用104向消息传递服务器应用114发送媒体文件(例如，图像或视频)以供另一消息传递客户端应用104进行可能的访问；媒体数据集合(例如，故事)的设置；检索客户端设备102的用户的朋友的列表；检索此类集合；检索消息和内容；向社交图中添加好友以及从社交图删除好友；朋友在社交图内的位置；以及打开应用事件(例如，与消息传递客户端应用104相关)。
应用服务器112托管多个应用和子系统，包括消息传递服务器应用114、图像处理系统116和社交网络系统122。消息传递服务器应用114实现了多种消息处理技术和功能，特别是包括从消息传递客户端应用104的多个实例接收的消息中的内容(例如，文本和多媒体内容)的聚合和其他处理有关。如将进一步详细描述的，来自多个源的文本和媒体内容可被聚合到内容的集合(例如，所谓的故事或图库)中。然后，消息传递服务器应用114可将这些集合提供给消息传递客户端应用104。考虑到其他处理器和存储器密集型的处理的硬件要求，还可以在服务器侧由消息传递服务器应用114对这种处理器和存储器密集型的数据进行处理。
应用服务器112还包括图像处理系统116，其专用于执行各种图像处理操作，通常是关于在消息服务器应用114处的消息的有效载荷内接收的图像或视频。
社交网络系统122支持各种社交网络功能和服务，并且使得这些功能和服务可用于消息传递服务器应用114。为此，社交网络系统122维护并访问数据库120内的实体图304。由社交网络系统122支持的功能和服务的示例包括：与特定用户有关联或者特定用户"跟随"的消息传递系统100的其他用户的标识，以及特定用户的兴趣和其他实体的标识。
应用服务器112通信地耦合到数据库服务器118，其促进对数据库120的访问，数据库120中存储有与消息传递服务器应用114所处理的消息相关联的数据。
图2是示出根据示例实施例的关于消息传递系统100的更多细节的框图。具体而言，消息传递系统100被示为包括消息传递客户端应用104和应用服务器112，它们又包含多个子系统，即短暂定时器系统202、集合管理系统204、注释系统206。
短暂定时器系统202负责对消息传递客户端应用104和消息传递服务器应用114所允许的内容进行临时访问。为此，短暂定时器系统202包括多个定时器，这些定时器基于与消息或消息集合(例如，SNAPCHAT故事)相关联的持续时间和显示参数，经由消息传递客户端应用104有选择地显示和启用对消息和相关联的内容的访问。下面提供关于短暂定时器系统202的操作的进一步细节。
集合管理系统204负责管理媒体的集合(例如，文本、图像、视频和音频数据的集合)。在一些示例中，内容的集合(例如，包括图像、视频、文本和音频的消息)可以被组织为"事件图库"或"事件故事"。可以使这样的集合在指定的时间段内可用，所述指定的时间段诸如与内容相关的事件的持续时间。例如，可以使与音乐会有关的内容可在该音乐会的持续时间内作为"故事"可用。集合管理系统204还可负责将提供存在特定集合的通知的图标发布到消息传递客户端应用104的用户接口。
集合管理系统204还包括策划接口(curation interface)208，该策划接口208允许集合管理器管理和策划特定的内容集合。例如，策划接口208使得事件组织者能够策划与特定事件有关的内容集合(例如，删除不适当的内容或冗余消息)。另外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地组织内容集合。在某些实施例中，可以向用户支付补偿，以将用户生成的内容包括在集合中。在这样的情况下，策划接口208操作以自动向此类用户付款以使用其内容。
注释系统206提供使得用户能够注释或者修改或编辑与消息相关联的媒体内容的各种功能。例如，注释系统206提供与针对消息系统100所处理的消息的媒体覆盖的生成和发布相关的功能。注释系统206基于客户端设备102的地理位置可操作地向消息收发客户端应用104提供媒体覆盖(例如，SNAPCHAT过滤器)。在另一示例中，注释系统206基于诸如客户端设备102的用户的社交网络信息之类的其他信息，可操作地向消息传递客户端应用104提供媒体覆盖。媒体覆盖可以包括音频和视觉内容以及视觉效果。音频和视觉内容的示例包括图片、文本、标识、动画和音效。视觉效果的示例包括颜色叠加。可以将音频和视觉内容或视觉效果应用于客户端设备102处的媒体内容项(例如，照片)。例如，媒体覆盖包括可以覆盖在由客户端设备102生成的照片之上的文本。在另一个示例中，媒体覆盖包括位置(例如，威尼斯海滩)的标识、实况事件的名称、或商家的覆盖的名称(例如，海滩咖啡馆)。在另一示例中，注释系统206使用客户端设备102的地理位置来识别包括在客户端设备102的地理位置处的商家的名称的媒体覆盖。媒体覆盖可以包括与商家相关联的其他标记。媒体覆盖图可以存储在数据库120中并且通过数据库服务器118来访问。
在一个示例实施例中，注释系统206提供基于用户的发布平台，该发布平台使用户能够选择地图上的地理位置，并且上载与所选择的地理位置相关联的内容。用户还可以指定特定这样的环境，在该环境下向其他用户提供特定媒体覆盖。注释系统206生成包括所上载的内容的媒体覆盖，并将所上载的内容与所选择的地理位置相关联。
在另一示例实施例中，注释系统206提供基于商家的发布平台，该发布平台使商家能够经由投标过程选择与地理位置相关联的特定媒体覆盖。例如，注释系统206将出价最高的商家的媒体覆盖与相应的地理位置相关联预定义的时间量。
图3是示出聊天呈现系统124的组件的框图，根据一些示例实施例，该组件将聊天呈现系统124配置为检测移动设备之间的通信会话的发起(例如，聊天请求、文本消息等)，响应于通信会话的发起而在移动设备处生成通信界面，其中，通信界面包括与参与通信会话的每个用户相关联的3D化身的呈现。聊天呈现系统124被示为包括通信模块302、显示模块304、图像模块306和动画模块308，所有模块均被配置为彼此通信(例如，经由总线、共享存储器或开关)。这些模块中的任何一个或多个可以使用一个或多个处理器310来实现(例如，通过配置这样的一个或多个处理器以执行针对该模块描述的功能)，并且因此可以包括一个或多个处理器310。
所描述的模块中的任何一个或多个模块可以单独使用硬件(例如，机器的一个或多个处理器310)或硬件和软件的组合来实现。例如，聊天呈现系统124所描述的任何模块可以物理上包括一个或多个处理器310(例如，机器的一个或多个处理器的子集或之中的一个子集)的配置，该模块被配置成执行本文所述的操作。作为另一示例，聊天呈现系统124的任何模块可以包括软件、硬件或两者，其配置一个或多个处理器310的布置(例如，在机器的一个或多个处理器之中)来执行本文所述模块描述的操作。因此，聊天存在系统124的任何不同模块可以包括并配置在不同时间点的处理器310的不同布置或者这种处理器310的单一布置。此外，聊天呈现系统124的任何两个或更多模块可以被组合成单个模块，并且本文针对单个模块所描述的功能可以被细分为多个模块。此外，根据各种示例实施例，本文描述为在单个机器、数据库或设备内实现的模块可以分布在多个机器、数据库或设备中。
图4包括流程图400，其描绘了根据某些示例实施例，在基于图像数据生成3D化身时聊天呈现系统124的操作的可视化。
图像402是移动设备(例如，客户端设备102)的用户的描绘。在一些示例实施例中，响应于通信模块302检测到移动设备与至少一个其他移动设备之间的通信会话的发起，图像模块306经由相机捕获图像402。相机可以包括集成到客户端设备102中的前置相机，或者在一些实施例中可以包括模块化或独立的相机，或者单独设备的相机。图像402可以包括照片，或者在一些实施例中可以包括实时视频。
动画模块308基于图像402生成网格表示404。例如，动画模块308可以响应于通信模块302检测到通信会话的发起而访问图像402，并且从图像402解析RGB颜色值，并且基于RGB颜色值生成网格表示404。因此，网格表示404提供了用户的面部多边形网格表示，以及相应的面部表情。
动画模块308基于网格表示404来生成3D化身406。3D化身406因此可以基于网格表示404来描绘用户的面部表情。在一些实施例中，3D化身406可以包括确定3D化身406的外观的化身属性的集合。例如，图像模块306可以基于从图像402提取的图像数据，从化身属性数据库中选择化身属性的集合。在进一步的实施例中，用户可以选择化身属性来配置3D化身406，并将3D化身406与用户账户相关联。显示模块304可以致使在参与通信会话的移动设备处显示3D化身406。
图5是根据某些示例实施例的通信界面500的描绘，该通信界面500包括由聊天呈现系统124生成的3D化身502的呈现以及文本气泡504。
如图5所示，通信界面500可以显示在参与通信会话的一组客户端设备(例如，第一客户端设备和第二客户端设备)处。响应于通信会话的发起，显示模块302引起通信界面500的显示，其中通信界面500包括在通信界面500内的位置处的3D化身502的呈现。在一些示例实施例中，聊天呈现系统124可以转录在客户端设备处接收的音频，并且在文本气泡504中显示转录的音频，如图7的方法700中所描述的。
通过图6的方法600，3D化身502可以传达相关联的客户端设备的用户的面部表情。图6是示出根据某些示例实施例的用于生成动画化的3D化身的方法600的流程图。方法600的操作可以由以上参照图3描述的模块来执行。如图6所示，方法600包括一个或多个操作602、604、606、608和610。
在操作602，通信模块302检测在第一客户端设备处通信会话的发起，其中，该通信会话在第一客户端设备和至少第二客户端设备之间。例如，与第一客户端设备相关联的用户可以加入(或请求加入)由至少第二客户端设备主持或参与的聊天会话。聊天会话可以包括视频聊天、聊天室或者简单地通过相关联的客户端设备在一组用户之间进行文本对话。通信模块302可以基于经由图形用户界面接收的信号来检测通信会话的发起。
响应于通信模块302检测到第一客户端设备加入或以其他方式发起与至少第二客户端设备的通信会话，在操作604，显示模块304生成通信界面并致使在包括第一客户端设备和第二客户端设备的一组客户端设备处显示通信界面。通信界面可以包括由参与通信会话的客户端设备发送和接收的消息的显示。
在操作606，图像模块306在第一客户端设备处捕获图像数据(例如，图4的图像402)，其中，响应于通信模块302检测到通信会话的发起，图像数据描绘了用户的脸部。图像数据可以包括照片，或者在一些实施例中可以包括实时视频。
在一些实施例中，图像模块306可以检测图像模块306捕获的图像数据中的面部，并在进行操作608之前基于面部识别技术来认证第一客户端设备的用户。
在操作608，响应于捕获图像数据，或者在一些实施例中，响应于基于图像数据对用户进行身份验证，动画模块308基于图像数据生成用户的面部的网格表示(例如，图4的网格表示404)。网格表示可以例如包括定义表面(例如用户的面部)的多边形网格。在一些实施例中，动画模块308可以基于从图像模块306捕获的图像数据中解析出的RGB颜色值来生成网格表示。
在操作610，显示模块304基于用户的脸部的网格表示，在通信界面内对与第一客户端设备相关联的3D化身进行动画化。动画化3D化身可以包括基于用户的脸部的网格表示致使3D化身显示用户的面部表情和手势。
图7是示出根据某些示例实施例的用于生成动画化的3D化身的方法700的流程图。方法700的操作可以由以上参照图3描述的模块来执行。如图7所示，方法700包括一个或多个操作702、704、706和708。
在操作702，通信模块302在第一客户端设备处捕获音频数据，其中音频数据可以例如包括口头所讲的单词或短语。在一些实施例中，通信模块302可以简单地经由通信会话中包括的客户端设备来呈现音频数据，同时动画化与第一客户端设备的用户相关联的3D化身，使3D头像讲语音数据的外观。
在其他实施例中，在操作704，通信模块302将音频数据转录为文本串。在一些实施例中，通信模块302还可以将文本串从一种语言翻译成另一种语言。例如，通信模块302可以基于音频数据与公共单词或短语的数据库的比较，或者基于与第一客户端设备相关联的用户的语言偏好，来确定与音频数据相关联的第一语言。在一些实施例中，第一客户端设备的用户可以指定从第一语言翻译成第二语言。在进一步的实施例中，通信模块302可以确定在通信会话内说的语言，并且翻译成公共语言。
在操作706，响应于通信模块302捕获音频数据，显示模块304致使在通信界面内显示文本气泡，其中文本气泡包括从与第一客户端的用户相关联的3D化身延伸的语音指示符。在操作708，显示模块304用从音频数据转录的文本字符串填充文本气泡。
图8是示出根据某些示例实施例的用于生成动画化的3D化身的方法800的流程图。方法800的操作可以由以上参照图3描述的模块来执行。如图8所示，方法800包括一个或多个操作802、804和806。根据一些示例实施例，方法800的操作可以作为方法600的一部分(例如，前期任务、子例程或一部分)来执行。
在操作802，通信模块302从第三客户端设备接收加入在第一客户端设备和至少第二客户端设备之间的通信会话的聊天请求。例如，第一客户端设备和第二客户端设备可以参与视频聊天或基于文本的聊天会话，其中该通信会话显示在第一和第二客户端设备处的通信界面内，并且其中该通信界面包括：与第一和第二客户端设备的用户相关联的3D化身的呈现。第三客户端设备可以被第一客户端设备或第二客户端设备邀请来加入该通信会话，或者可以以其他方式请求加入该通信会话。
在操作804，响应于通信模块302接收到来自第三客户端设备的聊天请求，显示模块304使得在参与通信会话的用户设备处的用户通信界面内显示与第三客户端设备相关联的3D化身。
在操作806，响应于第三客户端设备加入通信会话，以及在通信界面内显示与第三客户端设备相关联的3D化身，显示模块304调整在通信界面内显示的3D化身的大小，以便容纳与第三客户端设备相关联的3D化身。
软件架构
图9是示出了示例性软件架构906的框图，其可以与本文所述的各种硬件架构结合使用。图9是软件体系结构的非限制性示例，并且应当理解，可以实现许多其他体系结构以促进本文描述的功能。软件体系结构906可以在诸如图10的处理器1000之类的硬件上执行，该硬件包括处理器1004、存储器1014和I/O组件1018。示出了代表性的硬件层952，并且可以表示例如图9的机器900。代表性硬件层952包括具有相关联的可执行指令904的处理单元954。其可执行指令904表示软件体系结构906的可执行指令，包括本文描述的方法、组件等的实现。硬件层952还包括存储器和/或存储模块存储器/存储956，其也具有可执行指令904。硬件层952还可以包括其他硬件958。
在图9的示例架构中，软件架构906可以被概念化为层的堆栈，其中每个层提供特定的功能。例如，软件体系结构906可以包括诸如操作系统902、库920、应用916和表示层914的层。在操作上，应用916和/或层内的其他组件可以通过软件堆栈调用应用程序编程接口(API)API调用908，并接收响应于API调用908的响应。图示的层本质上是有代表性的，并且不是所有软件体系结构都具有所有层。例如，某些移动或专用操作系统可能不提供框架/中间件918，而其他操作系统可能会提供这样的层。其他软件体系结构可能包括其他或不同的层。
操作系统902可以管理硬件资源并提供公共服务。操作系统902可以包括例如内核922、服务924和驱动器926。内核922可以充当硬件和其他软件层之间的抽象层。例如，内核922可以负责存储器管理、处理器管理(例如，调度)、组件管理、联网、安全设置等等。服务924可以为其他软件层提供其他公共服务。驱动器926负责控制底层硬件或与底层硬件接口。例如，驱动器926包括显示驱动器、相机驱动器、蓝牙驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、Wi-Fi驱动器、音频驱动器、电源管理驱动器等，取决于硬件配置。
操作系统902可以管理硬件资源并提供公共服务。操作系统902可以包括例如内核922、服务924和驱动器926。内核922可以充当硬件和其他软件层之间的抽象层。例如，内核922可以负责存储器管理、处理器管理(例如，调度)、组件管理、联网、安全设置等等。服务924可以为其他软件层提供其他公共服务。驱动器926负责控制底层硬件或与底层硬件接口。例如，驱动器926包括显示驱动器、相机驱动程序、
Figure BDA0002468861360000131
驱动程序、闪存驱动程序、串行通信驱动程序(例如通用串行总线(USB)驱动程序)、
Figure BDA0002468861360000132
驱动程序、音频驱动程序、电源管理驱动程序等，取决于硬件配置。
库920提供由应用916和/或其他组件和/或层使用的通用基础架构。库920提供的功能允许其他软件组件以比直接与底层操作系统902功能(例如内核922、服务924和/或驱动程序926)接口更容易的方式执行任务的功能。库920可以包括系统库944(例如，C标准库)，其可以提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外，库920可以包括API库946，诸如媒体库(例如，用于支持各种媒体格式(诸如MPREG4、H.264、MP3、AAC、AMR、JPG、PNG)的呈现和操纵的库)、图形库(例如，可用于在显示器上以图形内容呈现2D和3D的OpenGL框架)、数据库库(例如，可提供各种关系数据库功能的SQLite)、网络库(例如，可提供网络浏览功能的WebKit))等。库920还可以包括各种各样的其他库948，以向应用916和其他软件组件/模块提供许多其他API。
框架/中间件918(有时也称为中间件)提供可以由应用916和/或其他软件组件/模块使用的高级通用基础架构。例如，框架/中间件918可以提供各种图形用户界面(GUI)功能、高级资源管理、高级位置服务等。框架/中间件918可以提供可被应用916和/或其他软件组件/模块使用的广谱的其他API，其中一些API可以特定于特定操作系统902或平台。
应用916包括内置应用938和/或第三方应用940。代表性内置应用938的示例可以包括但不限于联系人应用、浏览器应用、图书阅读器应用、位置应用、媒体应用、消息传递应用和/或游戏应用。第三方应用940可以包括由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用，并且可以是在IOSTM等移动操作系统上运行的移动软件，ANDROIDTM，WINDOWS电话或其他移动操作系统。第三方应用940可以调用由移动操作系统(例如，操作系统902)提供的API调用908，以促进本文描述的功能。
应用916可以使用内置的操作系统功能(例如，内核922、服务924和/或驱动器926)、库920和框架/中间件918来创建用户界面以与系统用户交互。替代地或附加地，在一些系统中，可以通过诸如呈现层914之类的呈现层与用户发生交互。在这些系统中，应用/组件“逻辑”可以与应用程序/组件与用户交互的各个方面分开。
图10是示出根据一些示例实施例的处理器1000的组件的框图，能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一种或多种方法。具体而言，图10以计算机系统的示例形式示出了处理器1000的示意图，其中可以执行指令1010(例如，软件、程序、应用、小应用、应用或其他可执行代码)，用于处理器1000执行本文讨论的任何一种或多种方法。这样，指令1010可以用于实现本文描述的模块或组件。指令1010将通用的、未编程的处理器1000转换为被编程为以所描述的方式执行所描述和示出的功能的特定处理器1000。在替代实施例中，处理器1000作为独立设备操作，或者可以耦合(例如，联网)到其他机器。在网络部署中，处理器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的身份运行，或者在对等(或分布式)网络环境中作为对等机器运行。处理器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能设备)、其他智能设备、网络设备、网络路由器、网络交换机、网桥或能够依次或以其他方式执行指令1010的任何机器，这些机器指定了处理器1000要采取的动作。此外，虽然仅示出了单个处理器1000，但是术语“机器”还应被理解为包括机器的集合，这些机器单独地或共同地执行指令1010以执行本文所讨论的任何一种或多种方法。
处理器1000可以包括处理器1004、存储器/存储器1006和I/O组件1018，它们可以被配置为例如经由总线1002相互通信。存储器/存储器1006可以包括存储器1014，诸如主存储器或其他存储器存储器和存储单元1016，处理器1004可以经由总线1002访问这两者。存储单元1016和存储器1014存储体现本文描述的方法或功能中的任何一个或多个的指令1010。指令1010在其由处理器1000执行的过程中，还可以全部或部分地驻留在存储器1014内、存储单元1016内、处理器1004之一内(例如，在处理器的高速缓冲存储器内)或其任何合适的组合内。因此，存储器1014、存储单元1016和处理器1004的存储器是机器可读媒体的示例。
I/O组件1018可以包括各种各样的组件，以接收输入、提供输出、产生输出、传递信息、交换信息、捕获测量等等。特定处理器1000中包括的特定I/O组件1018将取决于机器的类型。例如，诸如移动电话之类的便携式机器将可能包括触摸输入设备或其他此类的输入机制，而无头服务器机器将可能不包括这种触摸输入设备。将理解的是，I/O组件1018可以包括在图10中未示出的许多其他组件。I/O组件1018为了简化以下论述而根据功能性分组，且所述该分组绝不是限制性的。在各种示例实施例中，I/O组件1018可以包括输出组件1026和输入组件1028。输出组件1026可以包括视觉组件(例如，诸如等离子体显示面板(PDP)的显示器、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT))、声学组件(例如扬声器)、触觉组件(例如振动电机、阻力机构)、其他信号发生器等。输入组件1028可以包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向工具)、触觉输入组件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等。
在另外的示例实施例中，I/O组件1018可以包括生物统计组件1030、运动组件1034、环境环境组件1036或位置组件1038以及各种各样的其他组件。例如，生物识别组件1030可以包括用于检测表情(例如手表情、面部表情、声音表情、身体手势或眼睛跟踪)、测量生物信号(例如血压、心率、体温、出汗或脑波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等。运动部件1034可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)等等。环境组件1036可包括例如照明传感器组件(例如，光度计)、温度传感器组件(例如，检测环境温度的一个或多个温度计)、湿度传感器组件、压力传感器组件(例如气压计)、声学传感器组件(例如，检测背景噪声的一个或多个麦克风)、接近传感器组件(例如，检测附近物体的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或测量大气中的污染物的气体传感器)、或其他可以提供对应于周围物理环境相对应的指示、测量或信号的组件。位置组件1038可以包括位置传感器组件(例如，GPS接收器组件)、海拔传感器组件(例如，可以检测气压的海拔高度计或气压计)、取向传感器组件(例如，磁力计)，等等。
通信可以使用各种各样的技术来实现。I/O组件1018可以包括通信组件1040，通信组件1040可操作以分别经由耦合1022和耦合1024将处理器1000耦合到网络1032或设备1020。例如，通信组件1040可以包括网络接口组件或其他合适的设备以与网络1032对接。在其他示例中，通信组件1040可以包括有线通信组件、无线通信组件、蜂窝通信组件、近场通信(NFC)组件、
Figure BDA0002468861360000171
组件(例如，
Figure BDA0002468861360000172
低功耗)、
Figure BDA0002468861360000173
组件、以及经由其他方式提供通信的其他通信组件。设备1020可以是另一台机器或各种各种外围设备(例如，通过串行总线(USB)耦合的外围设备)中的任何一种。
此外，通信组件1040可检测标识符或包括可操作以检测标识符的组件。例如，通信组件1040可包括射频识别(RFID)标签读取器组件、NFC智能标签检测组件、光学读取器组件(例如，用于检测诸如通用产品代码(UPC)条形码的一维条形码、诸如快速响应(QR)代码、Aztec代码、数据矩阵、数据字形、MaxiCode、PDF417、Ultra Code、UCC RSS-2D条形码和其他光学代码的多维条形码的光学传感器)、或声学检测组件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信组件1040导出各种信息，例如通过互联网协议(IP)地理位置定位，通过
Figure BDA0002468861360000174
信号三角测量的定位、通过检测可能指示特定位置的NFC信标信号的定位，等等。
词汇表
在本文中，“载波信号”是指无形介质，其能够存储、编码或携带指令以供机器执行，并且包括数字或模拟通信信号或其他无形介质，以促进这种指令的通信。可以使用传输介质经由网络接口设备并使用多种公知的传输协议中的任何一种，在通过网络上发送或接收指令。
本文中的“客户端设备”是指与通信网络接口以从一个或多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型计算机、PDA、智能电话、平板电脑、超级本、上网本、笔记本电脑、多处理器系统、基于微处理器或可编程的消费类电子产品、游戏机、机顶盒或用户可以用来访问网络的任何其他通信设备。
在本文中，“通信网络”指的是网络的一个或多个部分，其可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网，互联网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002468861360000181
网络、另一类型的网络或者两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线或蜂窝网络，并且耦合可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一类型的蜂窝或无线耦合。在该示例中，耦合可以实现各种类型的数据传输技术中的任何一种，诸如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、以及其他由各种标准制定组织定义的其他标准、其他远程协议、或其他数据传输技术。
在此上下文中，“短暂消息”指的是在时间有限的持续时间内可访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。或者，访问时间可以是默认设置或由接收方指定的设置。不管设置技术如何，消息都是暂时的。
在本文中，“机器可读介质”是指能够临时或永久地存储指令和数据的组件、设备或其他有形媒体，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光媒体、磁媒体、高速缓存、其他类型的存储(例如，可擦除可编程只读存储器(EPROM))和/或其任何合适的组合。应将术语“机器可读介质”理解为包括能够存储指令的单个介质或多个媒体(例如，集中式或分布式数据库，或相关联的高速缓存和服务器)。术语“机器可读介质”还应理解为包括能够存储由机器执行的指令(例如，代码)的任何介质或多个媒体的组合，使得指令在由机器的一个或多个处理器执行时使机器执行本文描述的任何一种或多种方法。因此，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”不包括信号本身。
在本文中的“组件”是指具有由功能或子例程调用、分支点、API或提供特定处理或控制功能的分区或模块化的其它技术定义的边界的设备、物理实体或逻辑。组件可以通过它们的接口与其他组件的接口进行组合以执行机器过程。组件可以是设计为与其它组件和通常执行相关功能的特定功能的程序的一部分一起使用的封装的功能硬件单元。组件可以构成软件组件(例如，具体化在机器可读介质上的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施例中，一个或多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如，处理器或一组处理器)可以由软件(例如，应用或应用部分)配置为操作以执行如本文所述的某些操作的硬件组件。硬件组件也可以机械地、电子地或其任何合适的组合来实现。例如，硬件组件可以包括被永久地配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可以包括可编程逻辑或电路，其由软件临时配置以执行某些操作。例如，硬件组件可以包括由通用处理器或其他可编程处理器执行的软件。一旦由此类软件配置，则硬件组件就变成被独特地定制以执行所配置的功能的特定机器(或机器的特定组件)，并且不再是通用处理器。应当理解，可以由成本和时间考虑来驱动决定在专用且永久配置的电路中、或在临时配置的电路中(例如，由软件配置)机械地实现硬件组件。因此，短语“硬件组件”(或“硬件实现的组件”)应当被理解为包含有形实体，是物理构造、永久配置(例如，硬连线的)或临时配置(例如，编程的)的实体，以某种方式操作或执行本文描述的某种操作的实体。考虑硬件组件被临时配置(例如，编程)的实施例，每个硬件组件不需要在任何一个时刻都被配置或实例化。例如，在硬件组件包括由软件配置成为专用处理器的通用处理器的情况下，通用处理器可在不同时间分别配置为不同的专用处理器(例如，包括不同的硬件组件)。软件相应地配置特定一个或多个处理器，例如，以在一个时刻构成特定硬件组件，并在不同的时刻实例上构成不同的硬件组件。硬件组件可以向其他硬件组件提供信息，并从其他硬件组件接收信息。因此，所描述的硬件组件可以被认为是通信地耦合的。在多个硬件组件同时存在的情况下，可以通过两个或更多个硬件组件之间的信号传输(例如，通过适当的电路和总线)来实现通信。在不同时间配置或实例化多个硬件组件的实施例中，例如，可以通过在多个硬件组件可以访问的存储器结构中的信息存储和检索，来实现这些硬件组件之间的通信。例如，一个硬件组件可以执行操作并将该操作的输出存储在与其通信地耦合的存储器设备中。然后，另一硬件组件可以在稍后的时间访问存储器设备以取得和处理所存储的输出。硬件组件还可以发起与输入或输出设备的通信，并且可以对资源(例如，信息的集合)进行操作。本文描述的示例方法的各种操作可以至少部分地由被临时配置(例如，通过软件)或永久配置成执行相关操作的一个或多个处理器执行。无论是临时还是永久配置，这样的处理器都可以构成处理器实现的组件，这些组件操作以执行本文所述的一个或多个操作或功能。如本文所使用的，“处理器实现的组件”是指使用一个或多个处理器实现的硬件组件。类似地，本文描述的方法可以至少部分地由处理器实现，其中特定处理器或处理器是硬件的示例。例如，一种方法的操作中的至少一些可以由一个或多个处理器或处理器实现的组件来执行。此外，一个或多个处理器还可以操作在“云计算”环境中或作为“软件即服务”(SaaS)来支持相关操作的执行。例如，至少一些操作可由一组计算机(作为包括处理器的机器的示例)执行，这些操作可经由网络(例如，因特网)和经由一个或多个适当的接口(例如，API)来访问。某些操作的执行可以分布在处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例实施例中，处理器或处理器实现的组件可以位于单个地理位置(例如，在家庭环境、办公室环境或服务器场内)。在其他示例实施例中，处理器或处理器实现的组件可以分布在多个地理位置上。
在此上下文中的“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值的任何电路或虚拟电路(由在实际处理器上执行的逻辑仿真的物理电路)，并产生相应的输出信号，这些信号将用于操作机器。处理器可以是例如中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)或其任何组合。处理器还可以是具有可以同时执行指令的两个或更多个独立处理器、(有时被称为“核”)的多核处理器。
在此上下文中的“时间戳”是指字符或编码信息的序列，用于识别何时发生某个事件，例如给出日期和时刻，有时精确到一秒的一小部分。
在此上下文中的“LIFT”是针对随机选择目标模型测得的目标模型在预测或分类具有增强反应的(相对于整体人群)的案例时的性能的度量。

Claims (20)

1.一种方法，包括：
检测在第一客户端设备处通信会话的发起，所述通信会话在所述第一客户端设备与第二客户端设备之间；
响应于所述通信会话的发起，致使在所述第二客户端设备处显示通信界面，所述通信界面包括与所述第一客户端设备的用户相关联的化身的呈现；
响应于检测到所述通信会话的发起，在所述第一客户端设备处捕获描绘所述用户的面部的图像数据；
响应于捕获所述图像数据，基于所述图像数据生成所述用户的面部的网格表示；以及
基于所述用户的面部的所述网格表示，来使与所述用户相关联的化身的呈现动画化。
2.根据权利要求1所述的方法，其中，所述图像数据包括RGB颜色值，并且基于所述图像数据生成所述用户的面部的所述网格表示包括：
从所述图像数据中解析RGB颜色值；以及
基于所述RGB颜色值生成所述面部的网格表示。
3.根据权利要求1所述的方法，其中，所述图像数据包括角膜反射数据，所述角膜反射数据指示所述用户的注视点，其中，所述用户的面部的所述网格表示包括对所述用户的注视点的指示，并且其中所述方法还包括：
使所述化身的呈现动画化以指示所述用户的所述注视点。
4.根据权利要求1所述的方法，其中，所述化身包括化身特征组，并且其中，所述方法还包括：
基于描绘所述用户的面部的图像数据从化身特征集合中选择化身特征组。
5.根据权利要求1所述的方法，其中，所述化身包括化身特征组，并且其中，所述方法还包括：
接收从化身特征集合中对所述化身特征组的选择；以及
将所述化身特征组的选择与关联于所述用户的用户帐户相关联。
6.根据权利要求1所述的方法，其中，所述方法还包括：
在所述第一客户端设备处捕获音频数据，所述音频数据包括由所述用户所讲的短语；
将所述所讲的短语转录为文本字符串；
致使在第二客户端设备处显示文本气泡，所述文本气泡具有从化身延伸的语音指示器；以及
使用从所述音频数据转录来的所述文本字符串填充所述文本气泡。
7.根据权利要求1所述的方法，其中，所述化身包括3D面部，并且其中基于所述面部的网格表示来使所述化身的呈现动画化包括：
基于面部的网格表示旋转3D面的方向。
8.根据权利要求1所述的方法，其中，所述化身的呈现是第一化身的第一呈现，并且其中，所述方法还包括：
从第三客户端设备接收加入与所述第一客户端设备和所述第二客户端设备的通信会话的聊天请求；
响应于接收所述聊天请求，致使在所述第二客户端设备处在所述通信界面内显示代表第三用户的第二化身的第二呈现；以及
响应于致使在所述第二客户端设备处在所述通信界面内显示所述第二化身的第二呈现，调整所述第一化身的第一呈现和所述第二化身的第二呈现的大小。
9.根据权利要求1所述的方法，其中，所述图像数据由所述第一客户端设备的相机捕获，并且所述方法还包括：
检测在所述第一客户端设备处相机的停用；以及
响应于检测到所述相机的停用而移除与所述用户相关联的化身。
10.根据权利要求1所述的方法，其中，所述方法还包括：
将所述用户的面部的网格表示与参考网格进行比较，所述参考网格描述面部表情；以及
其中，使化身的呈现动画化是基于所述网格表示和所述面部表情进行的。
11.根据权利要求1所述的方法，其中，与所述用户相关联的化身的呈现在所述通信界面内的位置处，并且其中所述方法还包括：
基于所述图像数据检测所述用户的面部的运动；
基于所述用户的面部的运动来动态地改变所述化身的呈现的位置。
12.根据权利要求1所述的方法，其中，所述用户的面部的网格表示描绘了所述用户的面部表情。
13.根据权利要求1所述的方法，其中，基于所述用户的面部的网格表示来使与所述用户相关联的化身的呈现动画化包括：
基于所述图像数据对所述用户进行身份验证；以及
响应于基于所述图像数据对所述用户的认证，使化身的呈现动画化。
14.一种系统，包括：
存储器；以及
至少一个硬件处理器，其耦合到所述存储器并包括使所述系统执行操作的指令，所述操作包括：
检测在第一客户端设备处通信会话的发起，所述通信会话在所述第一客户端设备与第二客户端设备之间；
响应于所述通信会话的发起，致使在所述第二客户端设备处显示通信界面，所述通信界面包括与所述第一客户端设备的用户相关联的化身的呈现；
响应于检测到所述通信会话的发起，在所述第一客户端设备处捕获描绘所述用户的面部的图像数据；
响应于捕获所述图像数据，基于所述图像数据生成所述用户的面部的网格表示；以及
基于所述用户的面部的所述网格表示，来使与所述用户相关联的化身的呈现动画化。
15.根据权利要求14所述的系统，其中，所述图像数据包括RGB颜色值，并且基于所述图像数据生成所述用户的面部的网格表示包括：
从所述图像数据中解析RGB颜色值；以及
根据所述RGB颜色值生成所述面部的网格表示。
16.根据权利要求14所述的系统，其中，所述图像数据包括角膜反射数据，所述角膜反射数据指示所述用户的注视点，其中，所述用户的面部的网格表示包括对所述用户的注视点的指示，并且其中所述指令使所述系统执行的操作进一步包括：
使所述化身的呈现动画化以指示所述用户的所述注视点。
17.根据权利要求14所述的系统，其中，所述化身包括化身特征组，并且其中，所述指令使得所述系统执行的操作进一步包括：
基于描绘所述用户的面部的图像数据从化身特征集合中选择所述化身特征组。
18.根据权利要求14所述的系统，其中，所述化身包括化身特征组，并且其中，所述操作使得所述系统执行的操作进一步包括：
接收从化身特征集合中对所述化身特征组的选择；以及
将所述化身特征组的选择与关联于所述用户的用户帐户相关联。
19.根据权利要求14所述的系统，其中，所述指令使所述系统执行的操作进一步包括：
在所述第一客户端设备处捕获音频数据，所述音频数据包括由所述用户所讲的短语；
将所述所讲的短语转录为文本字符串；
致使在所述第二客户端设备处显示文本气泡，所述文本气泡具有从所述化身延伸的语音指示符；以及
使用从所述音频数据转录来的所述文本字符串填充所述文本气泡。
20.一种包括指令的机器可读存储介质，所述指令在由机器的一个或多个处理器执行时使所述机器执行包括以下步骤的操作：
检测在第一客户端设备处通信会话的发起，所述通信会话在所述第一客户端设备和第二客户端设备之间；
响应于所述通信会话的发起，致使在所述第二客户端设备处显示通信界面，所述通信界面包括与所述第一客户端设备的用户相关联的化身的呈现；
响应于检测到所述通信会话的发起，在所述第一客户端设备处捕获描绘所述用户的面部的图像数据；
响应于捕获所述图像数据，基于所述图像数据生成所述用户的面部的网格表示；以及
基于所述用户的面部的网格表示，来使与用户相关联的化身的呈现动画化。
CN201880070017.0A 2017-10-30 2018-10-30 动画化的聊天呈现 Pending CN111344745A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/797,875 2017-10-30
US15/797,875 US10657695B2 (en) 2017-10-30 2017-10-30 Animated chat presence
PCT/US2018/058236 WO2019089613A1 (en) 2017-10-30 2018-10-30 Animated chat presence

Publications (1)

Publication Number Publication Date
CN111344745A true CN111344745A (zh) 2020-06-26

Family

ID=66244882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070017.0A Pending CN111344745A (zh) 2017-10-30 2018-10-30 动画化的聊天呈现

Country Status (4)

Country Link
US (6) US10657695B2 (zh)
KR (3) KR20240027846A (zh)
CN (1) CN111344745A (zh)
WO (1) WO2019089613A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence

Families Citing this family (199)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD597101S1 (en) * 2008-01-08 2009-07-28 Apple Inc. Animated image for a portion of a display screen
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
USD676058S1 (en) * 2011-06-04 2013-02-12 Apple Inc. Display screen or portion thereof with icon
USD716343S1 (en) * 2012-02-07 2014-10-28 Apple Inc. Display screen or portion thereof with icon
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
US9886710B2 (en) 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
CN111010882B (zh) 2017-04-27 2023-11-03 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
KR102387861B1 (ko) 2017-11-29 2022-04-18 스냅 인코포레이티드 전자 메시징 애플리케이션들을 위한 그래픽 렌더링
KR102480767B1 (ko) 2017-11-29 2022-12-23 스냅 인코포레이티드 전자 메시징 애플리케이션에서의 그룹 스토리들
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
WO2019204464A1 (en) 2018-04-18 2019-10-24 Snap Inc. Augmented expression system
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10777202B2 (en) * 2018-06-19 2020-09-15 Verizon Patent And Licensing Inc. Methods and systems for speech presentation in an artificial reality world
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US20230021300A9 (en) * 2019-08-13 2023-01-19 wordly, Inc. System and method using cloud structures in real time speech and translation involving multiple languages, context setting, and transcripting features
BR112022001434A2 (pt) * 2019-07-28 2022-06-07 Google Llc Métodos, sistemas e mídia para renderizar conteúdo de vídeo imersivo com malhas otimizadas
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
KR20220133249A (ko) 2020-01-30 2022-10-04 스냅 인코포레이티드 온 디맨드로 미디어 콘텐츠 아이템들을 생성하기 위한 시스템
US11393202B2 (en) * 2020-02-28 2022-07-19 CareAR Holdings LLC Augmented reality support platform
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11464319B2 (en) 2020-03-31 2022-10-11 Snap Inc. Augmented reality beauty product tutorials
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US20220053168A1 (en) 2020-05-12 2022-02-17 True Meeting Inc. Method and system for virtual 3d communications having multiple participants per camera
US11790535B2 (en) 2020-05-12 2023-10-17 True Meeting Inc. Foreground and background segmentation related to a virtual three-dimensional (3D) video conference
US20210358227A1 (en) * 2020-05-12 2021-11-18 True Meeting Inc. Updating 3d models of persons
US11805157B2 (en) 2020-05-12 2023-10-31 True Meeting Inc. Sharing content during a virtual 3D video conference
US11870939B2 (en) 2020-05-12 2024-01-09 True Meeting Inc. Audio quality improvement related to a participant of a virtual three dimensional (3D) video conference
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11475634B2 (en) * 2020-07-02 2022-10-18 Meta Platforms Technologies, Llc Generating an extended-reality lobby window for communication between networking system users
EP4189594A1 (en) * 2020-07-28 2023-06-07 Radix Motion Inc. Methods and systems for communication and interaction using 3d human movement data
US11806162B2 (en) 2020-07-28 2023-11-07 Radix Motion Inc. Methods and systems for the use of 3D human movement data
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11595592B2 (en) 2020-09-15 2023-02-28 Snap Inc. Recorded sound thumbnail
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
USD972580S1 (en) * 2020-10-07 2022-12-13 LINE Plus Corporation Display panel with a graphical user interface
JP1724470S (ja) * 2020-10-07 2022-09-12 コミュニケーション機能付き電子計算機
US11763818B2 (en) * 2020-10-14 2023-09-19 Snap Inc. Synchronous audio and text generation
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11509612B2 (en) * 2020-12-15 2022-11-22 Microsoft Technology Licensing, Llc Modifying an avatar to reflect a user's expression in a messaging platform
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11765332B2 (en) 2021-03-02 2023-09-19 True Meeting Inc. Virtual 3D communications with participant viewpoint adjustment
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
GB2606173A (en) * 2021-04-28 2022-11-02 Sony Interactive Entertainment Europe Ltd Computer-implemented method for controlling a virtual avatar
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
EP4352950A2 (en) * 2021-07-22 2024-04-17 Google Llc Using simple masks for online expression
US11765320B2 (en) 2021-08-11 2023-09-19 Google Llc Avatar animation in virtual conferencing
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US20230388357A1 (en) * 2022-05-25 2023-11-30 Microsoft Technology Licensing, Llc 2d and 3d transitions for renderings of users participating in communication sessions
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080214253A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. System and method for communicating with a virtual world
US20120295708A1 (en) * 2006-03-06 2012-11-22 Sony Computer Entertainment Inc. Interface with Gaze Detection and Voice Input
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US20130307848A1 (en) * 2012-05-17 2013-11-21 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
US20140035934A1 (en) * 2011-04-11 2014-02-06 Yangzhou Du Avatar Facial Expression Techniques
US20140055554A1 (en) * 2011-12-29 2014-02-27 Yangzhou Du System and method for communication using interactive avatar
US20170134656A1 (en) * 2015-11-06 2017-05-11 Google Inc. Depth camera based image stabilization

Family Cites Families (181)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US20010044725A1 (en) * 1996-11-19 2001-11-22 Koichi Matsuda Information processing apparatus, an information processing method, and a medium for use in a three-dimensional virtual reality space sharing system
US6023270A (en) 1997-11-17 2000-02-08 International Business Machines Corporation Delivery of objects in a virtual world using a descriptive container
WO1999046697A1 (fr) 1998-03-11 1999-09-16 Yasuo Nishizawa Interverrouillage par http d'un outil accessoire agent a applications integrees sur serveur web
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6223165B1 (en) 1999-03-22 2001-04-24 Keen.Com, Incorporated Method and apparatus to connect consumer to expert
US6772195B1 (en) 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
JP2001230801A (ja) 2000-02-14 2001-08-24 Sony Corp 通信システムとその方法、通信サービスサーバおよび通信端末装置
US6922685B2 (en) 2000-05-22 2005-07-26 Mci, Inc. Method and system for managing partitioned data resources
US6754373B1 (en) * 2000-07-14 2004-06-22 International Business Machines Corporation System and method for microphone activation using visual speech cues
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US7035804B2 (en) * 2001-04-26 2006-04-25 Stenograph, L.L.C. Systems and methods for automated audio transcription, translation, and transfer
US7283947B2 (en) * 2001-05-24 2007-10-16 International Business Machines Corporation Method and system for translation management of source language text phrases
US20030078777A1 (en) * 2001-08-22 2003-04-24 Shyue-Chin Shiau Speech recognition system for mobile Internet/Intranet communication
AU2003217528A1 (en) 2002-03-26 2003-10-08 So-Woon Kim System and method for 3-dimension simulation of glasses
KR100493525B1 (ko) 2002-05-03 2005-06-07 안현기 아바타 메일 제공시스템 및 방법
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
GB2395029A (en) * 2002-11-06 2004-05-12 Alan Wilkinson Translation of electronically transmitted messages
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US20070168863A1 (en) * 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
US20040179037A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
KR20040091331A (ko) 2003-04-21 2004-10-28 홍지선 자연어처리기술을 이용하여 입력된 문자메시지와 그 문장내용에 상응하는 아바타 표현 방법 및 시스템
KR100762629B1 (ko) 2003-08-26 2007-10-01 삼성전자주식회사 휴대단말기의 백업서비스 처리방법
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
KR100714192B1 (ko) 2005-04-08 2007-05-02 엔에이치엔(주) 노출 부위가 가변되는 아바타 제공 시스템 및 그 방법
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US7775885B2 (en) 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
RU2396599C2 (ru) 2005-12-31 2010-08-10 Тенсент Текнолоджи (Шэньчжэнь) Компани Лимитед Способ отображения трехмерного аватара и система, осуществляющая этот способ
US20070176921A1 (en) 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
WO2007093813A1 (en) 2006-02-16 2007-08-23 Weeworld Limited Portable account information
EP2194509A1 (en) 2006-05-07 2010-06-09 Sony Computer Entertainment Inc. Method for providing affective characteristics to computer generated avatar during gameplay
WO2007134402A1 (en) 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
US8005518B1 (en) * 2006-12-21 2011-08-23 Adobe Systems Incorporated Configurable multi-dimensional media device
US20080158222A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Apparatus and Methods for Selecting and Customizing Avatars for Interactive Kiosks
US8504926B2 (en) 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
GB2447094B (en) 2007-03-01 2010-03-10 Sony Comp Entertainment Europe Entertainment device and method
EP2140341B1 (en) 2007-04-26 2012-04-25 Ford Global Technologies, LLC Emotive advisory system and method
CN101071457B (zh) 2007-04-28 2010-05-26 腾讯科技（深圳）有限公司 一种网络游戏中改变角色形象的方法、装置以及服务器
WO2008141125A1 (en) 2007-05-10 2008-11-20 The Trustees Of Columbia University In The City Of New York Methods and systems for creating speech-enabled avatars
WO2008151424A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090016617A1 (en) 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US20090070688A1 (en) 2007-09-07 2009-03-12 Motorola, Inc. Method and apparatus for managing interactions
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
US20090094517A1 (en) * 2007-10-03 2009-04-09 Brody Jonathan S Conversational advertising
WO2009046342A1 (en) 2007-10-04 2009-04-09 Playspan, Inc. Apparatus and method for virtual world item searching
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8151191B2 (en) 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8495505B2 (en) 2008-01-10 2013-07-23 International Business Machines Corporation Perspective based tagging and visualization of avatars in a virtual world
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
WO2009111472A2 (en) 2008-03-03 2009-09-11 Nike, Inc. Interactive athletic equipment system
US9744466B2 (en) 2008-03-13 2017-08-29 Mattel, Inc. Widgetized avatar and a method and system of creating and using same
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US20090265604A1 (en) 2008-04-21 2009-10-22 Microsoft Corporation Graphical representation of social network vitality
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8095878B2 (en) 2008-06-23 2012-01-10 International Business Machines Corporation Method for spell check based upon target and presence of avatars within a virtual environment
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
WO2010000300A1 (en) 2008-06-30 2010-01-07 Accenture Global Services Gmbh Gaming system
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
EP4083968A1 (en) 2008-07-28 2022-11-02 Breakthrough Performancetech, LLC Systems and methods for computerized interactive skill training
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US8832201B2 (en) 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
US8648865B2 (en) 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US8108774B2 (en) 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US8869197B2 (en) * 2008-10-01 2014-10-21 At&T Intellectual Property I, Lp Presentation of an avatar in a media communication system
US8683354B2 (en) 2008-10-16 2014-03-25 At&T Intellectual Property I, L.P. System and method for distributing an avatar
US20100115426A1 (en) * 2008-11-05 2010-05-06 Yahoo! Inc. Avatar environments
US8745152B2 (en) 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
CA2745094A1 (en) 2008-12-04 2010-07-01 Total Immersion Software, Inc. Systems and methods for dynamically injecting expression information into an animated facial mesh
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US8326853B2 (en) * 2009-01-20 2012-12-04 International Business Machines Corporation Virtual world identity management
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
KR101558553B1 (ko) 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20100227682A1 (en) 2009-03-04 2010-09-09 Microsoft Corporation Awarding of avatar items in video game environment
US20110093780A1 (en) 2009-10-16 2011-04-21 Microsoft Corporation Advertising avatar
KR20110070056A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8484158B2 (en) 2010-02-01 2013-07-09 International Business Machines Corporation Managing information about avatars across virtual worlds
US20110239136A1 (en) 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
US9053095B2 (en) * 2010-10-31 2015-06-09 Speech Morphing, Inc. Speech morphing communication system
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
KR101445263B1 (ko) 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US9839844B2 (en) 2011-03-01 2017-12-12 Disney Enterprises, Inc. Sprite strip renderer
US20140043329A1 (en) 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US20130103760A1 (en) 2011-04-11 2013-04-25 Robert K. Golding Location-sensitive virtual identity system, apparatus, method and computer-readable medium
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
US9318129B2 (en) * 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
WO2013020248A1 (en) 2011-08-09 2013-02-14 Intel Corporation Image-based multi-view 3d face generation
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US8559980B2 (en) 2011-09-02 2013-10-15 John J. Pujol Method and system for integrated messaging and location services
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US9402057B2 (en) 2012-04-02 2016-07-26 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive avatars for telecommunication systems
WO2013152454A1 (en) 2012-04-09 2013-10-17 Intel Corporation System and method for avatar management and selection
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
JP5497931B2 (ja) 2012-05-30 2014-05-21 株式会社コナミデジタルエンタテインメント アプリケーション装置、アプリケーション装置の制御方法、及びプログラム
US9672209B2 (en) * 2012-06-21 2017-06-06 International Business Machines Corporation Dynamic translation substitution
AU2013206649A1 (en) 2012-07-05 2014-01-23 Aristocrat Technologies Australia Pty Limited A gaming system and a method of gaming
US20140125678A1 (en) 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US10116598B2 (en) 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US9443271B2 (en) 2012-08-15 2016-09-13 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US9936165B2 (en) 2012-09-06 2018-04-03 Intel Corporation System and method for avatar creation and synchronization
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9501942B2 (en) 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140129343A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9256860B2 (en) 2012-12-07 2016-02-09 International Business Machines Corporation Tracking participation in a shared media session
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9792714B2 (en) 2013-03-20 2017-10-17 Intel Corporation Avatar-based transfer protocols, icon generation and doll animation
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
KR102115645B1 (ko) 2013-06-03 2020-05-26 엠지 아이피 홀딩스, 엘엘씨 다중 사용자 다중 언어 통신 시스템 및 방법
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9582075B2 (en) * 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9489760B2 (en) * 2013-11-14 2016-11-08 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9361510B2 (en) 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9503845B2 (en) 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US20150332332A1 (en) * 2014-05-15 2015-11-19 Ahmed Saif Al Darmaki Self-destructing ad messages in messaging apps
US9614969B2 (en) 2014-05-27 2017-04-04 Microsoft Technology Licensing, Llc In-call translation
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
WO2016055864A1 (en) 2014-10-08 2016-04-14 Alibek Issaev Computer based translation system and method
US20160110922A1 (en) * 2014-10-16 2016-04-21 Tal Michael HARING Method and system for enhancing communication by using augmented reality
WO2016070354A1 (en) 2014-11-05 2016-05-12 Intel Corporation Avatar video apparatus and method
KR102374446B1 (ko) 2014-12-11 2022-03-15 인텔 코포레이션 아바타 선택 메커니즘
JP6462386B2 (ja) 2015-02-05 2019-01-30 任天堂株式会社 プログラム、通信端末及び表示方法
US20170087473A1 (en) 2015-09-29 2017-03-30 Sportsworld, Inc. Virtual environments for managing and interacting with virtual sports leagues
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
US9691219B1 (en) * 2015-12-11 2017-06-27 Igt Canada Solutions Ulc Enhanced electronic gaming machine with electronic maze and eye gaze display
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US20170199855A1 (en) 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US20170312634A1 (en) 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US10852935B2 (en) 2016-05-18 2020-12-01 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10657701B2 (en) 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10573048B2 (en) 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US20180043269A1 (en) * 2016-08-15 2018-02-15 Yio-Chian Tao Systems and methods for interactive graphics game and application objects in an instant messaging session
JP6698216B2 (ja) 2016-09-23 2020-05-27 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． アバターの作成及び編集に関する米国特許商標局への特許出願
US20180089172A1 (en) * 2016-09-27 2018-03-29 Intel Corporation Communication system supporting blended-language messages
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10949872B2 (en) 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120295708A1 (en) * 2006-03-06 2012-11-22 Sony Computer Entertainment Inc. Interface with Gaze Detection and Voice Input
US20080214253A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. System and method for communicating with a virtual world
US20140035934A1 (en) * 2011-04-11 2014-02-06 Yangzhou Du Avatar Facial Expression Techniques
US20140055554A1 (en) * 2011-12-29 2014-02-27 Yangzhou Du System and method for communication using interactive avatar
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US20130307848A1 (en) * 2012-05-17 2013-11-21 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
US20170134656A1 (en) * 2015-11-06 2017-05-11 Google Inc. Depth camera based image stabilization

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030789B2 (en) 2017-10-30 2021-06-08 Snap Inc. Animated chat presence
US11354843B2 (en) 2017-10-30 2022-06-07 Snap Inc. Animated chat presence
US11706267B2 (en) 2017-10-30 2023-07-18 Snap Inc. Animated chat presence
US11930055B2 (en) 2017-10-30 2024-03-12 Snap Inc. Animated chat presence

Also Published As

Publication number Publication date
US11354843B2 (en) 2022-06-07
KR20220070565A (ko) 2022-05-31
US20220284650A1 (en) 2022-09-08
US20240146786A1 (en) 2024-05-02
US20230216901A1 (en) 2023-07-06
US11706267B2 (en) 2023-07-18
KR20240027846A (ko) 2024-03-04
WO2019089613A1 (en) 2019-05-09
US11030789B2 (en) 2021-06-08
US10657695B2 (en) 2020-05-19
US11930055B2 (en) 2024-03-12
US20210225058A1 (en) 2021-07-22
US20200184701A1 (en) 2020-06-11
KR102401392B1 (ko) 2022-05-24
US20190130629A1 (en) 2019-05-02
KR20200049895A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
US11706267B2 (en) Animated chat presence
US11563702B2 (en) Personalized avatar notification
US11688119B2 (en) Animated expressive icon
CN113892096A (zh) 动态媒体选择菜单
CN115698907A (zh) 共享增强现实系统
KR20230153526A (ko) 실시간 증강 현실 코스튬
US20230195820A1 (en) Vehicle recognition system
CN114365198A (zh) 遮挡检测系统
CN115698924A (zh) 交互式消息传送标贴
US20210406300A1 (en) Personalized media preview interface
CN115280357A (zh) 社交媒体接口
US20230004260A1 (en) Hybrid search system for customizable media
CN114041104A (zh) 可寻址的增强现实内容

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination