CN104170358B - 用于化身管理和选择的系统和方法 - Google Patents

用于化身管理和选择的系统和方法 Download PDF

Info

Publication number
CN104170358B
CN104170358B CN201280071891.9A CN201280071891A CN104170358B CN 104170358 B CN104170358 B CN 104170358B CN 201280071891 A CN201280071891 A CN 201280071891A CN 104170358 B CN104170358 B CN 104170358B
Authority
CN
China
Prior art keywords
incarnation
user device
file
remote user
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280071891.9A
Other languages
English (en)
Other versions
CN104170358A (zh
Inventor
W.李
X.童
Y.杜
W.胡
Y.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104170358A publication Critical patent/CN104170358A/zh
Application granted granted Critical
Publication of CN104170358B publication Critical patent/CN104170358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。方法可包括选择化身，启动通信，捕捉图像，检测图像中的面部，从面部提取特征，将面部特征转换成化身参数，以及传送化身选择或化身参数中的至少一个。系统配置成允许用户在与远程用户的活动通信期间选择新化身。

Description

用于化身管理和选择的系统和方法
技术领域
本公开内容涉及视频通信和交互，并且更具体地说，涉及用于管理和选择化身（avatar）以便在视频通信和/或交互中使用的设备和方法。
背景技术
移动装置中日益增长的种类的可用的功能性使得用户除简单的呼叫外还希望经视频进行通信。例如，用户可启动“视频呼叫”、“视频会议”等，其中，装置中的照相机和麦克风捕捉用户的音频和实时视频以便传送到一个或更多个接收者，如其它移动装置、台式计算机、视频会议系统等。实时视频的通信可涉及传送大量的数据（例如，取决于照相机的技术、用于处理实时图像信息的特定视频编解码器等）。在现有2G/3G无线技术的带宽限制和新兴4G无线技术的还有限的可用性条件下，许多装置用户进行同时视频呼叫的提议对现有无线通信基础设施中的带宽造成了很大负担，这可不利地影响视频呼叫的质量。
附图说明
从下面与所述主题一致的实施例的详细描述中，所述主题的特征和优点将显而易见，描述应参照附图来考虑，附图中：
图1A示出与本公开内容的各种实施例一致的示例装置到装置系统；
图1B示出与本公开内容的各种实施例一致的示例虚拟空间系统；
图2示出与本公开内容的各种实施例一致的示例装置；
图3更详细示出图2的装置；
图4A和4B示出与本公开内容的各种实施例一致的选择化身的示范方法；
图5示出根据本公开内容的至少一个实施例的示例系统实现；以及
图6是根据本公开内容的至少一个实施例的示例操作的流程图。
虽然以下具体实施方式将参照说明性实施例进行，但其许多备选、修改和变化将对于本领域技术人员显而易见。
具体实施方式
通过概述，本公开内容一般涉及用于使用化身进行通信和交互的系统和方法。更具体地说，与本公开内容一致的系统和方法通常提供在视频通信和交互期间使用的化身模型的管理和选择。使用化身而不是活动图像大幅降低了要传送的数据量，并且因此，化身通信要求更少带宽。
在一个实施例中，在耦合到照相机的装置中激活应用。应用可配置成允许用户选择化身以便在远程装置上、在虚拟空间中等显示。然后，装置可配置成启动与至少另一装置、虚拟空间等的通信。例如，可通过2G、3G、4G蜂窝连接建立通信。备选地，可经WiFi连接通过因特网建立通信。在通信建立后，照相机可配置成开始捕捉图像。然后在捕捉的图像上执行面部检测/跟踪，并且在面部上执行特征提取。然后，将检测到的面/头部移动和/或面貌的更改转换成可用于在至少另一装置上，在虚拟空间内等以动画表现化身的参数。然后，传送化身选择和化身参数中的至少一个。在一个实施例中，接收远程化身选择或远程化身参数中的至少一个。远程化身选择可促使装置显示化身，而远程化身参数可促使装置以动画表现显示的化身。音频通信经已知方法伴随化身动画。
在活动通信期间，装置的用户可更改当前显示的化身，并且选择显示不同的化身。用户可访问配置成在与远程装置的活动通信期间允许用户在化身之间浏览以从中选择的接口。然后，化身选择被传送到远程装置，远程装置基于此将化身选择与相关联参数和远程装置上的化身文件进行比较，以确定远程装置上是否存在匹配的化身。如果确定远程装置包括匹配该化身选择的化身，则在远程装置上显示选择的化身。如果确定远程装置未包括匹配的化身，则向用户呈现指示不能访问和/或处理选择的化身的失败信息，用户可继续浏览和选择要使用的不同化身。
图1A示出与本公开内容的各种实施例一致的装置到装置系统100。系统100一般可包括经网络122进行通信的装置102和112。装置102包括至少照相机104、麦克风106和显示器108。装置112包括至少照相机114、麦克风116和显示器118。网络122包括至少一个服务器124。
装置102和112可包括能够进行有线和/或无线通信的各种硬件平台。例如，装置102和112可包括但不限于视频会议系统、台式计算机、膝上型计算机、平板计算机、智能电话（例如，iPhones®、基于Android®的电话、Blackberries®、基于Symbian®的电话、基于Palm®的电话等）、蜂窝手持机等。
照相机104和114包括用于捕捉表示包括一个或更多个人的环境的数字图像的任何装置，并且可具有适当的分辨率以进行如本文中所述在环境中一个或更多个人的面部分析。例如，照相机104和114可包括静态照相机（例如，配置成捕捉静态照片的照相机）或视频照相机（例如，配置成捕捉包括多个帧的移动图像的照相机）。照相机104和114可配置成使用在可见光谱中的光线操作或者通过不限于红外光谱、紫外光谱等电磁光谱的其它部分操作。照相机104和114可分别包含在装置102和112内，或者可以是配置成经有线或无线通信与装置102和112进行通信的单独装置。照相机104和114的具体示例可包括如可与计算机、视频监视器等相关联的有线（例如，通用串行总线(USB)、以太网、火线等）或无线（例如，WiFi、蓝牙等）web照相机、移动装置照相机（例如，集成在例如前面讨论的示例装置中的蜂窝电话或智能电话照相机）、集成膝上型计算机照相机、集成平板计算机照相机（例如，iPad®、Galaxy Tab®及诸如此类）等。
装置102和112可还包括麦克风106和116。麦克风106和116包括配置成感测声音的任何装置。麦克风106和116可分别集成在装置102和112内，或者可经诸如在关于照相机104和114的上面示例中所述的有线或无线通信，与装置102、112进行交互。显示器108和118包括配置成显示文本、静态图像、移动图像（例如，视频）、用户接口、图形等的任何装置。显示器108和118可分别集成在装置102和112内，或者可经诸如在关于照相机104和114的上面示例中所述的有线或无线通信，与装置进行交互。
在一个实施例中，显示器108和118分别配置成显示化身110和120。在本文中引用时，化身定义为二维(2D)或三维(3D)的用户的图形表示。化身不必类似用户的外貌，因此，虽然化身能够是逼真表示，但它们也能够采用图画、卡通、草图等形式。如图所示，装置102可显示表示装置112的用户（例如，远程用户）的化身110，并且同样地，装置112可显示表示装置102的用户的化身120。因此，用户可查看其它用户的表示而不必交换一般涉及采用活动图像的装置到装置通信的大量信息。
网络122可包括各种第二代(2G)、第三代(3G)、第四代(4G)基于蜂窝的数据通信技术、Wi-Fi无线数据通信技术等。网络122包括配置成在使用这些技术时建立和保持通信连接的至少一个服务器124。例如，服务器124可配置成支持因特网有关的通信协议，如用于修改和终止双方（单播）和多方（多播）会话的会话启动协议(SIP)，用于呈现允许在字节流连接顶部建立的框架的交互式连接建立协议(ICE)、用于允许通过NAT操作的应用发现其它NAT的存在、为应用的用户数据报协议(UDP)连接分配以连接到远程主机的IP地址和端口的网络接入翻译器或NAT的会话遍历实用(STUN)协议、用于允许在NAT或防火墙后的元素通过传送控制协议(TCP)或UDP连接接收数据的使用NAT周围中继遍历(TURN)等。
图1B示出与本公开内容的各种实施例一致的虚拟空间系统126。系统126可包括装置102、112和服务器124。装置102、112和服务器124可继续以类似于图1A所示方式进行通信，但用户交互可在虚拟空间128中而不是以装置到装置格式进行。在本文中引用时，虚拟空间可定义为物理位置的数字模拟。例如，虚拟空间128可类似如城市、道路、人行道、野外、森林、岛屿等外部位置或如办公室、房屋、学校、商场、商店等内部位置。
由化身表示的用户可显得如在现实世界中一样与虚拟空间128进行交互。虚拟空间128可在耦合到因特网的一个或更多个服务器上存在，并且可由第三方维护。虚拟空间的示例包括虚拟办公室、虚拟会议室、如Second Life®的虚拟世界、如World of Warcraft®的大型多人在线角色扮演游戏(MMORPG)、如The Sims Online®的大型多人在线现实生活游戏(MMORLG)。在系统126中，虚拟空间128可包含对应于不同用户的多个化身。显示器108和118可显示压缩（例如，更小）版本的虚拟空间(VS) 128，而不是显示化身。例如，显示器108可显示对应于装置102的用户的化身在虚拟空间128中“看到”的内容的透视图。类似地，显示器118可显示对应于装置112的用户的化身在虚拟空间128中“看到”的内容的透视图。化身在虚拟空间128中可能看到的内容的示例可包括但不限于虚拟结构（例如，建筑物）、虚拟车辆、虚拟对象、虚拟动物、其它化身等等。
图2示出根据本公开内容的各种实施例的示例装置102。虽然只描述装置102，但装置112（例如，远程装置）可包括配置成提供相同或类似功能的资源。如前面所述，装置102示为包括照相机104、麦克风106和显示器108。如通常所理解的一样，装置102可还包括多种形式的用户输入（例如，按钮、旋钮、跟踪球、触摸屏等），这些用户输入配置成允许用户输入空间数据以控制装置102的操作（即，导航在装置102上运行的图形用户接口(GUI)）。在一个实施例中，如本文中更详细所述，显示器108可以是触敏显示器，配置成允许用户控制（即，导航）在显示器108上呈现的装置102的GUI。
照相机104、麦克风106和触敏显示器108可提供输入到照相机、音频和用户输入框架模块200。照相机、音频和用户输入框架模块200可包括通常定义明确并且可操作以至少控制照相机104、麦克风106和触敏显示器108的定制、专有、已知和/或以后开发的音频、视频处理和/或用户输入代码（或指令集）。例如，音频和用户输入框架模块200可促使照相机104、麦克风106和触敏显示器108记录图像、到对象的距离、声音和/或触摸，可处理图像、声音、音频信号和/或触摸，可促使图像和/或声音再现等。取决于装置102，并且更具体地说，装置102中运行的操作系统(OS)，照相机、音频和用户输入框架模块200可有所不同。示例操作系统包括iOS®、Android®、Blackberry® OS、Symbian®、Palm® OS等。扬声器107可接收来自照相机、音频和用户输入框架模块200的音频信息，并且可配置成再现本地声音（例如，提供用户话音的音频反馈，无论变换与否）和远程声音（例如，参与虚拟位置中电话、视频呼叫或交互的其它方的声音，无论变换与否）。
装置102可还包括配置成识别和跟踪照相机104捕捉的图像内的头部、面部和/或面部区域的面部检测和跟踪模块202。例如，面部检测模块202可包括通常定义明确并且可操作以接收标准格式图像（例如但不限于RGB彩色图像）并且至少在一定程度上识别图像中的面部的定制、专有、已知和/或以后开发的面部检测代码代码（或指令集）、硬件和/或固件。面部检测和跟踪模块202也可配置成通过一系列图像（例如，每秒24帧的视频帧）跟踪检测到的面部，并且基于检测到的面部确定头部位置。可由面部检测/跟踪模块104采用的已知跟踪系统可包括粒子滤波、均值移位、Kalman滤波等，它们每个可利用边缘分析、方差和分析、特征点分析、直方图分析、肤色分析等。
装置102可还包括配置成识别由面部检测模块202检测到的面部中的特征（例如，诸如眼、眉毛、鼻子、嘴等面部标志的位置和/或形状）的特征提取模块204。在一个实施例中，化身动画可直接基于感测的面部动作（例如，面部特征的更改）而无需面部表情识别。化身的面部上对应特征点可跟随或模仿现实人脸的移动，这称为“表情克隆”或“行为驱动的面部动画”。特征提取模块204可包括通常定义明确并且可操作以接收来自照相机104的标准格式图像（例如但不限于RGB彩色图像）和至少在一定程度上提取图像中的一个或更多个面部特点的定制、专有、已知和/或以后开发的面部特点识别代码（或指令集）。此类已知面部特点系统包括但不限于科罗拉多州立大学开发的CSU面部识别评估系统。
特征提取模块204也可配置成识别与检测到的特征相关联的表情（例如，识别以前检测到的面部是否为高兴，伤心，微笑，皱眉，惊讶，激动等）。因此，特征提取模块204可还包括通常定义明确并且可操作以检测和/或识别面部中的表情的定制、专有、已知和/或以后开发的面部表情检测和/或识别代码（或指令集）。例如，特征提取模块204可确定面部特征（例如，眼、嘴、脸颊、牙齿等）的大小和/或位置，并且可比较这些面部特征和包括具有对应面部特征分类（例如，微笑，皱眉，激动，伤心等）的多个样本面部特征的面部特征数据库。
装置102还包括配置成接收来自照相机、音频和用户输入框架模块200的触摸数据和基于收到的触摸数据识别触摸事件以及生成触摸输入数据的触摸检测模块206。触摸事件标识符可包括触敏显示器108的触摸类型和/或触摸位置。触摸类型可包括对触敏显示器108的单点触、双点触、点触并保持、点触并移动、缩放、滑动等。触摸位置可包括触敏显示器108的触摸开始位置、触摸结束位置和/或中间移动触摸位置等。触摸位置可对应于触敏显示器108的坐标。触摸检测模块208可包括通常定义明确并且可操作以接收触摸数据和识别触摸事件的定制、专有、已知和/或以后开发的面部特点代码（或指令集）。
装置102还包括配置成允许装置102的用户选择在远程装置上显示的化身的化身选择模块208。更具体地说，如图3所述和本文中更详细所述，化身选择模块208可提供配置成允许用户访问和浏览化身数据库中存储的一个或更多个化身文件和选择在视频通信和交互期间要在远程装置上显示的化身之一的接口。如本文中将更详细描述的，化身选择模块208配置成接收来自触摸检测模块206的触摸输入数据以允许用户导航和/或操控接口以便浏览和选择化身。
化身选择模块208可包括通常定义明确并且可操作以向用户呈现不同化身以便用户可选择化身之一的定制、专有、已知和/或以后开发的用户接口构建代码（或指令集）。在一个实施例中，可在装置102中的化身数据库中预定义一个或更多个化身。预定义的化身允许所有装置具有相同化身，并且在交互期间仅化身的选择（例如，预定义化身的识别）需要传递到远程装置或虚拟空间，这降低了需要交换的信息量。可在建立通信前选择化身。化身的选择也可在活动通信的过程期间进行。因此，如本文中更详细所述，可能可在通信期间的任何时间点发送或接收化身选择，并且接收装置可能根据收到的化身选择更改显示的化身。
装置102可还包括化身控制模块210，化身控制模块210配置成接收用户输入，诸如，例如基于触摸检测模块206的触摸输入数据，接收来自化身选择模块208的选择的化身，并且还传送此类信息以便由远程装置传送和接收。
化身控制模块210可配置成生成用于以动画表现化身的参数。在本文中引用时，动画可定义为改变图像/模型的外观。单个动画可更改2D静态图像的外观，或者多个动画可连续发生以模拟图像中的运动（例如，转头，点头，眨眼，交谈，皱眉，微笑，大笑，使眼色等）。用于3D模型的动画的示例包括使3D线框模型变形，应用纹理映射，以及为渲染重新计算模型顶点法线。可将检测到的面部和/或提取的面部特征的位置更改转换成促使化身的特征类似用户面部的特征的参数。
在一个实施例中，检测到的面部的一般表情可转换成促使化身展示相同表情的一个或更多个参数。也可夸大化身的表情以强调表情。在化身参数通常可应用到所有预定义化身时，可不需要选择的化身的知识。然而，在一个实施例中，化身参数可对选择的化身是特定的，因此，如果选择另一化身，则可改变。例如，人化身可要求与动物化身、卡通化身等不同参数设置（例如，不同化身特征可改变）以演示如高兴，伤心，生气，惊讶等情绪。
化身控制模块210可包括通常定义明确并且可操作以生成参数以便基于面部检测和跟踪模块202检测到的面/头部位置和/或特征提取模块204检测到的面部特征，以动画表现化身选择模块208选择的化身的定制、专有、已知和/或以后开发的图形处理代码（或指令集）。对于基于面部特征的动画方法，2D化身动画可例如通过图像扭曲(image warping)或图像渐变(image morphing)进行，而3D化身动画可通过自由形式变形(FFD)或者通过利用在头部的3D模型中定义的动画结构进行。Oddcast是可用于2D化身动画的软件资源的示例，而FaceGen是可用于3D化身动画的软件资源的示例。
化身控制模块210可还接收可用于显示和以动画表现对应于在远程装置的用户的化身的远程化身选择和远程化身参数。化身控制模块210可促使显示模块212以在显示器108上显示化身110。显示模块212可包括通常定义明确并且可操作以根据示例装置到装置实施例在显示器108上显示和以动画表现化身的定制、专有、已知和/或以后开发的图形处理代码（或指令集）。例如，化身控制模块210可接收远程化身选择，并且可解释远程化身选择以对应于预确定的化身。显示模块212然后可在显示器108上显示化身110。另外，在化身控制模块210中收到的远程化身参数可被解释，并且命令可提供到显示模块212以动画表现化身110。
在一个实施例中，不止两个用户可参与视频呼叫。在不止两个用户在视频呼叫中交互时，可将显示器108划分或分段以允许同时显示对应于远程用户的不止一个化身。备选地，在系统126中，化身控制模块210可接收促使显示模块212显示对应于装置102的用户的化身在虚拟空间128“看到”的内容（例如，从化身的视觉角度）的信息。例如，显示器108可显示在虚拟空间128中表示的建筑物、对象、动物、其它化身等。在一个实施例中，化身控制模块210可配置成促使显示模块212显示“反馈”化身216。反馈化身216表示选择的化身如何在远程装置上，在虚拟空间中等显示。具体而言，反馈化身216显示为用户选择的化身，并且可使用化身控制模块210生成的相同参数以动画表现。这样，用户可确认远程用户在其交互期间看到的内容。
装置102还包括配置成传送和接收用于选择化身、显示化身、以动画表现化身、显示虚拟位置透视图等的信息的通信模块214。通信模块214可包括通常定义明确并且可操作以传送化身选择、化身参数，并且接收远程化身选择和远程化身参数的定制、专有、已知和/或以后开发的通信处理代码（或指令集）。通信模块214也可传送和接收对应于基于化身的交互的音频信息。通信模块214如前面所述经网络122传送和接收上述信息。
装置102可还包括配置成执行与装置102和其中包括的一个或更多个模块相关联的操作的一个或更多个处理器218。
图3更详细示出图2的装置102。如前面所述，化身选择模块208配置成允许装置102的用户选择在远程装置上显示的化身。如图所示，化身选择模块208可提供第一选择接口320a和第二化身选择接口320b。第一和第二化身选择接口320a、320b每个可配置成允许用户访问化身数据库322和浏览化身数据库322中存储的化身文件。第一和第二接口320a、320b可还配置成允许用户从数据库322选择化身文件。化身文件可包括化身模型和对应数据，包括但不限于化身模型的名称或ID、化身模型的类型（例如，3D或2D）、化身文件的大小等。
在一个实施例中，在化身数据库322中可预定义一个或更多个化身。预定义的化身可允许所有装置具有相同化身，并且在交互期间仅化身的选择（例如，预定义化身的识别）需要传递到远程装置或虚拟空间，这降低了需要交换的信息量。化身数据库322也可包括由用户使用用于化身生成的任何定制、专有、已知和/或以后开发的方法创建的定制化身。
可在建立通信前和/或活动通信的过程期间选择化身。因此，可能可在通信期间的任何时间点发送或接收化身选择，并且接收装置可能根据收到的化身选择更改显示的化身。如本文中更详细所述，第一和第二化身选择接口320a、320b为用户提供浏览化身数据库322并从中选择化身的不同方法。在选择化身时，化身选择模块208配置成将对应于选择的化身文件的识别数据（例如，化身ID）传送到化身控制模块210，化身控制模块210又将进一步传送对应化身数据到通信模块214以便传送到远程装置，使得选择的化身可在远程装置上显示。
在接收来自装置102的识别化身时，远程装置的化身控制模块可配置成确定选择的化身是否包括在远程装置上并且能够显示。更具体地说，远程装置的化身控制模块配置成比较由本地用户使用的化身的识别数据和远程装置的化身数据库的相关联化身文件的识别数据。远程装置的化身控制模块可还配置成识别具有匹配本地用户选择的化身的识别数据的识别数据的化身。
在识别远程装置的化身数据库中匹配选择的化身文件的化身文件时，远程装置的化身控制模块可配置成将指示远程装置包括匹配的化身文件的响应信号传送到化身控制模块210。在确定远程装置包括匹配的化身文件时以及在接收指示匹配的响应信号时，选择的化身在远程装置上显示，并且化身控制模块210可配置成促使显示模块212显示选择的化身。更具体地说，选择的化身显示为“反馈”化身216。反馈化身216显示为用户选择的化身，其中，用户可确认远程用户在其交互期间看到的内容。
如果远程装置的化身数据库未包括匹配的化身文件，则指示远程装置未包括匹配的化身文件的响应信号被传送到化身控制模块210。在接收响应信号时，化身控制模块210可配置成促使显示模块212在显示器108上显示警告消息，指示不能访问和/或处理选择的化身，并且可还指示远程装置未包括选择的化身文件。
类似地，装置102的化身控制模块210可配置成接收来自在远程装置的用户的远程化身选择，其中，化身控制模块210可配置成确定来自远程用户的选择的化身文件是否包括在装置102上。更具体地说，化身控制模块210通过比较来自远程用户的选择的化身文件和在化身数据库322中的化身文件，确定在装置102上匹配的化身文件。通过确定化身数据库322中匹配的化身文件，化身控制模块210配置成促使显示模块在显示器108上显示远程用户的选择的化身。化身控制模块210还配置成将指示匹配的化身文件的响应信号传送到远程装置。如果化身控制模块210未能确定匹配的化身文件，则化身控制模块210配置成将指示装置102未包括匹配的化身文件的响应信号传送到远程装置。
图4A和4B示出与本公开内容的各种实施例一致的选择化身模型的示范方法。如前面所述，化身选择模块206包括配置成允许用户访问化身数据库322和浏览化身数据库322中存储的化身文件的第一和第二化身选择接口320a、320b。第一和第二接口320a、320b可还配置成允许用户从数据库322选择在与远程用户的活动视频通信和交互的过程期间要显示的化身文件。
图4A示出第一化身选择接口320a的示范实施例。在所示实施例中，第一化身选择接口320a可配置成允许用户通过在触敏显示器108上的滑动手势浏览化身文件。如图所示，在访问第一化身选择接口320a时，可向用户呈现来自化身数据库322中可用的相关联化身文件的化身模型（示为410a）。用户对触敏显示器108应用滑动运动以滚动查看来自化身数据库322中存储的相关联化身文件的化身模型（示为410a、410b）。更具体地说，滑动手势可包括触摸开始位置400和触摸结束位置402。用户在方向404根据触摸开始位置和结束位置400，402应用滑动手势时，来自化身数据库322的可用化身可向用户显示。用户可通过应用到触敏显示器108的每次滑动手势，循环通过可用化身。应注意的是，滑动手势也可在方向404的相反方向上应用。用户可通过应用单点触、双点触、点触并保持、点触并移动等来选择化身。备选（或另外），如通常所理解的一样，第一化身选择接口320a可允许用户通过在其它方向的滑动手势（例如，上下、对角等）来浏览化身文件。
图4B示出第二化身选择接口320b的示范实施例。在所示实施例中，第二化身选择接口320b可配置成通过提供在化身数据库322中存储的每个可用化身模型的缩略图（例如，快照视图），允许用户浏览化身文件。如图所示，用户可通过选择化身选择应用("app") 406来访问第二化身选择接口320b。在选择化身选择应用406时，GUI 408可在显示器108上呈现给用户，其中呈现在化身数据库322中存储的一个或更多个化身模型410(1)-410(3)。更具体地说，呈现每个化身模型410(1)-410(3)的快照视图。用户可通过应用任何已知触摸类型，如对化身模型的快照视图的单点触，选择化身模型之一以在更大的预览模式中观看（化身模型的更大视图）。如图所示，化身模型410(3)已由用户选择，并且在选择时，GUI 408可还在更大预览模式框中呈现选择的化身模型410(3)，如在412所示。通过应用任何已知触摸类型到预览模式框412，包括但不限于单点触、双点触、点触并保持、点触并移动等，用户可选择化身以便在视频通信和交互中使用。
图5示出根据至少一个实施例的示例系统实现。装置102'配置成经WiFi连接500（例如，工作中）以无线方式进行通信，服务器124'配置成经因特网502协商在装置102'与112'之间的连接，以及设备112'配置成经另一WiFi连接504（例如，在家中）以无线方式进行通信。在一个实施例中，在设备102'中激活装置到装置基于化身的视频呼叫应用。在化身选择后，应用可允许选择至少一个远程装置（例如，装置112'）。然后，应用可促使装置102'启动与装置112'的通信。通过装置102'经企业接入点(AP) 506传送连接建立请求到装置112'，可启动通信。企业AP 506可以是在商业环境中可使用的AP，并且因此可比家庭AP 514支持更高数据吞吐量和更多同时无线客户端。企业AP 506可接收来自装置102'的无线信号，并且可继续经网关508通过各种商业网络传送连接建立请求。然后，连接建立请求可通过防火墙510，防火墙510可配置成控制流入和流出WiFi网络500的信息。
然后，可由服务器124'处理装置102'的连接建立请求。服务器124'可配置用于注册IP地址，对目的地地址和NAT遍历进行鉴权以便可将连接建立请求引导到因特网502上正确的目的地。例如，服务器124'可从收到的来自装置102'的连接建立请求中的信息解析预期目的地（例如，远程装置112'），并且可相应地将信号路由通过正确的NAT、端口并且到该目的地IP地址。取决于网络配置，这些操作可只在连接建立期间必须执行。
在一些情况下，在视频呼叫期间可重复操作，以便提供通知到NAT以保持连接持续可用。在连接已建立后，媒体和信号路径512可携带视频（例如，化身选择和/或化身参数）和音频信息引导到家庭AP 514。装置112'然后可接收连接建立请求，并且可配置成确定是否接受请求。确定是否接受请求例如可包括向装置112'的用户显示视觉叙述，询问关于是否接受来自装置102'的连接请求。如果装置112'的用户接受连接（例如，接受视频呼叫），则连接可得以建立。照相机104'和114'然后可配置成开始分别捕捉装置102'和112'的相应用户的图像以便用于以动画表现每个用户选择的化身。
然后，麦克风106'和116'可配置成开始记录来自每个用户的音频。在装置102'与112'之间的信息交换开始时，显示器108'和118'可显示并且以动画表现对应于装置102'和112'的用户的化身。
图6是根据至少一个实施例的示例操作的流程图。在操作602中，可在装置中激活应用（例如，基于化身的话音呼叫应用）。应用的激活之后可以是化身的选择。化身的选择可包括由应用向用户呈现的接口，接口允许用户浏览化身数据库中存储的化身文件并从中选择。在化身选择后，可在操作604中配置通信。通信配置包括用于参与视频呼叫的至少一个远程装置或虚拟空间的标识。例如，用户可从应用内存储，与装置中另一系统关联存储（例如，智能电话、蜂窝电话中的联系人列表），诸如在因特网上等远程存储（例如，在如Facebook、LinkedIn、Yahoo、Google+、MSN等社交媒体网站中）的远程用户/装置列表中选择。备选地，用户可选择在如Second Life的虚拟空间中进入在线。
在操作606中，可在装置与至少一个远程装置或虚拟空间之间启动通信。例如，可将连接建立请求传送到远程装置或虚拟空间。为了本文中的解释，假设远程装置或虚拟空间接受连接建立请求。然后，在操作608中，装置中的照相机开始捕捉图像。图像可以是静态图像或直播视频（例如，连续捕捉的多个图像）。在操作610中，可从图像中面/头部的检测/跟踪开始，进行图像分析。然后，可分析检测到的面部以便提取面部特征（例如，面部标志、面部表情等）。在操作612中，将检测到的面/头部位置和/或面部特征转换成化身参数。化身参数用于在远程装置上或者在虚拟空间中以动画表现选择的化身。在操作614中，可传送化身选择或化身参数中的至少一个。
在操作616中，可显示并且以动画表现化身。在装置到装置通信的实例（例如，系统100）中，可从远程装置接收远程化身选择或远程化身参数中的至少一个。然后，对应于远程用户的化身可基于收到的远程化身选择显示，并且可基于收到的远程化身参数以动画表现。在虚拟空间交互的实例（例如，系统126）中，可接收允许装置显示对应于装置用户的化身看到的内容的信息。
在活动通信期间，用户可选择要使用的化身，该化身可不同于当前在显示的化身。换而言之，用户可切换化身，同时仍活跃地参与和远程用户的通信。在操作618，可确定用户是否决定在活动通信期间更改化身和访问化身选择接口。在操作620，接口可允许用户在与远程装置的活动通信期间访问和浏览在装置上化身数据库中存储的化身。在操作622中，可将包括对应识别数据的化身选择传送到远程装置，在操作624中，远程装置可在这时接收化身选择并且将化身选择与对应识别数据和在远程装置的化身数据库中存储的相关联化身文件的识别数据进行比较。
然后，在操作626中可做出有关在远程装置的化身数据库是否检测到匹配的化身的确定。如果在操作626中确定远程装置包括匹配化身选择的化身文件，则可重复进行操作608-616以便基于用户的面部的分析在远程设备上显示和以动画表现选择的化身。否则，在操作628中，收到失败信号和向用户呈现指示不能访问和/或处理选择的化身的失败消息，并且可重复进行操作608-616以便允许用户浏览和选择要使用的不同化身。
然后，在操作618中可确定当前通信是否完成。如果在操作418中确定通信未完成，则操作608-616可重复进行以便继续基于用户的面部的分析在远程设备上显示并且以动画表现化身。否则，在操作620中，可终止通信。如果不要进行其它视频呼叫，则也可终止视频呼叫应用。
虽然图6示出根据实施例的各种操作，但要理解的是，对于其它实施例，图6所示所有操作并非是必需的。实际上，本文中完全考虑了在本公开内容的其它实施例中，图6所示操作和/或本文中描述的其它操作可以用附图中的任何一个未明确示出的方式组合，但仍与本公开内容完全一致。因此，指向在一个附图中未确切示出的特征和/或操作的权利要求被认为是在本公开内容的范围和内容内。
已在本文中描述各种特征、方面和实施例。如本领域技术人员将理解的，特征、方面和实施例易于实现相互的组合及变化和修改。因此，本公开内容应视为涵盖此类组合、变化和修改。因此，本发明的广度和范围不应受任何上述示范实施例所限制，而是只应根据随附的权利要求及其等同物定义。
在本文中任何实施例中使用时，术语“模块”可指配置成执行任何上面提及的操作的软件、固件和/或电路。软件可实施为记录在非暂时性计算机可读存储媒体上的软件包、代码、指令、指令集和/或数据。固件可实施为在存储器装置中硬编码（例如，非易失性）的代码、指令或指令集和/或数据。“电路”在本文中任何实施例中使用时可例如单独或以任何组合方式包括硬连线电路、诸如包括一个或更多个单独指令处理核的计算机处理器的可编程电路、状态机器电路和/或存储可编程电路执行的指令的固件。模块可全体或单独实施为形成更大系统的一部分的电路，例如，集成电路(IC)、系统芯片(SOC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。
本文中所述操作中的任何一个可在包括一个或多个存储媒体的系统中实现，所述存储媒体上单独或组合地存储在由一个或多个处理器执行时执行方法的指令。此处，处理器例如可包括服务器CPU、移动装置CPU和/或其它可编程电路。因此，预期本文中所述操作可跨诸如在不止一个不同物理位置的处理结构的多个物理装置分布。存储媒体可包括任何类型的有形媒体，例如任何类型的磁盘，包括硬盘、软盘、光盘、压缩盘只读存储器(CD-ROM)、可重写压缩盘(CD-RW)及磁光盘、半导体装置诸如只读存储器(ROM)、诸如动态和静态RAM的随机存取存储器(RAM)、可擦除编程只读存储器(EPROM)、电擦除可编程只读存储器(EEPROM)、闪存、固态磁盘(SSD)、磁卡或光学卡或适用于存储电子指令的任意类型的媒体。其它实施例可实现为由可编程控制装置执行的软件模块。存储媒体可以为非暂时性。
本文中已采用的术语和表述用作描述的语言而不是限制，并且在此类术语和表述中，无意排除所示和所述的特征（或其部分）的任何等同物，以及可认识到各种修改在权利要求的范围内是可能的。相应地，权利要求旨在覆盖所有此类等同物。各种特征、方面和实施例已在本文中描述。如本领域技术人员将理解的，特征、方面和实施例易于实现相互的组合及变化和修改。因此，本公开内容应视为涵盖此类组合、变化和修改。
如本文中所述，各种实施例可使用硬件元素、软件元素或其任何组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。
此说明书通篇对“一个实施例”或“一实施例”的引用指结合该实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，在此说明书通篇各个位置出现的“在一个实施例”或“在一实施例中”短语不一定全部指同一实施例。此外，特定的特征、结构或特性可在一个或多个实施例中以任何适合的方式组合。
根据一方面，提供了一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的系统。系统包括配置成捕捉用户输入的第一用户装置。第一用户装置包括配置成传送信息到远程用户装置和接收来自远程用户装置的信息的通信模块。第一用户装置还包括一个或更多个存储媒体，存储媒体上单独或组合地存储在由一个或更多个处理器执行时产生一个或更多个操作的指令。操作包括启动在第一与远程用户装置之间的通信，识别用户输入，并且基于用户输入识别化身选择命令。化身选择命令包括在第一用户装置与远程用户装置之间的活动通信期间从化身数据库选择化身文件。操作还包括将对应于选择的化身文件的识别数据传送到远程用户装置，并且接收来自远程用户装置的指示在远程用户装置的化身数据库内存储的化身文件匹配化身选择的信号。
另一示例系统包括前面所述组件，并且远程用户装置包括一个或更多个存储媒体，存储媒体上单独或组合地存储在由一个或更多个处理器执行时产生操作的指令，操作包括接收来自第一用户装置的化身选择，并且识别化身数据库中存储的匹配的化身文件，匹配的化身文件具有匹配选择的化身文件的识别数据的识别数据。
另一示例系统包括前面所述组件，并且识别匹配的化身包括比较选择的化身的识别数据和远程用户装置的化身数据库的至少一个化身文件的识别数据。
另一示例系统包括前面所述组件，并且远程用户装置包括显示器，其中，指令在由一个或更多个处理器执行时产生以下另外的操作：显示与来自第一用户装置的选择的化身相关联的化身模型。
另一示例系统包括前面所述组件，并且第一用户装置还包括配置成捕捉图像的照相机，其中，指令在由一个或更多个处理器执行时产生以下另外的操作：捕捉图像，检测图像中的面部，从图像提取特征；将特征转换成化身参数，并且将至少一个化身参数传送到远程输入装置。
另一示例系统包括前面所述组件，并且从面部提取特征包括确定面部中的面部表情。
另一示例系统包括前面所述组件，并且化身选择和化身参数用于在远程用户装置上生成化身，化身是基于面部特征。
另一示例系统包括前面所述组件，并且化身选择和化身参数用于在虚拟空间中生成化身，化身是基于面部特征。
另一示例系统包括前面所述组件和指令，指令在由一个或更多个处理器执行时产生以下另外的操作：在第一与远程用户装置之间的活动通信期间接收来自远程用户装置的远程化身选择或远程化身参数中的至少一个。
另一示例系统包括前面所述组件，并且第一用户装置还包括显示器，其中，指令在由一个或更多个处理器执行时产生以下另外的操作：基于远程化身选择显示化身。
另一示例系统包括前面所述组件，并且第一用户装置包括触敏显示器，并且用户输入是触摸事件。
根据另一方面，提供了一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的方法。方法包括启动从第一用户装置到远程用户装置的通信，第一用户装置配置成捕捉用户输入。方法还包括由第一用户装置识别用户输入，并且由第一用户装置基于用户输入，识别化身选择命令。化身选择命令包括在第一用户输入装置与远程用户输入装置之间的活动通信期间从化身数据库选择化身文件。方法还包括由第一用户装置将对应于选择的化身文件的识别数据传送到远程用户装置，并且由第一用户装置接收来自远程用户装置的指示在远程用户装置的化身数据库内存储的化身文件匹配化身选择的信号。
另一示例方法包括前面所述操作，并且由远程用户装置接收来自第一用户装置的化身选择，以及由远程用户装置识别化身数据库中存储的具有匹配选择的化身文件的识别数据的识别数据的匹配的化身文件。
另一示例方法包括前面所述操作，并且识别匹配的化身包括比较所述选择的化身文件的所述识别数据和所述远程用户装置的所述化身数据库的至少一个化身文件的识别数据。
另一示例方法包括前面所述操作，并且远程用户装置包括配置成显示与来自第一用户装置的选择的化身相关联的化身模型的显示器。
另一示例方法包括前面所述操作，并且第一用户装置配置成捕捉图像的照相机。
另一示例方法包括前面所述操作，并且还包括由照相机捕捉图像，由第一用户装置检测图像中的面部，由第一用户装置从面部提取特征，由第一用户装置将特征转换成化身参数，以及由第一用户装置将化身参数中的至少一个传送到远程用户装置。
另一示例方法包括前面所述操作，并且从面部提取特征包括确定面部中的面部表情。
另一示例方法包括前面所述操作，并且化身选择和化身参数用于在远程用户装置上生成化身，化身是基于面部特征。
另一示例方法包括前面所述操作，并且化身选择和化身参数用于在虚拟空间中生成化身，化身是基于面部特征。
另一示例方法包括前面所述操作，并且还包括在第一与远程用户装置之间的活动通信期间由第一用户装置接收来自远程用户输入装置的远程化身选择或远程化身参数中的至少一个。
另一示例方法包括前面所述操作，并且第一用户装置包括配置成基于远程化身选择显示化身的显示器。
另一示例方法包括前面所述操作，并且第一用户装置包括触敏显示器，并且用户输入是触摸事件。
根据另一方面，提供了至少一种包括存储在其上的指令的计算机可访问媒体。在由一个或更多个处理器执行时，指令可促使计算机系统执行用于在第一用户装置与远程用户装置之间的活动通信期间化身管理和选择的操作。操作包括启动从第一用户装置到远程用户装置的通信，第一用户装置配置成捕捉用户输入。操作还包括由第一用户装置识别用户输入，并且由第一用户装置基于用户输入，识别化身选择命令。化身选择命令包括在第一用户输入装置与远程用户输入装置之间的活动通信期间从化身数据库选择化身文件。操作还包括由第一用户装置将对应于选择的化身文件的识别数据传送到远程用户装置，并且由第一用户装置接收来自远程用户装置的指示在远程用户装置的化身数据库内存储的化身文件匹配化身选择的信号。
另一示例计算机可访问媒体包括前面所述操作，并且由远程用户装置接收来自第一用户装置的化身选择，以及由远程用户装置识别化身数据库中存储的具有匹配选择的化身文件的识别数据的识别数据的匹配的化身文件。
另一示例计算机可访问媒体包括前面所述操作，并且识别匹配的化身包括比较所述选择的化身文件的所述识别数据和所述远程用户装置的所述化身数据库的至少一个化身文件的识别数据。
另一示例计算机可访问媒体包括前面所述操作，并且远程用户装置包括配置成显示与来自第一用户装置的选择的化身相关联的化身模型的显示器。
另一示例计算机可访问媒体包括前面所述操作，并且第一用户装置配置成捕捉图像的照相机。
另一示例计算机可访问媒体包括前面所述操作，并且还包括由照相机捕捉图像，由第一用户装置检测图像中的面部，由第一用户装置从面部提取特征，由第一用户装置将特征转换成化身参数，以及由第一用户装置将化身参数中的至少一个传送到远程用户装置。
另一示例计算机可访问媒体包括前面所述操作，并且从面部提取特征包括确定面部中的面部表情。
另一示例计算机可访问媒体包括前面所述操作，并且化身选择和化身参数用于在远程用户装置上生成化身，化身是基于面部特征。
另一示例计算机可访问媒体包括前面所述操作，并且化身选择和化身参数用于在虚拟空间中生成化身，化身是基于面部特征。
另一示例计算机可访问媒体包括前面所述操作，并且还包括在第一与远程用户装置之间的活动通信期间由第一用户装置接收来自远程用户输入装置的远程化身选择或远程化身参数中的至少一个。
另一示例计算机可访问媒体包括前面所述操作，并且第一用户装置包括配置成基于远程化身选择显示化身的显示器。
另一示例计算机可访问媒体包括前面所述操作，并且第一用户装置包括触敏显示器，并且用户输入是触摸事件。
根据一方面，提供了一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的设备。设备包括化身选择模块，化身选择模块包括化身数据库和用于允许用户浏览化身数据库中存储的化身文件的一个或更多个接口。化身选择模块配置成接收基于用户输入的化身选择命令。化身选择命令包括在第一与远程用户装置之间的活动通信期间要显示的选择的化身文件。设备还包括通信模块，通信模块配置成将对应于选择的化身文件的识别数据传送到远程用户装置，并且还接收来自远程用户装置的指示在远程用户装置的化身数据库中存储的化身文件匹配选择的化身文件的信号。
另一示例设备包括前面所述组件，并且用户输入是触摸事件。
另一示例设备包括前面所述组件，并且还包括触摸检测模块，触摸检测模块配置成响应于在触敏显示器上的一个或更多个触摸事件，生成触摸输入数据，并且将触摸输入数据传送到化身选择模块。
另一示例设备包括前面所述组件，并且还包括化身控制模块，化身控制模块配置成在第一与远程用户装置之间的活动通信期间接收来自远程用户装置的远程化身选择。远程化身选择至少包括对应于远程用户装置上选择的远程化身文件的识别数据。
另一示例设备包括前面所述组件，并且化身控制模块配置成识别化身数据库中存储的匹配的化身文件，匹配的化身文件具有匹配选择的远程化身文件的识别数据的识别数据。
另一示例设备包括前面所述组件，并且识别匹配的化身文件包括比较选择的远程化身文件的识别数据和化身数据库的至少一个化身文件的识别数据。
另一示例设备包括前面所述组件，并且远程控制模块配置成生成指示匹配的化身文件的识别的响应信号。
另一示例设备包括前面所述组件，并且还包括配置成显示与选择的远程化身文件相关联的化身模型的显示器。
本文中已采用的术语和表述用作描述的语言而不是限制，并且在此类术语和表述中，无意排除所示和所述的特征（或其部分）的任何等同物，以及可认识到各种修改在权利要求的范围内是可能的。相应地，权利要求旨在覆盖所有此类等同物。

Claims (43)

1.一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的系统，所述系统包括：
第一用户装置配置成捕捉用户输入，所述第一用户装置包括：
　　通信模块，配置成将信息传送到所述远程用户装置和从所述远程用户装置接收信息；
　　一个或更多个存储媒体，所述存储媒体上单独或组合地存储指令，所述指令在由一个或更多个处理器执行时产生以下操作，包括：
　　　　启动在所述第一用户装置与所述远程用户装置之间的通信；
　　　　识别所述用户输入；
　　　　基于所述用户输入识别化身选择命令，所述化身选择命令包括在所述第一用户装置与所述远程用户装置之间的活动通信期间从化身数据库选择化身文件；
　　　　将对应于所述选择的化身文件的识别数据传送到所述远程用户装置，所述数据；以及
　　　　接收来自所述远程用户装置的指示在所述远程用户装置的化身数据库中存储的化身文件匹配所述选择的化身文件的信号。
2.如权利要求1所述的系统，其中所述远程用户装置包括一个或更多个存储媒体，所述存储媒体上单独或组合地存储指令，所述指令在由一个或更多个处理器执行时产生以下操作，包括：
接收来自所述第一用户装置的所述化身选择；以及
识别所述化身数据库中存储的匹配的化身文件，所述匹配的化身文件具有匹配所述选择的化身文件的所述识别数据的识别数据。
3.如权利要求2所述的系统，其中识别匹配的化身包括比较所述选择的化身文件的所述识别数据和所述远程用户装置的所述化身数据库的至少一个化身文件的识别数据。
4.如权利要求2所述的系统，其中所述远程用户装置包括显示器，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：
显示与来自所述第一用户装置的所述选择的化身相关联的化身模型。
5.如权利要求1所述的系统，其中所述第一用户装置还包括配置成捕捉图像的照相机，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：
捕捉图像；
检测所述图像中的面部；
从所述面部提取特征；
将所述特征转换成化身参数；以及
将所述化身参数中的至少一个传送到所述远程用户装置。
6.如权利要求5所述的系统，其中从所述面部提取特征包括确定所述面部中的面部表情。
7.如权利要求5所述的系统，其中所述化身选择和化身参数用于在所述远程用户装置上生成化身，所述化身是基于所述面部特征。
8.如权利要求5所述的系统，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身是基于所述面部特征。
9.如权利要求1所述的系统，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：
在所述第一与所述远程用户装置之间的活动通信期间接收来自所述远程用户装置的远程化身选择或远程化身参数中的至少一个。
10.如权利要求9所述的系统，其中所述第一用户装置还包括显示器，其中所述指令在由一个或更多个处理器执行时产生以下另外的操作：
基于所述远程化身选择显示化身。
11.如权利要求1所述的系统，其中所述第一用户装置包括触敏显示器，并且所述用户输入是触摸事件。
12.一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的方法，所述方法包括：
启动从第一用户装置到所述远程用户装置的通信，所述第一用户装置配置成捕捉用户输入；
由所述第一用户装置识别所述用户输入；
由所述第一用户装置基于所述用户输入识别化身选择命令，所述化身选择命令包括在所述第一用户装置与所述远程用户装置之间的活动通信期间从化身数据库选择化身文件；
由所述第一用户装置将对应于所述选择的化身文件的识别数据传送到所述远程用户装置；以及
由所述第一用户装置接收来自所述远程用户装置的指示在所述远程用户装置的化身数据库中存储的化身文件匹配所述化身选择的信号。
13.如权利要求12所述的方法，还包括：
由所述远程用户装置接收来自所述第一用户装置的所述化身选择；以及
由所述远程用户装置识别所述化身数据库中存储的匹配的化身文件，所述匹配的化身文件具有匹配所述选择的化身文件的所述识别数据的识别数据。
14.如权利要求13所述的方法，其中识别匹配的化身包括比较所述选择的化身文件的所述识别数据和所述远程用户装置的所述化身数据库的至少一个化身文件的识别数据。
15.如权利要求13所述的方法，其中所述远程用户装置包括配置成显示与来自所述第一用户装置的所述选择的化身相关联的化身模型的显示器。
16.如权利要求12所述的方法，其中所述第一用户装置还包括配置成捕捉图像的照相机。
17.如权利要求16所述的方法，还包括：
由所述照相机捕捉图像；
由所述第一用户装置检测所述图像中的面部；
由所述第一用户装置从所述面部提取特征；
由所述第一用户装置将所述特征转换成化身参数；以及
由所述第一用户装置将所述化身参数中的至少一个传送到所述远程用户装置。
18.如权利要求17所述的方法，其中从所述面部提取特征包括确定所述面部中的面部表情。
19.如权利要求17所述的方法，其中所述化身选择和化身参数用于在所述远程用户装置上生成化身，所述化身是基于所述面部特征。
20.如权利要求17所述的方法，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身是基于所述面部特征。
21.如权利要求12所述的方法，还包括：
由所述第一用户装置在所述第一与所述远程用户装置之间的活动通信期间接收来自所述远程用户装置的远程化身选择或远程化身参数中的至少一个。
22.如权利要求21所述的方法，其中所述第一用户装置包括配置成基于所述远程化身选择来显示化身的显示器。
23.如权利要求12所述的方法，其中所述第一用户装置包括触敏显示器，并且所述用户输入是触摸事件。
24.一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的装置，所述装置包括：
用于启动从第一用户装置到所述远程用户装置的通信，所述第一用户装置配置成捕捉用户输入的部件；
用于由所述第一用户装置识别所述用户输入的部件；
用于由所述第一用户装置基于所述用户输入识别化身选择命令的部件，所述化身选择命令包括在所述第一用户装置与所述远程用户装置之间的活动通信期间从化身数据库选择化身文件；
用于由所述第一用户装置将对应于所述选择的化身文件的识别数据传送到所述远程用户装置的部件；以及
用于由所述第一用户装置接收来自所述远程用户装置的指示在所述远程用户装置的化身数据库中存储的化身文件匹配所述化身选择的信号的部件。
25.如权利要求24所述的装置，还包括：
用于由所述远程用户装置接收来自所述第一用户装置的所述化身选择的部件；以及
用于由所述远程用户装置识别所述化身数据库中存储的匹配的化身文件的部件，所述匹配的化身文件具有匹配所述选择的化身文件的所述识别数据的识别数据。
26.如权利要求25所述的装置，其中用于识别匹配的化身的部件包括用于比较所述选择的化身文件的所述识别数据和所述远程用户装置的所述化身数据库的至少一个化身文件的识别数据的部件。
27.如权利要求25所述的装置，其中所述远程用户装置包括配置成显示与来自所述第一用户装置的所述选择的化身相关联的化身模型的显示器。
28.如权利要求24所述的装置，其中所述第一用户装置还包括配置成捕捉图像的照相机。
29.如权利要求28所述的装置，还包括：
用于由所述照相机捕捉图像的部件；
用于由所述第一用户装置检测所述图像中的面部的部件；
用于由所述第一用户装置从所述面部提取特征的部件；
用于由所述第一用户装置将所述特征转换成化身参数的部件；以及
用于由所述第一用户装置将所述化身参数中的至少一个传送到所述远程用户装置的部件。
30.如权利要求29所述的装置，其中用于从所述面部提取特征的部件包括用于确定所述面部中的面部表情的部件。
31.如权利要求29所述的装置，其中所述化身选择和化身参数用于在所述远程用户装置上生成化身，所述化身是基于所述面部特征。
32.如权利要求29所述的装置，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身是基于所述面部特征。
33.如权利要求24所述的装置，还包括：
用于由所述第一用户装置在所述第一与所述远程用户装置之间的活动通信期间接收来自所述远程用户装置的远程化身选择或远程化身参数中的至少一个的部件。
34.如权利要求33所述的装置，其中所述第一用户装置包括配置成基于所述远程化身选择来显示化身的显示器。
35.如权利要求24所述的装置，其中所述第一用户装置包括触敏显示器，并且所述用户输入是触摸事件。
36.一种用于在第一用户装置与远程用户装置之间的活动通信期间的化身管理和选择的设备，所述设备包括：
化身选择模块，包括化身数据库和用于允许用户浏览所述化身数据库中存储的化身文件的一个或更多个接口，所述化身选择模块配置成接收基于用户输入的化身选择命令，所述化身选择命令包括在所述第一与所述远程用户装置之间的活动通信期间要显示的选择的化身文件；以及
通信模块，配置成将对应于所述选择的化身文件的识别数据传送到所述远程用户装置，并且还接收来自所述远程用户装置的指示在所述远程用户装置的化身数据库中存储的化身文件匹配所述选择的化身文件的信号。
37.如权利要求36所述的设备，其中所述用户输入是触摸事件。
38.如权利要求37所述的设备，还包括：
触摸检测模块，配置成响应于在触敏显示器上的一个或更多个触摸事件生成触摸输入数据，并且将所述触摸输入数据传送到所述化身选择模块。
39.如权利要求36所述的设备，还包括：
化身控制模块，配置成在所述第一与所述远程用户装置之间的活动通信期间接收来自所述远程用户装置的远程化身选择，所述远程化身选择至少包括对应于所述远程用户装置上选择的远程化身文件的识别数据。
40.如权利要求39所述的设备，其中所述化身控制模块配置成识别所述化身数据库中存储的匹配的化身文件，所述匹配的化身文件具有匹配所述选择的远程化身文件的所述识别数据的识别数据。
41.如权利要求40所述的设备，其中识别匹配的化身文件包括比较所述选择的远程化身文件的所述识别数据和所述化身数据库的至少一个化身文件的识别数据。
42.如权利要求40所述的设备，其中所述远程控制模块配置成生成指示所述匹配的化身文件的识别的响应信号。
43.如权利要求40所述的设备，还包括配置成显示与所述选择的远程化身文件相关联的化身模型的显示器。
CN201280071891.9A 2012-04-09 2012-04-09 用于化身管理和选择的系统和方法 Active CN104170358B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/000459 WO2013152454A1 (en) 2012-04-09 2012-04-09 System and method for avatar management and selection

Publications (2)

Publication Number Publication Date
CN104170358A CN104170358A (zh) 2014-11-26
CN104170358B true CN104170358B (zh) 2016-05-11

Family

ID=49326982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071891.9A Active CN104170358B (zh) 2012-04-09 2012-04-09 用于化身管理和选择的系统和方法

Country Status (4)

Country Link
US (1) US9357174B2 (zh)
CN (1) CN104170358B (zh)
TW (2) TWI656505B (zh)
WO (1) WO2013152454A1 (zh)

Families Citing this family (215)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术（北京）有限公司 虚拟视频通话方法和终端
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
GB201419441D0 (en) * 2014-10-31 2014-12-17 Microsoft Corp Modifying video call data
CN105578108A (zh) * 2014-11-05 2016-05-11 爱唯秀股份有限公司 电子运算设备、视讯通话系统与其运行方法
WO2016085498A1 (en) 2014-11-26 2016-06-02 Hewlett-Packard Development Company, L.P. Virtual representation of a user portion
KR102374446B1 (ko) * 2014-12-11 2022-03-15 인텔 코포레이션 아바타 선택 메커니즘
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
JP6152125B2 (ja) 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
CN107615288B (zh) * 2015-03-28 2021-10-22 英特尔公司 姿态匹配机制
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
CN107430429B (zh) * 2015-04-07 2022-02-18 英特尔公司 化身键盘
CN104767980B (zh) * 2015-04-30 2018-05-04 深圳市东方拓宇科技有限公司 一种实时情绪演示方法、系统、装置和智能终端
CN105518582B (zh) * 2015-06-30 2018-02-02 北京旷视科技有限公司 活体检测方法及设备
US10565770B2 (en) 2015-08-07 2020-02-18 Apple Inc. Communication system and method for providing a bionic virtual meeting room
US10063751B2 (en) 2015-09-24 2018-08-28 Qualcomm Incorporated System and method for accessing images with a captured query image
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11409407B2 (en) 2017-04-27 2022-08-09 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
KR102585858B1 (ko) * 2017-05-16 2023-10-11 애플 인크. 이모지 레코딩 및 전송
EP3590095B1 (en) * 2017-05-16 2024-04-24 Apple Inc. Emoji recording and sending
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
CN110036412A (zh) * 2017-05-16 2019-07-19 苹果公司 表情符号录制和发送
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11178359B2 (en) * 2017-09-26 2021-11-16 Hewlett-Packard Development Company, L.P. Electronic device and generating conference call participants identifications
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
CN111386553A (zh) 2017-11-29 2020-07-07 斯纳普公司 用于电子消息传递应用的图形渲染
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10613827B2 (en) * 2018-03-06 2020-04-07 Language Line Services, Inc. Configuration for simulating a video remote interpretation session
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
EP3782124A1 (en) 2018-04-18 2021-02-24 Snap Inc. Augmented expression system
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
KR102400085B1 (ko) * 2018-05-07 2022-05-19 애플 인크. 크리에이티브 카메라
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK179992B1 (en) 2018-05-07 2020-01-14 Apple Inc. DISPLAY OF USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
CN109448074A (zh) * 2018-09-11 2019-03-08 北京达佳互联信息技术有限公司 群组头像的生成方法、装置、电子设备及存储介质
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
EP3641324A1 (en) 2018-10-18 2020-04-22 Sony Corporation User interface for video call with content sharing
US10872451B2 (en) * 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
CN109727320A (zh) * 2018-12-29 2019-05-07 三星电子（中国）研发中心 一种虚拟化身的生成方法和设备
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
KR20200101014A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
KR20210012724A (ko) * 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
KR20220157502A (ko) 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
WO2021252160A1 (en) 2020-06-08 2021-12-16 Apple Inc. Presenting avatars in three-dimensional environments
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
KR20220018760A (ko) * 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11140360B1 (en) * 2020-11-10 2021-10-05 Know Systems Corp. System and method for an interactive digitally rendered avatar of a subject person
US11582424B1 (en) 2020-11-10 2023-02-14 Know Systems Corp. System and method for an interactive digitally rendered avatar of a subject person
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
CN114710640B (zh) * 2020-12-29 2023-06-27 华为技术有限公司 基于虚拟形象的视频通话方法、装置和终端
US12008811B2 (en) 2020-12-30 2024-06-11 Snap Inc. Machine learning-based selection of a representative video frame within a messaging application
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN113163155B (zh) * 2021-04-30 2023-09-05 咪咕视讯科技有限公司 用户头像生成方法、装置、电子设备及存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US20230199147A1 (en) * 2021-12-21 2023-06-22 Snap Inc. Avatar call platform
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US20230254448A1 (en) * 2022-02-10 2023-08-10 Apple Inc. Camera-less representation of users during communication sessions
US12002146B2 (en) 2022-03-28 2024-06-04 Snap Inc. 3D modeling based on neural light field
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677389A (zh) * 2008-09-17 2010-03-24 深圳富泰宏精密工业有限公司 图片传输系统及方法
CN101690071A (zh) * 2007-06-29 2010-03-31 索尼爱立信移动通讯有限公司 在视频会议和其他通信期间控制化身的方法和终端
CN102271241A (zh) * 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6169789B1 (en) 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5953700A (en) 1997-06-11 1999-09-14 International Business Machines Corporation Portable acoustic interface for remote access to automatic speech/speaker recognition server
US7606936B2 (en) 1998-05-29 2009-10-20 Research In Motion Limited System and method for redirecting data to a wireless device over a plurality of communication paths
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US7003501B2 (en) 2000-02-11 2006-02-21 Maurice Ostroff Method for preventing fraudulent use of credit cards and credit card information, and for preventing unauthorized access to restricted physical and virtual sites
US7716133B1 (en) 2000-03-10 2010-05-11 Ncr Corporation Self service terminal
US7870599B2 (en) 2000-09-05 2011-01-11 Netlabs.Com, Inc. Multichannel device utilizing a centralized out-of-band authentication system (COBAS)
US8812319B2 (en) 2001-01-31 2014-08-19 Ibiometrics, Inc. Dynamic pass phrase security system (DPSS)
CN1313979C (zh) 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US7779076B2 (en) * 2002-05-31 2010-08-17 Aol Inc. Instant messaging personalization
JP2004289254A (ja) 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
GB0311208D0 (en) 2003-05-15 2003-06-18 British Telecomm Feature based caricaturing
KR100983745B1 (ko) 2003-09-27 2010-09-24 엘지전자 주식회사 이동 통신 단말기의 아바타 생성 서비스 방법
US7752270B2 (en) * 2004-01-21 2010-07-06 At&T Mobility Ii Llc Linking sounds and emoticons
US7940932B2 (en) 2004-04-08 2011-05-10 Texas Instruments Incorporated Methods, apparatus, and systems for securing SIM (subscriber identity module) personalization and other data on a first processor and secure communication of the SIM data to a second processor
US7176956B2 (en) * 2004-05-26 2007-02-13 Motorola, Inc. Video enhancement of an avatar
TWM290286U (en) 2004-11-22 2006-05-01 Wavetronex Inc Storage and applied devices based on images obtained from object tracking and recognition technology
KR101141643B1 (ko) 2005-03-07 2012-05-04 엘지전자 주식회사 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법
CN101035242A (zh) 2006-03-07 2007-09-12 南京Lg新港显示有限公司 利用化身的向导方法及其装置
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
CN100416612C (zh) 2006-09-14 2008-09-03 浙江大学 基于视频流的三维动态人脸表情建模方法
US20080136814A1 (en) 2006-09-17 2008-06-12 Chang Woo Chu System and method for generating 3-d facial model and animation using one video camera
US8079905B2 (en) 2006-11-06 2011-12-20 Igt Remote wager gaming system using a video game console
CN1972274A (zh) 2006-11-07 2007-05-30 搜图科技（南京）有限公司 基于互联网和移动应用的人脸图像变化处理系统及方法
US20080214168A1 (en) * 2006-12-21 2008-09-04 Ubiquity Holdings Cell phone with Personalization of avatar
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US9191497B2 (en) 2007-12-13 2015-11-17 Google Technology Holdings LLC Method and apparatus for implementing avatar modifications in another user's avatar
CN101472158A (zh) 2007-12-27 2009-07-01 上海银晨智能识别科技有限公司 基于人脸检测的网络摄像装置及图像形成方法
WO2009128784A1 (en) 2008-04-14 2009-10-22 Xid Technologies Pte Ltd Face expressions identification
US20090315893A1 (en) 2008-06-18 2009-12-24 Microsoft Corporation User avatar available across computing applications and devices
US8260262B2 (en) 2009-06-22 2012-09-04 Mourad Ben Ayed Systems for three factor authentication challenge
CN101826217A (zh) 2010-05-07 2010-09-08 上海交通大学 人脸动画快速生成方法
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
CN102087750A (zh) 2010-06-13 2011-06-08 湖南宏梦信息科技有限公司 一种动漫特效的制作方法
CN101924924A (zh) 2010-07-28 2010-12-22 厦门雅迅网络股份有限公司 一种无线远程视频监控的自适应传输方法及传输系统
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
CN102214288B (zh) 2011-06-15 2013-03-06 清华大学 基于化身的隐私保护方法
US20130019154A1 (en) 2011-07-11 2013-01-17 Collegenet, Inc. Systems and methods for collecting multimedia form responses
US9398262B2 (en) 2011-12-29 2016-07-19 Intel Corporation Communication using avatar
US9008633B2 (en) 2012-02-17 2015-04-14 Apple Inc. Methods to determine availability of user based on mobile phone status
US20130219166A1 (en) 2012-02-20 2013-08-22 Motorola Mobility, Inc. Hardware based identity manager
US8661549B2 (en) 2012-03-02 2014-02-25 Apple Inc. Method and apparatus for obfuscating program source codes
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
CN111275795A (zh) 2012-04-09 2020-06-12 英特尔公司 用于化身生成、渲染和动画的系统和方法
CN104170358B (zh) 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US9124386B2 (en) 2012-09-28 2015-09-01 Saurabh Dadu System, device, and method for securing voice authentication and end-to-end speech interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690071A (zh) * 2007-06-29 2010-03-31 索尼爱立信移动通讯有限公司 在视频会议和其他通信期间控制化身的方法和终端
CN101677389A (zh) * 2008-09-17 2010-03-24 深圳富泰宏精密工业有限公司 图片传输系统及方法
CN102271241A (zh) * 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统

Also Published As

Publication number Publication date
US20150312523A1 (en) 2015-10-29
TWI646498B (zh) 2019-01-01
WO2013152454A1 (en) 2013-10-17
CN104170358A (zh) 2014-11-26
US9357174B2 (en) 2016-05-31
WO2013152454A8 (en) 2014-11-20
TW201403536A (zh) 2014-01-16
TWI656505B (zh) 2019-04-11
TW201719567A (zh) 2017-06-01

Similar Documents

Publication Publication Date Title
CN104170358B (zh) 用于化身管理和选择的系统和方法
US11595617B2 (en) Communication using interactive avatars
CN104205171A (zh) 用于化身生成、渲染和动画的系统和方法
US9398262B2 (en) Communication using avatar
WO2014036708A1 (en) System and method for avatar creation and synchronization
CN108353127A (zh) 基于深度相机的图像稳定
TWI583198B (zh) 使用互動化身的通訊技術
TWI682669B (zh) 使用互動化身的通訊技術（五）
TW202107250A (zh) 使用互動化身的通訊技術（七）

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant