CN104011738A - 用于使用交互式化身进行通信的系统和方法 - Google Patents

用于使用交互式化身进行通信的系统和方法 Download PDF

Info

Publication number
CN104011738A
CN104011738A CN201280064807.0A CN201280064807A CN104011738A CN 104011738 A CN104011738 A CN 104011738A CN 201280064807 A CN201280064807 A CN 201280064807A CN 104011738 A CN104011738 A CN 104011738A
Authority
CN
China
Prior art keywords
incarnation
parameter
face
facial features
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280064807.0A
Other languages
English (en)
Inventor
杜杨洲
李文龙
X.童
W.胡
Y.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201280064807.0A priority Critical patent/CN104011738A/zh
Publication of CN104011738A publication Critical patent/CN104011738A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于将参与用户的实际活动图像替换为动画化身的视频通信系统。方法包括选择化身；发起通信；捕捉图像；检测图像中的面部；从面部确定面部特点，包括分别指示用户凝视和眨眼的方向的用户的眼睛运动和眼睑运动；将面貌转换成化身参数；以及传送化身选择或化身参数至少之一。

Description

用于使用交互式化身进行通信的系统和方法
相关申请的交叉引用
本申请要求2011年12月29日提交的PCT专利申请序列号PCT/CN2011/084902的优先权，该申请的全部公开内容通过引用结合于本文中。
技术领域
本公开内容涉及视频通信和交互，并且更具体地说，涉及用于使用交互式化身进行通信的系统和方法。
背景技术
运动装置中可用的越来越多种类的功能性使得用户除简单的呼叫外还希望经视频进行通信。例如，用户可发起“视频呼叫”、“视频会议”等，其中，装置中的照相机和麦克风将用户的音频和实时视频传送到一个或更多个接收者，如其它运动装置、台式计算机、视频会议系统等。实时视频的通信可涉及传送大量的数据（例如，取决于照相机的技术、用于处理实时图像信息的特定视频编解码器等）。给定现有2G/3G无线技术的带宽限制和新兴4G无线技术的还有限的可用性，进行同时视频呼叫的许多装置用户的提议对现有无线通信基础设施中的带宽造成了很大负担，这可不利地影响视频呼叫的质量。
附图说明
随着以下具体实施方式继续进行，并参照附图时，要求保护的主题的各种实施例的特征和优点将变得显而易见，附图中类似的标号示出类似部分，并且其中：
图1A示出与本公开内容的各种实施例一致的示例装置到装置系统；
图1B示出与本公开内容的各种实施例一致的示例虚拟空间系统；
图2示出与本公开内容的各种实施例一致的示例装置；
图3示出与本公开内容的各种实施例一致的示例面部检测模块；
图4示出根据本公开内容的至少一个实施例的示例系统实现；以及
图5是根据本公开内容的至少一个实施例的示例操作的流程图。
虽然以下具体实施方式将参照说明性实施例继续，但其许多备选、修改和变化将对本领域技术人员显而易见。
具体实施方式
通过概述，本公开内容一般指向用于使用交互式化身进行通信和交互的系统和方法。与本公开内容一致的系统和方法一般提供在活动通信期间用户眼睛的检测和/或跟踪，包括用户眼睛的特点的检测，包括但不限于眼球运动、凝视方向和/或用户眼睛的焦点、眨眼等。系统和方法还配置成至少部分地基于在活动通信期间实时或近实时检测到的用户眼睛的特点来提供化身动画。
在一个实施例中，在耦合到照相机的装置中激活应用。应用可配置成允许用户选择化身以显示在远程装置上、在虚拟空间中等。然后，装置可配置成发起与至少一个其它装置、虚拟空间等的通信。例如，可通过2G、3G、4G蜂窝连接建立通信。备选地，可经WiFi连接通过因特网建立通信。在通信建立后，照相机可配置成开始捕捉图像。然后在捕捉的图像上执行面部检测，并且确定面部特点。然后，将包括用户的眼睛运动和/或眼睑的运动的检测到的面/头部运动和/或面貌的更改转换成可用于在至少一个其它装置上，在虚拟空间内等以动画表现化身的参数。然后，传送化身选择或化身参数至少之一。在一个实施例中，接收远程化身选择或远程化身参数至少之一。远程化身选择可促使装置显示化身，而远程化身参数可促使装置以动画表现显示的化身。音频通信经已知方法伴随着化身动画。
图1A示出与本公开内容的各种实施例一致的装置到装置系统100。系统100一般可包括经网络122进行通信的装置102和112。装置102包括至少照相机104、麦克风106和显示器108。装置112包括至少照相机114、麦克风116和显示器118。网络122包括至少一个服务器124。
装置102和112可包括能够进行有线和/或无线通信的各种硬件平台。例如，装置102和112可包括但不限于视频会议系统、台式计算机、膝上型计算机、平板计算机、智能电话（例如，iPhones®、基于Android®的电话、Blackberries®、基于Symbian®的电话、基于Palm®的电话等）、蜂窝手持机等。
照相机104和114包括用于捕捉表示包括一个或更多个人的环境的数字图像的任何装置，并且可具有适当的分辨率用于如本文中所述的环境中的一个或更多个人的面部分析。例如，照相机104和114可包括静止照相机（例如，配置成捕捉静止照片的照相机）或视频照相机（例如，配置成捕捉包括多个帧的运动图像的照相机）。照相机104和114可配置成使用在可见光谱中的光线操作或者通过不限于红外光谱、紫外光谱等电磁光谱的其它部分操作。照相机104和114可分别包含在装置102和112内，或者可以是配置成经有线或无线通信与装置102和112进行通信的单独装置。照相机104和114的具体示例可包括如可与计算机、视频监视器等相关联的有线（例如，通用串行总线(USB)、以太网、火线等）或无线（例如，WiFi、蓝牙等）web照相机、运动装置照相机（例如，集成在例如前面讨论的示例装置中的蜂窝电话或智能电话照相机）、集成膝上型计算机照相机、集成平板计算机照相机（例如，iPad®、Galaxy Tab®及诸如此类）等。
装置102和112可还包括麦克风106和116。麦克风106和116包括配置成感测声音的任何装置。麦克风106和116可分别集成在装置102和112内，或者可经诸如在关于照相机104和114的上面示例中所述的有线或无线通信而与装置102、112进行交互。显示器108和118包括配置成显示文本、静止图像、运动图像（例如，视频）、用户接口、图形等的任何装置。显示器108和118可分别集成在装置102和112内，或者可经诸如在关于照相机104和114的上面示例中所述的有线或无线通信而与装置进行交互。
在一个实施例中，显示器108和118分别配置成显示化身110和120。如本文中引用的，化身定义为二维(2D)或三维(3D)的用户的图形表示。化身不必像用户的外貌，并且因此，虽然化身能够是逼真表示，但它也能够采用图画、卡通、素描等形式。如图所示，装置102可显示表示装置112的用户（例如，远程用户）的化身110，并且同样地，装置112可显示表示装置102的用户的化身120。因此，用户可查看其它用户的表示而不必交换一般涉及采用活动图像的装置到装置通信的大量信息。
网络122可包括各种第二代(2G)、第三代(3G)、第四代(4G)基于蜂窝的数据通信技术、Wi-Fi无线数据通信技术等。网络122包括配置成在使用这些技术时建立和保持通信连接的至少一个服务器124。例如，服务器124可配置成支持因特网有关的通信协议，比如用于修改和终止双方（单播）和多方（多播）会话的会话发起协议(SIP)，用于呈现允许在字节流连接顶部建立协议的框架的交互式连接建立协议(ICE)、用于允许通过NAT操作的应用发现其它NAT的存在、为应用的用户数据报协议(UDP)连接分配以连接到远程主机的IP地址和端口的网络接入转换器或NAT会话的遍历实用程序协议(STUN)、用于允许在NAT或防火墙后的元素通过传送控制协议(TCP)或UDP连接接收数据的使用NAT周围中继遍历(TURN)等。
图1B示出与本公开内容的各种实施例一致的虚拟空间系统126。系统126可包括装置102、112和服务器124。装置102、112和服务器124可继续以类似于图1A所示方式进行通信，但用户交互可在虚拟空间128中而不是以装置到装置格式进行。在本文中引用时，虚拟空间可定义为物理位置的数字模拟。例如，虚拟空间128可类似比如城市、道路、人行道、野外、森林、岛屿等外部位置或比如办公室、房屋、学校、商场、商店等内部位置。
由化身表示的用户可显得如在现实世界中一样与虚拟空间128进行交互。虚拟空间128可存在于耦合到因特网的一个或更多个服务器上，并且可由第三方维护。虚拟空间的示例包括虚拟办公室、虚拟会议室、如Second Life®的虚拟世界、如World of Warcraft®的大型多人在线角色扮演游戏(MMORPG)、如The Sims Online®的大型多人在线现实生活游戏(MMORLG)。在系统126中，虚拟空间128可包含对应于不同用户的多个化身。显示器108和118可显示封装（例如，更小）版本的虚拟空间(VS) 128，而不是显示化身。例如，显示器108可显示对应于装置102的用户的化身在虚拟空间128中“看到”的内容的透视图。类似地，显示器118可显示对应于装置112的用户的化身在虚拟空间128中“看到”的内容的透视图。化身在虚拟空间128中可能看到的内容的示例可包括但不限于虚拟结构（例如，建筑物）、虚拟车辆、虚拟对象、虚拟动物、其它化身等等。
图2示出根据本公开内容的各种实施例的示例装置102。虽然只描述装置102，但装置112（例如，远程装置）可包括配置成提供相同或类似功能的资源。如前面所述，装置102示为包括照相机104、麦克风106和显示器108。照相机104和麦克风106可提供输入到照相机和音频框架模块200。照相机和音频框架模块200可包括通常良好定义的并且可操作以控制至少照相机104和麦克风106的定制、专有、已知和/或以后开发的音频和视频处理代码（或指令集）。例如，照相机和音频框架模块200可包括照相机104和麦克风106以记录图像和/或声音，可处理图像和/或声音，可促使图像和/或声音再现等。取决于装置102，并且更具体地说，在装置102中运行的操作系统(OS)，照相机和音频框架模块200可不同。示例操作系统包括iOS®、Android®、Blackberry® OS、Symbian®、Palm® OS等。扬声器202可接收来自照相机和音频框架模块200的音频信息，并且可配置成再现本地声音（例如，提供用户话音的音频反馈）和远程声音（例如，参与虚拟位置中电话、视频呼叫或交互的其它方的声音）。
装置102可还包括配置成识别和跟踪照相机104提供的图像内的头部、面部和/或面部区域，并且确定用户的一个或更多个面部特点（即，面部特点206）的面部检测模块204。例如，面部检测模块204可包括通常良好定义的并且可操作以接收标准格式图像（例如但不限于RGB彩色图像）并且至少在一定程度上识别图像中的面部的定制、专有、已知和/或以后开发的面部检测代码代码（或指令集）、硬件和/或固件。
面部检测模块204也可配置成通过一系列图像（例如，每秒24帧的视频帧）跟踪检测到的面部，并且基于检测到的面部确定头部位置。可由面部检测模块204采用的已知跟踪系统可包括粒子滤波、均值移位、Kalman滤波等，它们每个可利用边缘分析、平方差和分析、特征点分析、直方图分析、肤色分析等。
面部检测模块204也可包括通常良好定义的并且可操作以接收标准格式图像（例如但不限于RGB彩色图像）并且至少在一定程度上识别图像中的一个或更多个面部特点的定制、专有、已知和/或以后开发的面部特点代码（或指令集）。此类已知面部特点系统包括但不限于可在公共开放源计算机视觉(OpenCV™)包中找到的由科罗拉多州立大学开发的CSU面部识别评估系统、标准Viola-Jones增强级联(boosting cascade)框架。
如本文中更详细讨论的，面部特点206可包括面部的特征，包括但不限于诸如眼、眉毛、鼻子、嘴等面部标志物的位置和/或形状及眼睛和/或眼睑的运动。在一个实施例中，化身动画可基于感测的面部动作（例如，面部特点206的更改）。化身面部上的对应特征点可跟随或模仿现实人脸的运动，这称为“表情克隆”或“行为驱动的面部动画”。
面部检测模块204也可配置成识别与检测到的特征相关联的表情（例如，识别以前检测到的面部是否为高兴，伤心，微笑，皱眉，惊讶，激动等）。因此，面部检测模块204可还包括通常良好定义的并且可操作以检测和/或识别面部中的表情的定制、专有、已知和/或以后开发的面部表情检测和/或识别代码（或指令集）。例如，面部检测模块204可确定面部特征（例如，眼、嘴、脸颊、牙齿等）的大小和/或位置，并且可将这些面部特征和包括具有对应面部特征分类（例如，微笑，皱眉，激活，伤心等）的多个样本面部特征的面部特征数据库进行比较。
装置102可还包括配置成允许装置102的用户选择在远程装置上显示的化身的化身选择模块208。化身选择模块208可包括通常良好定义的并且可操作以向用户显示不同化身使得用户可选择化身之一的定制、专有、已知和/或以后开发的用户接口构建代码（或指令集）。
在一个实施例中，在装置102中可预定义一个或更多个化身。预定义的化身允许所有装置具有相同化身，并且在交互期间仅化身的选择（例如，预定义化身的识别）需要传递到远程装置或虚拟空间，这降低了需要交换的信息量。化身在建立通信之前选择，但也可在活动通信的过程期间更改。因此，可能可在通信期间的任何点发送或接收化身选择，以及接收装置可能根据收到的化身选择更改显示的化身。
装置102可还包括配置成生成用于以动画表现化身的参数的化身控制模块210。在本文中引用时，动画可定义为改变图像/模型的外观。单个动画可更改2D静止图像的外观，或者多个动画可连续出现以模拟图像中的运动（例如，转头，点头，交谈，皱眉，微笑，大笑，眨眼，递眼色等）。用于3D模型的动画的示例包括使3D线框模型变形，应用纹理映射，以及为渲染重新计算模型顶点法线。包括面部特征的检测到的面部和/或面部特点206的位置更改可转换成促使化身的特征类似于用户面部的特征。
在一个实施例中，检测到的面部的一般表情可转换成促使化身展示相同表情的一个或更多个参数。也可夸大化身的表情以强调表情。在化身参数通常可应用到所有预定义化身时，可不需要选择的化身的知识。然而，在一个实施例中，化身参数可对选择的化身是特定的，并且因此，如果选择另一化身，则化身参数可改变。例如，人化身可要求与动物化身、卡通化身等不同的参数设置（例如，不同化身特征可改变）以演示如高兴，伤心，生气，惊讶等情绪。
化身控制模块210可包括通常良好定义的并且可操作以生成参数以便基于面部检测模块204检测到的面/头部位置和/或面部特点206以动画表现化身选择模块208选择的化身的定制、专有、已知和/或以后开发的图形处理代码（或指令集）。对于基于面部特征的动画方法，2D化身动画可例如通过图像扭曲(image warping)或图像渐变(image morphing)进行，而3D化身动画可通过自由形式变形(FFD)或者通过利用在头部的3D模型中定义的动画结构进行。Oddcast是可用于2D化身动画的软件资源的示例，而FaceGen是可用于3D化身动画的软件资源的示例。
另外，在系统100中，化身控制模块210可接收可用于显示和以动画表现对应于在远程装置的用户的化身的远程化身选择和远程化身参数。化身控制模块210可促使显示模块212以在显示器108上显示化身110。显示模块212可包括通常良好定义的并且可操作以根据示例装置到装置实施例在显示器108上显示和以动画表现化身的定制、专有、已知和/或以后开发的图形处理代码（或指令集）。
例如，化身控制模块210可接收远程化身选择，并且可解释远程化身选择以对应于预确定的化身。显示模块212然后可在显示器108上显示化身110。另外，在化身控制模块210中收到的远程化身参数可被解释，并且命令可提供到显示模块212以动画表现化身110。
在一个实施例中，不止两个用户可参与视频呼叫。在不止两个用户在视频呼叫中交互时，可将显示器108划分或分段以允许同时显示对应于远程用户的不止一个化身。备选地，在系统126中，化身控制模块210可接收促使显示模块212显示对应于装置102的用户的化身在虚拟空间128“看到”的内容（例如，从化身的视觉角度）的信息。例如，显示器108可显示在虚拟空间128中表示的建筑物、对象、动物、其它化身等。在一个实施例中，化身控制模块210可配置成促使显示模块212显示“反馈”化身214。反馈化身214表示选择的化身如何呈现在远程装置上、在虚拟空间中等。具体而言，反馈化身214显现为用户选择的化身，并且可使用化身控制模块210生成的相同参数以动画表现。这样，用户可确认远程用户在其交互期间看到的内容。
装置102可还包括配置成传送和接收用于选择化身、显示化身、以动画表现化身、显示虚拟位置透视图等的信息的通信模块216。通信模块216可包括通常良好定义的并且可操作以传送化身选择、化身参数，并且接收远程化身选择和远程化身参数的定制、专有、已知和/或以后开发的通信处理代码（或指令集）。通信模块216也可传送和接收对应于基于化身的交互的音频信息。通信模块216可如前面所述经网络122传送和接收上述信息。
装置102可还包括配置成执行与装置102和其中包括的一个或更多个模块相关联的操作的一个或更多个处理器218。
图3示出与本公开内容的各种实施例一致的示例面部检测模块204a。面部检测模块204a可配置成经照相机104和音频框架模块200接收来自照相机的一个或更多个图像，并且至少在一定程度上识别图像中的面部（或可选地多个面部）。面部检测模块204a也可配置成在一定程度上识别和确定图像中的一个或更多个面部特点206。如本文中所述，面部特点206可基于由面部检测模块204a识别的一个或更多个面部参数生成。面部特点206可包括面部的特征，包括但不限于诸如眼、眉毛、鼻子、嘴等面部标志物的位置和/或形状及嘴、眼睛和/或眼睑的运动。
在所示实施例中，面部检测模块204a可包括面部检测/跟踪模块300、面部规范化模块302、标志物检测模块304、面型模块306、面部姿势模块308、面部表情检测模块310、眼睛检测/跟踪模块312及眼分类模块314。面部检测/跟踪模块300可包括通常良好定义的并且可操作以至少在一定程度上检测和识别从照相机104收到的静止图像或视频流中人脸的大小和位置的定制、专有、已知和/或以后开发的面部跟踪代码（或指令集）。此类已知面部检测/跟踪系统例如包括发布为Paul Viola和Michael Jones，使用简单特征的增强级联的快速对象检测(Rapid Object Detection using a Boosted Cascade of Simple Features), Accepted Conference on Computer Vision and Pattern Recognition, 2001的Viola和Jones的技术。这些技术通过在图像上详尽扫描窗口，使用自适应级联(Adaptive Boosting (AdaBoost))分类器的级联来检测面部。面部检测/跟踪模块300也可跨多个图像跟踪面部或面部区域。
面部规范化模块302可包括通常良好定义的并且可操作以规范化图像中识别的面部的定制、专有、已知和/或以后开发的面部规范化代码（或指令集）。例如，面部规范化模块302可配置成旋转图像以对齐眼睛（如果眼睛的坐标已知），裁切图像到通常对应于面部的大小的更小尺寸，缩放图像以使眼睛之间的距离恒定，应用掩码以零化不在包含典型面部的椭圆形中的像素，直方图均衡化图像以平滑用于非屏蔽像素的灰度值的分布和/或规范化图像，以便非屏蔽像素具有均值0和标准偏差1。
标志物检测模块304可包括通常良好定义的并且可操作以至少在一定程度上检测和识别图像中面部的各种面部特征的定制、专有、已知和/或以后开发的标志物检测代码（或指令集）。标志物检测中隐含的是至少在一定程度上已经检测到面部。可选地，一定程度的定位可（例如，由面部规范化模块302）已经执行以识别/聚焦在其中可能能够找到标志物的图像的地带/区域。例如，标志物检测模块304可基于启发式分析，并且可配置成识别和/或分析眼睛（和/或眼角）、鼻子（例如，鼻尖）、下巴（例如，下巴尖）、颊骨和下颌的相对位置、大小和/或形状。使用基于Viola-Jones的分类器，也可检测到眼角和嘴角。
面型模块306可包括通常良好定义的并且可操作以基于图像中识别的面部标志物识别和/或生成面型的定制、专有、已知和/或以后开发的面型代码（或指令集）。如可领会的，面型模块306可视为面部检测/跟踪模块300的一部分。
面部姿势模块308可包括通常良好定义的并且可操作以至少在一定程度上检测和识别图像中面部的姿势的定制、专有、已知和/或以后开发的面部朝向检测代码（或指令集）。例如，面部姿势模块308可配置成相对于装置102的显示器108建立图像中面部的姿势。更具体地说，面部姿势模块308可配置成确定用户的面部是否朝向装置102的显示器108，由此指示用户是否在观察显示器108上显示的内容。
面部表情检测模块310可包括通常良好定义的并且可操作以检测和/或识别图像中用户的面部表情的定制、专有、已知和/或以后开发的面部表情检测和/或识别代码（或指令集）。例如，面部表情检测模块310可确定面部特征（例如，眼、嘴、脸颊、牙齿等）的大小和/或位置，并且将面部特征和包括具有对应面部特征分类的多个样本面部特征的面部特征数据库进行比较。
眼睛检测/跟踪模块312可包括通常良好定义的并且可操作以至少在一定程度上检测和识别图像中用户的眼睛运动和/或眼睛凝视或焦点的定制、专有、已知和/或以后开发的眼睛跟踪代码（或指令集）。类似于面部姿势模块308，眼睛检测/跟踪模块312可配置成相对于装置102的显示器108建立用户眼睛对准的方向。眼睛检测/跟踪模块312可还配置成确立用户的眨眼。
如图所示，眼睛检测/跟踪模块312可包括配置成确定用户眼睛（单个和/或两个）是睁开还是闭上和用户眼睛相对于显示器108的运动的眼睛分类模块314。具体而言，眼睛分类模块314配置成接收一个或更多个规范化图像（由规范化模块302规范化的图像）。规范化图像可包括但不限于用于对齐眼睛的旋转（如果眼睛的坐标已知），图像的裁切，具体而言参照眼角位置的眼睛的裁切，缩放图像以使眼睛之间的距离恒定，直方图均衡化图像以平滑用于非屏蔽像素的灰度值的分布和/或规范化图像，以便非屏蔽像素具有均值0和单位标准偏差。
在接收一个或更多个规范化图像时，眼睛分类模块314可配置成相对于显示器108单独识别眼睛睁开/闭上和/或眼睛运动（例如，向左/向右看，向上/向下看，往对角看等），并且因此在活动视频通信和/或交互期间实时或近实时确定用户眼睛的状态。眼睛分类模块314可包括通常良好定义的并且可操作以至少在一定程度上检测和识别图像中用户的眼睛运动和/或眼睑运动的定制、专有、已知和/或以后开发的眼睛跟踪代码（或指令集）。在一个实施例中，眼睛分类模块314可使用基于统计的分析以便识别用户眼睛的状态（睁开/闭上，运动等），包括但不限于线性判别分析(LDA)、人工神经网络(ANN)和/或支持向量机(SVM)。在分析期间，眼睛分类模块314可还利用眼睛状态数据库，该数据库可包括具有对应眼睛特征分类的多个样本眼睛特征。
如前面所述，化身动画可基于感测的面部动作（例如，用户的面部特点206的更改，包括眼睛运动和/或眼睑运动）。化身的面部上对应特征点可跟随或模仿现实人脸的运动，这称为“表情克隆”或“行为驱动的面部动画”。相应地，可通过任何已知方法在活动视频通信和/或交互期间在化身模型中以动画表现眼睛睁开/闭上和眼睛运动。
例如，在接收来自装置102的化身选择和化身参数时，远程装置112的化身控制模块可配置成基于面部特点206，控制（例如，以动画表现）化身，包括用户的眼睛运动和/或眼睑运动。这可包括规范化和重新映射用户的面部到化身的面部，复制面部特点206的任何更改，并且驱动化身执行相同面部特点和/或表情更改。对于基于面部特征的动画方法，2D化身动画可例如通过图像扭曲(image warping)或图像渐变(image morphing)进行，而3D化身动画可通过自由形式变形(FFD)或者通过利用在头部的3D模型中定义的动画结构进行。Oddcast是可用于2D化身动画的软件资源的示例，而FaceGen是可用于3D化身生成和动画的软件资源的示例。
图4示出根据至少一个实施例的示例系统实现。装置102'配置成经WiFi连接400（例如，工作中）以无线方式进行通信，服务器124'配置成经因特网402协商在装置102'与112'之间的连接，以及设备112'配置成经另一WiFi连接404（例如，在家中）以无线方式进行通信。在一个实施例中，在设备102'中激活装置到装置基于化身的视频呼叫应用。在化身选择后，应用可允许选择至少一个远程装置（例如，装置112'）。然后，应用可促使装置102'发起与装置112'的通信。通过装置102'经企业接入点(AP) 406传送连接建立请求到装置112'，可发起通信。企业AP 406可以是在商业环境中可使用的AP，并且因此可比家庭AP 414支持更高数据吞吐量和更多并发的无线客户端。企业AP 406可接收来自装置102'的无线信号，并且可继续经网关408通过各种商业网络传送连接建立请求。然后，连接建立请求可通过防火墙410，防火墙410可配置成控制流入和流出WiFi网络400的信息。
然后，可由服务器124'处理装置102'的连接建立请求。服务器124'可配置用于注册IP地址，对目的地地址和NAT遍历进行鉴权以便可将连接建立请求引导到因特网402上正确的目的地。例如，服务器124'可从收到的来自装置102'的连接建立请求中的信息解析预期目的地（例如，远程装置112'），并且可相应地将信号路由通过正确的NAT、端口并且到该目的地IP地址。取决于网络配置，这些操作可只在连接建立期间必须执行。
在一些情况下，在视频呼叫期间可重复操作以便提供通知到NAT以保持连接活着。在连接已建立后，媒体和信号路径412可将视频（例如，化身选择和/或化身参数）和音频信息引导运送到家庭AP 414。装置112'然后可接收连接建立请求，并且可配置成确定是否接受请求。确定是否接受请求例如可包括向装置112'的用户呈现视觉叙述，询问关于是否接受来自装置102'的连接请求。如果装置112'的用户接受连接（例如，接受视频呼叫），则可建立连接。照相机104'和114'然后可配置成开始分别捕捉装置102'和112'的相应用户的图像以便用于以动画表现每个用户选择的化身。然后，麦克风106'和116'可配置成开始记录来自每个用户的音频。在装置102'与112'之间的信息交换开始时，显示器108'和118'可显示并且以动画表现对应于装置102'和112'的用户的化身。
图5是根据至少一个实施例的示例操作的流程图。在操作502中，可在装置中激活应用（例如，基于化身的话音呼叫应用）。应用的激活之后可以是化身的选择。化身的选择可包括由应用呈现的接口，接口允许用户选择预定义的化身。在化身选择后，可在操作504中配置通信。通信配置包括用于参与视频呼叫的至少一个远程装置或虚拟空间的标识。例如，用户可从应用内存储的，与装置中另一系统关联存储的（例如，智能电话、蜂窝电话中的联系人列表）、诸如在因特网上远程存储（例如，在如Facebook、LinkedIn、Yahoo、Google+、MSN等社交媒体网站中）的远程用户/装置的列表中选择。备选地，用户可选择在如Second Life的虚拟空间上网。
在操作506中，可在装置与至少一个远程装置或虚拟空间之间发起通信。例如，可将连接建立请求传送到远程装置或虚拟空间。为了本文的解释，假设远程装置或虚拟空间接受连接建立请求。然后，在操作508中，装置中的照相机开始捕捉图像。图像可以是静止图像或直播视频（例如，按顺序捕捉的多个图像）。在操作510中，图像分析可从图像中面部/头部的检测/跟踪开始而发生。然后，可分析检测到的面部以便检测面部特点（例如，面部标志物、面部表情等）。在操作512中，将检测到的面部/头部位置和/或面部特点转换成化身参数。化身参数用于在远程装置上或者在虚拟空间中以动画表现选择的化身。在操作514中，可传送化身选择或化身参数至少之一。
在操作516中，可显示并且以动画表现化身。在装置到装置通信的实例（例如，系统100）中，可从远程装置接收远程化身选择或远程化身参数至少之一。然后，对应于远程用户的化身可基于收到的远程化身选择显示，并且可基于收到的远程化身参数以动画表现。在虚拟位置交互的实例（例如，系统126）中，可接收允许装置显示对应于装置用户的化身看到的内容的信息。然后，在操作518中可确定当前通信是否完成。如果在操作518中确定通信未完成，则操作508-516可重复以便继续基于用户的面部的分析、在远程设备上显示并且以动画表现化身。否则，在操作520中，可终止通信。如果不要进行另外的视频呼叫，则也可终止视频呼叫应用。
虽然图5示出根据一实施例的各种操作，但要理解的是，对于其它实施例，图5所示所有操作并非是必需的。实际上，本文中完全考虑了在本公开内容的其它实施例中，图5所示操作和/或本文中描述的其它操作可采用附图中的任一个中未明确示出的方式组合，但仍与本公开内容完全一致。因此，指向在一个图形中未确切示出的特征和/或操作的权利要求被认为是在本公开内容的范围和内容内。
与本公开内容一致的系统提供在活动通信期间用户眼睛的检测和/或跟踪，包括用户眼睛的特点的检测，包括但不限于用户眼睛的眼球运动、凝视方向和/或焦点、眨眼等。系统使用基于统计的方案确定用户眼睛的状态（例如，睁开/闭合的眼睛和/或眼睛凝视的方向）。系统还配置成至少部分基于在活动通信和交互期间实时或近实时检测到的用户眼睛的特点来提供化身动画。用户眼睛的动画可增强在用户之间的交互，这是因为人的眼睛和包括运动与表情的与它们相关联的特点可在活动通信期间传达丰富的信息，如用户的兴趣、情绪等。
与本公开内容一致的系统提供了优点。例如，基于统计的方法的使用允许通过增大样本收集和分类器重新培训来改进眼睛分析和分类的执行。另外，与例如模板匹配方法和/或基于几何形状的方法的眼睛分析的其它已知方法相比，与本公开内容一致的系统通常在使用前不要求校准，系统也不要求特殊硬件，如红外照明或近景照相机。另外，与本公开内容一致的系统不要求新用户进行学习过程。
各种特征、方面和实施例已在本文中描述。如本领域技术人员将理解的，特征、方面和实施例易于相互组合及变化和修改。因此，本公开内容应视为涵盖此类组合、变化和修改。因此，本发明的广度和范围不应受任何上述示范实施例所限制，而是只应根据随附的权利要求及其等同物定义。
在本文中任何实施例中使用时，术语“模块”可指配置成执行任何上面提及的操作的软件、固件和/或电路。软件可实施为记录在非暂时性计算机可读存储媒体上的软件包、代码、指令、指令集和/或数据。固件可实施为在存储器装置中硬编码（例如，非易失性）的代码、指令或指令集和/或数据。“电路”在本文任何实施例中使用时可例如单独或以任何组合包括硬连线电路、诸如包括一个或更多个单独指令处理核的计算机处理器等可编程电路、状态机电路和/或存储可编程电路执行的指令的固件。模块可共同或单独实施为形成更大系统的一部分的电路，例如，集成电路(IC)、片上系统(SOC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。
本文中所述任何操作可在包括一个或多个存储媒体的系统中实现，存储媒体上单独或以组合存储有在由一个或多个处理器执行时执行方法的指令。此处，处理器例如可包括服务器CPU、运动装置CPU和/或其它可编程电路。因此，预期本文中所述操作可跨诸如在不止一个不同物理位置的处理结构的多个物理装置分布。存储媒体可包括任何类型的有形媒体，例如任何类型的磁盘，包括硬盘、软盘、光盘、压缩盘只读存储器(CD-ROM)、可重写压缩盘(CD-RW)及磁光盘、半导体装置诸如只读存储器(ROM)、诸如动态和静态RAM的随机存取存储器(RAM)、可擦除编程只读存储器(EPROM)、电擦除可编程只读存储器(EEEPROM)、闪存、固态磁盘(SSD)、磁卡或光卡或适用于存储电子指令的任意类型的媒体。其它实施例可实现为由可编程控制装置执行的软件模块。存储媒体可以是非暂时性的。
本文中已采用的术语和表述用作描述的语言而不是限制，并且在此类术语和表述中，无意排除所示和所述的特征（或其部分）的任何等效物，以及可认识到各种修改在权利要求的范围内是可能的。相应地，权利要求旨在包括所有此类等效物。各种特征、方面和实施例已在本文中描述。如本领域技术人员将理解的，特征、方面和实施例易于相互组合及变化和修改。因此，本公开内容应视为涵盖此类组合、变化和修改。
如本文中所述，各种实施例可使用硬件元素、软件元素或其任何组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。
此说明书通篇对“一个实施例”或“一实施例”的引用指结合该实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，在此说明书通篇各个位置出现的“在一个实施例中”或“在一实施例中”短语不一定全部指相同的实施例。此外，特定的特征、结构或特性可在一个或多个实施例中以任何适合的方式组合。
根据一方面，提供了一种用于在第一用户装置与远程用户装置之间的交互式化身通信的系统。系统包括配置成捕捉图像的相机、配置成发起和建立通信，并且在所述第一与所述第二用户装置之间传送和接收信息的通信模块。系统还包括一个或更多个存储媒体，存储媒体上单独或以组合存储有在由一个或更多个处理器执行时，产生一个或更多个操作的指令。操作包括选择化身；发起通信；捕捉图像；检测图像中的面部；以及从面部确定面部特点，面部特点包括眼睛运动和眼睑运动至少之一；将面部特点转换成化身参数；传送化身选择和化身参数至少之一。
另一示例系统包括前面所述组件，并且从面部确定面部特点包括确定面部中的面部表情。
另一示例系统包括前面所述组件，并且化身选择和化身参数用于在远程装置上生成化身，化身基于面部特点。
另一示例系统包括前面所述组件，并且化身选择和化身参数用于在虚拟空间中生成化身，化身基于面部特点。
另一示例系统包括前面所述组件和指令，指令在由一个或更多个处理器执行时产生以下另外的接收远程化身选择或远程化身参数至少之一的操作。
另一示例系统包括前面所述组件，并且还包括显示器、指令，指令在由一个或更多个处理器执行时产生以下另外的基于远程化身选择显示化身的操作。
另一示例系统包括前面所述组件和指令，指令在由一个或更多个处理器执行时产生以下另外的基于远程化身参数以动画表现显示的化身的操作。
根据一方面，提供了一种用于在第一用户装置与远程用户装置之间交互式化身通信的设备。设备包括配置成在第一用户装置与远程用户装置之间发起并建立通信，并且在第一用户装置与远程用户装置之间传送和接收信息的通信模块。设备还包括配置成允许用户选择化身以便在通信期间使用的化身选择模块。设备还包括配置成检测用户的图像中的面部区域，并且检测和识别面部的一个或更多个面部特点的面部检测模块。面部特点包括用户的眼睛运动和眼睑运动。设备还包括配置成将面部特点转换成化身参数的化身控制模块。通信模块配置成传送化身选择和化身参数至少之一。
另一示例设备包括前面所述组件，并且还包括配置成检测和识别相对于显示器用户的眼睛运动和用户的眼睑运动至少之一的眼睛检测/跟踪模块。
另一示例设备包括前面所述组件，并且眼睛检测/跟踪模块包括配置成确定用户眼睛的凝视方向和用户眼睛眨眼至少之一的眼睛分类模块。
另一示例设备包括前面所述组件，并且化身选择和化身参数用于在远程装置上生成化身，化身基于面部特点。
另一示例设备包括前面所述组件，并且通信模块配置成接收远程化身选择和远程化身参数至少之一。
另一示例设备包括前面所述组件，并且还包括配置成基于远程化身选择来显示化身的显示器。
另一示例设备包括前面所述组件，并且化身控制模块配置成基于远程化身参数以动画表现显示的化身。
根据另一方面，提供了一种用于交互式化身通信的方法。方法包括选择化身；发起通信；捕捉图像；检测图像中的面部；以及从面部确定面部特点，面部特点包括眼睛运动和眼睑运动至少之一；将面部特点转换成化身参数；传送化身选择和化身参数至少之一。
另一示例方法包括前面所述操作，并且从面部确定面部特点包括确定面部中的面部表情。
另一示例方法包括前面所述操作，并且化身选择和化身参数用于在远程装置上生成化身，化身基于面部特点。
另一示例方法包括前面所述操作，并且化身选择和化身参数用于在虚拟空间中生成化身，化身基于面部特点。
另一示例方法包括前面所述操作，并且还包括接收远程化身选择或远程化身参数至少之一。
另一示例方法包括前面所述操作，并且还包括基于远程化身选择在显示器上显示化身。
另一示例方法包括前面所述操作，并且还包括基于远程化身参数以动画表现显示的化身。
根据另一方面，提供了至少一种上面存储有指令的计算机可访问媒体。在由一个或更多个处理器执行时，指令可促使计算机系统执行用于交互式化身通信的操作。操作包括选择化身；发起通信；捕捉图像；检测图像中的面部；以及从面部确定面部特点，面部特点包括眼睛运动和眼睑运动至少之一；将面部特点转换成化身参数；传送化身选择和化身参数至少之一。
另一示例计算机可访问媒体包括前面所述操作，并且从面部确定面部特点包括确定面部中的面部表情。
另一示例计算机可访问媒体包括前面所述操作，并且化身选择和化身参数用于在远程装置上生成化身，化身基于面部特点。
另一示例计算机可访问媒体包括前面所述操作，并且化身选择和化身参数用于在虚拟空间中生成化身，化身基于面部特点。
另一示例计算机可访问媒体包括前面所述操作，并且还包括接收远程化身选择或远程化身参数至少之一。
另一示例计算机可访问媒体包括前面所述操作，并且还包括基于远程化身选择在显示器上显示化身。
另一示例计算机可访问媒体包括前面所述操作，并且还包括基于远程化身参数以动画表现显示的化身。
本文中已采用的术语和表述用作描述而不是限制的语言，并且在此类术语和表述的使用中，无意排除所示和所述的特征（或其部分）的任何等效物，以及认识到各种修改在权利要求的范围内是可能的。相应地，权利要求旨在包括所有此类等效物。

Claims (22)

1. 一种用于在第一用户装置与远程用户装置之间的交互式化身通信的系统，所述系统包括：
照相机，配置成捕捉图像；
通信模块，配置成在所述第一用户装置与所述远程用户装置之间发起并建立通信，并且在所述第一用户装置与所述远程用户装置之间传送和接收信息；以及
一个或更多个存储媒体，所述存储媒体上单独或以组合存储指令，所述指令在由一个或更多个处理器执行时导致以下操作，包括：
选择化身；
发起通信；
捕捉图像；
检测所述图像中的面部；
从所述面部确定面部特点，所述面部特点包括眼睛运动和眼睑运动至少之一；
将所述面部特点转换成化身参数；以及
传送所述化身选择和化身参数至少之一。
2. 如权利要求1所述的系统，其中从所述面部确定面部特点包括确定所述面部中的面部表情。
3. 如权利要求1所述的系统，其中所述化身选择和化身参数用于在远程装置上生成化身，所述化身基于所述面部特点。
4. 如权利要求1所述的系统，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身基于所述面部特点。
5. 如权利要求1所述的系统，其中所述指令在由一个或更多个处理器执行时导致以下另外的操作：
接收远程化身选择和远程化身参数至少之一。
6. 如权利要求5所述的系统，还包括显示器，其中所述指令在由一个或更多个处理器执行时导致以下另外的操作：
基于所述远程化身选择显示化身。
7. 如权利要求6所述的系统，其中所述指令在由一个或更多个处理器执行时导致以下另外的操作：
基于所述远程化身选择以动画表现所述显示的化身。
8. 一种用于在第一用户装置与远程用户装置之间的交互式化身通信的设备，所述设备包括：
通信模块，配置成在所述第一用户装置与所述远程用户装置之间发起和建立通信；
化身选择模块，配置成允许用户选择化身以便在所述通信期间使用；
面部检测模块，配置成检测所述用户的图像中的面部区域，并且检测和识别所述面部的一个或更多个面部特点，所述面部特点包括所述用户的眼睛运动和眼睑运动至少之一；以及
化身控制模块，配置成将所述面部特点转换成化身参数；
其中所述通信模块配置成传送所述化身选择和化身参数至少之一。
9. 如权利要求8所述的设备，还包括配置成检测和识别相对于显示器所述用户的眼睛运动和所述用户的眼睑运动至少之一的眼睛检测/跟踪模块。
10. 如权利要求9所述的设备，其中所述眼睛检测/跟踪模块包括配置成确定所述用户眼睛的凝视方向和所述用户眼睛的眨眼至少之一的眼分类模块。
11. 如权利要求8所述的设备，其中所述化身选择和化身参数用于在所述远程装置上生成化身，所述化身基于所述面部特点。
12. 如权利要求8所述的设备，其中所述通信模块配置成接收远程化身选择和远程化身参数至少之一。
13. 如权利要求12所述的设备，还包括配置成基于所述远程化身选择来显示化身的显示器。
14. 如权利要求13所述的设备，其中所述化身控制模块配置成基于所述远程化身参数以动画表现所述显示的化身。
15. 一种用于交互式化身通信的方法，所述方法包括：
选择化身；
发起通信；
捕捉图像；
检测所述图像中的面部；
从所述面部确定面部特点，所述面部特点包括眼睛运动和眼睑运动至少之一；
将所述面部特点转换成化身参数；以及
传送所述化身选择或化身参数至少之一。
16. 如权利要求15所述的方法，其中从所述面部确定面部特点包括确定所述面部中的面部表情。
17. 如权利要求15所述的方法，其中所述化身选择和化身参数用于在远程装置上生成化身，所述化身基于所述面部特点。
18. 如权利要求15所述的方法，其中所述化身选择和化身参数用于在虚拟空间中生成化身，所述化身基于所述面部特点。
19. 如权利要求15所述的方法，还包括接收远程化身选择和远程化身参数至少之一。
20. 如权利要求19所述的方法，还包括基于所述远程化身选择来显示化身。
21. 如权利要求20所述的方法，还包括基于所述远程化身参数以动画表现所述显示的化身。
22. 至少一种存储指令的计算机可接入媒体，所述指令在由机器执行时，促使所述机器执行如权利要求15到21任一项所述的方法。
CN201280064807.0A 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法 Pending CN104011738A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201280064807.0A CN104011738A (zh) 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/CN2011/084902 WO2013097139A1 (en) 2011-12-29 2011-12-29 Communication using avatar
CNPCT/CN2011/084902 2011-12-29
CN201280064807.0A CN104011738A (zh) 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法
PCT/CN2012/000461 WO2013097264A1 (en) 2011-12-29 2012-04-09 System and method for communication using interactive avatar

Publications (1)

Publication Number Publication Date
CN104011738A true CN104011738A (zh) 2014-08-27

Family

ID=48696221

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710066013.2A Pending CN106961621A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201180075926.1A Pending CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201280064807.0A Pending CN104011738A (zh) 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710066013.2A Pending CN106961621A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201180075926.1A Pending CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信

Country Status (3)

Country Link
US (6) US9398262B2 (zh)
CN (3) CN106961621A (zh)
WO (2) WO2013097139A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
WO2016045010A1 (en) * 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
CN106575444A (zh) * 2014-09-24 2017-04-19 英特尔公司 用户姿势驱动的化身装置和方法
CN107705341A (zh) * 2016-08-08 2018-02-16 创奇思科研有限公司 用户表情头像生成的方法及其装置
CN110036412A (zh) * 2017-05-16 2019-07-19 苹果公司 表情符号录制和发送
CN110213521A (zh) * 2019-05-22 2019-09-06 创易汇(北京)科技有限公司 一种虚拟即时通信方法
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置
CN111787986A (zh) * 2018-02-28 2020-10-16 苹果公司 基于面部表情的语音效果
US10846905B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10845968B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
US11733769B2 (en) 2020-06-08 2023-08-22 Apple Inc. Presenting avatars in three-dimensional environments
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system

Families Citing this family (240)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR102068216B1 (ko) 2011-01-28 2020-01-20 인터치 테크놀로지스 인코퍼레이티드 이동형 원격현전 로봇과의 인터페이싱
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US10702773B2 (en) * 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
WO2013176762A1 (en) 2012-05-22 2013-11-28 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
JP6350283B2 (ja) * 2012-09-12 2018-07-04 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US9998705B2 (en) * 2013-08-09 2018-06-12 Samsung Electronics Co., Ltd. Hybrid visual communication
US9325936B2 (en) 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
US10438631B2 (en) 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
JP2015172883A (ja) * 2014-03-12 2015-10-01 株式会社コナミデジタルエンタテインメント 端末装置、情報通信方法及び情報通信プログラム
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
CN104301655A (zh) * 2014-10-29 2015-01-21 四川智诚天逸科技有限公司 一种眼球追踪的视频通信设备
JP6547290B2 (ja) * 2014-12-17 2019-07-24 オムロン株式会社 画像センシングシステム
CN104618721B (zh) * 2015-01-28 2018-01-26 山东大学 基于特征建模的极低码率下人脸视频编解码方法
US10419497B2 (en) * 2015-03-31 2019-09-17 Bose Corporation Establishing communication between digital media servers and audio playback devices in audio systems
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
WO2016161556A1 (en) * 2015-04-07 2016-10-13 Intel Corporation Avatar keyboard
US20180211096A1 (en) * 2015-06-30 2018-07-26 Beijing Kuangshi Technology Co., Ltd. Living-body detection method and device and computer program product
US20170178287A1 (en) * 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
CN105516785A (zh) * 2016-02-18 2016-04-20 启云科技股份有限公司 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技（上海）有限公司 一种在虚拟场景中进行视频通信的方法及装置
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10573048B2 (en) * 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10950275B2 (en) 2016-11-18 2021-03-16 Facebook, Inc. Methods and systems for tracking media effects in a media effect index
US10122965B2 (en) 2016-11-29 2018-11-06 Facebook, Inc. Face detection for background management
US10303928B2 (en) 2016-11-29 2019-05-28 Facebook, Inc. Face detection for video calls
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application
WO2018128996A1 (en) * 2017-01-03 2018-07-12 Clipo, Inc. System and method for facilitating dynamic avatar based on real-time facial expression detection
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
CN110313019B (zh) * 2017-02-24 2023-07-04 索尼公司 信息处理设备、信息处理方法和计算机可读介质
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
CN111010882B (zh) 2017-04-27 2023-11-03 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
EP3590095B1 (en) * 2017-05-16 2024-04-24 Apple Inc. Emoji recording and sending
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) * 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10244208B1 (en) * 2017-12-12 2019-03-26 Facebook, Inc. Systems and methods for visually representing users in communication applications
KR102421856B1 (ko) 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10613827B2 (en) * 2018-03-06 2020-04-07 Language Line Services, Inc. Configuration for simulating a video remote interpretation session
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
KR20240027845A (ko) 2018-04-18 2024-03-04 스냅 인코포레이티드 증강 표현 시스템
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
WO2019217177A1 (en) * 2018-05-07 2019-11-14 Google Llc Puppeteering a remote avatar by facial expressions
DK201870380A1 (en) 2018-05-07 2020-01-29 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技（深圳）有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
CN108845741B (zh) * 2018-06-19 2020-08-21 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
KR102664710B1 (ko) * 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US20200175739A1 (en) * 2018-12-04 2020-06-04 Robert Bosch Gmbh Method and Device for Generating and Displaying an Electronic Avatar
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
CN109727320A (zh) * 2018-12-29 2019-05-07 三星电子（中国）研发中心 一种虚拟化身的生成方法和设备
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US10666902B1 (en) 2019-01-30 2020-05-26 Microsoft Technology Licensing, Llc Display conflict elimination in videoconferencing
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
CN110174942B (zh) * 2019-04-30 2021-01-19 北京航空航天大学 眼动合成方法及装置
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11074753B2 (en) * 2019-06-02 2021-07-27 Apple Inc. Multi-pass object rendering using a three- dimensional geometric constraint
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11158028B1 (en) * 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
WO2021203120A1 (en) 2020-03-31 2021-10-07 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
WO2022073113A1 (en) * 2020-10-05 2022-04-14 Mirametrix Inc. System and methods for enhanced videoconferencing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11418760B1 (en) 2021-01-29 2022-08-16 Microsoft Technology Licensing, Llc Visual indicators for providing user awareness of independent activity of participants of a communication session
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
CN115002391A (zh) * 2022-05-16 2022-09-02 中国第一汽车股份有限公司 一种车载随动虚拟形象视频会议系统及控制方法
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6313864B1 (en) * 1997-03-24 2001-11-06 Olympus Optical Co., Ltd. Image and voice communication system and videophone transfer method
CN1532775A (zh) * 2003-03-19 2004-09-29 ���µ�����ҵ��ʽ���� 可视电话终端

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076118B1 (en) * 1997-12-05 2006-07-11 Sharp Laboratories Of America, Inc. Document classification system
WO1999053443A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
DE10129662A1 (de) * 2001-06-20 2003-01-09 Philips Corp Intellectual Pty Kommunikationssystem mit Systemkomponenten zur Feststellung der Urheberschaft eines Kommunikationsbeitrages
KR20050102079A (ko) * 2002-12-12 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 이동영상통신을 위한 아바타 데이터베이스
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7447211B1 (en) * 2004-03-23 2008-11-04 Avaya Inc. Method and apparatus of establishing a communication channel using protected network resources
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
JP2007220004A (ja) * 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
US7969461B2 (en) * 2006-03-30 2011-06-28 Polycom, Inc. System and method for exchanging connection information for videoconferencing units using instant messaging
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
US8726195B2 (en) * 2006-09-05 2014-05-13 Aol Inc. Enabling an IM user to navigate a virtual world
CN1972274A (zh) * 2006-11-07 2007-05-30 搜图科技（南京）有限公司 基于互联网和移动应用的人脸图像变化处理系统及方法
CN101669328A (zh) * 2007-02-09 2010-03-10 达丽星网络有限公司 用于电信网络中的多媒体内容适配的方法和装置
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20090055484A1 (en) * 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
CN101472158A (zh) 2007-12-27 2009-07-01 上海银晨智能识别科技有限公司 基于人脸检测的网络摄像装置及图像形成方法
US8340452B2 (en) * 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
EP2107708A1 (en) * 2008-04-04 2009-10-07 Deutsche Thomson OHG Method for transporting data over a data connection and network component
CN101610421B (zh) * 2008-06-17 2011-12-21 华为终端有限公司 视频通讯方法、装置及系统
US20100070858A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Interactive Media System and Method Using Context-Based Avatar Configuration
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
CN102087750A (zh) * 2010-06-13 2011-06-08 湖南宏梦信息科技有限公司 一种动漫特效的制作方法
US20120058747A1 (en) * 2010-09-08 2012-03-08 James Yiannios Method For Communicating and Displaying Interactive Avatar
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
US20130004028A1 (en) * 2011-06-28 2013-01-03 Jones Michael J Method for Filtering Using Block-Gabor Filters for Determining Descriptors for Images
US20130109302A1 (en) * 2011-10-31 2013-05-02 Royce A. Levien Multi-modality communication with conversion offloading
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
EP2795936B1 (en) * 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6313864B1 (en) * 1997-03-24 2001-11-06 Olympus Optical Co., Ltd. Image and voice communication system and videophone transfer method
CN1532775A (zh) * 2003-03-19 2004-09-29 ���µ�����ҵ��ʽ���� 可视电话终端

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
US11595617B2 (en) 2012-04-09 2023-02-28 Intel Corporation Communication using interactive avatars
CN111523395B (zh) * 2014-09-24 2024-01-23 英特尔公司 面部动作驱动的动画通信系统
US9984487B2 (en) 2014-09-24 2018-05-29 Intel Corporation Facial gesture driven animation communication system
CN106575444B (zh) * 2014-09-24 2020-06-30 英特尔公司 用户姿势驱动的化身装置和方法
CN111523395A (zh) * 2014-09-24 2020-08-11 英特尔公司 面部动作驱动的动画通信系统
CN106575444A (zh) * 2014-09-24 2017-04-19 英特尔公司 用户姿势驱动的化身装置和方法
WO2016045010A1 (en) * 2014-09-24 2016-03-31 Intel Corporation Facial gesture driven animation communication system
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system
CN107705341A (zh) * 2016-08-08 2018-02-16 创奇思科研有限公司 用户表情头像生成的方法及其装置
CN110378987A (zh) * 2017-05-16 2019-10-25 苹果公司 表情符号录制和发送
US10845968B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10846905B2 (en) 2017-05-16 2020-11-24 Apple Inc. Emoji recording and sending
US10997768B2 (en) 2017-05-16 2021-05-04 Apple Inc. Emoji recording and sending
CN110378987B (zh) * 2017-05-16 2021-08-31 苹果公司 表情符号录制和发送
US11532112B2 (en) 2017-05-16 2022-12-20 Apple Inc. Emoji recording and sending
CN110036412A (zh) * 2017-05-16 2019-07-19 苹果公司 表情符号录制和发送
CN111787986A (zh) * 2018-02-28 2020-10-16 苹果公司 基于面部表情的语音效果
US10861248B2 (en) 2018-05-07 2020-12-08 Apple Inc. Avatar creation user interface
US11380077B2 (en) 2018-05-07 2022-07-05 Apple Inc. Avatar creation user interface
US11682182B2 (en) 2018-05-07 2023-06-20 Apple Inc. Avatar creation user interface
CN112512649A (zh) * 2018-07-11 2021-03-16 苹果公司 用于提供音频和视频效果的技术
CN112512649B (zh) * 2018-07-11 2024-05-24 苹果公司 用于提供音频和视频效果的技术
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN110213521A (zh) * 2019-05-22 2019-09-06 创易汇(北京)科技有限公司 一种虚拟即时通信方法
US11733769B2 (en) 2020-06-08 2023-08-22 Apple Inc. Presenting avatars in three-dimensional environments
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置

Also Published As

Publication number Publication date
US20170111616A1 (en) 2017-04-20
CN104115503A (zh) 2014-10-22
US20140218459A1 (en) 2014-08-07
US20140055554A1 (en) 2014-02-27
US9398262B2 (en) 2016-07-19
US20170111615A1 (en) 2017-04-20
WO2013097264A1 (en) 2013-07-04
WO2013097139A1 (en) 2013-07-04
US20170054945A1 (en) 2017-02-23
CN106961621A (zh) 2017-07-18
US20170310934A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
CN104011738A (zh) 用于使用交互式化身进行通信的系统和方法
US11595617B2 (en) Communication using interactive avatars
CN104205171A (zh) 用于化身生成、渲染和动画的系统和方法
US9936165B2 (en) System and method for avatar creation and synchronization
CN104170358B (zh) 用于化身管理和选择的系统和方法
TWI583198B (zh) 使用互動化身的通訊技術
TWI682669B (zh) 使用互動化身的通訊技術（五）

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140827