CN106961621A - 使用化身的通信 - Google Patents

使用化身的通信 Download PDF

Info

Publication number
CN106961621A
CN106961621A CN201710066013.2A CN201710066013A CN106961621A CN 106961621 A CN106961621 A CN 106961621A CN 201710066013 A CN201710066013 A CN 201710066013A CN 106961621 A CN106961621 A CN 106961621A
Authority
CN
China
Prior art keywords
computing device
incarnation
user
information
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710066013.2A
Other languages
English (en)
Inventor
W·李
X·童
Y·杜
Q·E·栗
Y·张
W·胡
H·A·李
J·G·坦南特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201710066013.2A priority Critical patent/CN106961621A/zh
Publication of CN106961621A publication Critical patent/CN106961621A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开内容一般地描述了一种视频通信系统，所述系统利用动画的化身来代替参与用户的真实的实况图像。一种方法可以包括：选择化身、发起通信、捕获图像、检测图像中的面部、从面部提取特征、将面部特征转化为化身参数、以及发送化身选择或化身参数中的至少一个。

Description

使用化身的通信
本申请为分案申请，其原申请是于2014年06月25日向中国专利局提交的专利申请，申请号为201180075926.1，发明名称为“使用化身的通信”。
技术领域
以下的公开内容涉及视频通信和交互，并且更具体的，涉及使用化身(avatar)进行视频通信和交互的方法。
背景技术
移动设备中不断增加的各种可用功能已经引起了用户除了简单的通话外还经由视频进行通信的需求。例如，用户可以发起“视频通话”、“视频会议”等，其中，设备中的摄像机和麦克风向一个或多个其它接收方(例如其它移动设备、台式电脑、视频会议系统等)发送用户的音频和实时视频。实时视频的通信可能涉及传输大量的数据(例如，这取决于摄像机的技术、用于处理实时图像信息的特定视频编解码器等)。考虑到现有2G/3G无线技术的带宽限制以及并且新兴4G无线技术的仍然受限的可用性，很多设备用户进行并发视频通话的主张给现有的无线通信基础设施的带宽带来了巨大的负担，这可能会负面地对视频通话的质量造成影响。
附图说明
随着下述具体实施方式的继续，并且在参考附图之后，所要求保护的主题的各个实施例的特征和优点将会变得显而易见，其中相同的数字表示相同的部件，其中：
图1A示出了依照本公开内容的各个实施例的示例性设备到设备系统；
图1B示出了依照本公开内容的各个实施例的示例性虚拟空间系统；
图2示出了依照本公开内容的各个实施例的示例性设备；
图3示出了依照本公开内容的至少一个实施例的示例性系统实现；
图4是依照本公开内容的至少一个实施例的示例性操作的流程图。
尽管将在参考说明性实施例的情况下继续下述的具体实施方式，但是其多种替代、修改和变型对于本领域技术人员来说将是显而易见的。
具体实施方式
一般来讲，本公开内容描述了使用化身进行视频通信和交互的系统和方法。与实况图像相比，使用化身大大地降低了要传输的数据量，并且因此，化身通信需要更少的带宽。在一个实施例中，激活耦合到摄像机的设备中的应用。所述应用可以被配置为允许用户选择一个化身以用于在远程设备上、在虚拟空间等中进行显示。所述设备随后可以被配置为发起与至少一个其它设备、虚拟空间等的通信。例如，可以通过2G、3G、4G蜂窝连接来建立所述通信。可替换，可以经由WiFi连接通过因特网来建立所述通信。在建立所述通信之后，所述摄像机可以被配置为开始捕获图像。随后在捕获的图像上执行面部检测/追踪，并且在面部上执行特征提取。检测到的面部/头部移动和/或面部特征的变化面部随后被转换为对在至少一个其它设备上、在虚拟空间等中使所述化身动画化有用的参数。随后传输化身选择或化身参数中的至少一个。在一个实施例中，接收远程化身选择或远程化身参数中的至少一个。所述远程化身选择可以使得所述设备显示化身，而所述远程化身参数可以使得所述设备使所显示的化身动画化。利用已知的方法，音频通信伴随着化身动画。
图1A示出了根据本公开内容的各个实施例的设备到设备系统100。系统100一般可以包括经由网络122通信的设备102和112。设备102至少包括摄像机104、麦克风106和显示器108。设备112至少包括摄像机114、麦克风116和显示器118。网络122至少包括服务器124。
设备102和112可以包括能够进行有线和/或无线通信的各种硬件平台。例如，设备102和112可以包括但不限于视频会议系统、台式电脑、膝上型电脑、平板电脑、智能电话(例如基于安卓的电话、 基于的电话、基于的电话等)、蜂窝手持机等。摄像机104和114包括用于捕获数字图像的任意设备，所述数字图像表示包括一个或多个人的环境，并且摄像机104和114可以具有足够的分辨率，用于对所述环境中的一个或多个人进行面部分析，如本文中所描述的。例如，摄像机104和114可以包括静止摄像机(例如被配置为捕获静止图像的摄像机)或者视频摄像机(例如被配置为捕获包括多个帧的运动图像的摄像机)。摄像机104和114可以被配置为利用可见光频谱的光或者利用不限于红外线频谱、紫外线频谱等的电磁波频谱的其它部分进行操作。摄像机104和114可以被分别整合到设备102和112中，或者可以是被配置为经由有线或无线通信与设备102和112进行通信的分离设备。摄像机104和114的具体示例可以包括可以与计算机、视频监控器等关联的有线(例如，通用串行总线(USB)、以太网、火线等)或者无线(例如，WiFi、蓝牙等)网络摄像机、移动设备摄像机(例如集成到例如之前讨论的示例性设备中的蜂窝电话或智能电话摄像机)、集成的膝上型电脑摄像机、集成的平板电脑摄像机(例如，Galaxy等)等等。设备102和112可以进一步包括麦克风106和116。
麦克风106和116包括被配置为感测声音的任意设备。麦克风106和116可以被分别集成到设备102和112中，或者可以经由有线或无线通信与这些设备交互，就像在上面示例中关于摄像机104和114所描述的一样。显示器108和118包括被配置为显示文本、静止图像、运动图像(例如视频)、用户界面、图形等的任意设备。显示器108和118可以被分别集成到设备102和112，或者可以经由有线或无线通信与这些设备交互，就像在上面中关于摄像机104和114所描述一样。在一个实施例中，显示器108和118被配置为分别显示化身110和120。就像本文所提到的，化身被定义为二维(2D)或三维(3D)的用户图形表示。化身不必与用户的面容相似，因此，虽然化身可以是逼真的表示，但是它们也可以采用绘图、漫画、草图等形式。在系统100中，设备102可以显示表示设备112的用户(例如远程用户)的化身110，类似地，设备112可以显示表示设备102的用户的化身120。用这种方式，用户可以看到其他用户的表示，而不需要交换采用实况图像的设备到设备通信所涉及的大量的信息。
网络122可以包括各种第二代(2G)、第三代(3G)、第四代(4G)基于蜂窝的数据通信技术、WiFi无线数据通信技术等。网络122包括至少一个服务器124，其被配置为在使用这些技术时建立和维持通信连接。例如，服务器124可以被配置为支持与因特网有关的通信协议，例如：会话发起协议(SIP)，用于建立、修改和终止两方(单播)和多方(组播)会话；交互式连接建立协议(ICE)，用于提供允许在字节流连接之上建立协议的框架；网络接入转换(或NAT)会话遍历实用协议(STUN)，用于允许通过NAT运行的应用发现分配给应用的用户数据报协议(UDP)连接以连接到远程主机的其它NAT、IP地址和端口的存在；使用中继遍历NAT(TURN)，用于允许NAT或防火墙后面的元件通过传输控制协议(TCP)或UDP连接接收数据；等等。
图1B示出了根据本公开内容的各个实施例的虚拟空间系统126。系统126可以待用设备102、设备112和服务器124。设备102、设备112和服务器124可以以与图1A所示的方式类似的方式继续通信，但是用户交互可以发生在虚拟空间128中，而不是设备到设备的形式。就像本文所提到的，虚拟空间可以被定义为物理场所的数字仿真。例如，虚拟空间128可以类似于户外场所(如城市、道路、人行道、原野、森林、岛屿等)，或者类似于室内场所(如办公室、住宅、学校、商场、商店等)。由化身表示的用户在虚拟空间128中的交互看起来可以像在真实世界中的交互。虚拟空间128可以存在于耦合到因特网的一个或多个服务器上，并且可由第三方维护。虚拟空间的示例包括虚拟办公室、虚拟会议室、类似的虚拟世界、类似的大型多人在线角色扮演游戏(MMORPG)、类似的大型多人在线真实生活游戏(MMORLG)等。在系统126中，虚拟空间128可以包括与不同用户对应的多个化身。并不是显示化身，显示器108和118可以显示虚拟空间(VS)128的封装的(例如更小的)版本。例如，显示器108可以显示与设备102的用户相对应的化身在虚拟空间128中“看到”的东西的透视图。类似的，显示器118可以显示与设备112的用户相对应的化身在虚拟空间128中“看到”的东西的透视图。化身在虚拟空间128中可能看到的东西的示例包括但不限于虚拟建筑物(例如大楼)、虚拟车辆、虚拟物体、虚拟动物、其他化身等。
图2示出了根据本公开内容的各个实施例的示例性设备102。虽然仅仅描述了设备102，但是设备112(例如远程设备)可以包括被配置为提供相同或类似功能的资源。正如之前所讨论的，示出了包括摄像机104、麦克风106和显示器108的设备102。摄像机104和麦克风106可以给摄像机和音频构架模块200提供输入。摄像机和音频构架模块200可以包括定制的、专有的、已知的和/或以后开发的音频和视频处理代码(或指令集)，所述音频和视频处理代码一般是意义明确的并且用于至少控制摄像机104和麦克风106。例如，摄像机和音频构架模块200可以使得摄像机104和麦克风106记录图像和/或声音，可以处理图像和/或声音，可以使得图像和/或声音被再现等等。摄像机和音频构架模块200可以变化，这取决于设备102，并且更具体地取决于在设备102中运行的操作系统(OS)。示例性操作系统包括OS、OS等。扬声器202可以接收来自摄像机和音频构架模块200的音频信息，并且可以被配置为重现本地声音(例如以提供用户声音的音频反馈)和远程声音(例如，在虚拟空间中参与电话、视频通话或交互的其它方的声音)。
面部检测和追踪模块204可以被配置为在摄像机104所提供的图像中识别和追踪头部、面部和/或面部区域。例如，面部检测模块204可以包括定制的、专有的、已知的和/或以后开发的面部检测代码(或指令集)、硬件和/或固件，所述面部检测代码、硬件和/或固件一般是意义明确的并且用于接收标准格式的图像(例如但不限于RGB彩色图像)，以及至少在一定的范围内识别图像中的面部。面部检测和追踪模块204还可以被配置为通过一系列图像(例如24帧/秒的视频帧)追踪检测到的面部，并且基于检测到的面部确定头部位置。可以被面部检测/追踪模块204使用的已知的追踪系统可以包括粒子滤波、均值漂移、卡尔曼滤波等，它们中的每一个可以利用边缘分析、平方差之和分析、特征点分析、直方图分析、肤色分析等。
特征提取模块206可以被配置为识别面部检测模块204检测到的面部中的特征(例如，诸如眼睛、眉毛、鼻子、嘴等等之类的面部界标的位置和/或形状)。在一个实施例中，化身动画可以直接基于感测到的面部动作(例如面部特征的变化)，而不需要面部表情的识别。化身面部上的相应特征点可以遵循或模仿真实人脸的运动，这被称为“表情克隆”或“性能驱动的面部动画”。特征提取模块206可以包括定制的、专有的、已知的和/或以后开发的面部特性识别代码(或指令集)，所述面部特性识别代码一般是意义明确的并且用于从摄像机104接收标准格式的图像(例如但不限于RGB彩色图像)，以及至少在一定程度上提取图像中的一个或多个面部特性。这些已知的面部特性系统包括但不限于科罗拉多州大学的CSU面部识别评估系统。
特征提取模块206还可以被配置为识别与检测到的特征相关联的表情(例如，识别先前检测到的面部是否快乐、悲伤、微笑、皱眉、惊讶、兴奋等)。因此，特征提取模块206可以进一步包括定制的、专有的、已知的和/或以后开发的面部表情检测和/或识别代码(或指令集)，所述面部表情检测和/或识别代码一般是意义明确的，并且用于检测和/或识别面部的表情。例如，特征提取模块206可以确定面部特征(例如眼睛、嘴巴、脸颊、牙齿等)的大小和/或位置，并且可以将这些面部特征与面部特征库进行比较，所述面部特征库包括具有相应的面部特征分类(例如微笑、皱眉、兴奋、悲伤等)的样本面部特征。
化身选择模块208被配置为允许设备102的用户选择在远程设备上显示的化身。化身选择模块208可以包括定制的、专有的、已知的和/或以后开发的用户接口指令代码(或指令集)，所述用户接口指令代码一般是意义明确的并且用于向用户呈现不同的化身，使得用户可以选择化身中的一个。在一个实施例中，可以在设备102中预先定义一个或多个化身。预先定义的化身允许所有的设备都具有相同的化身，并且在交互期间，仅仅化身的选择(例如预先定义的化身的识别)需要被传输到远程设备或虚拟空间，这样减少了需要交换的信息量。在建立通信之前选择化身，但是也可以在活动的通信过程期间改变化身。因此，在通信期间的任意点发送和接收化身的选择以及接收设备根据接收的化身选择改变所显示的化身是可能的。
化身控制模块210被配置为生成用于对化身进行动画化的参数。本文中所提及的动画可以被定义为改变图像/模型的外观。单个的动画可以改变2D静止图像的外观，或者多个动画可以顺序地出现以模仿图像中的运动(例如头部旋转、点头、眨眼、谈话、皱眉、微笑、大笑、打盹、眨眼等)。3D模型的动画的示例包括：使3D线框模型变形、施加纹理映射以及重新计算模型的顶点法线以用于渲染。检测到的面部和/或提取的面部特征的位置变化可以被转换为参数，所述参数使得化身的特征类似于用户面部的特征。在一个实施例中，检测到的面部的一般表情可以被转换为一个或多个参数，所述一个或多个参数使得化身展现相同的表情。化身的表情还可以被夸大以强调该表情。当化身参数可以一般性地应用到所有预先定义的化身时，所选化身的知识可以不是必须的。然而，在一个实施例中，化身参数可以是特定于所选化身的，并且因此，如果选择了另一个化身，那么可以改变化身参数。例如，与动物化身、卡通化身等相比，人类化身可能需要不同的参数设置(例如不同的化身特征可能被改变)来展示诸如高兴、悲伤、愤怒、吃惊等等之类的情绪。化身控制模块208可以包括定制的、专有的、已知的和/或以后开发的图形处理代码(或指令集)，所述图形处理代码一般是意义明确的，并且用于基于由面部检测和追踪模块204检测到的面部/头部位置和/或由特征提取模块206检测到的面部特征，来生成用于对由化身选择模块208选择的化身进行动画化的参数。对于基于面部特征的动画方法而言，2D化身动画可以通过例如图像扭曲或图像变形来进行，而3D化身动画可以通过自由形式的变形(FFD)进行或者通过利用定义在头部的3D模型中的动画结构来进行。Oddcast是可用于2D化身动画的软件资源的示例，而FaceGen是可用于3D化身动画的软件资源的示例。
此外，在系统100中，化身控制模块210可以接收远程化身选择和远程化身参数，以用于显示和动画化与与远程设备处的用户相对应的化身。化身控制模块可以使得显示模块212在显示器108上显示化身110。显示模块208可以包括定制的、专有的、已知的和/或以后开发的图形处理代码(或指令集)，所述图形处理代码一般是意义明确的，并且用于根据示例性设备到设备的实施例在显示器108上显示和对化身进行动画化。例如，化身控制模块210可以接收远程化身选择，并且可以将远程化身选择解释为与预定的化身相对应。显示模块212随后可以在显示器108上显示化身110。此外，可以解释在化身控制模块210中接收到的远程化身参数，并且可以向显示模块212提供对化身110进行动画化的命令。在一个实施例中，可能有多于两个的用户参与视频通话。当多于两个的用户在视频通话中交互时，显示器108可被划分或分割，以允许同时显示多于一个的与远程用户相对应的化身。可替换地，在系统126中，化身控制模块210可以接收信息，所述信息使得显示模块212显示与设备102的用户相对应的化身(例如从化身的虚拟视角)在虚拟空间128中所“看到”的内容。例如，显示器108可以显示在虚拟空间108中表示的建筑物、物体、动物、其它化身等。在一个实施例中，化身控制模块210可以被配置为使得显示模块212显示“反馈”化身214。反馈化身214表示所选化身在虚拟场所等中是如何呈现在远程设备上的。具体地，反馈化身214作为用户所选择的化身而呈现，并且可以使用化身控制模块210生成的相同的参数进行动画化。这样，用户可以确认在他们的交互期间远程用户看到的内容。
通信模块216被配置为发送和接收信息，以用于选择化身、显示化身、对化身进行动画化、显示虚拟场所视图等。通信模块216可以包括定制的、专有的、已知的和/或以后开发的通信处理代码(或指令集)，所述通信处理代码一般是意义明确的，并且用于发送化身选择、化身参数以及接收远程化身选择和远程化身参数。通信模块216还可以发送和接收对应于基于化身的交互的音频信息。通信模块216可以经由网络122来发送和接收上述信息，如之前所描述的。
图3示出了了根据至少一个实施例的示例性系统实现。设备102’被配置为经由WiFi连接300进行无线通信(例如在工作时)，服务器124’被配置为经由因特网302在设备102’和112’之间协商连接，并且装置112’被配置为经由另一个WiFi连接304进行无线通信(例如在家时)。在一个实施例中，在装置102’中激活设备到设备的基于化身的视频通话应用。在化身选择之后，所述应用可以允许选择至少一个远程设备(例如设备112’)。所述应用随后可以使得设备102’发起与设备112’的通信。可以发起通信，其中设备102’经由企业接入点(AP)306向设备112’发送连接建立请求。企业AP 306可以是用在商业环境中的AP，因此，相比于家庭AP 304，可以支持更高的数据吞吐量和更多的并发无线客户端。企业AP 306可以从设备102’接收无线信号，并且可以经由网关308通过多个商业网络继续发送连接建立请求。所述连接建立请求随后可以通过防火墙310，所述防火墙310可以被配置为控制流入和流出WiFi网络300的信息。
设备102’的连接建立请求随后可以被服务器124’处理。服务器124’可以被配置用于IP地址的注册、目的地地址的认证和NAT遍历，使得所述连接建立请求可以被定向至因特网302上的正确目的地。例如，服务器124’可以根据从设备102’接收到的连接建立请求中的信息中解析预期的目的地(例如远程设备112’)，并且可以路由所述信号通过正确的NAT、端口，从而据此到达目的地IP地址。这些操作可能只需要在连接建立期间被执行，这取决于网络配置。在一些实例中，在视频通话期间可以重复这些操作，以向NAT提供通知以保持连接存活。在已经建立了连接之后，媒体和信号路径312可以携带视频(例如化身选择和/或化身参数)以及音频信息，方向为指向家庭AP 314。随后设备112’可以接收所述连接建立请求，并可以被配置为确定是否接受所述请求。确定是否接受所述请求可以包括：例如向设备112’的用户呈现可视注解语句，询问是否接受来自设备102’的连接请求。如果设备112’的用户接受所述连接(例如接受视频通话)，则建立所述连接。摄像机104’和114’可被配置为随后分别开始捕获设备102’和112’的各自用户的图像，用于对每个用户所选择的化身进行动画化。麦克风106’和116’可以被配置为随后开始记录来自每一个用户的音频。随着设备102’和112’之间的交换信息的开始，显示器108’和118’可以显示和并对与设备102’和112’的用户相对应的化身进行动画化。
图4是根据至少一个实施例的示例性操作的流程图。在操作402中，可以在设备中激活应用(例如，基于化身的视频通话应用)。在应用的激活之后可以是化身选择。化身选择可以包括：所述应用呈现界面，所述界面允许用户选择预先定义的化身。在化身选择之后，在操作404中可以配置通信。通信配置包括：参与视频通话的至少一个远程设备或虚拟空间的识别。例如，用户可以从远程用户/设备列表中进行选择，所述列表存储在所述应用程序中、与设备中的另一个系统关联地存储(例如智能电话、手机等中的联系人列表)、远程地存储，例如在因特网上(例如，在诸如脸书、领英、雅虎、谷歌、MSN等社交媒体网站中)。可替换地，用户可以选择在例如第二人生之类的虚拟空间上网。
在操作406中，可以在设备和至少一个远程设备或虚拟空间之间发起通信。例如，可以向远程设备或虚拟空间发送连接建立请求。在本文中为了解释的目的，假设所述远程设备或虚拟空间接受所述连接建立请求。在操作408中，设备中的摄像机随后可以开始捕获图像。所述图像可以是静止图像或实况视频(例如顺序地捕获的多个图像)。在操作410中，可以发生图像分析，开始于图像中的面部/头部的检测/追踪。随后可以分析检测到的面部以提取面部特征(例如面部界标、面部表情等)。在操作412中，将检测到的面部/头部位置和/或面部特征转换为化身参数。化身参数被用于在远程设备或虚拟空间中对所选化身进行动画化。在操作414中，可以发送化身选择或化身参数中的至少一个。
在操作416中，可以显示化身并对其进行动画化。在设备到设备通信的实例(例如系统100)中，可以从所述远程设备接收远程化身选择或远程化身参数中的至少一个。随后，可以基于接收到的远程化身选择来显示对应于远程用户的化身，并且可以基于接收到的远程化身参数来对对应于远程用户的化身进行动画化。在虚拟场所交互的实例(系统126)中，可以接收允许所述设备显示对应于设备用户的化身看到的内容的信息。随后在操作418中可以做出当前通信是否完成的确定。如果在操作418中确定所述通信没有完成，则可以重复操作408-416，以基于对用户面部的分析继续在远程装置上显示化身并对化身进行动画化。否则，在操作420中可以终止所述通信。例如如果不再进行视频通话，那么也可以终止所述视频通话应用。
虽然图4示出了根据实施例的各种操作，但是要理解的是，图4中描述的操作对于其它实施例而言并不都是必需的。实际上，在本文中可以完全预料到的是，在本公开内容的其它实施例中，图4描述的操作和/或本文中描述的其它操作，可以以任何附图中没有专门示出的方式进行组合，但仍然完全符合本公开内容。因此，针对没有确切地显示在附图中的特征和/或操作的权利要求被认为是处于本公开的精神和内容之中。
如在本文的任意实施例中所使用的，术语“模块”可以指被配置为执行上述操作中的任何一个的软件、固件和/或电路。软件可以具体化为记录在非暂时性计算机可读存储介质中的软件包、代码、指令、指令集和/或数据。固件可以具体化为在存储设备中被硬编码(例如非易失性)的代码、指令或指令集和/或数据。如在本文的任意实施例中所使用，“电路”可以包括例如单个的或组合的硬线电路、可编程电路(例如包括一个或多个单独的指令处理核的计算机处理器)、状态机电路和/或存储可编程电路所执行的指令的固件。所述模块可以共同地或单独地被具体化为形成较大系统的一部分的电路，例如集成电路(IC)、片上系统(SoC)、台式电脑、膝上型电脑、平板电脑、服务器、智能电话等。
本文中所描述的任意操作可以实现在包括一个或多个存储介质的系统中，在所述存储介质上存储有单独的或组合的指令，所述指令在被一个或多个处理器执行时执行所述方法。在这里，处理器可以包括例如服务器CPU、移动设备CPU和/或其它可编程的电路。而且，本文中所描述的操作旨在可以分布在多个物理设备上，例如不止一个的不同的物理位置处的处理结构。存储介质可以包括任意类型的有形介质，例如，任意类型的磁盘(包括硬盘、软盘、光盘、只读光盘存储器(CD-ROMs)、可重写光盘(CD-RW)以及永磁光盘)、半导体设备(例如只读存储器(ROM)、随机存取存储器(RAM)(例如动态和静态RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态盘(SSDs)、磁或光卡)、或者任意类型的适于存储电子指令的介质。其它实施例可以被实现成由可编程控制设备执行的软件模块。所述存储介质可以是非暂时性的。
因此，本公开内容提供了一种用于使用化身而不是实况图像进行视频通信的方法和系统。相比于实况图像的发送，化身的使用减少了要交换的信息量。选择化身，并且之后可以建立通信。每一个设备中的摄像机可以捕获参与者的图像。可以分析图像来确定面部位置和面部特征。所述面部位置和/或面部特征随后被转换为化身参数，发送化身选择或化身参数中的至少一个来进行显示/动画化。
根据一个方面，提供了一种方法。所述方法可以包括：选择化身、发起通信、捕获图像、在图像中检测面部、从面部提取特征、将面部特征转换为化身参数以及发送化身选择或化身参数中的至少一个。
根据另一方面，提供了一种系统。所述系统可以包括：被配置为捕获图像的摄像机、被配置为发送和接收信息的通信模块、以及一个或多个存储介质。此外，所述一个或多个存储介质具有单独地或组合地存储在其上的指令，所述指令在被一个或多个处理器执行时，导致以下操作，所述操作包括：选择化身、发起通信、捕获图像、在图像中检测面部、从面部提取面部特征、将面部特征转换为化身参数以及发送化身选择或化身参数中的至少一个。
根据另一方面，提供了一种系统。所述系统可以包括一个或多个存储介质，所述一个或多个存储介质具有单独地或组合地存储在其上的指令，所述指令在被一个或多个处理器执行时导致以下操作，包括：选择化身、发起通信、捕获图像、在图像中检测面部、从面部提取特征面部、将面部特征转换为化身参数以及发送化身选择或化身参数中的至少一个。
本文中已经使用的术语和表达作为描述的术语，而不是进行限制的术语，并且使用这样的术语和表达的意图并不是要排除所示出和描述的特征(或其部分)的等价形式，并且要认识的是，落入权利要求范围内的各种修改都是可能的。因此，权利要求旨在涵盖所有这类等价形式。

Claims (34)

1.具有存储在其上的指令的一个或多个非暂时性的计算机可读存储设备，当由第一计算设备的至少一个处理器执行时，所述指令引起以下的操作，包括：
使得能够对化身进行选择；
识别所述第一计算设备的用户的一个或多个面部特征；
生成要被发送到第二计算设备的信息，以使选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第一选择的化身显示在所述第一计算设备上，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上。
2.如权利要求1所述的一个或多个存储设备，其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个视频图像来进行识别的。
3.如权利要求1所述的一个或多个存储设备，其中，当由所述第一计算设备的至少一个处理器执行时，所述指令引起附加的操作，包括：
处理所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
4.如权利要求1所述的一个或多个存储设备，其中，当由所述第一计算设备的至少一个处理器执行时，所述指令引起附加的操作，包括：
使得能够选择第二化身；
生成要被发送到所述第二计算设备的第二信息，以使得第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第二选择的化身显示在所述第一计算设备上，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
5.一种第一计算设备，包括：
用于存储指令和数据的存储器电路；
用于显示化身的显示设备；以及
处理器电路，其用于处理一个或多个指令来执行以下操作，包括：
使得能够选择第一化身；
识别所述第一计算设备的用户的一个或多个面部特征；
生成要被发送到第二计算设备的信息，以使第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第一选择的化身显示在所述显示器设备上，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上。
6.如权利要求5所述的第一计算设备，还包括：
视频照相设备，其用于捕获所述第一计算设备的用户的一个或多个视频图像；其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个捕获的视频图像而被识别的。
7.如权利要求5所述的第一计算设备，还包括：音频捕获设备，其用于捕获所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
8.如权利要求5所述的第一计算设备，其中，所述处理器用于处理用于执行附加的操作的一个或多个指令，所述附加的操作包括：
使得能够选择第二化身；
生成要被发送到所述第二计算设备的第二信息，以使得第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第二选择的化身显示在所述显示设备上，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
9.一种方法，包括：
使得能够由第一计算设备选择第一化身；
由所述第一计算设备来识别所述第一计算设备的用户的一个或多个面部特征；
由所述第一计算设备生成要被发送到第二计算设备的信息，以使得第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
由所述第一计算设备将所述第一选择的化身显示在所述第一显示设备上，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上。
10.如权利要求9所述的方法，其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个视频图像来进行识别的。
11.如权利要求9所述的方法，还包括：
由所述第一计算设备处理所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
12.如权利要求9所述的方法，还包括：
使得能够由所述第一计算设备选择第二化身；
由所述第一计算设备生成要被发送到所述第二计算设备的第二信息，以使得第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
由所述第一计算设备将所述第二选择的化身显示在所述第一计算设备上，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
13.一种第一计算设备，包括：
化身选择模块，其用于使得能够选择第一化身；
特征提取模块，其用于识别所述第一计算设备的用户的一个或多个面部特征；
化身控制模块，其用于生成要被发送到第二计算设备的信息，以使第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
显示模块，其用于使所述第一选择的化身显示在所述第一计算设备上，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上。
14.如权利要求13所述的第一计算设备，还包括：面部检测和跟踪模块，其用于检测和跟踪所述第一计算设备的用户的面部。
15.如权利要求13所述的第一计算设备，还包括：音频捕获模块，其用于捕获所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
16.如权利要求13所述的第一计算设备，其中，所述化身选择模块还使得能够选择第二化身。
17.如权利要求16所述的第一计算设备，其中，所述化身控制模块还生成要被发送到所述第二计算设备的第二信息，使得所述第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的。
18.如权利要求17所述的第一计算设备，其中，所述显示模块还用于在所述第一计算设备上显示所述第二选择的化身，以使得所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
19.如权利要求13所述的第一计算设备，还包括：视频捕获设备，其用于捕获所述第一计算设备的用户的一个或多个视频图像；其中，所述一个或多个面部特征是根据计算设备的用户的一个或多个捕获的视频图像而被识别的。
20.具有存储在其上的指令的一个或多个非暂时性计算机可读存储设备，当由第一计算设备的至少一个处理器执行时，所述指令引起以下操作，包括：
使得能够选择用于在所述第一计算设备和第二计算设备之间的视频通话的第一化身；
识别用于所述视频通话的所述第一计算设备的用户的一个或多个面部特征；
生成用于所述视频通话的要被发送到所述第二计算设备的信息，以使第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；
使所述第一选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上；
使得能够选择第二化身用于所述视频通话；
生成用于所述视频通话的要被发送到第二计算设备的第二信息，以使第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第二选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
21.如权利要求20所述的一个或多个存储设备，其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个视频图像来进行识别的。
22.如权利要求20所述的一个或多个存储设备，其中，当由所述第一计算设备的至少一个处理器执行时，所述指令引起附加的操作，包括：
处理所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
23.一种用于使用化身来进行与第二计算设备的视频通话的第一计算设备，所述第一计算设备包括：
存储器电路，其用于存储指令和数据；
显示设备，其用于显示化身；以及
处理器电路，其用于处理一个或多个指令来执行以下操作，包括：
使得能够选择用于所述视频通话的第一化身；
识别用于所述视频通话的所述第一计算设备的用户的一个或多个面部特征；
生成用于所述视频通话的要被发送到所述第二计算设备的信息，以使第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；
使所述第一选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上；
使得能够选择第二化身以用于所述视频通话；
生成用于所述视频通话的要被发送到所述第二计算设备的第二信息，以使第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
使所述第二选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
24.如权利要求23所述的第一计算设备，还包括：
视频照相设备，其用于捕获所述第一计算设备的用户的一个或多个视频图像；其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个捕获的视频图像而被识别的。
25.如权利要求23所述的第一计算设备，还包括：音频捕获设备，其用于捕获所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
26.一种用于使用化身来进行通信的方法，包括：
使得由第一计算设备能够选择用于在所述第一计算设备和第二计算设备之间的视频通话的第一化身；
由所述第一计算设备来识别所述第一计算设备的用户的一个或多个面部特征以用于所述视频通话；
由所述第一计算设备生成用于所述视频通话的要被发送到所述第二计算设备的信息，以使得第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；
由所述第一计算设备将所述第一选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上；
使得由第一计算设备能够选择第二化身以用于所述视频通话；
由用于所述视频通话的所述第一计算设备生成要被发送到所述第二计算设备的第二信息，以使得第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
由用于所述视频通话的所述第一计算设备将所述第二选择的化身显示在所述显示设备上，以使所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
27.如权利要求26所述的方法，其中，所述一个或多个面部特征是根据所述第一计算设备的用户的一个或多个视频图像来进行识别的。
28.如权利要求26所述的方法，还包括：
由所述第一计算设备处理所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
29.一种用于使用化身来进行与第二计算设备的视频通话的第一计算设备，所述第一计算设备包括：
化身选择模块，其用于使得能够选择至少第一化身和第二化身以用于所述视频通话；
特征提取模块，其用于识别所述第一计算设备的用户的一个或多个面部特征以用于所述视频通话；
化身控制模块，其用于生成用于所述视频通话的要被发送到所述第二计算设备的信息，以使第一选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的；以及
显示模块，其用于使所述第一选择的化身显示在所述第一计算设备上以用于所述视频通话，以使所述第一计算设备的用户能够观察到所述第一选择的化身出现在所述第二计算设备上。
30.如权利要求29所述的第一计算设备，其中，所述化身控制模块还用于生成要被发送到所述第二计算设备的第二信息，以使第二选择的化身动画地出现在所述第二计算设备的显示器上；其中，所述第二信息是基于所述第一计算设备的用户的所识别的一个或多个面部特征的。
31.如权利要求30所述的第一计算设备，其中，所述显示模块还用于将所述第二选择的化身显示在所述第一计算设备上，以使得所述第一计算设备的用户能够观察到所述第二选择的化身出现在所述第二计算设备上。
32.如权利要求29所述的第一计算设备，还包括：面部检测和跟踪模块，其用于检测和跟踪所述第一计算设备的用户的面部。
33.如权利要求29所述的第一计算设备，还包括：音频捕获模块，其用于捕获所述第一计算设备的用户的要被发送到所述第二计算设备的音频信息。
34.如权利要求29所述的第一计算设备，还包括：视频捕获模块，其用于捕获所述第一计算设备的用户的一个或多个视频图像；其中，所述一个或多个面部特征是根据计算设备的用户的一个或多个捕获的视频图像而被识别的。
CN201710066013.2A 2011-12-29 2011-12-29 使用化身的通信 Pending CN106961621A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710066013.2A CN106961621A (zh) 2011-12-29 2011-12-29 使用化身的通信

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710066013.2A CN106961621A (zh) 2011-12-29 2011-12-29 使用化身的通信
PCT/CN2011/084902 WO2013097139A1 (en) 2011-12-29 2011-12-29 Communication using avatar
CN201180075926.1A CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180075926.1A Division CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信

Publications (1)

Publication Number Publication Date
CN106961621A true CN106961621A (zh) 2017-07-18

Family

ID=48696221

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710066013.2A Pending CN106961621A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201180075926.1A Pending CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201280064807.0A Pending CN104011738A (zh) 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201180075926.1A Pending CN104115503A (zh) 2011-12-29 2011-12-29 使用化身的通信
CN201280064807.0A Pending CN104011738A (zh) 2011-12-29 2012-04-09 用于使用交互式化身进行通信的系统和方法

Country Status (3)

Country Link
US (6) US9398262B2 (zh)
CN (3) CN106961621A (zh)
WO (2) WO2013097139A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108845741A (zh) * 2018-06-19 2018-11-20 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质

Families Citing this family (255)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10875182B2 (en) 2008-03-20 2020-12-29 Teladoc Health, Inc. Remote presence system mounted to operating room hardware
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
US8670017B2 (en) 2010-03-04 2014-03-11 Intouch Technologies, Inc. Remote presence system including a cart that supports a robot face and an overhead camera
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR102068216B1 (ko) 2011-01-28 2020-01-20 인터치 테크놀로지스 인코퍼레이티드 이동형 원격현전 로봇과의 인터페이싱
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
US9098611B2 (en) 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US10702773B2 (en) * 2012-03-30 2020-07-07 Videx, Inc. Systems and methods for providing an interactive avatar
US9386268B2 (en) 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
WO2013176762A1 (en) 2012-05-22 2013-11-28 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
JP6350283B2 (ja) * 2012-09-12 2018-07-04 ソニー株式会社 画像表示装置及び画像表示方法、並びに記録媒体
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
US10044849B2 (en) 2013-03-15 2018-08-07 Intel Corporation Scalable avatar messaging
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US9998705B2 (en) * 2013-08-09 2018-06-12 Samsung Electronics Co., Ltd. Hybrid visual communication
US9325936B2 (en) 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
US10438631B2 (en) 2014-02-05 2019-10-08 Snap Inc. Method for real-time video processing involving retouching of an object in the video
JP2015172883A (ja) * 2014-03-12 2015-10-01 株式会社コナミデジタルエンタテインメント 端末装置、情報通信方法及び情報通信プログラム
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
US9984487B2 (en) 2014-09-24 2018-05-29 Intel Corporation Facial gesture driven animation communication system
EP3198560A4 (en) * 2014-09-24 2018-05-09 Intel Corporation User gesture driven avatar apparatus and method
CN104301655A (zh) * 2014-10-29 2015-01-21 四川智诚天逸科技有限公司 一种眼球追踪的视频通信设备
JP6547290B2 (ja) * 2014-12-17 2019-07-24 オムロン株式会社 画像センシングシステム
US9830728B2 (en) 2014-12-23 2017-11-28 Intel Corporation Augmented facial animation
CN104618721B (zh) * 2015-01-28 2018-01-26 山东大学 基于特征建模的极低码率下人脸视频编解码方法
US10419497B2 (en) * 2015-03-31 2019-09-17 Bose Corporation Establishing communication between digital media servers and audio playback devices in audio systems
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
WO2016161556A1 (en) * 2015-04-07 2016-10-13 Intel Corporation Avatar keyboard
US20180211096A1 (en) * 2015-06-30 2018-07-26 Beijing Kuangshi Technology Co., Ltd. Living-body detection method and device and computer program product
CN105407313A (zh) * 2015-10-28 2016-03-16 掌赢信息科技（上海）有限公司 一种视频通话方法、设备和系统
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US20170178287A1 (en) * 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
CN105516785A (zh) * 2016-02-18 2016-04-20 启云科技股份有限公司 传送人形玩偶图像或影像的通讯系统、通讯方法与服务器
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技（上海）有限公司 一种在虚拟场景中进行视频通信的方法及装置
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
US10360708B2 (en) * 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
US10573048B2 (en) * 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
CN107705341B (zh) * 2016-08-08 2023-05-12 创奇思科研有限公司 用户表情头像生成的方法及其装置
DK179471B1 (en) 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US10198626B2 (en) 2016-10-19 2019-02-05 Snap Inc. Neural networks for facial modeling
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10950275B2 (en) 2016-11-18 2021-03-16 Facebook, Inc. Methods and systems for tracking media effects in a media effect index
US10122965B2 (en) 2016-11-29 2018-11-06 Facebook, Inc. Face detection for background management
US10303928B2 (en) 2016-11-29 2019-05-28 Facebook, Inc. Face detection for video calls
US10554908B2 (en) * 2016-12-05 2020-02-04 Facebook, Inc. Media effect application
WO2018128996A1 (en) * 2017-01-03 2018-07-12 Clipo, Inc. System and method for facilitating dynamic avatar based on real-time facial expression detection
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US10951562B2 (en) 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
CN110313019B (zh) * 2017-02-24 2023-07-04 索尼公司 信息处理设备、信息处理方法和计算机可读介质
US11069103B1 (en) 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US11862302B2 (en) 2017-04-24 2024-01-02 Teladoc Health, Inc. Automated transcription and documentation of tele-health encounters
CN111010882B (zh) 2017-04-27 2023-11-03 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10521948B2 (en) * 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
EP3590095B1 (en) * 2017-05-16 2024-04-24 Apple Inc. Emoji recording and sending
DK179948B1 (en) * 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
EP3529779A1 (en) * 2017-05-16 2019-08-28 Apple Inc. Emoji recording and sending
US10679428B1 (en) 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10483007B2 (en) 2017-07-25 2019-11-19 Intouch Technologies, Inc. Modular telehealth cart with thermal imaging and touch screen user interface
US11122094B2 (en) 2017-07-28 2021-09-14 Snap Inc. Software application manager for messaging applications
US11636944B2 (en) 2017-08-25 2023-04-25 Teladoc Health, Inc. Connectivity infrastructure for a telehealth platform
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
US10586368B2 (en) 2017-10-26 2020-03-10 Snap Inc. Joint audio-video facial animation system
US10657695B2 (en) * 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US11460974B1 (en) 2017-11-28 2022-10-04 Snap Inc. Content discovery refresh
US11411895B2 (en) 2017-11-29 2022-08-09 Snap Inc. Generating aggregated media content items for a group of users in an electronic messaging application
US10936157B2 (en) 2017-11-29 2021-03-02 Snap Inc. Selectable item including a customized graphic for an electronic messaging application
US10244208B1 (en) * 2017-12-12 2019-03-26 Facebook, Inc. Systems and methods for visually representing users in communication applications
KR102421856B1 (ko) 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
US10949648B1 (en) 2018-01-23 2021-03-16 Snap Inc. Region-based stabilized face tracking
KR102661019B1 (ko) * 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10726603B1 (en) 2018-02-28 2020-07-28 Snap Inc. Animated expressive icon
US10613827B2 (en) * 2018-03-06 2020-04-07 Language Line Services, Inc. Configuration for simulating a video remote interpretation session
US11310176B2 (en) 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
KR20240027845A (ko) 2018-04-18 2024-03-04 스냅 인코포레이티드 증강 표현 시스템
US10617299B2 (en) 2018-04-27 2020-04-14 Intouch Technologies, Inc. Telehealth cart that supports a removable tablet with seamless audio/video switching
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10375313B1 (en) * 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
WO2019217177A1 (en) * 2018-05-07 2019-11-14 Google Llc Puppeteering a remote avatar by facial expressions
DK201870380A1 (en) 2018-05-07 2020-01-29 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
CN108717719A (zh) * 2018-05-23 2018-10-30 腾讯科技（深圳）有限公司 卡通人脸图像的生成方法、装置及计算机存储介质
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US10684681B2 (en) * 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
WO2020013891A1 (en) * 2018-07-11 2020-01-16 Apple Inc. Techniques for providing audio and video effects
US11074675B2 (en) 2018-07-31 2021-07-27 Snap Inc. Eye texture inpainting
KR102664710B1 (ko) * 2018-08-08 2024-05-09 삼성전자주식회사 외부 객체의 위치의 변화에 따라 외부 객체에 대응하는 아바타를 표시하기 위한 전자 장치
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10896534B1 (en) 2018-09-19 2021-01-19 Snap Inc. Avatar style transformation using neural networks
US10895964B1 (en) 2018-09-25 2021-01-19 Snap Inc. Interface to display shared user groups
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11245658B2 (en) 2018-09-28 2022-02-08 Snap Inc. System and method of generating private notifications between users in a communication session
US11189070B2 (en) 2018-09-28 2021-11-30 Snap Inc. System and method of generating targeted user lists using customizable avatar characteristics
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US10904181B2 (en) 2018-09-28 2021-01-26 Snap Inc. Generating customized graphics having reactions to electronic message content
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11103795B1 (en) 2018-10-31 2021-08-31 Snap Inc. Game drawer
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10902661B1 (en) 2018-11-28 2021-01-26 Snap Inc. Dynamic composite user identifier
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10861170B1 (en) 2018-11-30 2020-12-08 Snap Inc. Efficient human pose tracking in videos
US20200175739A1 (en) * 2018-12-04 2020-06-04 Robert Bosch Gmbh Method and Device for Generating and Displaying an Electronic Avatar
US11055514B1 (en) 2018-12-14 2021-07-06 Snap Inc. Image face manipulation
US11516173B1 (en) 2018-12-26 2022-11-29 Snap Inc. Message composition interface
CN109727320A (zh) * 2018-12-29 2019-05-07 三星电子（中国）研发中心 一种虚拟化身的生成方法和设备
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US10666902B1 (en) 2019-01-30 2020-05-26 Microsoft Technology Licensing, Llc Display conflict elimination in videoconferencing
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10656797B1 (en) 2019-02-06 2020-05-19 Snap Inc. Global event-based avatar
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US10674311B1 (en) 2019-03-28 2020-06-02 Snap Inc. Points of interest in a location sharing system
US11166123B1 (en) 2019-03-28 2021-11-02 Snap Inc. Grouped transmission of location data in a location sharing system
CN110174942B (zh) * 2019-04-30 2021-01-19 北京航空航天大学 眼动合成方法及装置
US10992619B2 (en) 2019-04-30 2021-04-27 Snap Inc. Messaging system with avatar generation
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
CN110213521A (zh) * 2019-05-22 2019-09-06 创易汇(北京)科技有限公司 一种虚拟即时通信方法
USD916811S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916871S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
USD916872S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916810S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a graphical user interface
USD916809S1 (en) 2019-05-28 2021-04-20 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11074753B2 (en) * 2019-06-02 2021-07-27 Apple Inc. Multi-pass object rendering using a three- dimensional geometric constraint
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
US11676199B2 (en) 2019-06-28 2023-06-13 Snap Inc. Generating customizable avatar outfits
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
KR20210012724A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
US11455081B2 (en) 2019-08-05 2022-09-27 Snap Inc. Message thread prioritization interface
US10911387B1 (en) 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
US11320969B2 (en) 2019-09-16 2022-05-03 Snap Inc. Messaging system with battery level sharing
US11425062B2 (en) 2019-09-27 2022-08-23 Snap Inc. Recommended content viewed by friends
US11080917B2 (en) 2019-09-30 2021-08-03 Snap Inc. Dynamic parameterized user avatar stories
US11158028B1 (en) * 2019-10-28 2021-10-26 Snap Inc. Mirrored selfie
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US11063891B2 (en) 2019-12-03 2021-07-13 Snap Inc. Personalized avatar notification
US11128586B2 (en) 2019-12-09 2021-09-21 Snap Inc. Context sensitive avatar captions
US11036989B1 (en) 2019-12-11 2021-06-15 Snap Inc. Skeletal tracking using previous frames
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11140515B1 (en) 2019-12-30 2021-10-05 Snap Inc. Interfaces for relative device positioning
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
WO2021155249A1 (en) 2020-01-30 2021-08-05 Snap Inc. System for generating media content items on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
US11818286B2 (en) 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
WO2021203120A1 (en) 2020-03-31 2021-10-07 Snap Inc. Augmented reality beauty product tutorials
US11956190B2 (en) 2020-05-08 2024-04-09 Snap Inc. Messaging system with a carousel of related entities
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11922010B2 (en) 2020-06-08 2024-03-05 Snap Inc. Providing contextual information with keyboard interface for messaging system
US11543939B2 (en) 2020-06-08 2023-01-03 Snap Inc. Encoded image based messaging system
EP4139777A1 (en) 2020-06-08 2023-03-01 Apple Inc. Presenting avatars in three-dimensional environments
US11356392B2 (en) 2020-06-10 2022-06-07 Snap Inc. Messaging system including an external-resource dock and drawer
CN111641798A (zh) * 2020-06-15 2020-09-08 黑龙江科技大学 一种视频通信方法及装置
US11580682B1 (en) 2020-06-30 2023-02-14 Snap Inc. Messaging system with augmented reality makeup
US11863513B2 (en) 2020-08-31 2024-01-02 Snap Inc. Media content playback and comments management
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11452939B2 (en) 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
US11470025B2 (en) 2020-09-21 2022-10-11 Snap Inc. Chats with micro sound clips
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11910269B2 (en) 2020-09-25 2024-02-20 Snap Inc. Augmented reality content items including user avatar to share location
WO2022073113A1 (en) * 2020-10-05 2022-04-14 Mirametrix Inc. System and methods for enhanced videoconferencing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11418760B1 (en) 2021-01-29 2022-08-16 Microsoft Technology Licensing, Llc Visual indicators for providing user awareness of independent activity of participants of a communication session
US11790531B2 (en) 2021-02-24 2023-10-17 Snap Inc. Whole body segmentation
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11544885B2 (en) 2021-03-19 2023-01-03 Snap Inc. Augmented reality experience based on physical items
US11562548B2 (en) 2021-03-22 2023-01-24 Snap Inc. True size eyewear in real time
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11636654B2 (en) 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
US11941227B2 (en) 2021-06-30 2024-03-26 Snap Inc. Hybrid search system for customizable media
US11854069B2 (en) 2021-07-16 2023-12-26 Snap Inc. Personalized try-on ads
US11908083B2 (en) 2021-08-31 2024-02-20 Snap Inc. Deforming custom mesh based on body mesh
US11983462B2 (en) 2021-08-31 2024-05-14 Snap Inc. Conversation guided augmented reality experience
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11673054B2 (en) 2021-09-07 2023-06-13 Snap Inc. Controlling AR games on fashion items
US11663792B2 (en) 2021-09-08 2023-05-30 Snap Inc. Body fitted accessory with physics simulation
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11798238B2 (en) 2021-09-14 2023-10-24 Snap Inc. Blending body mesh into external mesh
US11836866B2 (en) 2021-09-20 2023-12-05 Snap Inc. Deforming real-world object using an external mesh
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11836862B2 (en) 2021-10-11 2023-12-05 Snap Inc. External mesh with vertex attributes
US11790614B2 (en) 2021-10-11 2023-10-17 Snap Inc. Inferring intent from pose and speech input
US11763481B2 (en) 2021-10-20 2023-09-19 Snap Inc. Mirror-based augmented reality experience
US11996113B2 (en) 2021-10-29 2024-05-28 Snap Inc. Voice notes with changing effects
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US11887260B2 (en) 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11823346B2 (en) 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
CN115002391A (zh) * 2022-05-16 2022-09-02 中国第一汽车股份有限公司 一种车载随动虚拟形象视频会议系统及控制方法
US11870745B1 (en) 2022-06-28 2024-01-09 Snap Inc. Media gallery sharing and management
US11893166B1 (en) 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
US20080059570A1 (en) * 2006-09-05 2008-03-06 Aol Llc Enabling an im user to navigate a virtual world
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US7076118B1 (en) * 1997-12-05 2006-07-11 Sharp Laboratories Of America, Inc. Document classification system
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
WO1999053443A1 (en) * 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
DE10129662A1 (de) * 2001-06-20 2003-01-09 Philips Corp Intellectual Pty Kommunikationssystem mit Systemkomponenten zur Feststellung der Urheberschaft eines Kommunikationsbeitrages
KR20050102079A (ko) * 2002-12-12 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 이동영상통신을 위한 아바타 데이터베이스
JP2004289254A (ja) * 2003-03-19 2004-10-14 Matsushita Electric Ind Co Ltd テレビ電話端末
US7447211B1 (en) * 2004-03-23 2008-11-04 Avaya Inc. Method and apparatus of establishing a communication channel using protected network resources
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
JP2007220004A (ja) * 2006-02-20 2007-08-30 Funai Electric Co Ltd テレビおよび認証装置
US7969461B2 (en) * 2006-03-30 2011-06-28 Polycom, Inc. System and method for exchanging connection information for videoconferencing units using instant messaging
US20070230794A1 (en) * 2006-04-04 2007-10-04 Logitech Europe S.A. Real-time automatic facial feature replacement
CN1972274A (zh) * 2006-11-07 2007-05-30 搜图科技（南京）有限公司 基于互联网和移动应用的人脸图像变化处理系统及方法
CN101669328A (zh) * 2007-02-09 2010-03-10 达丽星网络有限公司 用于电信网络中的多媒体内容适配的方法和装置
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20090055484A1 (en) * 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
CN101472158A (zh) 2007-12-27 2009-07-01 上海银晨智能识别科技有限公司 基于人脸检测的网络摄像装置及图像形成方法
US8340452B2 (en) * 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
EP2107708A1 (en) * 2008-04-04 2009-10-07 Deutsche Thomson OHG Method for transporting data over a data connection and network component
US20100070858A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Interactive Media System and Method Using Context-Based Avatar Configuration
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
JP5208810B2 (ja) * 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
EP2309307B1 (en) * 2009-10-08 2020-12-09 Tobii Technology AB Eye tracking using a GPU
US8694899B2 (en) * 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
CN102087750A (zh) * 2010-06-13 2011-06-08 湖南宏梦信息科技有限公司 一种动漫特效的制作方法
US20120058747A1 (en) * 2010-09-08 2012-03-08 James Yiannios Method For Communicating and Displaying Interactive Avatar
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US9330483B2 (en) 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
US20130004028A1 (en) * 2011-06-28 2013-01-03 Jones Michael J Method for Filtering Using Block-Gabor Filters for Determining Descriptors for Images
US20130109302A1 (en) * 2011-10-31 2013-05-02 Royce A. Levien Multi-modality communication with conversion offloading
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
EP2795936B1 (en) * 2011-12-20 2019-06-26 Intel Corporation User-to-user communication enhancement with augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1732687A (zh) * 2002-12-30 2006-02-08 摩托罗拉公司 用于远程临场通信的方法、系统和装置
CN101098241A (zh) * 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其系统
US20080059570A1 (en) * 2006-09-05 2008-03-06 Aol Llc Enabling an im user to navigate a virtual world
CN101610421A (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108845741A (zh) * 2018-06-19 2018-11-20 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质
CN108845741B (zh) * 2018-06-19 2020-08-21 北京百度网讯科技有限公司 一种ar表情的生成方法、客户端、终端和存储介质

Also Published As

Publication number Publication date
US20170111616A1 (en) 2017-04-20
CN104115503A (zh) 2014-10-22
US20140218459A1 (en) 2014-08-07
US20140055554A1 (en) 2014-02-27
US9398262B2 (en) 2016-07-19
CN104011738A (zh) 2014-08-27
US20170111615A1 (en) 2017-04-20
WO2013097264A1 (en) 2013-07-04
WO2013097139A1 (en) 2013-07-04
US20170054945A1 (en) 2017-02-23
US20170310934A1 (en) 2017-10-26

Similar Documents

Publication Publication Date Title
CN106961621A (zh) 使用化身的通信
US11595617B2 (en) Communication using interactive avatars
TWI656505B (zh) 頭像管理和選擇的系統及方法
US9936165B2 (en) System and method for avatar creation and synchronization
US20140198121A1 (en) System and method for avatar generation, rendering and animation
TWI682669B (zh) 使用互動化身的通訊技術（五）
TWI583198B (zh) 使用互動化身的通訊技術
TW202107250A (zh) 使用互動化身的通訊技術（七）

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170718