CN116508062A - 自适应骨骼关节平滑 - Google Patents

自适应骨骼关节平滑 Download PDF

Info

Publication number
CN116508062A
CN116508062A CN202180073442.7A CN202180073442A CN116508062A CN 116508062 A CN116508062 A CN 116508062A CN 202180073442 A CN202180073442 A CN 202180073442A CN 116508062 A CN116508062 A CN 116508062A
Authority
CN
China
Prior art keywords
joints
smoothing
frames
video
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073442.7A
Other languages
English (en)
Inventor
阿维豪伊·阿苏利纳
伊塔马尔·贝格尔
贾勒·杜多维奇
马坦·祖海尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN116508062A publication Critical patent/CN116508062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容的各个方面涉及用于执行操作的方法以及系统，包括存储程序的计算机可读存储介质，所述操作包括：接收视频，该视频包括对用户的身体的描绘；检测视频中描绘的身体的多个骨骼关节；在视频的一组帧中跟踪多个骨骼关节的运动；以及与平滑多个骨骼关节中的第二组骨骼关节在第一组帧中的运动独立地，平滑多个骨骼关节中的第一组骨骼关节在该第一组帧中的帧之间的运动。

Description

自适应骨骼关节平滑
优先权要求
本申请要求于2020年10月27日提交的美国临时申请序列第63/198,553号以及于2020年11月6日提交的美国专利申请序列第16/949,607号的优先权的权益，上述申请中的每一个的全部内容通过引用并入本文中。
技术领域
本公开内容总体上涉及在视频中跟踪用户的运动。
背景技术
图像处理系统可以用于对摄像装置捕获的用户执行的不同动作作出反应。这样的系统可以修改虚拟对象的呈现或者执行其他应用特定的功能。由于环境条件、用户动作、摄像装置与在被显现的对象之间的意外视觉中断等，这样的系统可能会遇到呈现问题。呈现问题也会由于未能准确地检测到用户动作而产生。这可能使虚拟对象消失或者以其他方式表现异常，或者使不正确的功能被执行，这打破了虚拟对象存在于真实世界中的幻象。
附图说明
在不一定按比例绘制的附图中，相似的附图标记可以在不同的视图中描述相似的部件。为了容易识别对任何特别元素或行动的讨论，附图标记中的一个或更多个最高位数字是指该元素在被首次引入时所在的图号。在附图的图中以示例而非限制的方式示出了一些实施方式，在附图中：
图1是示出根据示例实施方式的用于通过网络交换数据(例如，消息和相关联内容)的示例消息收发系统的框图。
图2是示出根据示例实施方式的关于图1的消息收发系统的进一步细节的框图。
图3是示出根据示例实施方式的可以存储在消息收发服务器系统的数据库中的数据的示意图。
图4是示出根据示例实施方式的由消息收发客户端生成以供通信的消息的结构的示意图。
图5A是示出根据示例实施方式的示例身体跟踪系统的框图。
图5B是示出根据示例实施方式的示例平滑模块的框图。
图6是示出根据示例实施方式的用于在视频中跟踪身体的身体关节位置的图。
图7是示出根据示例实施方式的身体跟踪系统的示例操作的流程图。
图8示出了根据示例实施方式的身体跟踪系统的说明性输入和输出。
图9是根据一些示例的呈计算机系统形式的机器的图解表示，在该机器内可以执行一组指令以使得该机器执行本文所讨论的方法中任何一种或更多种。
图10是示出可以在其中实现示例的软件架构的框图。
具体实施方式
以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列及计算机器程序产品。在下面的描述中，出于说明的目的，阐述了许多具体细节以提供对各种实施方式的理解。然而，对于本领域技术人员而言将明显的是，可以在没有这些具体细节的情况下实践实施方式。一般地，公知的指令实例、协议、结构和技术不一定详细地示出。
通常，虚拟现实(VR)和增强现实(AR)系统通过捕获用户的图像并另外地使用深度传感器获得在图像中描绘的真实世界人体的深度图来显示表示给定用户的化身。通过将深度图和图像一起处理，VR系统和AR系统可以检测和模仿由用户执行的动作或对该动作作出反应。虽然这样的系统在呈现用户的化身和对由用户执行的动作作出反应(例如，修改虚拟对象或执行应用功能)方面效果很好，但是对深度传感器的需要限制了其应用范围。这是因为为了显示化身或响应于用户检测到的姿势执行动作而将深度传感器添加至用户设备会增加了设备的总成本和复杂性，使其吸引力降低。
某些系统试图基于图像中描绘的用户的身体的关节位置来检测在视频中接收的诸如姿势的用户动作。这样的系统依赖于要指定的各种关节位置的预定角度。这些系统实时地计算图像中检测到的关节位置的角度，以用于与预定角度进行比较，以检测给定姿势。输入这样的角度需要一定水平的技巧并且消耗大量的时间，特别地在跟踪大的姿势子集时。这降低了系统的可扩展性，并且增加了这样的系统消耗的总体资源量。即使如此，在一组视频帧中跟踪关节的运动也会有噪声。也就是说，可能无法在一组相邻的帧中准确地确定和检测一对关节的运动。这也会导致相应的运动出现跳跃性。一些系统对关节共同地应用单个平滑过滤器。然而，有时可能根本不需要平滑，而且应用平滑过滤器需要大量的处理和存储器资源，这就减慢了整个检测系统。这使得这类系统难以实现和应用于正在接收的实时图像或视频。
所公开的实施方式通过在单独的关键对或关节组上将平滑过滤器独立地应用于视频中用户的身体的骨骼关节来提高电子设备的使用效率。以这种方式，如果一组关节比另一组关节需要更多的平滑，则平滑过滤器可以被适配成对不同组的关节应用不同量的平滑。这提高了被应用以平滑视频中被跟踪的人的关节的过滤器的整体响应性，因为可以减少或完全避免不必要的平滑。特别地，所公开的实施方式接收包括对用户的身体的描绘的视频，并且检测视频中描绘的身体的多个骨骼关节。所公开的实施方式在视频的一组帧中跟踪多个骨骼关节的运动，并且独立于在第一组帧中平滑多个骨骼关节中的第二组骨骼关节的运动(或与之分开地)，在第一组帧中的帧之间平滑多个骨骼关节中的第一组骨骼关节的运动。
具体地，可以测量表示视频中的人的一个或多个关节的运动的噪声，并且可以基于测量的噪声来并行地应用(例如，具有不同的平滑特性的)多个平滑过滤器，以平滑给定关节或一组关节的运动。也就是说，如果噪声超过阈值，则与应用于具有第二特性的平滑过滤器(例如，柔和的运动过滤器)的输出以平滑给定关节的运动的权重相比，可以将更多的权重应用于具有第一特性的平滑过滤器(例如，激进的运动过滤器)的输出以平滑给定关节的运动。两个平滑过滤器的加权输出可以被聚合以平滑给定关节的整体运动。以这种方式，可以控制被应用以平滑关节的运动的运动过滤器的响应性(例如，增加或减少)，而不对运动应用过多的平滑(例如，过度平滑)或者不充分的平滑(例如，欠平滑)。例如，如果存在超过阈值的噪声测量，则与柔和的过滤器相比，可以对激进的过滤器进行更重的加权，这降低了响应性但增加了平滑度。如果存在小于阈值的噪声测量，则与柔和的过滤器相比，可以对激进的过滤器进行更轻的加权，这增加了响应性但降低了平滑度。
可以响应于跟踪骨骼关节并且单独地平滑各组关节，从描绘真实世界的用户的身体的单个红绿蓝(RGB)视频直接生成虚拟对象(例如，三维对象，例如3D题注、表情符号、人物、化身、动画、个性化化身或人物的循环动画、诸如跳舞的热狗的循环或非循环动画图形、具有动画的风格化词等)。所公开的实施方式在也无需获得真实世界的用户的身体的深度图的情况下生成虚拟对象。这使得具有简单RGB摄像装置(没有深度传感器)的用户设备能够在VR或AR应用中基于真实世界用户的身体准确且快速地显现经动画化的虚拟对象，从而允许用户在更真实的环境中与VR或AR内容交互。
联网计算环境
图1是示出用于通过网络来交换数据(例如，消息和相关联的内容)的示例消息收发系统100的框图。消息收发系统100包括客户端设备102的多个实例，其中的每个实例托管包括消息收发客户端104和AR/VR应用105的若干应用。每个消息收发客户端104和AR/VR应用105经由网络106(例如，因特网)通信地耦接至消息收发服务器系统108以及消息收发客户端104和AR/VR应用105的其他实例。
消息收发客户端104和AR/VR应用105能够经由网络106与另一消息收发客户端104和AR/VR应用105以及消息收发服务器系统108进行通信并交换数据。在消息收发客户端104之间以及在消息收发客户端104与消息收发服务器系统108之间交换的数据包括功能(例如，用于激发功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
AR/VR应用105是包括允许客户端设备102访问身体跟踪系统126的一组功能的应用。在一些实现方式中，AR/VR应用105是作为消息收发客户端104的一部分的部件或特征。AR/VR应用105使用RGB摄像装置来捕获用户真实世界身体的一个或更多个图像(例如，视频)。AR/VR应用105对捕获的身体图像应用一个或更多个经训练的机器学习技术以检测身体的骨骼关节位置。AR/VR应用105例如通过绘制连接所检测到的不同骨骼关节位置的线，生成用户身体的轮廓。AR/VR应用105在一组视频帧中跟踪骨骼关节的运动。例如，AR/VR应用105选择相邻的关节对(例如，肩关节和肘关节对以及髋关节和膝关节对)。
AR/VR应用105在一组视频帧中跟踪关节对的运动，并测量在该组帧中检测到的每一对关节的噪声。基于测量的噪声量，AR/VR应用105修改应用于不同关节对的一个或更多个平滑过滤器的平滑参数。在一个示例中，第一平滑参数被应用于第一组过滤器，该第一组过滤器应用于第一对关节，第二平滑参数被应用于第二组过滤器，该第二组过滤器应用于第二对关节。第一平滑参数可使得第一组过滤器在视频的后续一组帧或当前一组帧中对第一对骨骼关节应用更大的平滑量(例如，由于检测到大于阈值的噪声量)。第二平滑参数可使得第二组过滤器对视频的当前或后续一组帧中对第二对骨骼关节应用较小的平滑量(例如，由于检测到小于阈值的噪声量)。这样，在实时接收和捕获描绘人的视频时，在每对关节或每组关节的基础上应用不同的平滑量。在另一个示例中，多个平滑过滤器可以并行地应用于同一组关节，但平滑过滤器的输出可以根据在帧窗口中该组关节的运动的噪声量进行加权和汇总。也就是说，应用于同一组关节的平滑过滤器的权重，可以根据在一组帧中测得的关节运动的噪声量来控制和改变。
在一些实施方式中，AR/VR应用105通过从本地或远程存储装置中获得第一经训练的机器学习技术，直接从捕获的RGB图像中检测捕获的RGB图像中描绘的身体的关节位置。第一经训练的机器学习技术处理捕获的RGB图像，以从RGB图像中提取与捕获的RGB图像中描绘的身体对应的一个或更多个特征。对这些特征进行分析，以识别一个或更多个骨骼关节及其相对于彼此的相应排列。具体地，对这些特征进行分析，以确定指定的一组骨骼关节的关节位置。AR/VR应用105还获得第二经训练的机器学习技术，以处理一个或更多个先前捕获的帧(例如，在RGB图像紧之前的1至2秒的视频帧)，以估计或预测后续帧的骨骼关节位置。阈值秒数量的视频帧(其可以是用户定义的、先前指定的和/或动态确定的)可以连续或定期地存储在缓冲器中，使得在当前RGB图像之前的阈值秒数的视频帧可以通过第二经训练的机器学习技术来访问。第二经训练的机器学习技术对骨骼关节位置的输出或预测用于过滤或改进通过第一经训练的机器学习技术识别的骨骼关节位置。在一些情况下，第二经训练的机器学习技术将通过第一经训练的机器学习技术识别的骨骼关节位置连同先前捕获的帧一起处理，以过滤或改进估计的骨骼关节位置。在2019年12月11日提交的共同拥有的Assouline等人的美国专利申请第16/710,980号中更详细地描述了用于检测骨骼关节位置的技术，该美国专利申请的全部内容通过引用并入本文中。
消息收发服务器系统108经由网络106向特定消息收发客户端104提供服务器侧功能。虽然消息收发系统100的某些功能在本文中被描述为由消息收发客户端104或由消息收发服务器系统108执行，但是某些功能是位于消息收发客户端104内还是位于消息收发服务器系统108内可以是设计选择。例如，在技术上可以优选的是：最初将某些技术和功能部署在消息收发服务器系统108内，但是后面在客户端设备102具有足够处理能力的情况下，将该技术和功能迁移至消息收发客户端104。
消息收发服务器系统108支持向消息收发客户端104提供的各种服务和操作。这样的操作包括向消息收发客户端104发送数据、从消息收发客户端104接收数据以及对由消息收发客户端104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体增强和覆盖(overlay)、消息内容持久性条件、社交网络信息和现场事件信息。通过经由消息收发客户端104的用户界面(UI)可用的功能来激发和控制消息收发系统100内的数据交换。
现在具体地转至消息收发服务器系统108，应用程序接口(API)服务器110耦接至包括身体跟踪系统126的应用服务器112并且向应用服务器112提供编程接口。应用服务器112通信地耦接至数据库服务器118，数据库服务器118促进对数据库120的访问，该数据库120存储与由应用服务器112处理的消息相关联的数据。类似地，web服务器124耦接至应用服务器112，并且向应用服务器112提供基于web的接口。为此，web服务器124通过超文本传输协议(HTTP)和若干其他相关协议处理传入的网络请求。
应用程序接口(API)服务器110在客户端设备102与应用服务器112之间接收和发送消息数据(例如，命令和消息有效载荷)。特别地，应用程序接口(API)服务器110提供一组接口(例如，例程和协议)，消息收发客户端104可以调用或查询这组接口以调用应用服务器112的功能。应用程序接口(API)服务器110显露由应用服务器112支持的各种功能，包括：帐户注册；登录功能；经由应用服务器112从特定消息收发客户端104向另一消息收发客户端104发送消息；从消息收发客户端104向消息收发服务器114发送媒体文件(例如，图像或视频)并且用于由另一消息收发客户端104进行的可能访问；设置媒体数据(例如，故事)的集合；检索客户端设备102的用户的朋友列表；检索这样的集合；检索消息和内容；向实体图(例如，社交图)添加以及从实体图删除实体(例如，朋友)；在社交图中定位朋友，以及打开(例如，与消息收发客户端104有关的)应用事件。
应用服务器112托管若干服务器应用和子系统，包括例如消息收发服务器114、图像处理服务器116、身体跟踪系统126以及社交网络服务器122。消息收发服务器114实现若干消息处理技术和功能，这些消息处理技术和功能特别地涉及对包括在从消息收发客户端104的多个实例接收的消息中的内容(例如，文本和多媒体内容)的聚合及其他处理。如将进一步详细描述的，来自多个源的文本和媒体内容可以聚合成内容集合(例如，称为故事或库(gallery))。然后，使这些集合对消息收发客户端104可用。考虑到对数据的其他处理器和存储器密集型处理的硬件要求，也可以由消息收发服务器114在服务器侧执行这样的处理。
应用服务器112还包括图像处理服务器116，该图像处理服务器116专用于执行各种图像处理操作，通常相对于在从消息收发服务器114发送或者在消息收发服务器114处接收到的消息的有效载荷内的图像或视频，执行各种图像处理操作。
社交网络服务器122支持各种社交联网功能和服务并使这些功能和服务可用于消息收发服务器114。为此，社交网络服务器122维护并且访问数据库120内的实体图306(如图3所示)。社交网络服务器122所支持的功能和服务的示例包括识别消息收发系统100中的与特定用户具有关系或正在“关注”该特定用户的其他用户，以及识别特定用户的兴趣和其他实体。
系统架构
图2是示出根据一些示例的关于消息收发系统100的进一步细节的框图。具体地，消息收发系统100被示出为包括消息收发客户端104和应用服务器112。消息收发系统100包含若干子系统，这些子系统在客户端侧由消息收发客户端104支持并且在服务器侧由应用服务器112支持。这些子系统包括例如短暂定时器系统202、集合管理系统204、增强系统206、地图系统208、游戏系统210。在一些实现方式中，增强系统206实现了身体跟踪系统126的功能中的一些或全部。
短暂定时器系统202负责实施由消息收发客户端104和消息收发服务器114对内容进行临时或时间受限的访问。短暂定时器系统202包含若干定时器，这些定时器基于与消息或消息集合(例如，故事)相关联的持续时间和显示参数，选择性地实现经由消息收发客户端104访问(例如，用于呈现和显示)消息和相关联的内容。下面提供关于短暂定时器系统202的操作的其他细节。
集合管理系统204负责管理媒体的组和集合(例如，文本、图像视频和音频数据的集合)。可以将内容(例如，包括图像、视频、文本和音频的消息)的集合组织成“事件库”或“事件故事”。可以使这样的集合在指定时间段例如在与内容有关的事件的持续时间内可用。例如，可以使与音乐会有关的内容在该音乐会的持续时间内作为“故事”可用。集合管理系统204还可以负责向消息收发客户端104的用户界面发布提供存在特定集合的通知的图标。
此外，集合管理系统204还包括策展接口212，该策展接口212允许集合管理器能够管理和策展特定内容集合。例如，策展接口212使得事件组织者能够策展与特定事件有关的内容集合(例如，删除不适当的内容或冗余消息)。此外，集合管理系统204采用机器视觉(或图像识别技术)和内容规则来自动地策展内容集合。在某些示例中，可以向用户支付对将用户生成的内容包括到集合中的补偿。在这样的情况下，策展管理系统204进行操作以自动地向这样的用户进行支付以使用他们的内容。
增强系统206提供使得用户能够增强(例如，注解或以其他方式修改或编辑)与消息相关联的媒体内容的各种功能。例如，增强系统206提供与生成和发布由消息收发系统100处理的消息的媒体覆盖有关的功能。增强系统206基于客户端设备102的地理位置可操作地向消息收发客户端104供应媒体覆盖或增强(例如，图像过滤器)。在另一示例中，增强系统206基于诸如客户端设备102的用户的社交网络信息的其他信息可操作地向消息收发客户端104供应媒体覆盖。媒体覆盖可以包括音频和视觉内容和视觉效果。音频和视觉内容的示例包括图片、文本、标志、动画和声音效果。视觉效果的示例包括颜色覆盖。音频及视觉内容或视觉效果可以应用于客户端设备102处的媒体内容项(例如，照片)。例如，媒体覆盖可以包括可以覆盖在由客户端设备102拍摄的照片之上的文本或者图像。在另一示例中，媒体覆盖包括位置标识覆盖(例如，威尼斯海滩)、实况事件名称或商家名称覆盖(例如，海滩咖啡馆)。在另一示例中，增强系统206使用客户端设备102的地理位置来标识包括客户端设备102的地理位置处的商家的名称的媒体覆盖。媒体覆盖可以包括与商家相关联的其他标记。媒体覆盖可以存储在数据库120中并通过数据库服务器118访问。
在一些情况下，身体跟踪系统126或身体跟踪系统126的各部分可以由增强系统206实现或者包括在增强系统206中。
在一些示例中，增强系统206提供基于用户的发布平台，该基于用户的发布平台使得用户能够选择地图上的地理位置并上传与所选择的地理位置相关联的内容。用户还可以指定应当向其他用户提供特定媒体叠加的环境。增强系统206生成包括所上传的内容的媒体覆盖并将所上传的内容与所选择的地理位置相关联。
在其他示例中，增强系统206提供基于商家的发布平台，该平台使得商家能够经由竞价过程选择与地理位置相关联的特定媒体叠加。例如，增强系统206将最高出价商家的媒体覆盖与对应地理位置相关联达预定义时间量。
地图系统208提供各种地理位置功能，并且支持由消息收发客户端104呈现基于地图的媒体内容和消息。例如，地图系统208使得能够在地图上显示(例如，存储在简档数据308中的)用户图标或化身，以在地图的上下文中指示用户的“朋友”的当前或过去位置，以及由这样的朋友生成的媒体内容(例如，包括照片和视频的消息的集合)。例如，在消息收发客户端104的地图界面上，由用户从特定地理位置发布到消息收发系统100的消息可以在该特定位置处的地图的上下文中显示给特定用户的“朋友”。用户还可以经由消息收发客户端104与消息收发系统100的其他用户(例如，使用适当的状况化身来)共享他或她的位置和状况信息，其中，在消息收发客户端104的地图界面的上下文中该位置和状况信息被类似地显示给选择的用户。
游戏系统210在消息收发客户端104的上下文中提供各种游戏功能。消息收发客户端104提供游戏界面，该游戏界面提供可以由用户在消息收发客户端104的上下文中启动并且与消息收发系统100的其他用户一起玩的可用游戏的列表。消息收发系统100还使得特定用户能够通过从消息收发客户端104向其他用户发出邀请来邀请这样的其他用户参与玩特定游戏。消息收发客户端104还支持在玩游戏的上下文中的语音消息收发和文本消息收发(例如，聊天)两者，为游戏提供排行榜，并且还支持提供游戏内奖励(例如，游戏币和物品)。
数据架构
图3是示出根据某些示例的可以存储在消息收发服务器系统108的数据库120中的数据结构300的示意图。虽然数据库120的内容被示出为包括若干表，但是应当理解的是，数据可以存储在其他类型的数据结构中(例如，作为面向对象的数据库)。
数据库120包括存储在消息表302内的消息数据。对于任何特定的消息，该消息数据包括至少消息发送者数据、消息接收方(或接收者)数据和有效载荷。下面参照图4描述了关于可以被包括在消息中并且被包括在存储在消息表302中的消息数据中的信息的另外的细节。
实体表304存储实体数据，并且(例如，参考地)链接至实体图306和简档数据308。在实体表304内为其维持记录的实体可以包括个人、公司实体、组织、对象、地点、事件等。无论实体类型如何，消息收发服务器系统108存储关于其的数据的任何实体都可以是识别的实体。每个实体都被提供有唯一标识符以及实体类型标识符(未示出)。
实体图306存储关于实体之间的关系和关联的信息。仅作为示例，这样的关系可能是社交的、职业的(例如，在共同的公司或组织工作)、基于兴趣的或者基于活动的。
简档数据308存储关于特定实体的多种类型的简档数据。基于由特定实体指定的隐私设置，简档数据308可以被选择性地使用并呈现给消息收发系统100的其他用户。在实体是个人的情况下，简档数据308包括例如用户名、电话号码、地址、设置(例如，通知和隐私设置)、以及用户选择的化身表示(或这样的化身表示的集合)。然后，特定用户可以将这些化身表示中的一个或更多个选择性地包括在经由消息收发系统100传送的消息的内容中以及在由消息收发客户端104向其他用户显示的地图界面上。化身表示的集合可以包括“状况化身”，其呈现用户可以选择在特定时间传达的状况或活动的图形表示。
在实体是团体的情况下，除了团体名称、成员和相关团体的各种设置(例如，通知)之外，团体的简档数据308还可以类似地包括与团体相关联的一个或更多个化身表示。
数据库120还在增强表310中存储增强数据，例如覆盖或过滤器。增强数据与视频(其视频数据存储在视频表314中)和图像(其图像数据存储在图像表316中)相关联并且应用于视频和图像。
在一个示例中，过滤器是在呈现给接收用户期间显示为覆盖在图像或视频上的覆盖。过滤器可以是各种类型的，包括当发送用户正在编写消息时由消息收发客户端104呈现给发送用户的一组过滤器中的用户选择的过滤器。其他类型的过滤器包括地理位置过滤器(也称为地理过滤器)，其可以基于地理位置被呈现给发送用户。例如，可以基于由客户端设备102的全球定位系统(GPS)单元确定的地理位置信息，由消息收发客户端104在用户界面内呈现特定于附近或特殊位置的地理位置过滤器。
另一种类型的过滤器是数据过滤器，其可以由消息收发客户端104基于在消息创建过程期间由客户端设备102收集的其他输入或信息选择性地呈现给发送用户。数据过滤器的示例包括特定位置处的当前温度、发送用户行进的当前速度、客户端设备102的电池寿命或当前时间。
可以存储在图像表316内的其他增强数据包括增强现实内容项(例如，对应于应用镜头或增强现实体验)。增强现实内容项可以是可以添加到图像或视频的实时特效和声音。
平滑过滤器306存储由身体跟踪系统126使用的多个平滑过滤器。平滑过滤器可以将不同数量或类型的平滑应用于它们所应用的关节或关节组或关节对。平滑过滤器可以均包括参数，该参数调整过滤器系数以增加或减少由给定平滑过滤器应用的平滑量。
如上所述，增强数据包括增强现实内容项、覆盖、图像变换、AR图像以及指代可以应用于图像数据(例如，视频或图像)的修改的类似项。这包括实时修改，实时修改在使用客户端设备102的设备传感器(例如，一个或更多个摄像装置)捕获图像时对图像进行修改并且然后在修改的情况下显示在客户端设备102的屏幕上。这还包括对存储的内容(例如可以修改的库中的视频片段)的修改。例如，在具有对多个增强现实内容项的访问权限的客户端设备102中，用户可以将多个增强现实内容项用于单个视频片段来查看不同的增强现实内容项将如何修改存储的片段。例如，通过为同一内容选择不同的增强现实内容项，可以将应用不同伪随机运动模型的多个增强现实内容项应用于该同一内容。类似地，实时视频捕获可以与示出的修改一起使用，以示出当前由客户端设备102的传感器捕获的视频图像将如何修改捕获的数据。这样的数据可以简单地显示在画面上而不存储在存储器中，或者由设备传感器捕获的内容可以在具有修改或不具有修改(或两者)的情况下被记录和存储在存储器中。在一些系统中，预览特征可以示出不同的增强现实内容项同时在显示器中的不同窗口内将看起来如何。例如，这可以使得能够同时在显示器上查看具有不同伪随机动画的多个窗口。
因此，使用增强现实内容项的数据和各种系统或使用该数据来修改内容的其他这样的变换系统可以涉及：对象(例如，面部、手、身体、猫、狗、表面、对象等)的检测；在这样的对象离开、进入视频帧中的视场以及在视场四处移动时对这样的对象的跟踪；以及在这样的对象被跟踪时对这样的对象的修改或变换。在各种实施方式中，可以使用用于实现这样的变换的不同方法。一些示例可以涉及生成一个或更多个对象的三维网格模型，以及在视频内使用模型的变换和动画化纹理来实现变换。在其他示例中，可以使用对对象上的点的跟踪来将图像或纹理(其可以是二维或三维的)放置在所跟踪的位置处。在更进一步的示例中，可以使用视频帧的神经网络分析来将图像、模型或纹理放置在内容(例如，视频的图像或帧)中。因此，增强现实内容项既是指用于在内容中创建变换的图像、模型和纹理，也是指利用对象检测、跟踪和放置实现这样的变换所需的附加建模和分析信息。
可以利用保存在任何种类的计算机化系统的存储器中的任何种类的视频数据(例如，视频流、视频文件等)来执行实时视频处理。例如，用户可以加载视频文件并将其保存在设备的存储器中，或者可以使用设备的传感器生成视频流。此外，可以使用计算机动画模型来处理任何对象，例如人脸和人体的各部分、动物或非生物(例如椅子、汽车或其他对象)。
在一些示例中，当与待变换的内容一起选择特定修改时，待变换的元素由计算设备识别，然后如果待变换的元素存在于视频的帧中，则待变换的元素被检测和跟踪。根据修改请求来修改对象的元素，从而变换视频流的帧。对于不同种类的变换，可以通过不同的方法执行对视频流的帧的变换。例如，对于主要涉及改变对象的元素的形式的帧变换，计算对象的每个元素的特征点(例如，使用主动形状模型(ASM)或其他已知方法)。然后，针对对象的至少一个元素中的每一个生成基于特征点的网格。该网格用于跟踪视频流中的对象的元素的后续阶段。在跟踪过程中，每个元素的提及的网格与每个元素的位置对准。然后，在网格上生成附加点。基于修改请求针对每个元素生成一组第一点，并且基于该组第一点和修改请求针对每个元素生成一组第二点。然后，可以通过基于该组第一点和该组第二点以及网格修改对象的元素，来变换视频流的帧。在这样的方法中，也可以通过跟踪和修改背景来改变或扭曲经修改的对象的背景。
在一些示例中，可以通过计算对象的每个元素的特征点并基于计算的特征点生成网格来执行使用对象的元素改变对象的一些区域的变换。在网格上生成点，并且然后生成基于这些点的各种区域。然后，通过将每个元素的区域与至少一个元素中的每一个的位置对准来跟踪对象的元素，并且可以基于修改请求来修改区域的属性，从而变换视频流的帧。根据具体修改请求，可以以不同的方式变换提及的区域的属性。这样的修改可以涉及：改变区域的颜色；从视频流的帧中移除至少部分区域；将一个或更多个新对象包括在基于修改请求的区域中；以及修改或扭曲区域或对象的元素。在各种实施方式中，可以使用这样的修改或其他类似修改的任何组合。对于要被动画化的某些模型，可以选择一些特征点作为控制点，以用于确定用于模型动画的选项的整个状态空间。
在使用面部检测来变换图像数据的计算机动画模型的一些示例中，使用特定面部检测算法(例如，Viola-Jones)在图像上检测面部。然后，将主动形状模型(ASM)算法应用于图像的面部区域以检测面部特征参考点。
在其他示例中，可以使用适合于面部检测的其他方法和算法。例如，在一些实施方式中，使用界标来定位特征，该界标表示在所考虑的大多数图像中存在的可区分点。例如，对于面部界标，可以使用左眼瞳孔的位置。如果初始界标不可识别(例如，如果人有眼罩)，则可以使用次级界标。这样的界标识别过程可以用于任何这样的对象。在一些示例中，一组界标形成形状。可以使用形状中的点的坐标将形状表示为向量。一个形状利用相似变换(允许平移、缩放和旋转)与另一个形状对准，该相似变换使形状点之间的平均欧几里德距离最小化。平均形状是对准的训练形状的平均。
在一些示例中，开始从与由全局面部检测器确定的面部的位置和大小对准的平均形状搜索界标。然后，这样的搜索重复以下步骤：通过每个点周围的图像纹理的模板匹配来调整形状点的位置来建议暂定形状，然后使暂定形状符合全局形状模型，直到发生收敛。在一些系统中，个别模板匹配是不可靠的，并且形状模型将弱模板匹配的结果进行池化，以形成较强的整体分类器。整个搜索从粗略分辨率到精细分辨率在图像金字塔的每个级别上重复。
变换系统可以在客户端设备(例如，客户端设备102)上捕获图像或视频流，并在客户端设备102上本地执行复杂的图像操纵，同时保持适当的用户体验、计算时间和功耗。复杂的图像操纵可以包括大小和形状改变、情绪迁移(例如，将面部从皱眉改变为微笑)、状态迁移(例如，使被摄体变老、减小表观年龄、改变性别)、风格迁移、图形元素应用，以及由已经被配置成在客户端设备102上高效地执行的卷积神经网络实现的任何其他合适的图像或视频操纵。
在一些示例中，用于变换图像数据的计算机动画模型可以由系统使用，在该系统中，用户可以使用客户端设备102来捕获用户的图像或视频流(例如，自拍)，该客户端设备102具有作为在客户端设备102上操作的消息收发客户端104的一部分进行操作的神经网络。在消息收发客户端104内操作的变换系统确定图像或视频流内存在面部并且提供与计算机动画模型相关联的修改图标以用于变换图像数据，或者计算机动画模型可以被呈现为与本文中描述的界面相关联。修改图标包括以下改变，该改变可以是作为修改操作的一部分来修改图像或视频流内的用户的面部的基础。一旦选择了修改图标，则变换系统发起对用户的图像进行转换以反映所选择的修改图标(例如，在用户上生成笑脸)的过程。一旦捕获了图像或视频流并且选择了指定的修改，修改的图像或视频流就可以呈现在客户端设备102上显示的图形用户界面中。变换系统可以在图像或视频流的一部分上实现复杂的卷积神经网络，以生成和应用所选择的修改。也就是说，用户可以捕获图像或视频流，并且一旦选择了修改图标就实时或接近实时地呈现修改的结果。此外，当正在捕获视频流时，修改可以是持久的，并且所选择的修改图标保持被切换。机器教导的神经网络可以用于实现这样的修改。
呈现由变换系统执行的修改的图形用户界面可以为用户供应附加的交互选项。这样的选项可以基于用于发起特定计算机动画模型的选择和内容捕获的接口(例如，从内容创建者用户界面发起)。在各种实施方式中，在对修改图标进行初始选择之后，修改可以是持久的。用户可以通过轻击或以其他方式选择由变换系统修改的面部来开启或关闭修改，并将其存储以供后面查看或浏览到成像应用的其他区域。在由变换系统修改多个面部的情况下，用户可以通过轻击或选择在图形用户界面内修改和显示的单个面部来全局开启或关闭修改。在一些实施方式中，可以单独地修改一组多个面部中的各个面部，或者可以通过轻击或选择图形用户界面内显示的各个面部或一系列各个面部来单独切换这样的修改。
故事表312存储关于消息的集合的数据以及相关联的图像、视频或音频数据，这些数据被汇编成集合(例如，故事或库)。特定集合的创建可以由特定用户(例如，在实体表304中维持其记录的每个用户)发起。用户可以以已由该用户创建和发送/广播的内容的集合的形式创建“个人故事”。为此，消息收发客户端104的用户界面可以包括用户可选择的图标，以使得发送用户能够将特定内容添加至他或她的个人故事。
集合还可以构成作为来自多个用户的内容的集合的“现场故事”，其是手动地、自动地或者使用手动技术和自动技术的组合创建的。例如，“现场故事”可以构成来自各种位置和事件的用户提交的内容的策展流。其客户端设备启用了定位服务并且在特定时间处于公共位置事件处的用户可以例如经由消息收发客户端104的用户界面被呈现有选项，以将内容贡献给特定的现场故事。可以由消息收发客户端104基于他或她的位置向用户标识现场故事。最终结果是从社区角度讲述的“现场故事”。
另外类型的内容集合被称为“位置故事”，该“位置故事”使其客户端设备102位于特定地理位置内(例如，在学院或大学校园)的用户能够对特定集合做出贡献。在一些实施方式中，对位置故事的贡献可能需要二级认证，以验证最终用户属于特定的组织或其他实体(例如，是大学校园的学生)。
如以上提及的，视频表314存储视频数据，在一个示例中，该视频数据与其记录被维持在消息表302内的消息相关联。类似地，图像表316存储与其消息数据存储在实体表304中的消息相关联的图像数据。实体表304可以将来自增强表310的各种增强与存储在图像表316和视频表314中的各种图像和视频相关联。
数据通信架构
图4是示出根据一些示例的消息400的结构的示意图，消息400由消息收发客户端104生成，以用于传送至另外的消息收发客户端104或消息收发服务器114。使用特定消息400的内容来填充存储在数据库120内的消息表302，该消息表302可由消息收发服务器114访问。类似地，消息400的内容被存储在存储器中作为客户端设备102或应用服务器112的“传输中”或“飞行中”数据。消息400被示为包括以下示例成分：
·消息标识符402：标识消息400的唯一标识符。
·消息文本有效载荷404：要由用户经由客户端设备102的用户界面生成并且包括在消息400中的文本。
·消息图像有效载荷406：由客户端设备102的摄像装置部件捕获的或从客户端设备102的存储器部件检索到的、并且包括在消息400中的图像数据。针对发送或接收到的消息400的图像数据可以存储在图像表316中。
·消息视频有效载荷408：由摄像装置部件捕获或者从客户端设备102的存储器部件检索并且包括在消息400中的视频数据。针对发送或接收到的消息400的视频数据可以存储在视频表314中。
·消息音频有效载荷410：由麦克风捕获或者从客户端设备102的存储器部件检索并且包括在消息400中的音频数据。
·消息增强数据412：表示要应用于消息400的消息图像有效载荷406、消息视频有效载荷408或消息音频有效载荷410的增强的增强数据(例如，过滤器、标贴或其他注解或增强)。针对发送或接收到的消息400的增强数据可以存储在增强表310中。
·消息持续时间参数414：参数值，其指示消息的内容(例如，消息图像有效载荷406、消息视频有效载荷408、消息音频有效载荷410)要经由消息收发客户端104呈现给用户或可由用户访问的以秒为单位的时间量。
·消息地理位置参数416：与消息的内容有效载荷相关联的地理位置数据(例如，纬度坐标和经度坐标)。多个消息地理位置参数416值可以包括在有效载荷中，这些参数值中的每一个关于内容中包括的内容项(例如，消息图像有效载荷406中的特定图像，或者在消息视频有效载荷408中的特定视频)相关联。
·消息故事标识符418：标识一个或更多个内容集合(例如，在故事表312中标识的“故事”)的标识符值，其中消息400的消息图像有效载荷406中的特定内容项与一个或更多个内容集合相关联。例如，可以使用标识符值将消息图像有效载荷406内的多个图像各自与多个内容集合相关联。
·消息标签420：每个消息400可以用多个标签来标记，这样的多个标签中的每一个指示在消息有效载荷中包括的内容的主题。例如，在消息图像有效载荷406中包括的特定图像描绘动物(例如，狮子)的情况下，可以在消息标签420内包括指示相关动物的标签值。可以基于用户输入手动生成标签值，或者可以使用例如图像识别自动生成标签值。
·消息发送者标识符422：指示在其上生成消息400以及从其发送消息400的客户端设备102的用户的标识符(例如，消息收发系统标识符、电子邮件地址或设备标识符)。
·消息接收者标识符424：指示消息400被寻址到的客户端设备102的用户的标识符(例如，消息收发系统标识符、电子邮件地址或设备标识符)。
消息400的各组成部分的内容(例如，值)可以是指向其内存储内容数据值的表中的位置的指针。例如，消息图像有效载荷406中的图像值可以是指向图像表316内的位置(或位置的地址)的指针。类似地，消息视频有效载荷408内的值可以指向存储在视频表314内的数据，存储在消息增强数据412内的值可以指向存储在增强表310中的数据，存储在消息故事标识符418内的值可以指向存储在故事表312中的数据，以及存储在消息发送者标识符422和消息接收者标识符424内的值可以指向存储在实体表304内的用户记录。
图5A是示出根据示例实施方式的示例身体跟踪系统126的框图。身体跟踪系统126对一组输入数据(例如，描绘用户的真实世界身体的视频501)进行操作。身体跟踪系统126包括机器学习技术模块512、骨骼关节位置模块514、平滑模块516和虚拟对象显示模块520。
在一些实施方式中，身体跟踪系统126包括用户检测部件(未示出)。响应于从用户接收到激活客户端设备102的面向前或面向后的摄像装置的输入，激活用户检测部件。一旦被激活，则用户检测部件分析由客户端设备的摄像装置捕获的一组图像的特征。用户检测部件确定这些特征是否同与人类或人对应的对象匹配。在这种情况下，用户检测部件发起用于在视频的帧(例如，一组图像)中跟踪用户的运动的处理。具体地，用户检测部件指示机器学习技术模块512、骨骼关节位置模块514和平滑模块516跟踪用户的骨骼关节，并且在视频的帧中独立平滑一组关节的运动或者平滑另一组关节的运动。在一些情况下，用户检测部件是机器学习技术模块512的一部分。
机器学习技术模块512(例如，深度神经网络)从给定的输入视频中提取一个或更多个特征，以估计视频中描绘的骨骼关节的骨骼关节位置。例如，机器学习技术模块512获得描绘用户的面部、手臂、躯干、臀部和腿的给定视频。机器学习技术模块512从视频中提取与用户的面部和手臂对应的特征，以识别一个或更多个骨骼关节(例如，图6中所示的关节，包括左/右手腕关节、左/右肘关节、左/右肩部关节和鼻子位置)。
机器学习技术模块512生成要被平滑的关节对或关节组。例如，机器学习技术模块512与骨骼关节位置模块514通信，以指定要独立于其他关节组跟踪和平滑的不同的关节组。作为示例，骨骼关节位置模块514可以指定颈部关节和肩部关节作为要一起被跟踪和平滑的第一对关节；可以指定髋关节、左腿关节和左膝关节作为要一起被跟踪和平滑的另一组关节，等等。少于检测到的所有关节的任何数量的关节(例如，一个关节、相邻的两个关节、相邻的三个关节)均可以被包括在被共同跟踪和平滑的给定关节组中。以这种方式，骨骼关节位置模块514在一组视频帧中与作为另一组的一部分的关节分开地跟踪作为一个组的一部分的关节，以测量噪声，并且与应用于另一组的关节的平滑独立地，调整被应用于一个组的平滑。
将机器学习技术模块512的提取的特征提供给骨骼关节位置模块514。骨骼关节位置模块514分析骨骼关节特征以确定特定骨骼关节的坐标。例如，骨骼关节位置模块514确定每个骨骼关节的特定点的x、y坐标，例如左手腕的x、y坐标，左肘的x、y坐标，左肩的x、y坐标，鼻子(或诸如嘴部、耳朵或眼睛的其他面部特征)的x、y坐标，右手腕的x、y坐标，右肘的x、y坐标和右肩的x、y坐标。使用这些坐标，骨骼关节位置模块514指定关节对或关节组。
在一些情况下，可以应用神经网络或机器学习技术来自适应地自动选择要跟踪和平滑作为每组中的一部分的关节。例如，机器学习技术可以基于一组训练视频进行训练，以预测第一组关节(例如，颈部关节、左肩关节和左肘关节)比另一组关节(例如，髋关节和左腿关节)在一组帧中移动更多或导致更大的噪声量。在这种情况下，当对新的一组视频帧进行操作时，机器学习技术可以指示骨骼关节位置模块514形成包括颈部关节、左肩关节和左肘关节的第一组关节，并且从第一组中排除髋关节和左腿关节。替选地，骨骼关节位置模块514可以仅跟踪和平滑由匹配学习技术根据一组训练视频预测为具有大于阈值的噪声量的各组关节。在一些其他情况下，被跟踪和平滑的各组关节由用户手动指定。
平滑模块516检索一组平滑过滤器306，并且与将平滑过滤器306应用于由骨骼关节位置模块514提供的第二组关节独立地，将平滑过滤器306应用于由骨骼关节位置模块514提供的第一组关节。例如，平滑模块516将第一组平滑过滤器并行地应用于多个骨骼关节中的第一组骨骼关节。平滑模块516将第二组平滑过滤器并行地应用于多个骨骼关节中的第二组骨骼关节。平滑模块516独立于第二组平滑过滤器的第二参数，适配第一组平滑过滤器的第一参数。例如，平滑模块516适配第一组平滑过滤器中的每个过滤器的权重以控制应用于第一组关节的平滑量。平滑模块516将应用于第一组关节的过滤器的加权输出汇总。
在一些实施方式中，平滑模块516访问一组先前的帧(例如，1-2秒的过去视频)。平滑模块516分析骨骼关节或骨骼关节组在该组先前帧中的运动。例如在对表示出现在先前帧中的第一组骨骼关节的运动中的噪声量的信号质量参数进行测量之后或之前，平滑模块516对骨骼关节应用多个平滑过滤器。平滑模块516还对第二组骨骼关节应用相同或不同的多个平滑过滤器，所述多个平滑过滤器具有与应用于第一组骨骼关节的平滑过滤器相同或不同的平滑参数。在一些实现方式中，多个平滑过滤器并行地应用于第一组骨骼关节，并且多个平滑过滤器也并行地应用于第二组骨骼关节。也就是说，多个平滑过滤器中的第一平滑过滤器和第二平滑过滤器被同时或并行地应用于平滑第一组骨骼关节在该组先前帧中的运动。作为另一个示例，多个平滑过滤器中的第二平滑过滤器和第三平滑过滤器被同时或并行地应用于平滑第二组骨骼关节在该组先前帧中的运动。应用于第一组骨骼关节/第二组骨骼关节的平滑过滤器的输出基于信号质量参数进行加权并求和。
平滑模块516使用第一组骨骼关节和第二组骨骼关节中的每一个的信号稳定性参数来测量信号稳定性。具体地，平滑模块516测量在先前帧中平滑第一组骨骼关节导致的噪声量，并且单独地测量在先前帧中平滑第二组骨骼关节导致的噪声量。基于平滑操作导致的噪声量，平滑模块516调整应用于不同的骨骼关节组和应用于相同的骨骼关节组的平滑过滤器的平滑参数(例如，通过控制向应用于相同的骨骼关节组的多个过滤器中的每个过滤器应用的权重的量)。在一些实现方式中，平滑模块516对第一骨骼关节的运动和平滑的输出进行插值以测量噪声，并且单独对第二骨骼关节的运动和平滑的输出进行插值以测量不同关节组的运动中的噪声。
在一个示例中，平滑模块516确定第一组骨骼关节的经插值的运动导致超过阈值的噪声。也就是说，测量和计算的表示第一组骨骼关节的运动中的噪声的信号稳定性参数可能超过阈值。在这种情况下，噪声量可能指示需要进行附加的平滑。因此，当接收和处理随后的一组视频帧时或者针对测量了噪声的当前的一组帧，平滑模块516增大应用于第一组骨骼关节的多个平滑过滤器(或平滑过滤器的子集)的平滑参数。也就是说，平滑模块516可以测量一组帧中的噪声，然后基于测量的噪声来调整应用于该组帧中描绘的人的关节的平滑量。作为示例，平滑模块516基于信号稳定性参数，控制并行应用于给定组的关节的平滑过滤器的权重。具有一种特性的一个平滑过滤器可以比并行地应用于相同组关节的具有另一种特性的第二平滑过滤器的权重更大。
在另一个示例中，平滑模块516确定第二组骨骼关节的经插值的运动导致未超过(或小于)阈值的噪声。也就是说，测量和计算的表示第二组骨骼关节的运动中的噪声的信号稳定性参数可能未超过阈值。在这种情况下，噪声量可以指示需要更少的平滑处理。因此，当接收和处理随后的一组视频帧时或者针对测量了噪声的当前组的帧，平滑模块516减小应用于第二组骨骼关节的多个平滑过滤器(或平滑过滤器的子集)的平滑参数。在一个实现方式中，应用于第一组骨骼关节的平滑可以与同时应用于第二组骨骼关节的平滑不同。
在一些情况下，针对由第一组骨骼关节的运动导致的噪声的阈值可能不同于针对由第二组骨骼关节的运动导致的噪声的阈值。在一些情况下，这两个阈值可以是相同的。也就是说，每组骨骼关节可以与不同的阈值相关联，它们各自的信号稳定性参数与阈值进行比较，以调整平滑参数。
图5B是示出根据示例实施方式的示例平滑模块516的框图。平滑模块516包括或访问帧存储器590、过滤器更新模块592、平滑过滤器306、自适应过滤器计算模块593和过滤3D骨骼关节模块594。
帧存储器590包括接收的实时视频501的先前帧的窗口以及这些帧的关键点和分数。先前帧的数量可以包括任何数量的帧(例如，2帧、10帧、100帧或任何其他合适的数量)。平滑模块516通过访问平滑过滤器306来初始化一组K个运动过滤器。该组运动过滤器中的数量K可以基于要跟踪和平滑的关节的数量或者要跟踪和平滑的关节组的数量来选择。例如，如果有要跟踪和平滑三组关节，则可以选择三个不同的运动过滤器，以使用不同的相应特性进行配置。
在一些实施方式中，该组K个运动过滤器中的每个运动过滤器包括X个不同的版本。作为示例，运动过滤器可以包括柔和特性和激进特性，其中，当运动过滤器被配置成柔和特性时，运动过滤器的响应性可以比配置成激进特性时增加。平滑量(例如，应用于平滑过滤器输出的权重的值)被控制成使得在不过度平滑或欠平滑的情况下增加平滑过滤器的响应性。也就是说，当在给定的帧窗口中关节的运动具有超过阈值的噪声时，激进的过滤器的输出比应用于相同关节组的柔和的过滤器的输出的权重更大，这降低了响应性但增加了平滑度。当在给定的帧窗口中关节的运动具有小于阈值的噪声时，激进的过滤器的输出比应用于相同关节组的柔和的过滤器的输出的权重小，这增加了响应性但减小了平滑度。最初，过滤器更新模块592与平滑过滤器306进行通信，以获得该组K个运动过滤器和每个获得的过滤器的初始的一组特性。
在帧存储器590中的若干帧被处理以评估信号质量参数S之后，过滤器更新模块592调整或选择每个获得的过滤器的特性。平滑模块516可以根据该组帧中相邻帧之间差异的标准偏差来计算信号质量参数S。具体地，平滑模块516根据下式计算信号质量参数S：st＝stdt({di|t-T...t})，其中，T是帧存储器590中的该组帧中的帧数，di＝xi-xi-1是两个相邻帧之间的差异。
在一些实现方式中，如果与第一组关节相关联的信号质量参数S大于指定阈值，则被选择为应用于第一组关节的第一过滤器可以被配置成具有柔和特性。作为另一个示例，如果与第一组关节相关联的信号质量参数S小于指定阈值，则被选择为应用于第一组关节的第二过滤器可以被配置成具有激进特性。在一些情况下，过滤器的输出是由权重指定和控制的。也就是说，应用于激进的过滤器的权重比应用于柔和的过滤器的权重值高可以导致更大的平滑量应用于骨骼关节组但响应性下降。应用于激进的过滤器的权重比应用于柔和的过滤器的权重值低可以导致更轻的平滑量应用于骨骼关节组而响应性增加。
在一些实施方式中，过滤器更新模块592基于测量到信号质量参数S低于预定阈值的稳定帧的数量，在并行地应用于给定的一组关节的柔和过滤器与激进过滤器之间调整权重。基于与相应的过滤器相关联的权重，该值在帧存储器590中的帧窗口中被平均化。具体地，过滤器更新模块592根据wsoft＝E[st<阈值]计算与柔和的过滤器特性相关联的第一权重，并且根据waggressive＝E[st>＝阈值]计算与激进的过滤器特性相关联的第二权重。以这种方式，如果信号质量参数S(例如，过去帧数的稳定性的标准偏差测量)低于阈值，则选择要柔和权重((wsoft)以由运动过滤器应用于对应的关节组。如果信号质量参数S(例如，过去帧数的稳定性的标准偏差测量)高于或等于阈值，则选择激进权重(waggressive)以由运动过滤器应用于对应的关节组。作为示例，如果信号质量参数S(例如，过去帧数的稳定性的标准偏差测量)高于或等于阈值，则相对于应用于更柔和的过滤器的输出的权重，增大激进的过滤器的输出的权重，以聚合骨骼关节的运动的平滑。
多个过滤器可以并行地应用于同一组关节。多个过滤器中的每一个可以包括不同的过滤器特性。例如，柔性运动过滤器可以与激进运动过滤器并行地应用于第一组关节。如果信号质量参数S(例如，过去帧数的稳定性的标准偏差测量)高于或等于阈值，则与分配给激进运动过滤器的输出的权重相比，过滤器更新模块592可以将较低的权重分配给柔性运动过滤器的输出。作为另一个示例，如果信号质量参数S(例如，过去帧数的稳定性的标准偏差测量)低于阈值，则与分配给激进运动过滤器的输出的权重相比，过滤器更新模块592可以将较高的权重分配给柔性运动过滤器的输出。然后，与该组关节对应的3D骨骼关节的平滑运动可以基于柔和运动过滤器和激进运动过滤器的加权组合。
自适应过滤器计算模块593聚合具有相应权重的一组过滤器。在一些实施方式中，自适应过滤器计算模块593从帧存储器590检索一组帧，并且使用过滤3D骨骼关节模块594将具有相关联的权重的过滤器应用于对应的骨骼关节组。具体地，自适应过滤器计算模块593接收来自骨骼关节位置模块514的原始3D骨骼关节，并且使用聚合的一组过滤器过滤在帧存储器590中的一组帧(或在随后的帧窗口中接收的帧)中3D骨骼关节的运动。例如，自适应过滤器计算模块593按照下式计算最终信号：其中，fi(x)表示对于所有过滤器X，应用于一组关节x的具有给定的权重wi的运动过滤器i。以这种方式，应用于同一组关节的每个过滤器可以被分配不同的权重，并且应用于同一组关节的所有过滤器的输出被聚合以平滑关节的运动。
经过滤的3D骨骼关节被输出为应用于出现在帧存储器590中的每个相应帧的关节的经加权的过滤器输出fi(x)的平均值。具体地，自适应过滤器计算模块593从帧存储器590中获得第一帧，并且识别第一帧中描绘的人的一组关节。自适应过滤器计算模块593根据用于该组关节的具有选定的过滤器特性的运动过滤器(例如，激进的过滤器或柔和的过滤器或者激进的过滤器与柔和的过滤器的加权组合)来平滑该组关节从第一帧到下一相邻帧或者在该组帧中的运动。在一些情况下，自适应过滤器计算模块593对出现在帧存储器590中的该组帧中的帧的第一集合中的一组关节应用柔和的过滤器，然后切换成对出现在帧存储器590中的该组帧中的帧的第二集合中的相同的一组关节应用激进的过滤器。这可能是在对于该组关节帧的第二集合的信号质量参数比帧的第一集合的信号质量参数低的情况下的结果。在一些情况下，在一组帧的信号质量参数低于阈值的情况下，自适应过滤器计算模块593将具有第一值的权重应用于柔和的过滤器以平滑出现在帧存储器590中的帧集中的帧的第一集合中的一组关节，并且将具有第二值的权重应用于激进的过滤器以平滑出现在帧的第一集合中的同一组关节。这导致更大的平滑量被应用于帧的第一集合中的该组关节。
以这种方式，平滑模块516对先前接收的一组视频帧进行操作，以计算表示在该组帧中描绘的对象或人的一组关节或多组关节的运动的噪声的信号质量参数。基于信号质量，平滑模块516选择性地和自适应地修改应用于关节组中的各个关节的平滑的量(例如，运动过滤特性被设置的强弱程度)。然后，使用具有相同或不同运动过滤器特性的相应过滤器对先前接收的帧中的相应关节进行平滑。在平滑先前接收到的帧中的关节运动之后或者平滑期间，可以根据真实世界对象或人的关节的经平滑的运动，以类似经平滑的方式自适应地移动化身或虚拟对象。
虚拟对象显示模块520可以基于从用户的视频中检测和跟踪的经平滑的骨骼关节来调整给定化身的骨骼装备。虚拟对象显示模块520例如通过改变化身在图像中的姿势、视觉属性和/或位置来调整化身在图像中的移动方式。在一些实施方式中，虚拟对象显示模块520将经调整的化身结合到接收到的描绘用户的身体的视频中，使得在视频中同时呈现经调整的化身和用户二者。该图像由虚拟对象显示模块520提供给客户端设备102，然后可以发送给另一个用户，或者储存起来供以后访问和显示。
图7是示出根据示例实施方式的在执行过程700时身体跟踪系统126的示例操作的流程图。过程700可以以计算机可读指令实施，所述计算机可读指令用于由一个或更多个处理器执行，使得可以由消息收发服务器系统108和/或AR/VR应用105的功能部件部分地或全部执行过程700的操作；因此，下面通过示例的方式参考其描述了过程700。然而，在其他实施方式中，过程700的至少一些操作可以部署在各种其他硬件配置上。因此，该过程700不旨在限于消息收发服务器系统108，并且可以全部或部分地由任何其他部件实现。过程700的操作中的一些或全部可以是并行的、不按顺序的或完全省略的。
在操作701处，身体跟踪系统127接收视频，该视频包括对用户的身体的描绘。例如，机器学习技术模块512接收描绘用户的身体的视频501。机器学习技术模块512从图像中提取指示骨骼关节的一个或更多个特征。
在操作702处，身体跟踪系统126检测视频中描绘的身体的多个骨骼关节。例如，骨骼关节位置模块514接收机器学习技术模块512的输出并且标记或生成骨骼关节的描绘(如图6所示)，以用于在一组帧中跟踪关节。
在操作703处，身体跟踪系统126在一组视频帧中跟踪多个骨骼关节的运动。例如，骨骼关节位置模块514将不同的骨骼关节组或骨骼关节对收集到不同的组中以进行跟踪和平滑。在一些情况下，骨骼关节位置模块514将根据机器学习技术确定为导致最大噪声量的关节归入同一组，只要它们都是相邻的关节。
在操作704处，身体跟踪系统126与平滑在第一组帧中多个骨骼关节中的第二组骨骼关节的运动独立地，平滑多个骨骼关节中的第一组骨骼关节在第一组帧中的帧之间的运动。例如，平滑模块516将具有一组平滑参数的第一组平滑过滤器应用于第一组骨骼关节(例如，颈部和左肩关节)，并且将具有另一组平滑参数的第二组平滑过滤器应用于第二组骨骼关节(例如，髋关节和右膝关节)。平滑模块516也可以将具有不同特性的多个平滑过滤器并行地应用于同一组关节或单个关节。平滑模块516基于表示应用过滤器的关节的运动中的噪声的信号质量参数，为多个平滑过滤器分配权重。然后，平滑模块516将应用于同一关节或一组关节的多个平滑过滤器的加权和聚合，以自适应地平滑该关节在一组帧中的运动。
尽管所描述的流程图可能将操作示出为顺序过程，但是操作中的许多操作可以并行或同时执行。此外，可以重新排列操作的顺序。当过程的操作完成时，过程终止。过程可以对应于方法、程序、算法等。方法的操作可以全部或部分执行，可以与其他方法中的一些或所有操作结合执行，并且可以通过任何数量的不同系统(例如本文描述的系统)或者其任何部分(例如包括在任何系统中的处理器)执行。
图8示出了根据示例实施方式的身体跟踪系统126的说明性输入和输出。如图所示，在视频中，化身与人一起呈现。该人的骨骼关节的运动被身体跟踪系统126平滑。因此，化身的装备的运动也被平滑，导致呈现在显示器上的化身的运动显得更加真实和逼真。也就是说，化身被移动从而以经平滑的方式模仿视频中的人的运动。在一些情况下，化身的一个部分或者化身的骨骼装备的一个部分的运动是独立的，与化身的另一个部分的运动单独地进行平滑。在一些情况下，经平滑的人的骨骼关节组与经平滑的化身的骨骼关节相匹配。以这种方式，化身的不同部分或骨骼关节可以使用不同的平滑过滤器或者具有不同平滑参数的平滑过滤器分别进行平滑。
机器架构
图9是机器900的图解表示，在该机器900中可以执行用于使机器900执行本文中所讨论的任何一种或更多种方法的指令908(例如，软件、程序、应用、小程序、app或其他可执行代码)。例如，指令908可以使机器900执行本文中所描述的任何一种或更多种方法。指令908将通用的非编程的机器900转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器900。机器900可以作为独立设备操作，或者可以耦接(例如，联网)至其他机器。在联网部署中，机器900可以在服务器-客户端网络环境中以服务器机器或客户端机器的资格操作，或者作为对等(peer-to-peer)(或分布式)网络环境中的对等机器操作。机器900可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其他智能设备、网络设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指定要由机器900采取的动作的指令908的任何机器。此外，虽然仅示出了单个机器900，但是术语“机器”还应当被视为包括单独地或联合地执行指令908以执行本文中讨论的任何一种或更多种方法的机器的集合。例如，机器900可以包括客户端设备102或者形成消息收发服务器系统108的一部分的若干服务器设备中的任何一个。在一些示例中，机器900还可以包括客户端系统和服务器系统两者，其中特定方法或算法的某些操作在服务器侧执行，并且其中特定方法或算法的某些操作在客户端侧执行。
机器900可以包括可以被配置成经由总线940彼此通信的处理器902、存储器904和输入/输出(I/O)部件938。在示例中，处理器902(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另外的处理器或其任何合适的组合)可以包括例如执行指令908的处理器906和处理器910。术语“处理器”旨在包括多核处理器，该多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时被称为“核”)。尽管图9示出了多个处理器902，但是机器900可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器904包括主存储器912、静态存储器914以及存储单元916，其均可由处理器902经由总线940访问。主存储器904、静态存储器914和存储单元916存储实现本文所述的方法或功能中的任何一种或更多种的指令908。指令908在其由机器900执行期间还可以完全地或部分地驻留在主存储器912内、驻留在静态存储器914内、驻留在存储单元916内的机器可读介质918内、驻留在处理器1802中的至少之一内(例如，在处理器的高速缓存存储器内)或者其任何合适的组合。
I/O部件938可以包括用于接收输入、提供输出、产生输出、传送信息、交换信息、捕获测量结果等的各种部件。在特定机器中包括的特定I/O部件938将取决于机器的类型。例如，诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构，而无头(headless)服务器机器可能将不包括这样的触摸输入设备。应当认识到的是，I/O部件938可以包括图9中未示出的许多其他部件。在各种示例中，I/O部件938可以包括用户输出部件924和用户输入部件926。用户输出部件924可以包括视觉部件(例如，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)之类的显示器)、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号生成器等。用户输入部件926可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或另一指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的定位和/或力的触摸屏或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在另一示例中，I/O部件938可以包括：生物计量部件928、运动部件930、环境部件932、或位置部件934，以及各种各样的其他部件。例如，生物计量部件928包括用于检测表达(例如，手表达、面部表达、声音表达、身体姿态或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件930包括加速度传感器部件(例如，加速计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)。
环境部件932包括例如：一个或更多个摄像装置(具有静止图像/照片和视频能力)、照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。
关于摄像装置，客户端设备102可以具有摄像装置系统，该摄像装置系统包括例如在客户端设备102的前表面上的前置摄像装置和客户端设备102的后表面上的后置摄像装置。前置摄像装置可以例如用于捕获客户端设备102的用户的静止图像和视频(例如，“自拍”)，然后可以用上述增强数据(例如，过滤器)对该静止图像和视频进行增强。例如，后置摄像装置可以用于以更常规的摄像装置模式捕获静止图像和视频，这些图像类似地用增强数据进行增强。除了前置摄像装置和后置摄像装置之外，客户端设备102还可以包括用于捕获360°照片和视频的360°摄像装置。
此外，客户端设备102的摄像装置系统可以包括双后置摄像装置(例如，主摄像装置以及深度感测摄像装置)，或者甚至在客户端设备102的前后侧上包括三重、四重或五重后置摄像装置配置。例如，这些多摄像装置系统可以包括广角摄像装置、超广角摄像装置、长焦摄像装置、微距摄像装置和深度传感器。
位置部件934包括定位传感器部件(例如，GPS接收器部件)、海拔传感器部件(例如，检测气压的高度计或气压计，根据气压可以得到海拔)、取向传感器部件(例如，磁力计)等。
可以使用各种技术来实现通信。I/O部件938还包括通信部件936，通信部件936可操作以经由相应的耦接或连接将机器900耦接至网络920或设备922。例如，通信部件936可以包括与网络920对接的网络接口部件或其他合适的设备。在另外的示例中，通信部件936可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如，/>低能量)、/>部件以及经由其他模态提供通信的其他通信部件。设备922可以是另一机器或各种外围设备中的任何外围设备(例如，经由USB耦接的外围设备)。
此外，通信部件936可以检测标识符，或者包括可操作以检测标识符的部件。例如，通信部件936可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如，用于检测诸如通用产品码(UPC)条形码的一维条形码、诸如快速响应(QR)码、Aztec码、数据矩阵(Data Matrix)、数据符号(Dataglyph)、最大码(MaxiCode)、PDF417、超码(Ultra Code)、UCC RSS-2D条形码的多维条形码以及其他光学码的光学传感器)或声学检测部件(例如，用于识别经标记的音频信号的麦克风)。此外，可以经由通信部件936得到各种信息，例如经由因特网协议(IP)地理位置得到的位置、经由信号三角测量得到的位置、经由检测NFC信标信号得到的位置等，该NFC信标信号可以指示特定位置。
各种存储器(例如，主存储器912、静态存储器914以及处理器902的存储器)以及存储单元916可以存储由本文中描述的方法或功能中的任何一个或更多个实现或使用的一组或更多组指令和数据结构(例如，软件)。在由处理器902执行的情况下，这些指令(例如，指令908)使得各种操作实现所公开的示例。
可以经由网络接口设备(例如，通信部件936中包括的网络接口部件)，使用传输介质并且使用多个公知的传输协议中的任意一种传输协议(例如，超文本传输协议(HTTP))，通过网络920来发送或接收指令908。类似地，可以使用传输介质经由与设备922的耦接(例如，对等耦接)来发送或接收指令908。
软件架构
图10是示出可以安装在本文中所描述的设备中的任何一个或更多个上的软件架构1004的框图1000。软件架构1004由诸如包括处理器1020、存储器1026和I/O部件1038的机器1002的硬件来支持。在该示例中，软件架构1004可以被概念化为层的堆叠，其中每个层提供特定功能。软件架构1004包括诸如操作系统1012、库1010、框架1008和应用1006的层。在操作上，应用1006通过软件堆栈来激活API调用1050，并且响应于API调用1050接收消息1052。
操作系统1012管理硬件资源并且提供公共服务。操作系统1012包括例如核1014、服务1016和驱动器1022。核1014充当硬件层与其他软件层之间的抽象层。例如，核1014提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置以及其他功能。服务1016可以为其他软件层提供其他公共服务。驱动器1022负责控制底层硬件或与底层硬件对接(interface)。例如，驱动器1022可以包括显示驱动器、摄像装置驱动器、或/>低功耗驱动器、闪存驱动器、串行通信驱动器(例如，USB驱动器)、驱动器、音频驱动器、电力管理驱动器等。
库1010提供由应用1006使用的公共低级基础设施。库1010可以包括系统库1018(例如，C标准库)，系统库1018提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。此外，库1010可以包括API库1024，例如媒体库(例如，用于支持各种媒体格式的呈现和操纵的库，该媒体格式例如是运动图像专家组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中以二维(2D)和三维(3D)进行呈现的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供网络浏览功能的WebKit)等。库1010还可以包括各种其他库1028，以向应用1006提供许多其他API。
框架1008提供由应用1006使用的公共高级基础设施。例如，框架1008提供各种图形用户界面(GUI)功能、高级资源管理和高级定位服务。框架1008可以提供可以由应用1006使用的广泛的其他API，其中一些API可以特定于特定操作系统或平台。
在示例中，应用1006可以包括家庭应用1036、联系人应用1030、浏览器应用1032、书籍阅读器应用1034、定位应用1042、媒体应用1044、消息收发应用1046、游戏应用1048和诸如第三方应用1040的各种各样的其他应用。应用1006是执行程序中定义的功能的程序。可以采用各种编程语言来创建以各种方式构造的应用1006中的一个或更多个，编程语言例如是面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C语言或汇编语言)。在特定示例中，第三方应用1040(例如，由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、Phone的移动操作系统或另外的移动操作系统上运行的移动软件。在该示例中，第三方应用1040可以激活由操作系统1012提供的API调用1050以促进本文中描述的功能。
术语表
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。可以经由网络接口设备使用传输介质在网络上发送或接收指令。
“客户端设备”是指与通信网络对接以从一个或更多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、膝上型计算机、多处理器系统、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另外类型的网络或者两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线网络或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任何数据传输技术，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进的增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动通讯系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有以下边界的设备、物理实体或逻辑：该边界由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行划分或模块化的其他技术来定义。部件可以经由其接口与其他部件组合以执行机器过程。部件可以是被设计用于与其他部件一起使用的经封装的功能硬件单元并且可以是通常执行相关功能中的特定功能的程序的一部分。部件可以构成软件部件(例如，实施在机器可读介质上的代码)或硬件部件。
“硬件部件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例实施方式中，可以通过软件(例如，应用或应用部分)将一个或更多个计算机系统(例如，独立计算机系统、客户端计算机系统或服务器计算机系统)或者计算机系统的一个或更多个硬件部件(例如，处理器或处理器组)配置成进行操作以执行如本文描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如，硬件部件可以包括被永久地配置成执行某些操作的专用电路或逻辑。硬件部件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件临时配置成执行某些操作的可编程逻辑或电路。例如，硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置，则硬件部件成为被唯一地定制成执行配置的功能的特定的机器(或机器的特定部件)，并且不再是通用处理器。
将理解的是，机械地、在专用和永久配置的电路中、或在临时配置的电路(例如，由软件配置)中实现硬件部件的决定可以出于成本和时间考虑来驱动。相应地，短语“硬件部件”(或者“硬件实现的部件”)应当被理解成包含有形实体，即为被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或者执行本文中描述的某些操作的实体。考虑硬件部件被临时配置(例如，被编程)的实施方式，硬件部件中的每一个无需在任一时刻处均被配置或实例化。例如，在硬件部件包括通过软件配置而成为专用处理器的通用处理器的情况下，可以将通用处理器在不同时间分别配置成不同的专用处理器(例如，包括不同的硬件部件)。因此，软件将一个或多个特定处理器配置成例如在一个时刻构成特定硬件部件并且在不同时刻构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此，所描述的硬件部件可以被认为通信地耦接。在同时存在多个硬件部件的情况下，可以通过(例如，通过适当的电路和总线)在两个或更多个硬件部件之间或之中进行信号传输来实现通信。在其中多个硬件部件在不同时间处被配置或实例化的实施方式中，可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如，一个硬件部件可以执行操作并且将该操作的输出存储在与其通信地耦接的存储器装置中。然后，其他硬件部件可以在随后的时间访问存储器装置以检索所存储的输出并对其进行处理。硬件部件还可以发起与输入设备或输出设备的通信，并且可以对资源进行操作(例如，信息的收集)。
本文描述的示例方法的各种操作可以至少部分地由一个或更多个处理器执行，一个或更多个处理器被临时配置(例如，通过软件)或永久配置成执行相关的操作。无论是被临时地配置还是永久地配置，这样的处理器可以构成进行操作以执行本文中描述的一个或更多个操作或功能的处理器实现的部件。如本文中使用的，“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地，本文中描述的方法可以至少部分地由处理器实现，其中，特定的一个或多个处理器是硬件的示例。例如，方法的至少一些操作可以由一个或更多个处理器902或者处理器实现的部件执行。此外，一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或作为“软件即服务”(SaaS)操作。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，其中这些操作可经由网络(例如，因特网)以及经由一个或更多个适当的接口(例如，API)访问。某些操作的执行可以分布在处理器之间，不仅可以驻留在单个机器内，而且可以被部署在若干机器上。在一些示例实施方式中，处理器或处理器实现的部件可以位于单个地理位置中(例如，在家庭环境、办公室环境或服务器群内)。在其他示例实施方式中，处理器或处理器实现的部件可以跨若干地理位置分布。
“计算机可读存储介质”是指机器存储介质和传输介质两者。因此，术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“装置可读介质”意指相同的事物，并且可以在本公开内容中可互换地使用。
“短暂消息”是指在有时间限制的持续时间内可访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。替选地，访问时间可以是默认设置或者由接收者指定的设置。无论设置技术如何，该消息都是暂时的。
“机器存储介质”是指存储可执行指令、例程和数据的单个或多个存储设备和介质(例如，集中式或分布式数据库，以及相关联的高速缓存和服务器)。因此，该术语应被视为包括但不限于固态存储器以及光学和磁介质，包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和设备存储介质的具体示例包括：非易失性存储器，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备；磁盘，诸如内部硬盘和可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物，并且在本公开内容中可以互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质，载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“非暂态计算机可读存储介质”是指能够存储、编码或携载由机器执行的指令的有形介质。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质，并且“信号介质”包括数字或模拟通信信号或其他无形介质以便于软件或数据的传送。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”指的是其一个或更多个特性以下述方式来设置或改变的信号：将信息编码在该信号中的方式。术语“传输介质”和“信号介质”指相同的事物并且可以在本公开内容中互换使用。
在不脱离本公开内容的范围的情况下，可以对所公开的实施方式进行改变和修改。这些及其他改变或修改旨在包括在所附权利要求书中所表达的本公开内容的范围内。

Claims (20)

1.一种方法，包括：
通过一个或更多个处理器接收视频，所述视频包括对用户的身体的描绘；
通过所述一个或更多个处理器检测所述视频中描绘的所述身体的多个骨骼关节；
在所述视频的一组帧中跟踪所述多个骨骼关节的运动；以及
与平滑所述多个骨骼关节中的第二组骨骼关节在第一组帧中的运动独立地，平滑所述多个骨骼关节中的第一组骨骼关节在所述第一组帧中的帧之间的运动。
2.根据权利要求1所述的方法，还包括：基于信号稳定性参数，控制应用于所述多个骨骼关节中的第一组骨骼关节的平滑量。
3.根据权利要求1-2中任一项所述的方法，其中，所述多个骨骼关节中的第一组骨骼关节包括第一对相邻关节，并且其中，所述多个骨骼关节中的第二组骨骼关节包括第二对相邻关节。
4.根据权利要求1-3中任一项所述的方法，还包括：
将第一组平滑过滤器应用于所述多个骨骼关节中的第一组骨骼关节；
将第二组平滑过滤器应用于所述多个骨骼关节中的第二组骨骼关节；以及
与所述第二组平滑过滤器的第二参数独立地，调整所述第一组平滑过滤器的第一参数。
5.根据权利要求4所述的方法，其中，所述第一组平滑过滤器和所述第二组平滑过滤器包括多个平滑过滤器。
6.根据权利要求4-5中任一项所述的方法，还包括：
计算第一信号稳定性参数，所述第一信号稳定性参数表示所述多个骨骼关节中的第一组骨骼关节在所述第一组帧中的帧之间的运动导致的第一噪声量；以及
基于所述第一信号稳定性参数的值，修改所述第一参数。
7.根据权利要求4-6中任一项所述的方法，还包括：响应于确定由所述第一信号稳定性参数表示的第一噪声量超过阈值，修改所述第一参数以增加通过所述第一组平滑过滤器应用于第二组帧的平滑量。
8.根据权利要求4-7中任一项所述的方法，还包括：
计算第二信号稳定性参数，所述第二信号稳定性参数表示由所述多个骨骼关节中的第二组骨骼关节在所述第一组帧中的帧之间的运动导致的第二噪声量；以及
基于所述第二信号稳定性参数的值，修改所述第二参数。
9.根据权利要求4-8中任一项所述的方法，还包括：响应于确定由所述第一信号稳定性参数表示的第二噪声量小于所述阈值，修改所述第二参数以降低通过所述第二组平滑过滤器应用于所述第二组帧的平滑量。
10.根据权利要求4所述的方法，其中，将所述第一组平滑过滤器应用于所述多个骨骼关节中的第一组骨骼关节包括：将多个平滑过滤器并行地应用于所述多个骨骼关节中的第一组骨骼关节。
11.根据权利要求4-10中任一项所述的方法，还包括：对所述多个平滑过滤器的输出进行插值。
12.根据权利要求11所述的方法，其中，基于表示所述多个平滑过滤器的输出之间的噪声量的信号稳定性参数来执行对所述输出的插值。
13.根据权利要求1-12中任一项所述的方法，还包括：基于所述多个骨骼关节的平滑运动生成化身。
14.一种系统，包括：
处理器，所述处理器被配置成执行操作，所述操作包括：
接收视频，所述视频包括对用户的身体的描绘；
检测所述视频中描绘的所述身体的多个骨骼关节；
在所述视频的一组帧中跟踪所述多个骨骼关节的运动；以及
与平滑所述多个骨骼关节中的第二组骨骼关节在第一组帧中的运动独立地，平滑所述多个骨骼关节中的第一组骨骼关节在所述第一组帧中的帧之间的运动。
15.根据权利要求14所述的系统，其中，所述操作还包括：基于信号稳定性参数，控制应用于所述多个骨骼关节中的第一组骨骼关节的平滑量。
16.根据权利要求14-15中任一项所述的系统，其中，所述多个骨骼关节中的第一组骨骼关节包括第一对相邻关节，并且其中，所述多个骨骼关节中的第二组骨骼关节包括第二对相邻关节。
17.根据权利要求14-16中任一项所述的系统，其中，所述操作还包括：
将第一组平滑过滤器应用于所述多个骨骼关节中的第一组骨骼关节；
将第二组平滑过滤器应用于所述多个骨骼关节中的第二组骨骼关节；以及
与所述第二组平滑过滤器的第二参数独立地，调整所述第一组平滑过滤器的第一参数。
18.根据权利要求17所述的系统，其中，所述第一组平滑过滤器和所述第二组平滑过滤器包括多个平滑过滤器。
19.根据权利要求17-18中任一项所述的系统，其中，所述操作还包括：
计算第一信号稳定性参数，所述第一信号稳定性参数表示所述多个骨骼关节中的第一组骨骼关节在所述第一组帧中的帧之间的运动导致的第一噪声量；以及
基于所述第一信号稳定性参数的值，修改所述第一参数。
20.一种非暂态机器可读存储介质，包括指令，所述指令在由机器的一个或更多个处理器执行时使得所述机器执行操作，所述操作包括：
接收视频，所述视频包括对用户的身体的描绘；
检测所述视频中描绘的所述身体的多个骨骼关节；
在所述视频的一组帧中跟踪所述多个骨骼关节的运动；以及
与平滑所述多个骨骼关节中的第二组骨骼关节在第一组帧中的运动独立地，平滑所述多个骨骼关节中的第一组骨骼关节在所述第一组帧中的帧之间的运动。
CN202180073442.7A 2020-10-27 2021-10-27 自适应骨骼关节平滑 Pending CN116508062A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063198553P 2020-10-27 2020-10-27
US63/198,553 2020-10-27
US16/949,607 2020-11-06
US16/949,607 US11660022B2 (en) 2020-10-27 2020-11-06 Adaptive skeletal joint smoothing
PCT/US2021/056850 WO2022093958A1 (en) 2020-10-27 2021-10-27 Adaptive skeletal joint smoothing

Publications (1)

Publication Number Publication Date
CN116508062A true CN116508062A (zh) 2023-07-28

Family

ID=81258771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073442.7A Pending CN116508062A (zh) 2020-10-27 2021-10-27 自适应骨骼关节平滑

Country Status (5)

Country Link
US (1) US11660022B2 (zh)
EP (1) EP4238057A1 (zh)
KR (1) KR20230098244A (zh)
CN (1) CN116508062A (zh)
WO (1) WO2022093958A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US20230063681A1 (en) * 2021-08-25 2023-03-02 Sony Interactive Entertainment Inc. Dynamic augmentation of stimuli based on profile of user

Family Cites Families (296)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5880731A (en) 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
US6023270A (en) 1997-11-17 2000-02-08 International Business Machines Corporation Delivery of objects in a virtual world using a descriptive container
US6842779B1 (en) 1998-03-11 2005-01-11 Yasuo Nishizawa Agent accessory tool cooperating with integrated application on WEB server by HTTP protocol
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6223165B1 (en) 1999-03-22 2001-04-24 Keen.Com, Incorporated Method and apparatus to connect consumer to expert
US6772195B1 (en) 1999-10-29 2004-08-03 Electronic Arts, Inc. Chat clusters for a virtual world application
JP2001230801A (ja) 2000-02-14 2001-08-24 Sony Corp 通信システムとその方法、通信サービスサーバおよび通信端末装置
US6922685B2 (en) 2000-05-22 2005-07-26 Mci, Inc. Method and system for managing partitioned data resources
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US20050206610A1 (en) 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US8117281B2 (en) 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US6910186B2 (en) 2000-12-08 2005-06-21 Kyunam Kim Graphic chatting with organizational avatars
US7925703B2 (en) 2000-12-26 2011-04-12 Numedeon, Inc. Graphical interactive interface for immersive online communities
US6697072B2 (en) 2001-03-26 2004-02-24 Intel Corporation Method and system for controlling an avatar using computer vision
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
EP1495447A1 (en) 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
KR100493525B1 (ko) 2002-05-03 2005-06-07 안현기 아바타 메일 제공시스템 및 방법
US8495503B2 (en) 2002-06-27 2013-07-23 International Business Machines Corporation Indicating the context of a communication
US7138963B2 (en) 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
US7636755B2 (en) 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7484176B2 (en) 2003-03-03 2009-01-27 Aol Llc, A Delaware Limited Liability Company Reactive avatars
US20070168863A1 (en) 2003-03-03 2007-07-19 Aol Llc Interacting avatars in an instant messaging communication session
KR20040091331A (ko) 2003-04-21 2004-10-28 홍지선 자연어처리기술을 이용하여 입력된 문자메시지와 그 문장내용에 상응하는 아바타 표현 방법 및 시스템
US7831088B2 (en) 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
KR100762629B1 (ko) 2003-08-26 2007-10-01 삼성전자주식회사 휴대단말기의 백업서비스 처리방법
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
US7342587B2 (en) 2004-10-12 2008-03-11 Imvu, Inc. Computer-implemented system and method for home page customization and e-commerce support
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
KR100714192B1 (ko) 2005-04-08 2007-05-02 엔에이치엔(주) 노출 부위가 가변되는 아바타 제공 시스템 및 그 방법
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
US7775885B2 (en) 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
BRPI0620945B1 (pt) 2005-12-31 2018-11-27 Tencent Tech Shenzhen Co Ltd método de exibição de um avatar 3-d e sistema de exibição de um avatar 3-d
US20070176921A1 (en) 2006-01-27 2007-08-02 Koji Iwasaki System of developing urban landscape by using electronic data
WO2007093813A1 (en) 2006-02-16 2007-08-23 Weeworld Limited Portable account information
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US7536201B2 (en) 2006-03-29 2009-05-19 Sony Ericsson Mobile Communications Ab Motion sensor character generation for mobile device
WO2007130693A2 (en) 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
DE102006024449A1 (de) 2006-05-24 2007-11-29 Combots Product Gmbh & Co. Kg Übermittlung von Nachrichten mittels animierter Kommunikationselemente
WO2007134402A1 (en) 2006-05-24 2007-11-29 Mor(F) Dynamics Pty Ltd Instant messaging system
US8328610B2 (en) 2006-08-16 2012-12-11 Nintendo Co., Ltd. Intelligent game editing system and method with autocomplete and other functions that facilitate game authoring by non-expert end users
US20080158222A1 (en) 2006-12-29 2008-07-03 Motorola, Inc. Apparatus and Methods for Selecting and Customizing Avatars for Interactive Kiosks
US8504926B2 (en) 2007-01-17 2013-08-06 Lupus Labs Ug Model based avatars for virtual presence
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
GB2447094B (en) 2007-03-01 2010-03-10 Sony Comp Entertainment Europe Entertainment device and method
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
ATE555433T1 (de) 2007-04-26 2012-05-15 Ford Global Tech Llc Emotives beratungssystem und verfahren
CN101071457B (zh) 2007-04-28 2010-05-26 腾讯科技（深圳）有限公司 一种网络游戏中改变角色形象的方法、装置以及服务器
US8154552B2 (en) 2007-05-04 2012-04-10 Autodesk, Inc. Looping motion space registration for real-time character animation
WO2008141125A1 (en) 2007-05-10 2008-11-20 The Trustees Of Columbia University In The City Of New York Methods and systems for creating speech-enabled avatars
WO2008151424A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US20090016617A1 (en) 2007-07-13 2009-01-15 Samsung Electronics Co., Ltd. Sender dependent messaging viewer
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US20090055484A1 (en) 2007-08-20 2009-02-26 Thanh Vuong System and method for representation of electronic mail users using avatars
US20090070688A1 (en) 2007-09-07 2009-03-12 Motorola, Inc. Method and apparatus for managing interactions
US8924250B2 (en) 2007-09-13 2014-12-30 International Business Machines Corporation Advertising in virtual environments based on crowd statistics
WO2009046342A1 (en) 2007-10-04 2009-04-09 Playspan, Inc. Apparatus and method for virtual world item searching
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US8151191B2 (en) 2007-12-07 2012-04-03 International Business Machines Corporation Managing objectionable material in 3D immersive virtual worlds
US20090158170A1 (en) 2007-12-14 2009-06-18 Rajesh Narayanan Automatic profile-based avatar generation
US20090160779A1 (en) 2007-12-19 2009-06-25 International Business Machines Corporation Emulating A Keyboard On A Touch Screen Monitor Of A Computer System
US20090177976A1 (en) 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US8495505B2 (en) 2008-01-10 2013-07-23 International Business Machines Corporation Perspective based tagging and visualization of avatars in a virtual world
EP2263190A2 (en) 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
EP3352107A1 (en) 2008-03-03 2018-07-25 NIKE Innovate C.V. Interactive athletic equipment system
US9744466B2 (en) 2008-03-13 2017-08-29 Mattel, Inc. Widgetized avatar and a method and system of creating and using same
US8758102B2 (en) 2008-03-25 2014-06-24 Wms Gaming, Inc. Generating casino floor maps
US8832552B2 (en) 2008-04-03 2014-09-09 Nokia Corporation Automated selection of avatar characteristics for groups
US20090265604A1 (en) 2008-04-21 2009-10-22 Microsoft Corporation Graphical representation of social network vitality
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US20090303984A1 (en) 2008-06-09 2009-12-10 Clark Jason T System and method for private conversation in a public space of a virtual world
US8095878B2 (en) 2008-06-23 2012-01-10 International Business Machines Corporation Method for spell check based upon target and presence of avatars within a virtual environment
US8839327B2 (en) 2008-06-25 2014-09-16 At&T Intellectual Property Ii, Lp Method and apparatus for presenting media programs
WO2010000300A1 (en) 2008-06-30 2010-01-07 Accenture Global Services Gmbh Gaming system
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
AU2009276721B2 (en) 2008-07-28 2015-06-18 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US8384719B2 (en) 2008-08-01 2013-02-26 Microsoft Corporation Avatar items and animations
US8832201B2 (en) 2008-08-18 2014-09-09 International Business Machines Corporation Method, system and program product for providing selective enhanced privacy and control features to one or more portions of an electronic message
US8648865B2 (en) 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US8108774B2 (en) 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US8869197B2 (en) 2008-10-01 2014-10-21 At&T Intellectual Property I, Lp Presentation of an avatar in a media communication system
US8683354B2 (en) 2008-10-16 2014-03-25 At&T Intellectual Property I, L.P. System and method for distributing an avatar
US20100115426A1 (en) 2008-11-05 2010-05-06 Yahoo! Inc. Avatar environments
US8745152B2 (en) 2008-11-06 2014-06-03 Disney Enterprises, Inc. System and method for server-side avatar pre-rendering
WO2010074786A2 (en) 2008-12-04 2010-07-01 Total Immersion Software, Inc. System and methods for dynamically injecting expression information into an animated facial mesh
US8458601B2 (en) 2008-12-04 2013-06-04 International Business Machines Corporation System and method for item inquiry and information presentation via standard communication paths
US20100162149A1 (en) 2008-12-24 2010-06-24 At&T Intellectual Property I, L.P. Systems and Methods to Provide Location Information
US9105014B2 (en) 2009-02-03 2015-08-11 International Business Machines Corporation Interactive avatar in messaging environment
KR101558553B1 (ko) 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20100227682A1 (en) 2009-03-04 2010-09-09 Microsoft Corporation Awarding of avatar items in video game environment
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US8862987B2 (en) 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20100302253A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US20110093780A1 (en) 2009-10-16 2011-04-21 Microsoft Corporation Advertising avatar
KR20110070056A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
US20110161242A1 (en) 2009-12-28 2011-06-30 Rovi Technologies Corporation Systems and methods for searching and browsing media in an interactive media guidance application
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8484158B2 (en) 2010-02-01 2013-07-09 International Business Machines Corporation Managing information about avatars across virtual worlds
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120194549A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110239136A1 (en) 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue
US9086776B2 (en) 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US8928672B2 (en) 2010-04-28 2015-01-06 Mixamo, Inc. Real-time automatic concatenation of 3D animation sequences
US8692830B2 (en) 2010-06-01 2014-04-08 Apple Inc. Automatic avatar creation
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US10019842B2 (en) 2010-08-09 2018-07-10 Decopac, Inc. Decorating system for edible products
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
JP6000954B2 (ja) 2010-09-20 2016-10-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クラウド支援型拡張現実のための適応可能なフレームワーク
KR101514327B1 (ko) 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US20120124458A1 (en) 2010-11-17 2012-05-17 Nazareno Brier Cruzada Social networking website & web-based system for collecting & presenting real-time user generated information on parties & events.
US20120130717A1 (en) 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
US20120147014A1 (en) 2010-12-08 2012-06-14 Chao-Hua Lee Method for extracting personal styles and its application to motion synthesis and recognition
KR101445263B1 (ko) 2010-12-22 2014-09-30 주식회사 케이티 맞춤형 콘텐츠 제공 시스템 및 방법
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9839844B2 (en) 2011-03-01 2017-12-12 Disney Enterprises, Inc. Sprite strip renderer
WO2012126135A1 (en) 2011-03-21 2012-09-27 Intel Corporation Method of augmented makeover with 3d face modeling and landmark alignment
WO2012139276A1 (en) 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques
US20130103760A1 (en) 2011-04-11 2013-04-25 Robert K. Golding Location-sensitive virtual identity system, apparatus, method and computer-readable medium
US8989786B2 (en) 2011-04-21 2015-03-24 Walking Thumbs, Llc System and method for graphical expression during text messaging communications
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
CN103765479A (zh) 2011-08-09 2014-04-30 英特尔公司 基于图像的多视点3d脸部生成
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US8559980B2 (en) 2011-09-02 2013-10-15 John J. Pujol Method and system for integrated messaging and location services
US8633913B1 (en) 2011-09-02 2014-01-21 Rockwell Collins, Inc. Touch interfaces and controls for aviation displays
US20130091206A1 (en) 2011-10-10 2013-04-11 Juliano Godinho Varaschin de Moraes Displaying social network platform update data
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
ES2829952T3 (es) 2011-11-03 2021-06-02 Glowbl Interfaz de comunicaciones y método de comunicaciones, programa informático correspondiente y medio de grabación correspondiente
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
WO2013097139A1 (en) 2011-12-29 2013-07-04 Intel Corporation Communication using avatar
US8810513B2 (en) 2012-02-02 2014-08-19 Kodak Alaris Inc. Method for controlling interactive display system
US20130257877A1 (en) 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US9402057B2 (en) 2012-04-02 2016-07-26 Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. Interactive avatars for telecommunication systems
US9357174B2 (en) 2012-04-09 2016-05-31 Intel Corporation System and method for avatar management and selection
WO2013166588A1 (en) 2012-05-08 2013-11-14 Bitstrips Inc. System and method for adaptable avatars
JP5497931B2 (ja) 2012-05-30 2014-05-21 株式会社コナミデジタルエンタテインメント アプリケーション装置、アプリケーション装置の制御方法、及びプログラム
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US9263084B1 (en) 2012-06-15 2016-02-16 A9.Com, Inc. Selective sharing of body data
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
AU2013206649A1 (en) 2012-07-05 2014-01-23 Aristocrat Technologies Australia Pty Limited A gaming system and a method of gaming
US20140125678A1 (en) 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US10116598B2 (en) 2012-08-15 2018-10-30 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US9461876B2 (en) 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
WO2014036708A1 (en) 2012-09-06 2014-03-13 Intel Corporation System and method for avatar creation and synchronization
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US9314692B2 (en) 2012-09-21 2016-04-19 Luxand, Inc. Method of creating avatar from user submitted image
US9746990B2 (en) 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9501942B2 (en) 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US20140129343A1 (en) 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9256860B2 (en) 2012-12-07 2016-02-09 International Business Machines Corporation Tracking participation in a shared media session
US9990373B2 (en) 2013-02-06 2018-06-05 John A. Fortkort Creation and geospatial placement of avatars based on real-world interactions
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US9342230B2 (en) 2013-03-13 2016-05-17 Microsoft Technology Licensing, Llc Natural user interface scrolling and targeting
CN104995662B (zh) 2013-03-20 2020-08-11 英特尔公司 用于管理化身的设备和方法以及用于动画化化身的设备
WO2014153689A1 (en) 2013-03-29 2014-10-02 Intel Corporation Avatar animation, social networking and touch screen applications
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
JP2014229224A (ja) 2013-05-27 2014-12-08 船井電機株式会社 オブジェクト選択装置
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
US9378576B2 (en) 2013-06-07 2016-06-28 Faceshift Ag Online modeling for real-time facial animation
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
US10134296B2 (en) 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror
US9524434B2 (en) 2013-10-04 2016-12-20 Qualcomm Incorporated Object tracking based on dynamically built environment map data
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
US9508197B2 (en) 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
WO2015070416A1 (en) 2013-11-14 2015-05-21 Intel Corporation Mechanism for facilitating dynamic simulation of avatars corresponding to changing user performances as detected at computing devices
US9361510B2 (en) 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
US9517403B1 (en) 2013-12-19 2016-12-13 Kabam, Inc. Rewarding user customization of a virtual item based on user reviews in an online game
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9390344B2 (en) 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
EP2946266B1 (en) 2014-03-21 2023-06-21 Samsung Electronics Co., Ltd. Method and wearable device for providing a virtual input interface
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9503845B2 (en) 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
WO2015164951A1 (en) 2014-05-01 2015-11-05 Abbas Mohamad Methods and systems relating to personalized evolving avatars
US9947139B2 (en) 2014-06-20 2018-04-17 Sony Interactive Entertainment America Llc Method and apparatus for providing hybrid reality environment
US10371944B2 (en) 2014-07-22 2019-08-06 Sony Interactive Entertainment Inc. Virtual reality headset with see-through mode
US20160134840A1 (en) 2014-07-28 2016-05-12 Alexa Margaret McCulloch Avatar-Mediated Telepresence Systems with Enhanced Filtering
TWI531991B (zh) 2014-08-29 2016-05-01 Top Line Products Ltd Replacement method of compound goods with compound option
US9633463B2 (en) 2014-09-24 2017-04-25 Intel Corporation User gesture driven avatar apparatus and method
US9791919B2 (en) 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US9898849B2 (en) 2014-11-05 2018-02-20 Intel Corporation Facial expression based avatar rendering in video animation and method
US20160171739A1 (en) 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
KR102374446B1 (ko) 2014-12-11 2022-03-15 인텔 코포레이션 아바타 선택 메커니즘
US9754416B2 (en) 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US20160210780A1 (en) 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
JP6462386B2 (ja) 2015-02-05 2019-01-30 任天堂株式会社 プログラム、通信端末及び表示方法
US9939887B2 (en) 2015-03-09 2018-04-10 Ventana 3D, Llc Avatar control system
US10300362B2 (en) 2015-04-23 2019-05-28 Win Reality, Llc Virtual reality sports training systems and methods
US20160330522A1 (en) 2015-05-06 2016-11-10 Echostar Technologies L.L.C. Apparatus, systems and methods for a content commentary community
KR20160144179A (ko) 2015-06-08 2016-12-16 임재현 카메라를 포함하는 사용자 단말에서 사용자 인터페이스를 제공하는 방법
US9652897B2 (en) 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
US20170039986A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Mixed Reality Social Interactions
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US9898869B2 (en) 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
US10157488B2 (en) 2015-09-21 2018-12-18 TuringSense Inc. System and method for capturing and analyzing motions
US11210834B1 (en) 2015-09-21 2021-12-28 TuringSense Inc. Article of clothing facilitating capture of motions
US11182946B2 (en) 2015-09-21 2021-11-23 TuringSense Inc. Motion management via conductive threads embedded in clothing material
US10416776B2 (en) 2015-09-24 2019-09-17 International Business Machines Corporation Input device interaction
US20170087473A1 (en) 2015-09-29 2017-03-30 Sportsworld, Inc. Virtual environments for managing and interacting with virtual sports leagues
US20170118145A1 (en) 2015-10-21 2017-04-27 Futurefly Ltd. Method of using emoji to control and enrich 3d chat environments
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10173141B1 (en) 2015-12-18 2019-01-08 Texta, Inc. Message encryption with video game
US10475225B2 (en) 2015-12-18 2019-11-12 Intel Corporation Avatar animation system
US20170199855A1 (en) 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
KR20170086317A (ko) 2016-01-18 2017-07-26 한국전자통신연구원 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
US20170255450A1 (en) 2016-03-04 2017-09-07 Daqri, Llc Spatial cooperative programming language
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
KR102279063B1 (ko) 2016-03-31 2021-07-20 삼성전자주식회사 이미지 합성 방법 및 그 전자장치
US10325405B1 (en) 2016-04-08 2019-06-18 Relay Cars LLC Social media sharing in a virtual reality application
US20170312634A1 (en) 2016-04-28 2017-11-02 Uraniom System and method for personalized avatar generation, especially for computer games
US10019131B2 (en) 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US11112963B2 (en) 2016-05-18 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10105594B2 (en) 2016-06-17 2018-10-23 Disney Enterprises, Inc. Wearable garments recognition and integration with an interactive gaming system
US10657701B2 (en) 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10573048B2 (en) 2016-07-25 2020-02-25 Oath Inc. Emotional reaction sharing
KR102461953B1 (ko) 2016-07-25 2022-10-31 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
US10169921B2 (en) 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
KR102606785B1 (ko) 2016-08-30 2023-11-29 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
US10109073B2 (en) 2016-09-21 2018-10-23 Verizon Patent And Licensing Inc. Feature tracking and dynamic feature addition in an augmented reality environment
KR102596477B1 (ko) 2016-09-23 2023-11-02 애플 인크. 아바타 생성 및 편집
US20180095542A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US20180143950A1 (en) 2016-11-18 2018-05-24 InGage Technologies, Inc. Interactive communication via online video systems
JP6212667B1 (ja) 2016-12-26 2017-10-11 株式会社コロプラ 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US10242477B1 (en) 2017-01-16 2019-03-26 Snap Inc. Coded vision system
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US10592066B2 (en) 2017-03-15 2020-03-17 Facebook, Inc. Visual editor for designing augmented-reality effects and configuring rendering parameters
US10282617B2 (en) 2017-03-28 2019-05-07 Qualcomm Incorporated Methods and systems for performing sleeping object detection and tracking in video analytics
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10949872B2 (en) 2017-04-28 2021-03-16 Snap Inc. Methods and systems for server generation of interactive advertising with content collections
US10510174B2 (en) * 2017-05-08 2019-12-17 Microsoft Technology Licensing, Llc Creating a mixed-reality video based upon tracked skeletal features
US10249096B2 (en) 2017-05-17 2019-04-02 International Business Machines Corporation Mixing virtual image data and physical image data
EP3607267A1 (en) 2017-06-02 2020-02-12 Apple Inc. Presenting related points of interest
US10254941B2 (en) 2017-06-29 2019-04-09 Best Apps, Llc Computer aided systems and methods for creating custom products
US11266328B2 (en) 2017-08-03 2022-03-08 Latella Sports Technologies, LLC Systems and methods for evaluating body motion
US9980100B1 (en) 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
US20190107991A1 (en) 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of virtual billboarding and collaboration facilitation in an augmented reality environment
WO2019078836A1 (en) 2017-10-18 2019-04-25 Hewlett-Packard Development Company, L.P. SYSTEMS OF INCREASED REALITY
US10657695B2 (en) 2017-10-30 2020-05-19 Snap Inc. Animated chat presence
US10430016B2 (en) 2017-12-22 2019-10-01 Snap Inc. Augmented reality user interface control
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
DE102018207518A1 (de) 2018-05-15 2019-11-21 Siemens Aktiengesellschaft Verfahren und System zum Animieren eines 3D-Avatars
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US11238628B2 (en) 2018-08-27 2022-02-01 Adobe Inc. Intelligent context-based image recommendations
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US10373325B1 (en) 2018-09-28 2019-08-06 Lightform, Inc. Method for augmenting a scene in real space with projected visual content
US10872451B2 (en) 2018-10-31 2020-12-22 Snap Inc. 3D avatar rendering
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
KR20210103525A (ko) 2018-12-20 2021-08-23 스냅 인코포레이티드 가상 표면 수정
US10867447B2 (en) 2019-01-21 2020-12-15 Capital One Services, Llc Overlaying 3D augmented reality content on real-world objects using image segmentation
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
KR102664688B1 (ko) 2019-02-19 2024-05-10 삼성전자 주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
US11435845B2 (en) 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
US11915365B2 (en) 2019-11-15 2024-02-27 Snap Inc. 3D body model generation
JP7080212B2 (ja) 2019-12-27 2022-06-03 グリー株式会社 コンピュータプログラム、サーバ装置及び方法
US11813121B2 (en) 2020-03-25 2023-11-14 Optum, Inc. Systems and methods for generating an instrument positioning map for positioning one or more instruments on a patient body
CN111694429B (zh) 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing

Also Published As

Publication number Publication date
KR20230098244A (ko) 2023-07-03
US11660022B2 (en) 2023-05-30
EP4238057A1 (en) 2023-09-06
US20220125337A1 (en) 2022-04-28
WO2022093958A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US11830118B2 (en) Virtual clothing try-on
US11660022B2 (en) Adaptive skeletal joint smoothing
CN117957582A (zh) 将身体网格混合到外部网格中
CN117916774A (zh) 基于身体网格对定制网格进行变形
KR20230003555A (ko) 텍스처 기반 자세 검증
CN117999584A (zh) 使用外部网格使现实世界对象变形
KR20230019491A (ko) 게임 결과 오버레이 시스템
US20220207355A1 (en) Generative adversarial network manipulated image effects
KR20230044213A (ko) 관절형 애니메이션을 위한 모션 표현들
CN116917938A (zh) 整个身体视觉效果
US20220207819A1 (en) Light estimation using neural networks
CN117136381A (zh) 整个身体分割
CN117083641A (zh) 实时体验真实尺寸眼戴装置
US20230120037A1 (en) True size eyewear in real time
US20230118572A1 (en) Generating ground truths for machine learning
KR20230162062A (ko) 노래로부터의 신경망 반주 추출
WO2022146799A1 (en) Compressing image-to-image models
US11954810B2 (en) Augmented reality object rendering based on camera quality
EP4272169A1 (en) Light estimation using neural networks
WO2022146727A1 (en) Generative adversarial network manipulated image effects
CN116648718A (zh) 使用神经网络的照亮估计
CN117099158A (zh) 用于改变声音的特性的神经网络
CN118076971A (zh) 将增强现实元素应用于出现在人的单目图像上的服装
CN118119978A (zh) 生成用于机器学习的真值

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination