CN104395929B - 使用深度相机的化身构造 - Google Patents

使用深度相机的化身构造 Download PDF

Info

Publication number
CN104395929B
CN104395929B CN201280074186.4A CN201280074186A CN104395929B CN 104395929 B CN104395929 B CN 104395929B CN 201280074186 A CN201280074186 A CN 201280074186A CN 104395929 B CN104395929 B CN 104395929B
Authority
CN
China
Prior art keywords
grid
virtual
main body
depth map
dummy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280074186.4A
Other languages
English (en)
Other versions
CN104395929A (zh
Inventor
D·莫利内奥克斯
X·童
Z·刘
E·常
F·杨
J·卡普尔
E·杨
Y·刘
H-T·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN104395929A publication Critical patent/CN104395929A/zh
Application granted granted Critical
Publication of CN104395929B publication Critical patent/CN104395929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

一种用于构造人类主体的化身的方法，包括捕获主体的深度图，基于该深度图获得主体的虚拟骨架，以及从虚拟骨架中收获特征度量集。这些度量与虚拟骨架的预定点之间的距离相对应。在该示例方法中，特征度量被提供作为对使用机器学习所训练的算法的输入。该算法可以使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于特征度量的虚拟身体网格。该方法还包括构造区别于虚拟身体网格的虚拟头部网格(其中脸部特征类似主体的脸部特征)并且将虚拟身体网格连接到虚拟头部网格。

Description

使用深度相机的化身构造
背景
化身是主体(例如人类主体)的具有姿态的虚拟表示。当前，通常在视频游戏中使用化身来表示玩家，但也有许多其他应用是可能的。对于在游戏世界之外的应用，将人类主体表示为化身可能受到构造合适保真度的化身的成本和复杂度的限制。具体来说，以足够的详细程度捕捉主体的形状和面部特征来构造逼真化身可能要求使用昂贵的工作室质量的设备来进行很长的图像捕捉。
概述
本公开的一个实施例提供了一种用于构造人类主体的化身的方法。该方法包括捕获主体的深度图，基于该深度图来获得主体的虚拟骨架，以及从该虚拟骨架中收获特征度量集。这些度量与虚拟骨架的预定点之间的距离相对应。在这一示例方法中，提供特征度量作为对使用机器学习所训练的算法的输入。该算法可以使用各种姿态的实际人类模型以及单个姿态的各种人类模型来训练以输出因变于特征度量的虚拟身体网格。该方法还包括构造不同于虚拟身体网格的虚拟头部网格，其中面部特征类似于主体的面部特征，并且将虚拟身体网格与虚拟头部网格相连接。
提供本概述以便以简化形式介绍在以下具体实施方式中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开内容的任何部分中提到的任何缺点的实现方式。
附图说明
图1示出根据本公开的一实施例的用于构造人类主体的化身的系统。
图2示出根据本公开的一实施例的用于构造人类主体的化身的方法。
图3示出根据本公开的一实施例的虚拟骨架的各方面。
图4示出根据本公开的一实施例的虚拟身体网格的各方面。
图5示出根据本公开的一实施例的虚拟头部网格的各方面。
图6示出根据本公开的一实施例的连接到虚拟身体网格的虚拟头部网格的各方面。
图7示出根据本公开的一实施例的用于动画化化身的方法。
图8示出根据本公开的一实施例的用于在零售设置中使用化身的方法。
图9示出根据本公开的一实施例的化身的演示和审阅。
图10示意性地示出根据本公开的一实施例的计算系统的各方面。
具体实施方式
现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而应该注意，协调地标识的元素还可以在某种程度上不同。还应该注意，本发明中包括的附图是示意性的并且通常未按照比例绘制。相反，附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真，以使特定特征或关系更加显见。
根据本公开，“化身”是人类主体的计算机表示。化身可以由一个或多个合适的数据结构来具体化，包括但不限于多边形网格。在一些实施例中，化身可以被呈现以供显示。在其他实施例中，化身不被呈现以供显示。本公开的平衡提出了用于构造人类主体的化身的各种系统和方法。这些系统和方法可以在各种应用中使用，例如，视频游戏、交互式训练软件、物理疗法、或在零售设置中。更一般地，化身可以在期望对主体进行虚拟表示的任何场景中使用。
化身在零售设置中的一种示例应用是使得顾客能够虚拟地“试穿”各种项目。作为示例，这些项目可包括衣物、眼镜、鞋类、配件、假体、珠宝、纹身、和/或化妆。通过以虚拟形式的这些项目来扩充她的化身，顾客能够预测她在穿戴相应的实际项目时看上去会如何。这种办法能够在实际造访试衣间之前用来预先筛选这些项目以节省时间。另外，顾客可以选择与其他人共享扩充有虚拟项目的她的化身的图像。在一些场景中，与并非物理上在场的朋友或家庭成员的这种共享能够远程地完成——例如经由电子邮件或蜂窝电话。以此方式，顾客可以受益于在作出购买项目的决定之前来自另一个人的建议。在基于化身的线上零售体验中，选择项目、试穿项目、然后购买项目的整个过程可以在顾客的家里或工作场所中私下进行。
在当前技术中，存在针对化身构造的陡的保真度-成本曲线。适于视频游戏应用的低保真度化身可以简单地使用廉价的设备来构造。然而，如上所述的应用可能要求高得多的保真度的化身。通常使用专门化的工作室质量的设备来构造实际上类似给定人类主体的高保真度化身。具体来说，可以使用高分辨率深度相机来捕获化身所基于的三维图像数据。
最近几年，现有技术中的顾客深度相机已经以视频游戏系统和个人计算机的用户输入设备的形式出现。一个示例是来自华盛顿州雷蒙德市微软公司的系统。本文描述的系统和方法可以使用深度相机来提供深度数据，根据该深度数据构造人类主体的逼真化身。在这些系统和方法中，化身的分辨率不受到深度相机的分辨率的限制。相反，这一办法应用复杂的头部建模和身体建模技术，其中从深度数据中导出的特征度量集引导高分辨率的逼真身体模型的构造，接着该身体模型可任选地连接到以类似方式构造的头部模型并且可任选地扩充有逼真的肤色和皮肤纹理。
图1示出在一个实施例中用于构造人类主体12的化身的系统10。该系统包括基于视觉的用户输入设备14A，其被定位成看到主体。在所示实施例中，用户输入设备操作耦合于个人计算机16A，个人计算机16A操作耦合于监视器18A。在一个非限制性实施例中，用户输入设备可以是系统，而个人计算机可以是视频游戏系统，诸如来自微软公司的个人计算机可包括具有相关联的存储子系统24的逻辑子系统22，如下文更详细地描述的。存储子系统可包括致使逻辑子系统进行本文描述的方法的各方面的指令。
在图1所示的实施例中，用户输入设备14A包括深度相机26，其被配置成捕获主体12的深度图。用户输入设备还包括色彩相机28，其被配置成捕获至少主体脸部的色彩图像。更一般地，用户输入设备中的相机的特性和数目可以在本公开的各个实施例中有所不同。这些相机可被配置成捕获图像数据，根据这些图像数据经由下游处理获得深度图。如在此使用的，术语“深度图”指与成像场景的对应区域配准(register)的像素阵列，其中每个像素的深度值指示该对应区域的深度。“深度”被定义为与深度相机的光轴平行的坐标，该坐标随着离用户输入设备的距离增加而增加。
在一个实施例中，来自一对立体相机的图像数据可以被协同配准并且在数学上相组合以得到深度图。在其它实施例中，用户输入设备14A可被配置成投射包括多个离散特征(例如，线或点)的结构化红外照明。该深度相机可被配置成对从主体反射的结构化照明进行成像。基于所成像的主体的各个区域中毗邻特征之间的间隔，可构造该主体的深度图。
在其他实施例中，用户输入设备14A可被配置成投射脉冲红外照明。一对相机可被配置成对从主体反射的脉冲照明进行检测。两个相机均可包括与脉冲照明同步的电子快门，但用于这两个相机的集成时间可不同，使得脉冲照明的从源到主体再接着到这两个相机的像素解析的飞行时间可从在两个相机的相应的像素中接收到的相对光的量中辨别。
上述配置实现用于构造人类主体的化身的各种方法。现在继续参照以上配置，通过示例来描述一些此类方法。然而，应该理解，本文所述的方法以及落在本公开范围内的其它方法也可以由不同配置来实现。这些方法可以在系统10正在运行时的任何时间进入，并可以重复地执行。在一些实施例中，在不偏离本发明的范围的情况下，可以省略此处所描述的和/或所示出的一些过程步骤。同样，过程步骤的所指示的顺序不是达成预期的结果所必需的，而是为说明和描述的方便而提供的。取决于所使用的特定策略，可以反复地执行所示出的动作、功能或操作中的一个或多个。
图2示出用于构造人类主体的化身的示例方法30。在方法30的32，捕获主体的深度图。在本文构想的各个实施例中，深度图可以在用户输入设备中或从用户输入设备捕获，诸如用户输入设备14A。
在34，基于捕获的深度图来获得主体的虚拟骨架。图3示出在一个实施例中的示例虚拟骨架36。该虚拟骨架包括枢转地耦合在多个关节40处的多个骨骼部分38。在一些实施例中，身体部位指定可被分配给每个骨骼部分和/或每个关节。在图3中，每个骨骼部分38的身体部位指定由所附字母表示：A针对头部、B针对锁骨、C针对上臂、D针对前臂、E针对手、F针对躯干、G针对骨盆、H针对大腿、J针对小腿、而K针对脚。类似地，每个关节40的身体部位指定由所附字母表示：A针对颈部，B针对肩膀，C针对肘，D针对手腕，E针对下背，F针对髋关节，G针对膝盖以及H针对踝。自然地，图3中示出的骨骼部分和关节的安排不是为了以任何方式进行限制。符合本公开的虚拟骨架可包括实质上任何类型和数量的骨骼部分和关节。
在一个实施例中，每个关节可被分配各种参数－例如，指定关节位置的笛卡尔坐标、指定关节旋转的角度、以及指定对应的身体部位的形态(手打开、手闭合等)的附加参数。该虚拟骨架可采取数据结构的形式，该数据结构包括针对每个关节的这些参数中的任一个或所有。以此方式，定义虚拟骨架的度量数据－它的大小、形状、方向、位置等－可被分配给关节。
现在返回到图2，虚拟骨架的骨骼部分和/或关节可拟合到方法30的34处的深度图。该动作可确定骨架的各个关节的恰适位置、旋转角度以及其它参数值。通过任何合适的最小化方式，骨骼部分的长度和关节的位置和旋转角度可被调整以符合深度图的各个轮廓。在一些实施例中，拟合(fitting)骨骼部分的动作可包括将身体部位指定分配到深度图的多个轮廓。任选地，身体部位指定可在最小化之前被分配。如此，拟合过程可由身体部位指定通知或部分地基于身体部位指定。例如，先前训练的身体模型集合可被用于将来自深度图的特定像素标记为属于特定的身体部位；适合于该身体部位的骨骼部分可接着被拟合到所标记的像素。如果给定的轮廓被指定为主体的头部，那么拟合过程可设法将枢转地耦合到单个关节的骨骼部分－即，颈部－拟合到该轮廓。如果轮廓被指定为前臂，那么拟合过程可设法拟和耦合到两个关节的骨骼部分－在该部分的每个端处均有一个关节。此外，如果确定给定的轮廓不可能对应于主体的任何身体部位，那么该轮廓可被屏蔽或以其它方式从随后的骨骼拟合中消除。上述描述不应当被理解为限制可用于构造虚拟骨架的方法的范围，因为可以用任何合适的方式从深度图中导出虚拟骨架而不背离本公开的范围。
继续图2，在42，从34处获得的虚拟骨架中收获特征度量集。这些度量可以与虚拟骨架的预定点之间的距离相对应。在一些实施例中，特征度量集可以智能地与主体身体的大小和形状有关。例如，特征度量可包括以下各项中的一个或多个：主体的高度、腿长、臂长、肩宽、胸围、腰围、臀围、臂围、以及腿围。
在44，以此方式收获的特征度量集被提供作为对被配置成输出类似主体身体的虚拟身体网格的算法的输入。换言之，该算法计算因变于特征度量的虚拟身体网格。在一些实施例中，出于此目的使用的算法可以是使用机器学习所训练的算法。更具体来说，该算法可以是使用各种姿态的实际人类模型以及单个姿态的各种人类模型已训练的算法，如下文更详细地描述的。
在一个非限制性实施例中，通过使虚拟身体网格模板M变形来构造虚拟身体网格。该模板以从实际人类模型的360度3D扫描中捕捉的具体源姿态和形状来提供。应用于该模板的姿态和形状变化被计算为模板网格M的每一个三角形的仿射变换。具体来说，三角形pk由其边νk,j所标识，边被定义为从第0个顶点到第j个顶点的向量：νk,j＝yk,j–yk,0其中j＝1,2。接着，对于新姿态和具有新形状的身体网格，每一新的三角形p* k被计算为对应的模板网格三角形pk的变换。在符号中，
其中Rl是其刚性骨骼在第I个关节连接骨架中的旋转。属于相同第I个骨架的所有三角形以相同旋转来提供，因而Rl＝Rl[K]。Qk是用于描述由姿态改变引起的每一三角形边缘的变形的3×3仿射变换矩阵。Sk表示身体形状变形。相应地，旋转、身体姿态变换以及身体形状变换被各自应用于虚拟身体网格模板以获得虚拟身体网格。
在该系统中，在方法步骤34的上下文中，如上所述获得旋转Rl。如下从线性回归中计算未知的Qk。以不同姿态捕捉单个人类模型的一定范围的3D网格。这些网格Mi具有相同的拓扑结构，并且通过使以下最小化来计算仿射变换Qk i
此处，ws调整第二项的权重。给定所估计的Q矩阵集合以及由扭转向量表示的已知R，Q和R之间的关系可以线性回归。因而，可以根据R来预测Q，并且从R到Q的线性变换被存储在系统中以供快速计算。
为了获得身体形状变换S，以相同姿态捕捉不同人类模型的一定范围的3D网格。通过最小化以下来根据R和Q来计算S
为了更好地表示女性和男性身体类型之间的天然差异，训练过程被分开地应用在女性模型和男性模型上。还测量3D网格中的特征度量。在由9x N向量表示的度量和形状变换矩阵S之上构建线性映射，此处N是模板网格的三角面的数目。对该线性空间执行主分量分析(PCA)以捕捉主导的子空间。因而，给定特征度量集(例如，包括高度、臂长、肩宽、胸围和腰围)，可以通过PCA来近似身体形状变换S。
测量特征度量集，并且获得针对给定深度图和虚拟骨架的旋转R。Q和S可以如以上段落中所述的那样计算。接着，通过求解最小二乘系统来计算最终网格：
其中是变量。由于该模型是不会随翻译而变化的，因此通过设置y0＝(0,0,0)将顶点锚定到特定位置。图4示出了可以使用以上算法来构造的示例虚拟身体网格46。
再次返回图2，在48，可任选地细化虚拟身体网格。更具体来说，虚拟身体网格可以通过改变特征度量以最小化深度图上的点与虚拟身体网格的对应点之间的距离来细化。在一个实施例中，虚拟身体网格可以通过应用非线性ICP算法来细化。将特征度量集以及最终网格的顶点位置视为变量，迭代地最小化以下二次函数直到深度图与最终网格之间的距离的差异小于预定义的阈值或者到达最大迭代次数：
最终网格从以上两个等式提供的的结果中初始化，并且特征度量从测量中初始化。网格与深度图之间的距离是所有最近闭合点对之间的平方距离的和。
在方法30的50，构造区别于虚拟身体网格的虚拟头部网格。虚拟头部网格可以基于与此前提到的第一深度图不同的第二深度图来构造。第二深度图可以在与捕获第一深度图时相比主体更靠近深度相机时捕获。在一个实施例中，第二深度图可以是主体头部的三个不同图像捕捉的合成：前视图、向右转30度视图以及向左转30度视图。在第二深度图中，主体的脸部特征可以比在第一深度图中更精细地解析。在其他实施例中，在连续图像捕捉之间，主体的头部可以旋转大于或小于30度的角度。
为了构造虚拟头部网格，可以使虚拟头部网格模板变形以最小化第二深度图上的点与虚拟头部网格上的对应点之间的距离。虚拟头部网格随后可用色彩和纹理来扩充，这些色彩和纹理从捕捉自用户输入设备的色彩相机的一个或多个图像中导出。以此方式，虚拟头部网格可被个性化以类似实际人类主体，即，它可以呈现在形状和肤色/纹理两个方面都类似主体脸部特征的脸部特征。
在52，虚拟身体网格连接到虚拟头部网格。在这一步骤中，虚拟身体模板网格的头部首先被切除，接着通过对模板网格的两个开口边界进行三角测量来将其连接到虚拟头部模板网格。经连接的模型随后被存储在系统中，并且当虚拟身体网格和虚拟头部网格准备就绪时被加载。两个模板网格分别由两个虚拟网格取代，因为它们具有相同的连接性。虚拟头部网格的尺寸根据符合虚拟身体网格的比例来调整。还使围绕颈部的顶点平滑化，而使其他顶点保持固定。以此方式，可以构造几何上真实且无缝的头部/身体网格。
在54，虚拟身体网格用适于该主体的肤色和/或皮肤纹理来扩充。在一些实施例中，肤色和/或皮肤纹理可以基于来自用户输入设备14A的色彩图像数据(诸如来自包括主体脸部的区域的色彩图像数据)来选择。换言之，应用于虚拟身体网格的肤色和/或皮肤纹理可以被合成以匹配主体脸部的肤色和/或皮肤纹理。在一个实施例中，系统首先选择预先设计的数据库中的身体纹理图像，接着调制低频色彩分量以使得其整体色彩符合脸部皮肤的色彩。图5示出示例虚拟头部网格56。图6示出组合的头部/身体网格58，其中虚拟头部网格56连接到虚拟身体网格46。
图7示出用于动画化化身的示例方法60。在方法60的30，构造化身。在一个实施例中，化身可以根据上文所解说的方法来构造。在62，指定用于动画化的化身的初始期望姿态。初始期望姿态可以是展开双臂、举起右手、抬起左腿等的站立姿态。在64，基于期望姿态来重新定位虚拟骨架。在66，如上所述基于重新定位的虚拟骨架来计算虚拟身体网格的变形。在一个实施例中，计算变形可包括将线性皮肤模型应用于虚拟身体网格。在另一实施例中，计算变形可包括将机械皮肤仿真应用于虚拟身体网格。在机械皮肤仿真中，主体肌肉的运动和皮肤根据牛顿物理学因变于虚拟骨架的位移被仿真。方法可以从66返回到62，伴随有指定的后续期望姿态。后续期望姿态可以是例如增量式改变的姿态。相应地，重新定位虚拟骨架和计算虚拟身体网格的变形的步骤可以按顺序重复以动画化化身。在一个实施例中，根据这一方法动画化的化身可以用作视频游戏中的角色。
在本文构想的方法中，基本上任何输入机构均可用于指定化身的初始和后续期望姿态。这些机构可包括引导身体移动的口述命令、或经由用户界面从身体移动和/或姿势的菜单中进行选择。在又一实施例中，通过用户输入设备14A的实时骨架跟踪可以引导动画化的化身的移动。更具体地，主体可以简单地通过按照针对化身所期望的方式移动她自己的身体来指定化身的移动。用户输入设备可被配置成跟踪主体身体的移动，并且将姿势数据流提供给方法60在其上执行的个人计算机。
图8示出用于在零售设置中使用化身的示例方法68。在方法68的30，例如根据上文所解说的方法来构造化身。在70，化身的虚拟身体网格用虚拟衣物来扩充。虚拟衣物可以被建模以类似供销售给主体的实际衣物。在71，如此构造且如此衣着的化身被呈现以供主体审阅。化身可以被呈现以供在零售机构的视频监视器上或在主体的家里或工作场所中审阅等等。图9示出在一个示例场景中主体12演示和审阅化身72。将会注意到，可以将来自本文描述的各方法的各方面一起使用。例如，在方法68中呈现以供主体审阅的衣着化身也可根据方法60来动画化。
在某些实施例中，以上所述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图10示意性地示出了可以执行上述方法和过程之中的一个或多个的计算系统16的非限制性实施例。以简化形式示出了计算系统16。应该理解，可以使用实际上任何计算机架构，而不偏离本发明的范围。在不同的实施例中，计算系统16可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统16包括逻辑子系统22和存储子系统24。计算系统16可任选地包括显示子系统18、输入设备子系统14、通信子系统76和/或在图10中未示出的其他组件。计算系统16还可以任选地包括一个或多个用户输入设备或与其对接，诸如举例来说键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏。这些用户输入设备可以形成输入设备子系统14的一部分或者可以与输入设备子系统14对接。
逻辑子系统22包括被配置为执行指令的一个或多个物理设备。例如，逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态、或以其它方式达到所需的结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核的，而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统可以任选地包括分布在两个或更多设备之间的独立组件，这些独立组件在一些实施例中可以位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可以由云计算配置中配置的可远程访问的网络计算设备来虚拟化和执行。
存储子系统24包括一个或多个物理、非瞬时设备，该一个或多个物理、非瞬时设备被配置为保持逻辑子系统可执行来实现此处所述的方法和过程的数据和/或指令。在实现这些方法和过程时，可以变换存储子系统24的状态(例如，保存不同的数据)。
存储子系统24可以包括可移动介质和/或内置设备。存储子系统24可包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统24可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
应理解，存储子系统24包括一个或多个物理、非瞬时设备。然而，在某些实施例中，在此描述的指令的各方面可以通过物理设备不会保持达有限持续时间的单纯信号——例如，电磁信号或光信号等——以瞬时方式传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，可以将逻辑子系统22和存储子系统24的各方面一起集成在一个或多个硬件逻辑组件中，通过该一个或多个硬件逻辑组件，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算系统16的一方面。在某些情况下，可以通过执行由存储子系统24所保持的指令的逻辑子系统22来实例化模块、程序或引擎。可以理解，可以从同一应用、服务、代码块、对象、库、例程、API、功能等来实例化不同的模块、程序和/或引擎。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其他服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
在被包括时，显示子系统18可用于呈现由存储子系统24保存的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统18的状态以视觉地表示底层数据的改变。显示子系统18可以包括使用实际上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统22和/或存储子系统24一起组合在共享封装中，或者此类显示设备可以是外围触摸显示设备。
当包括通信子系统76时，通信子系统76可以被配置成将计算系统16与一个或多个其他计算设备可通信地耦合。通信子系统76可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，该通信子系统可允许计算系统16经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (20)

1.一种用于构造人类主体的化身的方法，所述方法包括：
捕获所述主体的深度图；
基于所述深度图来获得所述主体的虚拟骨架；
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集；
提供所述特征度量作为对使用机器学习所训练的算法的输入，所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格；
通过改变所述特征度量来细化所述虚拟身体网格以最小化所述深度图上的点与所述虚拟身体网格的对应点之间的距离；
构造区别于所述虚拟身体网格的虚拟头部网格，其中脸部特征类似于所述主体的脸部特征；以及
将所述虚拟身体网格连接到所述虚拟头部网格。
2.如权利要求1所述的方法，其特征在于，进一步包括重新定位所述虚拟骨架并且基于所述重新定位的虚拟骨架来计算所述虚拟身体网格的变形。
3.如权利要求2所述的方法，其特征在于，计算变形包括将线性皮肤模型应用于所述虚拟身体网格。
4.如权利要求2所述的方法，其特征在于，计算变形包括将机械皮肤仿真应用于所述虚拟身体网格。
5.如权利要求2所述的方法，其特征在于，进一步包括所述重新定位和所述计算以动画化所述化身。
6.如权利要求5所述的方法，其特征在于，进一步包括使用动画化的化身作为视频游戏中的角色。
7.如权利要求1所述的方法，其特征在于，所述特征度量集智能地关联于所述主体的身体的大小和形状。
8.如权利要求1所述的方法，其特征在于，进一步包括将旋转、身体姿态变换和身体形状变换应用于虚拟身体网格模板以获得所述虚拟身体网格。
9.如权利要求1所述的方法，其特征在于，所述深度图是第一深度图，并且所述虚拟头部网格基于第二深度图来构造，其中所述主体的脸部特征比所述第一深度图中更精细地解析。
10.如权利要求9所述的方法，其特征在于，进一步包括使虚拟头部网格模板变形以最小化所述第二深度图上的点与所述虚拟头部网格上的对应点之间的距离。
11.如权利要求1所述的方法，其特征在于，进一步包括用被合成以匹配所述主体的脸部的身体纹理以及匹配所述主体的脸部的皮肤纹理来扩充所述虚拟身体网格。
12.如权利要求1所述的方法，其特征在于，进一步包括用被建模为类似供销售给所述主体的实际衣物的虚拟衣物来扩充所述虚拟身体网格。
13.如权利要求12所述的方法，其特征在于，进一步包括呈现如此构造和如此衣着的化身以供所述主体审阅。
14.一种用于构造人类主体的化身的方法，所述方法包括：
捕获所述主体的深度图；
基于所述深度图来获得所述主体的虚拟骨架；
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集；
提供所述特征度量作为对使用机器学习所训练的算法的输入，所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格；
通过改变所述特征度量来细化所述虚拟身体网格以最小化所述深度图上的点与所述虚拟身体网格的对应点之间的距离；
构造区别于所述虚拟身体网格的虚拟头部网格，其中脸部特征类似于所述主体的脸部特征；以及
将所述虚拟身体网格连接到所述虚拟头部网格。
15.如权利要求14所述的方法，其特征在于，所述虚拟身体网格通过应用迭代式最近点算法来细化。
16.一种用于构造人类主体的化身的系统，所述系统包括：
逻辑子系统；
保持指令的存储子系统，所述指令能由所述逻辑子系统执行以：
基于深度图来获得所述主体的虚拟骨架；
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集；
提供所述特征度量作为对使用机器学习所训练的算法的输入，所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格；
通过改变所述特征度量来细化所述虚拟身体网格以最小化所述深度图上的点与所述虚拟身体网格的对应点之间的距离；
构造区别于所述虚拟身体网格的虚拟头部网格，其中脸部特征类似于所述主体的脸部特征；以及
将所述虚拟身体网格连接到所述虚拟头部网格。
17.如权利要求16所述的系统，其特征在于，进一步包括：
深度相机，操作耦合于所述逻辑子系统并且被配置成捕获所述主体的深度图；以及
色彩相机，操作耦合于所述逻辑子系统并且被配置成捕获所述主体的脸部的色彩图像；
其中所述指令致使所述逻辑子系统用从所述色彩图像中导出的肤色和皮肤纹理中的一个或多个来扩充所述虚拟身体网格。
18.如权利要求16所述的系统，其特征在于，所述特征度量包括以下各项中的一个或多个：高度、腿长、臂长、肩宽、胸围、腰围、臀围、臂围和腿围。
19.如权利要求16所述的系统，其特征在于，所述各种姿态包括一个或多个站立姿态和一个或多个坐立姿态。
20.如权利要求16所述的系统，其特征在于，所述各种人类模型包括具有不同身高和具有不同体重的男性和女性模型。
CN201280074186.4A 2012-06-21 2012-06-21 使用深度相机的化身构造 Active CN104395929B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/077303 WO2013189058A1 (en) 2012-06-21 2012-06-21 Avatar construction using depth camera

Publications (2)

Publication Number Publication Date
CN104395929A CN104395929A (zh) 2015-03-04
CN104395929B true CN104395929B (zh) 2017-10-03

Family

ID=49768039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074186.4A Active CN104395929B (zh) 2012-06-21 2012-06-21 使用深度相机的化身构造

Country Status (6)

Country Link
US (1) US9001118B2 (zh)
EP (1) EP2864961A4 (zh)
JP (1) JP6018707B2 (zh)
KR (1) KR101911133B1 (zh)
CN (1) CN104395929B (zh)
WO (1) WO2013189058A1 (zh)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US11904101B2 (en) 2012-06-27 2024-02-20 Vincent John Macri Digital virtual limb and body interaction
US11673042B2 (en) 2012-06-27 2023-06-13 Vincent John Macri Digital anatomical virtual extremities for pre-training physical movement
US10096265B2 (en) * 2012-06-27 2018-10-09 Vincent Macri Methods and apparatuses for pre-action gaming
US10603545B2 (en) 2013-05-17 2020-03-31 Vincent J. Macri System and method for pre-action training and control
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
US10121273B2 (en) * 2013-08-08 2018-11-06 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
US10111603B2 (en) 2014-01-13 2018-10-30 Vincent James Macri Apparatus, method and system for pre-action therapy
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
CN105336005B (zh) 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9626808B2 (en) * 2014-08-01 2017-04-18 Electronic Arts Inc. Image-based deformation of simulated characters of varied topology
US9928412B2 (en) 2014-10-17 2018-03-27 Ebay Inc. Method, medium, and system for fast 3D model fitting and anthropometrics
EP3210200A4 (en) 2014-10-23 2018-03-28 The Regents of The University of California Methods of enhancing cognition and systems for practicing the same
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
EP3314577A1 (en) * 2015-06-24 2018-05-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften Skinned multi-person linear model
JP5856343B1 (ja) * 2015-06-30 2016-02-09 株式会社コロプラ ユーザ・インタフェース・プログラムおよびコンピュータ実装方法
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
KR101710521B1 (ko) * 2015-11-18 2017-02-27 (주)에프엑스기어 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
JP6370820B2 (ja) * 2016-02-05 2018-08-08 株式会社バンダイナムコエンターテインメント 画像生成システム、ゲーム装置及びプログラム。
WO2017137948A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Producing realistic body movement using body images
JP6116784B1 (ja) * 2016-02-16 2017-04-19 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US11341776B2 (en) 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
EP3293705B1 (en) 2016-09-12 2022-11-16 Dassault Systèmes 3d reconstruction of a real object from a depth map
JP6913164B2 (ja) 2016-11-11 2021-08-04 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 完全な顔画像の眼球周囲およびオーディオ合成
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
US10384133B1 (en) 2016-12-30 2019-08-20 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US10357718B2 (en) 2017-02-28 2019-07-23 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
JP6760491B2 (ja) * 2017-04-10 2020-09-23 富士通株式会社 認識装置、認識システム、認識方法および認識プログラム
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10311624B2 (en) 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
US10607420B2 (en) * 2017-08-30 2020-03-31 Dermagenesis, Llc Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
CN107945255A (zh) * 2017-11-24 2018-04-20 北京德火新媒体技术有限公司 一种虚拟人物表情驱动方法及系统
KR101991666B1 (ko) * 2017-12-06 2019-10-01 주식회사 카이 구형 영상을 생성하는 방법, 구형 영상을 재생하는 방법 및 그 장치들
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
WO2019164266A1 (en) 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
EP3766004A4 (en) 2018-03-16 2021-12-15 Magic Leap, Inc. FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
KR20240024351A (ko) * 2018-05-07 2024-02-23 애플 인크. 크리에이티브 카메라
US10713543B1 (en) 2018-06-13 2020-07-14 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
JP7437327B2 (ja) 2018-07-02 2024-02-22 マジック リープ， インコーポレイテッド 異種入力の補間のための方法およびシステム
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10621788B1 (en) 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109453517B (zh) * 2018-10-16 2022-06-10 Oppo广东移动通信有限公司 虚拟角色控制方法和装置、存储介质、移动终端
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US10977549B2 (en) * 2019-02-14 2021-04-13 Adobe Inc. Object animation using generative neural networks
US10825225B1 (en) * 2019-03-20 2020-11-03 Lucasfilm Entertainment Company Ltd. LLC Simulation stream pipeline
US10953334B2 (en) 2019-03-27 2021-03-23 Electronic Arts Inc. Virtual character generation from image or video data
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110111417B (zh) * 2019-05-15 2021-04-27 浙江商汤科技开发有限公司 三维局部人体模型的生成方法、装置及设备
US10748350B1 (en) * 2019-05-17 2020-08-18 Roblox Corporation Modification of animated characters
CN110288716B (zh) * 2019-06-14 2023-08-08 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US11110353B2 (en) 2019-07-10 2021-09-07 Electronic Arts Inc. Distributed training for machine learning of AI controlled virtual entities on video game clients
US11704853B2 (en) * 2019-07-15 2023-07-18 Disney Enterprises, Inc. Techniques for feature-based neural rendering
KR20190095184A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
EP4023155A4 (en) 2019-09-01 2023-10-18 LG Electronics Inc. BODY MEASUREMENT DEVICE AND ASSOCIATED CONTROL METHOD
KR102234646B1 (ko) * 2020-03-31 2021-04-01 (주)케이넷 이엔지 가상 현실 체험 장치 및 방법
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
JP6818219B1 (ja) * 2020-05-29 2021-01-20 株式会社ＰｏｃｋｅｔＲＤ ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
EP4014104A1 (en) 2020-06-05 2022-06-22 Maria Tashjian Technologies for virtually trying-on items
WO2022014184A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
CN116648729A (zh) 2021-12-23 2023-08-25 软银股份有限公司 头像显示装置、头像生成装置以及程序
WO2023167968A2 (en) * 2022-03-02 2023-09-07 Brain Corporation Systems and methods for aligning a plurality of local computer readable maps to a single global map and detecting mapping errors
CN117234342B (zh) * 2023-11-15 2024-03-19 北京京拍档科技股份有限公司 一种基于人台模型生成虚拟模特的方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
CN102222347A (zh) * 2010-06-16 2011-10-19 微软公司 使用波阵面编码来创建深度图像
CN102508867A (zh) * 2011-10-09 2012-06-20 南京大学 一种人体运动的运动图检索方法

Family Cites Families (192)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
DE69733684T2 (de) 1996-09-18 2006-04-27 Koninklijke Philips Electronics N.V. Nachrichtenverteilungssystem
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US7062454B1 (en) 1999-05-06 2006-06-13 Jarbridge, Inc. Previewing system and method
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US20010034668A1 (en) 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US20030206652A1 (en) * 2000-06-28 2003-11-06 David Nister Depth map creation through hypothesis blending in a bayesian framework
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US6901379B1 (en) 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
CN1928908A (zh) 2005-09-08 2007-03-14 御轩星球网路有限公司 虚拟实境购物系统
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US20070229498A1 (en) * 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
TW200828043A (en) 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
KR20100015671A (ko) 2007-03-19 2010-02-12 마씨 밀리아노 오우 의상의 맞춤재단 및 소매 방법 및 장치
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CA2735680A1 (en) 2007-08-30 2009-03-05 Feeling Software Online shopping system and method using 3d reconstruction
JP2011512054A (ja) 2007-12-21 2011-04-14 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム
CA2659698C (en) 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8818883B2 (en) * 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8803950B2 (en) 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
TWI434227B (zh) * 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US9959453B2 (en) * 2010-03-28 2018-05-01 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
JP5346863B2 (ja) * 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
US8797328B2 (en) * 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
CN102221886A (zh) * 2010-06-11 2011-10-19 微软公司 通过化身与用户界面交互
CN102222347A (zh) * 2010-06-16 2011-10-19 微软公司 使用波阵面编码来创建深度图像
CN102508867A (zh) * 2011-10-09 2012-06-20 南京大学 一种人体运动的运动图检索方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Creation of 3D Human Avatar using Kinect;Kairat Aitpayev 等;《Asian Transactions on Fundamentals of Electronics, Communication & Multimedia》;20120131;第1卷(第5期);1-3 *
Free Viewpoint Virtual Try-On With Commodity Depth Cameras;Stefan Hauswiesner 等;《Proceedings of the 10th International Conference on Virtual Reality Continuum and Its Applications in Industry》;20111212;23-30 *
Parametric Reshaping of Human Bodies in Images;Shizhe Zhou 等;《ACM Transactions on Graphics》;20100731;第29卷(第4期);126:1-126:10 *
SCAPE: Shape Completion and Animation of People;Dragomir Anguelov 等;《ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2005》;20050731;第24卷(第3期);摘要，第410页第3节第3段、第4.1节第1、2段，第411页第4.3节第3段，第412页第5.1节第1段、第5.3节第1段，第413页第5.3节第2、3段、第6节第3段，图2、图6、图7 *

Also Published As

Publication number Publication date
WO2013189058A1 (en) 2013-12-27
JP6018707B2 (ja) 2016-11-02
EP2864961A4 (en) 2016-03-23
US20130342527A1 (en) 2013-12-26
KR101911133B1 (ko) 2018-10-23
EP2864961A1 (en) 2015-04-29
JP2015531098A (ja) 2015-10-29
CN104395929A (zh) 2015-03-04
US9001118B2 (en) 2015-04-07
KR20150024899A (ko) 2015-03-09

Similar Documents

Publication Publication Date Title
CN104395929B (zh) 使用深度相机的化身构造
JP2015531098A5 (zh)
US10573091B2 (en) Systems and methods to create a virtual object or avatar
US10777020B2 (en) Virtual representation creation of user for fit and style of apparel and accessories
Bertiche et al. Pbns: Physically based neural simulator for unsupervised garment pose space deformation
US10702216B2 (en) Method and system for body scanning and display of biometric data
JP6985403B2 (ja) 年齢容姿シミュレーションのための方法
WO2021028728A1 (ru) Способ и система для дистанционного выбора одежды
US10614623B2 (en) Methods and apparatuses for age appearance simulation
KR20210011424A (ko) 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
US20120299912A1 (en) Avatar-based virtual dressing room
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
US20160088284A1 (en) Method and system for determining biometrics from body surface imaging technology
US20160078663A1 (en) Cloud server body scan data system
CN108537110A (zh) 生成三维人脸模型的基于虚拟现实的装置和方法
CN102201099A (zh) 基于运动的交互式购物环境
CN109559371A (zh) 一种用于三维重建的方法和装置
CN104854623A (zh) 基于化身的虚拟试衣室
WO2020147796A1 (zh) 图像处理方法及装置、图像设备及存储介质
CN110503681A (zh) 人体模型自动创建方法及三维试衣系统
CN110443884A (zh) 手部运动重建方法和装置
AU2017260525B2 (en) Method and system for body scanning and display of biometric data
Nguyen et al. Kinect-driven patient-specific head, skull, and muscle network modelling for facial palsy patients
Liu et al. Real-time 3D virtual dressing based on users' skeletons
Istook et al. Three-dimensional (3D) technologies for apparel and textile design

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

GR01 Patent grant
GR01 Patent grant