CN104395929A - 使用深度相机的化身构造 - Google Patents
使用深度相机的化身构造 Download PDFInfo
- Publication number
- CN104395929A CN104395929A CN201280074186.4A CN201280074186A CN104395929A CN 104395929 A CN104395929 A CN 104395929A CN 201280074186 A CN201280074186 A CN 201280074186A CN 104395929 A CN104395929 A CN 104395929A
- Authority
- CN
- China
- Prior art keywords
- grid
- main body
- depth map
- virtual
- virtual body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于构造人类主体的化身的方法,包括捕获主体的深度图,基于该深度图获得主体的虚拟骨架,以及从虚拟骨架中收获特征度量集。这些度量与虚拟骨架的预定点之间的距离相对应。在该示例方法中,特征度量被提供作为对使用机器学习所训练的算法的输入。该算法可以使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于特征度量的虚拟身体网格。该方法还包括构造区别于虚拟身体网格的虚拟头部网格(其中脸部特征类似主体的脸部特征)并且将虚拟身体网格连接到虚拟头部网格。
Description
背景
化身是主体(例如人类主体)的具有姿态的虚拟表示。当前,通常在视频游戏中使用化身来表示玩家,但也有许多其他应用是可能的。对于在游戏世界之外的应用,将人类主体表示为化身可能受到构造合适保真度的化身的成本和复杂度的限制。具体来说,以足够的详细程度捕捉主体的形状和面部特征来构造逼真化身可能要求使用昂贵的工作室质量的设备来进行很长的图像捕捉。
概述
本公开的一个实施例提供了一种用于构造人类主体的化身的方法。该方法包括捕获主体的深度图,基于该深度图来获得主体的虚拟骨架,以及从该虚拟骨架中收获特征度量集。这些度量与虚拟骨架的预定点之间的距离相对应。在这一示例方法中,提供特征度量作为对使用机器学习所训练的算法的输入。该算法可以使用各种姿态的实际人类模型以及单个姿态的各种人类模型来训练以输出因变于特征度量的虚拟身体网格。该方法还包括构造不同于虚拟身体网格的虚拟头部网格,其中面部特征类似于主体的面部特征,并且将虚拟身体网格与虚拟头部网格相连接。
提供本概述以便以简化形式介绍在以下具体实施方式中进一步描述的选择的概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所要求保护的主题不限于解决在本公开内容的任何部分中提到的任何缺点的实现方式。
附图说明
图1示出根据本公开的一实施例的用于构造人类主体的化身的系统。
图2示出根据本公开的一实施例的用于构造人类主体的化身的方法。
图3示出根据本公开的一实施例的虚拟骨架的各方面。
图4示出根据本公开的一实施例的虚拟身体网格的各方面。
图5示出根据本公开的一实施例的虚拟头部网格的各方面。
图6示出根据本公开的一实施例的连接到虚拟身体网格的虚拟头部网格的各方面。
图7示出根据本公开的一实施例的用于动画化化身的方法。
图8示出根据本公开的一实施例的用于在零售设置中使用化身的方法。
图9示出根据本公开的一实施例的化身的演示和审阅。
图10示意性地示出根据本公开的一实施例的计算系统的各方面。
具体实施方式
现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而应该注意,协调地标识的元素还可以在某种程度上不同。还应该注意,本发明中包括的附图是示意性的并且通常未按照比例绘制。相反,附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真,以使特定特征或关系更加显见。
根据本公开,“化身”是人类主体的计算机表示。化身可以由一个或多个合适的数据结构来具体化,包括但不限于多边形网格。在一些实施例中,化身可以被呈现以供显示。在其他实施例中,化身不被呈现以供显示。本公开的平衡提出了用于构造人类主体的化身的各种系统和方法。这些系统和方法可以在各种应用中使用,例如,视频游戏、交互式训练软件、物理疗法、或在零售设置中。更一般地,化身可以在期望对主体进行虚拟表示的任何场景中使用。
化身在零售设置中的一种示例应用是使得顾客能够虚拟地“试穿”各种项目。作为示例,这些项目可包括衣物、眼镜、鞋类、配件、假体、珠宝、纹身、和/或化妆。通过以虚拟形式的这些项目来扩充她的化身,顾客能够预测她在穿戴相应的实际项目时看上去会如何。这种办法能够在实际造访试衣间之前用来预先筛选这些项目以节省时间。另外,顾客可以选择与其他人共享扩充有虚拟项目的她的化身的图像。在一些场景中,与并非物理上在场的朋友或家庭成员的这种共享能够远程地完成——例如经由电子邮件或蜂窝电话。以此方式,顾客可以受益于在作出购买项目的决定之前来自另一个人的建议。在基于化身的线上零售体验中,选择项目、试穿项目、然后购买项目的整个过程可以在顾客的家里或工作场所中私下进行。
在当前技术中,存在针对化身构造的陡的保真度-成本曲线。适于视频游戏应用的低保真度化身可以简单地使用廉价的设备来构造。然而,如上所述的应用可能要求高得多的保真度的化身。通常使用专门化的工作室质量的设备来构造实际上类似给定人类主体的高保真度化身。具体来说,可以使用高分辨率深度相机来捕获化身所基于的三维图像数据。
最近几年,现有技术中的顾客深度相机已经以视频游戏系统和个人计算机的用户输入设备的形式出现。一个示例是来自华盛顿州雷蒙德市微软公司的系统。本文描述的系统和方法可以使用深度相机来提供深度数据,根据该深度数据构造人类主体的逼真化身。在这些系统和方法中,化身的分辨率不受到深度相机的分辨率的限制。相反,这一办法应用复杂的头部建模和身体建模技术,其中从深度数据中导出的特征度量集引导高分辨率的逼真身体模型的构造,接着该身体模型可任选地连接到以类似方式构造的头部模型并且可任选地扩充有逼真的肤色和皮肤纹理。
图1示出在一个实施例中用于构造人类主体12的化身的系统10。该系统包括基于视觉的用户输入设备14A,其被定位成看到主体。在所示实施例中,用户输入设备操作耦合于个人计算机16A,个人计算机16A操作耦合于监视器18A。在一个非限制性实施例中,用户输入设备可以是系统,而个人计算机可以是视频游戏系统,诸如来自微软公司的个人计算机可包括具有相关联的存储子系统24的逻辑子系统22,如下文更详细地描述的。存储子系统可包括致使逻辑子系统进行本文描述的方法的各方面的指令。
在图1所示的实施例中,用户输入设备14A包括深度相机26,其被配置成捕获主体12的深度图。用户输入设备还包括色彩相机28,其被配置成捕获至少主体脸部的色彩图像。更一般地,用户输入设备中的相机的特性和数目可以在本公开的各个实施例中有所不同。这些相机可被配置成捕获图像数据,根据这些图像数据经由下游处理获得深度图。如在此使用的,术语“深度图”指与成像场景的对应区域配准(register)的像素阵列,其中每个像素的深度值指示该对应区域的深度。“深度”被定义为与深度相机的光轴平行的坐标,该坐标随着离用户输入设备的距离增加而增加。
在一个实施例中,来自一对立体相机的图像数据可以被协同配准并且在数学上相组合以得到深度图。在其它实施例中,用户输入设备14A可被配置成投射包括多个离散特征(例如,线或点)的结构化红外照明。该深度相机可被配置成对从主体反射的结构化照明进行成像。基于所成像的主体的各个区域中毗邻特征之间的间隔,可构造该主体的深度图。
在其他实施例中,用户输入设备14A可被配置成投射脉冲红外照明。一对相机可被配置成对从主体反射的脉冲照明进行检测。两个相机均可包括与脉冲照明同步的电子快门,但用于这两个相机的集成时间可不同,使得脉冲照明的从源到主体再接着到这两个相机的像素解析的飞行时间可从在两个相机的相应的像素中接收到的相对光的量中辨别。
上述配置实现用于构造人类主体的化身的各种方法。现在继续参照以上配置,通过示例来描述一些此类方法。然而,应该理解,本文所述的方法以及落在本公开范围内的其它方法也可以由不同配置来实现。这些方法可以在系统10正在运行时的任何时间进入,并可以重复地执行。在一些实施例中,在不偏离本发明的范围的情况下,可以省略此处所描述的和/或所示出的一些过程步骤。同样,过程步骤的所指示的顺序不是达成预期的结果所必需的,而是为说明和描述的方便而提供的。取决于所使用的特定策略,可以反复地执行所示出的动作、功能或操作中的一个或多个。
图2示出用于构造人类主体的化身的示例方法30。在方法30的32,捕获主体的深度图。在本文构想的各个实施例中,深度图可以在用户输入设备中或从用户输入设备捕获,诸如用户输入设备14A。
在34,基于捕获的深度图来获得主体的虚拟骨架。图3示出在一个实施例中的示例虚拟骨架36。该虚拟骨架包括枢转地耦合在多个关节40处的多个骨骼部分38。在一些实施例中,身体部位指定可被分配给每个骨骼部分和/或每个关节。在图3中,每个骨骼部分38的身体部位指定由所附字母表示:A针对头部、B针对锁骨、C针对上臂、D针对前臂、E针对手、F针对躯干、G针对骨盆、H针对大腿、J针对小腿、而K针对脚。类似地,每个关节40的身体部位指定由所附字母表示:A针对颈部,B针对肩膀,C针对肘,D针对手腕,E针对下背,F针对髋关节,G针对膝盖以及H针对踝。自然地,图3中示出的骨骼部分和关节的安排不是为了以任何方式进行限制。符合本公开的虚拟骨架可包括实质上任何类型和数量的骨骼部分和关节。
在一个实施例中,每个关节可被分配各种参数-例如,指定关节位置的笛卡尔坐标、指定关节旋转的角度、以及指定对应的身体部位的形态(手打开、手闭合等)的附加参数。该虚拟骨架可采取数据结构的形式,该数据结构包括针对每个关节的这些参数中的任一个或所有。以此方式,定义虚拟骨架的度量数据-它的大小、形状、方向、位置等-可被分配给关节。
现在返回到图2,虚拟骨架的骨骼部分和/或关节可拟合到方法30的34处的深度图。该动作可确定骨架的各个关节的恰适位置、旋转角度以及其它参数值。通过任何合适的最小化方式,骨骼部分的长度和关节的位置和旋转角度可被调整以符合深度图的各个轮廓。在一些实施例中,拟合(fitting)骨骼部分的动作可包括将身体部位指定分配到深度图的多个轮廓。任选地,身体部位指定可在最小化之前被分配。如此,拟合过程可由身体部位指定通知或部分地基于身体部位指定。例如,先前训练的身体模型集合可被用于将来自深度图的特定像素标记为属于特定的身体部位;适合于该身体部位的骨骼部分可接着被拟合到所标记的像素。如果给定的轮廓被指定为主体的头部,那么拟合过程可设法将枢转地耦合到单个关节的骨骼部分-即,颈部-拟合到该轮廓。如果轮廓被指定为前臂,那么拟合过程可设法拟和耦合到两个关节的骨骼部分-在该部分的每个端处均有一个关节。此外,如果确定给定的轮廓不可能对应于主体的任何身体部位,那么该轮廓可被屏蔽或以其它方式从随后的骨骼拟合中消除。上述描述不应当被理解为限制可用于构造虚拟骨架的方法的范围,因为可以用任何合适的方式从深度图中导出虚拟骨架而不背离本公开的范围。
继续图2,在42,从34处获得的虚拟骨架中收获特征度量集。这些度量可以与虚拟骨架的预定点之间的距离相对应。在一些实施例中,特征度量集可以智能地与主体身体的大小和形状有关。例如,特征度量可包括以下各项中的一个或多个:主体的高度、腿长、臂长、肩宽、胸围、腰围、臀围、臂围、以及腿围。
在44,以此方式收获的特征度量集被提供作为对被配置成输出类似主体身体的虚拟身体网格的算法的输入。换言之,该算法计算因变于特征度量的虚拟身体网格。在一些实施例中,出于此目的使用的算法可以是使用机器学习所训练的算法。更具体来说,该算法可以是使用各种姿态的实际人类模型以及单个姿态的各种人类模型已训练的算法,如下文更详细地描述的。
在一个非限制性实施例中,通过使虚拟身体网格模板M变形来构造虚拟身体网格。该模板以从实际人类模型的360度3D扫描中捕捉的具体源姿态和形状来提供。应用于该模板的姿态和形状变化被计算为模板网格M的每一个三角形的仿射变换。具体来说,三角形pk由其边νk,j所标识,边被定义为从第0个顶点到第j个顶点的向量:νk,j=yk,j–yk,0其中j=1,2。接着,对于新姿态和具有新形状的身体网格,每一新的三角形p* k被计算为对应的模板网格三角形pk的变换。在符号中,
其中Rl是其刚性骨骼在第I个关节连接骨架中的旋转。属于相同第I个骨架的所有三角形以相同旋转来提供,因而Rl=Rl[K]。Qk是用于描述由姿态改变引起的每一三角形边缘的变形的3×3仿射变换矩阵。Sk表示身体形状变形。相应地,旋转、身体姿态变换以及身体形状变换被各自应用于虚拟身体网格模板以获得虚拟身体网格。
在该系统中,在方法步骤34的上下文中,如上所述获得旋转Rl。如下从线性回归中计算未知的Qk。以不同姿态捕捉单个人类模型的一定范围的3D网格。这些网格Mi具有相同的拓扑结构,并且通过使以下最小化来计算仿射变换Qk i
此处,ws调整第二项的权重。给定所估计的Q矩阵集合以及由扭转向量表示的已知R,Q和R之间的关系可以线性回归。因而,可以根据R来预测Q,并且从R到Q的线性变换被存储在系统中以供快速计算。
为了获得身体形状变换S,以相同姿态捕捉不同人类模型的一定范围的3D网格。通过最小化以下来根据R和Q来计算S
为了更好地表示女性和男性身体类型之间的天然差异,训练过程被分开地应用在女性模型和男性模型上。还测量3D网格中的特征度量。在由9x N向量表示的度量和形状变换矩阵S之上构建线性映射,此处N是模板网格的三角面的数目。对该线性空间执行主分量分析(PCA)以捕捉主导的子空间。因而,给定特征度量集(例如,包括高度、臂长、肩宽、胸围和腰围),可以通过PCA来近似身体形状变换S。
测量特征度量集,并且获得针对给定深度图和虚拟骨架的旋转R。Q和S可以如以上段落中所述的那样计算。接着,通过求解最小二乘系统来计算最终网格:
其中是变量。由于该模型是不会随翻译而变化的,因此通过设置y0=(0,0,0)将顶点锚定到特定位置。图4示出了可以使用以上算法来构造的示例虚拟身体网格46。
再次返回图2,在48,可任选地细化虚拟身体网格。更具体来说,虚拟身体网格可以通过改变特征度量以最小化深度图上的点与虚拟身体网格的对应点之间的距离来细化。在一个实施例中,虚拟身体网格可以通过应用非线性ICP算法来细化。将特征度量集以及最终网格的顶点位置视为变量,迭代地最小化以下二次函数直到深度图与最终网格之间的距离的差异小于预定义的阈值或者到达最大迭代次数:
最终网格从以上两个等式提供的的结果中初始化,并且特征度量从测量中初始化。网格与深度图之间的距离是所有最近闭合点对之间的平方距离的和。
在方法30的50,构造区别于虚拟身体网格的虚拟头部网格。虚拟头部网格可以基于与此前提到的第一深度图不同的第二深度图来构造。第二深度图可以在与捕获第一深度图时相比主体更靠近深度相机时捕获。在一个实施例中,第二深度图可以是主体头部的三个不同图像捕捉的合成:前视图、向右转30度视图以及向左转30度视图。在第二深度图中,主体的脸部特征可以比在第一深度图中更精细地解析。在其他实施例中,在连续图像捕捉之间,主体的头部可以旋转大于或小于30度的角度。
为了构造虚拟头部网格,可以使虚拟头部网格模板变形以最小化第二深度图上的点与虚拟头部网格上的对应点之间的距离。虚拟头部网格随后可用色彩和纹理来扩充,这些色彩和纹理从捕捉自用户输入设备的色彩相机的一个或多个图像中导出。以此方式,虚拟头部网格可被个性化以类似实际人类主体,即,它可以呈现在形状和肤色/纹理两个方面都类似主体脸部特征的脸部特征。
在52,虚拟身体网格连接到虚拟头部网格。在这一步骤中,虚拟身体模板网格的头部首先被切除,接着通过对模板网格的两个开口边界进行三角测量来将其连接到虚拟头部模板网格。经连接的模型随后被存储在系统中,并且当虚拟身体网格和虚拟头部网格准备就绪时被加载。两个模板网格分别由两个虚拟网格取代,因为它们具有相同的连接性。虚拟头部网格的尺寸根据符合虚拟身体网格的比例来调整。还使围绕颈部的顶点平滑化,而使其他顶点保持固定。以此方式,可以构造几何上真实且无缝的头部/身体网格。
在54,虚拟身体网格用适于该主体的肤色和/或皮肤纹理来扩充。在一些实施例中,肤色和/或皮肤纹理可以基于来自用户输入设备14A的色彩图像数据(诸如来自包括主体脸部的区域的色彩图像数据)来选择。换言之,应用于虚拟身体网格的肤色和/或皮肤纹理可以被合成以匹配主体脸部的肤色和/或皮肤纹理。在一个实施例中,系统首先选择预先设计的数据库中的身体纹理图像,接着调制低频色彩分量以使得其整体色彩符合脸部皮肤的色彩。图5示出示例虚拟头部网格56。图6示出组合的头部/身体网格58,其中虚拟头部网格56连接到虚拟身体网格46。
图7示出用于动画化化身的示例方法60。在方法60的30,构造化身。在一个实施例中,化身可以根据上文所解说的方法来构造。在62,指定用于动画化的化身的初始期望姿态。初始期望姿态可以是展开双臂、举起右手、抬起左腿等的站立姿态。在64,基于期望姿态来重新定位虚拟骨架。在66,如上所述基于重新定位的虚拟骨架来计算虚拟身体网格的变形。在一个实施例中,计算变形可包括将线性皮肤模型应用于虚拟身体网格。在另一实施例中,计算变形可包括将机械皮肤仿真应用于虚拟身体网格。在机械皮肤仿真中,主体肌肉的运动和皮肤根据牛顿物理学因变于虚拟骨架的位移被仿真。方法可以从66返回到62,伴随有指定的后续期望姿态。后续期望姿态可以是例如增量式改变的姿态。相应地,重新定位虚拟骨架和计算虚拟身体网格的变形的步骤可以按顺序重复以动画化化身。在一个实施例中,根据这一方法动画化的化身可以用作视频游戏中的角色。
在本文构想的方法中,基本上任何输入机构均可用于指定化身的初始和后续期望姿态。这些机构可包括引导身体移动的口述命令、或经由用户界面从身体移动和/或姿势的菜单中进行选择。在又一实施例中,通过用户输入设备14A的实时骨架跟踪可以引导动画化的化身的移动。更具体地,主体可以简单地通过按照针对化身所期望的方式移动她自己的身体来指定化身的移动。用户输入设备可被配置成跟踪主体身体的移动,并且将姿势数据流提供给方法60在其上执行的个人计算机。
图8示出用于在零售设置中使用化身的示例方法68。在方法68的30,例如根据上文所解说的方法来构造化身。在70,化身的虚拟身体网格用虚拟衣物来扩充。虚拟衣物可以被建模以类似供销售给主体的实际衣物。在71,如此构造且如此衣着的化身被呈现以供主体审阅。化身可以被呈现以供在零售机构的视频监视器上或在主体的家里或工作场所中审阅等等。图9示出在一个示例场景中主体12演示和审阅化身72。将会注意到,可以将来自本文描述的各方法的各方面一起使用。例如,在方法68中呈现以供主体审阅的衣着化身也可根据方法60来动画化。
在某些实施例中,以上所述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地,这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图10示意性地示出了可以执行上述方法和过程之中的一个或多个的计算系统16的非限制性实施例。以简化形式示出了计算系统16。应该理解,可以使用实际上任何计算机架构,而不偏离本发明的范围。在不同的实施例中,计算系统16可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统16包括逻辑子系统22和存储子系统24。计算系统16可任选地包括显示子系统18、输入设备子系统14、通信子系统76和/或在图10中未示出的其他组件。计算系统16还可以任选地包括一个或多个用户输入设备或与其对接,诸如举例来说键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏。这些用户输入设备可以形成输入设备子系统14的一部分或者可以与输入设备子系统14对接。
逻辑子系统22包括被配置为执行指令的一个或多个物理设备。例如,逻辑子系统可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态、或以其它方式达到所需的结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地,逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核的,而其上执行的程序可以被配置为进行串行、并行或分布式处理。逻辑子系统可以任选地包括分布在两个或更多设备之间的独立组件,这些独立组件在一些实施例中可以位于远程和/或被配置用于进行协调处理。逻辑子系统的各方面可以由云计算配置中配置的可远程访问的网络计算设备来虚拟化和执行。
存储子系统24包括一个或多个物理、非瞬时设备,该一个或多个物理、非瞬时设备被配置为保持逻辑子系统可执行来实现此处所述的方法和过程的数据和/或指令。在实现这些方法和过程时,可以变换存储子系统24的状态(例如,保存不同的数据)。
存储子系统24可以包括可移动介质和/或内置设备。存储子系统24可包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统24可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
应理解,存储子系统24包括一个或多个物理、非瞬时设备。然而,在某些实施例中,在此描述的指令的各方面可以通过物理设备不会保持达有限持续时间的单纯信号——例如,电磁信号或光信号等——以瞬时方式传播。此外,与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中,可以将逻辑子系统22和存储子系统24的各方面一起集成在一个或多个硬件逻辑组件中,通过该一个或多个硬件逻辑组件,可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括:例如,现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算系统16的一方面。在某些情况下,可以通过执行由存储子系统24所保持的指令的逻辑子系统22来实例化模块、程序或引擎。可以理解,可以从同一应用、服务、代码块、对象、库、例程、API、功能等来实例化不同的模块、程序和/或引擎。同样,可以由不同的应用程序、服务、代码块、对象、例程、API、函数等来实例化同一模块、程序和/或引擎。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解,在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其他服务。在某些实现中,服务可以在一个或多个服务器计算设备上运行。
在被包括时,显示子系统18可用于呈现由存储子系统24保存的数据的视觉表示。该视觉表示可采取图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储子系统保持的数据,并由此变换了存储子系统的状态,因此同样可以转变显示子系统18的状态以视觉地表示底层数据的改变。显示子系统18可以包括使用实际上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统22和/或存储子系统24一起组合在共享封装中,或者此类显示设备可以是外围触摸显示设备。
当包括通信子系统76时,通信子系统76可以被配置成将计算系统16与一个或多个其他计算设备可通信地耦合。通信子系统76可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中,该通信子系统可允许计算系统16经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。
Claims (20)
1.一种用于构造人类主体的化身的方法,所述方法包括:
捕获所述主体的深度图;
基于所述深度图来获得所述主体的虚拟骨架;
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集;
提供所述特征度量作为对使用机器学习所训练的算法的输入,所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格;
构造区别于所述虚拟身体网格的虚拟头部网格,其中脸部特征类似于所述主体的脸部特征;以及
将所述虚拟身体网格连接到所述虚拟头部网格。
2.如权利要求1所述的方法,其特征在于,进一步包括重新定位所述虚拟骨架并且基于所述重新定位的虚拟骨架来计算所述虚拟身体网格的变形。
3.如权利要求2所述的方法,其特征在于,计算变形包括将线性皮肤模型应用于所述虚拟身体网格。
4.如权利要求2所述的方法,其特征在于,计算变形包括将机械皮肤仿真应用于所述虚拟身体网格。
5.如权利要求2所述的方法,其特征在于,进一步包括所述重新定位和所述计算以动画化所述化身。
6.如权利要求5所述的方法,其特征在于,进一步包括使用动画化的化身作为视频游戏中的角色。
7.如权利要求1所述的方法,其特征在于,所述特征度量集智能地关联于所述主体的身体的大小和形状。
8.如权利要求1所述的方法,其特征在于,进一步包括将旋转、身体姿态变换和身体形状变换应用于虚拟身体网格模板以获得所述虚拟身体网格。
9.如权利要求1所述的方法,其特征在于,所述深度图是第一深度图,并且所述虚拟头部网格基于第二深度图来构造,其中所述主体的脸部特征比所述第一深度图中更精细地解析。
10.如权利要求9所述的方法,其特征在于,进一步包括使虚拟头部网格模板变形以最小化所述第二深度图上的点与所述虚拟头部网格上的对应点之间的距离。
11.如权利要求1所述的方法,其特征在于,进一步包括用被合成以匹配所述主体的脸部的身体纹理以及匹配所述主体的脸部的皮肤纹理来扩充所述虚拟身体网格。
12.如权利要求1所述的方法,其特征在于,进一步包括用被建模为类似供销售给所述主体的实际衣物的虚拟衣物来扩充所述虚拟身体网格。
13.如权利要求12所述的方法,其特征在于,进一步包括呈现如此构造和如此衣着的化身以供所述主体审阅。
14.一种用于构造人类主体的化身的方法,所述方法包括:
捕获所述主体的深度图;
基于所述深度图来获得所述主体的虚拟骨架;
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集;
提供所述特征度量作为对使用机器学习所训练的算法的输入,所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格;
通过改变所述特征度量来细化所述虚拟身体网格以最小化所述深度图上的点与所述虚拟身体网格的对应点之间的距离;
构造区别于所述虚拟身体网格的虚拟头部网格,其中脸部特征类似于所述主体的脸部特征;以及
将所述虚拟身体网格连接到所述虚拟头部网格。
15.如权利要求14所述的方法,其特征在于,所述虚拟身体网格通过应用迭代式最近点算法来细化。
16.一种用于构造人类主体的化身的系统,所述系统包括:
逻辑子系统;
保持指令的存储子系统,所述指令能由所述逻辑子系统执行以:
基于深度图来获得所述主体的虚拟骨架;
从所述虚拟骨架收获与所述虚拟骨架的预定点之间的距离相对应的特征度量集;
提供所述特征度量作为对使用机器学习所训练的算法的输入,所述算法已经使用各种姿态的人类模型以及单个姿态的各种人类模型来训练以输出因变于所述特征度量的虚拟身体网格;
构造区别于所述虚拟身体网格的虚拟头部网格,其中脸部特征类似于所述主体的脸部特征;以及
将所述虚拟身体网格连接到所述虚拟头部网格。
17.如权利要求16所述的系统,其特征在于,进一步包括:
深度相机,操作耦合于所述逻辑子系统并且被配置成捕获所述主体的深度图;以及
色彩相机,操作耦合于所述逻辑子系统并且被配置成捕获所述主体的脸部的色彩图像;
其中所述指令致使所述逻辑子系统用从所述色彩图像中导出的肤色和皮肤纹理中的一个或多个来扩充所述虚拟身体网格。
18.如权利要求16所述的系统,其特征在于,所述特征度量包括以下各项中的一个或多个:高度、腿长、臂长、肩宽、胸围、腰围、臀围、臂围和腿围。
19.如权利要求16所述的系统,其特征在于,所述各种姿态包括一个或多个站立姿态和一个或多个坐立姿态。
20.如权利要求16所述的系统,其特征在于,所述各种人类模型包括具有不同身高和具有不同体重的男性和女性模型。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2012/077303 WO2013189058A1 (en) | 2012-06-21 | 2012-06-21 | Avatar construction using depth camera |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104395929A true CN104395929A (zh) | 2015-03-04 |
CN104395929B CN104395929B (zh) | 2017-10-03 |
Family
ID=49768039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280074186.4A Active CN104395929B (zh) | 2012-06-21 | 2012-06-21 | 使用深度相机的化身构造 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9001118B2 (zh) |
EP (1) | EP2864961A4 (zh) |
JP (1) | JP6018707B2 (zh) |
KR (1) | KR101911133B1 (zh) |
CN (1) | CN104395929B (zh) |
WO (1) | WO2013189058A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945255A (zh) * | 2017-11-24 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种虚拟人物表情驱动方法及系统 |
CN108475439A (zh) * | 2016-02-16 | 2018-08-31 | 乐天株式会社 | 三维模型生成系统、三维模型生成方法以及程序 |
CN111228752A (zh) * | 2016-07-15 | 2020-06-05 | 宏达国际电子股份有限公司 | 用于自动配置传感器的方法、电子设备和记录介质 |
CN112204621A (zh) * | 2018-05-31 | 2021-01-08 | 微软技术许可有限责任公司 | 基于计算设备能力简档的虚拟骨架 |
Families Citing this family (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
GB201102794D0 (en) | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
US10096265B2 (en) * | 2012-06-27 | 2018-10-09 | Vincent Macri | Methods and apparatuses for pre-action gaming |
US11673042B2 (en) | 2012-06-27 | 2023-06-13 | Vincent John Macri | Digital anatomical virtual extremities for pre-training physical movement |
US11904101B2 (en) | 2012-06-27 | 2024-02-20 | Vincent John Macri | Digital virtual limb and body interaction |
US10603545B2 (en) | 2013-05-17 | 2020-03-31 | Vincent J. Macri | System and method for pre-action training and control |
EP2811463B1 (en) | 2013-06-04 | 2018-11-21 | Dassault Systèmes | Designing a 3d modeled object with 2d views |
WO2015021381A1 (en) * | 2013-08-08 | 2015-02-12 | University Of Florida Research Foundation, Incorporated | Real-time reconstruction of the human body and automated avatar synthesis |
EP2874118B1 (en) | 2013-11-18 | 2017-08-02 | Dassault Systèmes | Computing camera parameters |
US10111603B2 (en) | 2014-01-13 | 2018-10-30 | Vincent James Macri | Apparatus, method and system for pre-action therapy |
US9524582B2 (en) | 2014-01-28 | 2016-12-20 | Siemens Healthcare Gmbh | Method and system for constructing personalized avatars using a parameterized deformable mesh |
US9380224B2 (en) * | 2014-02-28 | 2016-06-28 | Microsoft Technology Licensing, Llc | Depth sensing using an infrared camera |
CN105336005B (zh) * | 2014-06-27 | 2018-12-14 | 华为技术有限公司 | 一种获取目标物体体征数据的方法、装置及终端 |
US9626808B2 (en) * | 2014-08-01 | 2017-04-18 | Electronic Arts Inc. | Image-based deformation of simulated characters of varied topology |
US9928412B2 (en) | 2014-10-17 | 2018-03-27 | Ebay Inc. | Method, medium, and system for fast 3D model fitting and anthropometrics |
EP3813041A1 (en) | 2014-10-23 | 2021-04-28 | The Regents of The University of California | Methods of enhancing cognition and systems for practicing the same |
EP3032495B1 (en) | 2014-12-10 | 2019-11-13 | Dassault Systèmes | Texturing a 3d modeled object |
WO2016207311A1 (en) * | 2015-06-24 | 2016-12-29 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Skinned multi-person linear model |
JP5856343B1 (ja) * | 2015-06-30 | 2016-02-09 | 株式会社コロプラ | ユーザ・インタフェース・プログラムおよびコンピュータ実装方法 |
US9830703B2 (en) * | 2015-08-12 | 2017-11-28 | Nvidia Corporation | Model-based three-dimensional head pose estimation |
KR101710521B1 (ko) * | 2015-11-18 | 2017-02-27 | (주)에프엑스기어 | 사용자 신체의 cg 표현 기능이 구비된 가상 피팅을 위한 시뮬레이션 장치, 방법 및 이를 위한 컴퓨터 프로그램 |
EP3188033B1 (en) | 2015-12-31 | 2024-02-14 | Dassault Systèmes | Reconstructing a 3d modeled object |
JP6370820B2 (ja) * | 2016-02-05 | 2018-08-08 | 株式会社バンダイナムコエンターテインメント | 画像生成システム、ゲーム装置及びプログラム。 |
WO2017137948A1 (en) * | 2016-02-10 | 2017-08-17 | Vats Nitin | Producing realistic body movement using body images |
US9919217B2 (en) | 2016-03-08 | 2018-03-20 | Electronic Arts Inc. | Dynamic difficulty adjustment |
US10217231B2 (en) * | 2016-05-31 | 2019-02-26 | Microsoft Technology Licensing, Llc | Systems and methods for utilizing anchor graphs in mixed reality environments |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
EP3293705B1 (en) * | 2016-09-12 | 2022-11-16 | Dassault Systèmes | 3d reconstruction of a real object from a depth map |
US10565790B2 (en) | 2016-11-11 | 2020-02-18 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
US10529137B1 (en) * | 2016-11-29 | 2020-01-07 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods for augmenting images |
US10384133B1 (en) | 2016-12-30 | 2019-08-20 | Electronic Arts Inc. | Systems and methods for automatically measuring a video game difficulty |
US10357718B2 (en) | 2017-02-28 | 2019-07-23 | Electronic Arts Inc. | Realtime dynamic modification and optimization of gameplay parameters within a video game application |
EP3611691B1 (en) * | 2017-04-10 | 2021-04-21 | Fujitsu Limited | Recognition device, recognition system, recognition method, and recognition program |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
US10311624B2 (en) | 2017-06-23 | 2019-06-04 | Disney Enterprises, Inc. | Single shot capture to animated vr avatar |
US10607420B2 (en) * | 2017-08-30 | 2020-03-31 | Dermagenesis, Llc | Methods of using an imaging apparatus in augmented reality, in medical imaging and nonmedical imaging |
US10102659B1 (en) | 2017-09-18 | 2018-10-16 | Nicholas T. Hariton | Systems and methods for utilizing a device as a marker for augmented reality content |
US10105601B1 (en) | 2017-10-27 | 2018-10-23 | Nicholas T. Hariton | Systems and methods for rendering a virtual content object in an augmented reality environment |
KR101991666B1 (ko) * | 2017-12-06 | 2019-10-01 | 주식회사 카이 | 구형 영상을 생성하는 방법, 구형 영상을 재생하는 방법 및 그 장치들 |
US10636188B2 (en) | 2018-02-09 | 2020-04-28 | Nicholas T. Hariton | Systems and methods for utilizing a living entity as a marker for augmented reality content |
KR102661019B1 (ko) * | 2018-02-23 | 2024-04-26 | 삼성전자주식회사 | 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법 |
JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ, インコーポレイテッド | 眼追跡カメラからの顔の表情 |
US10198871B1 (en) | 2018-04-27 | 2019-02-05 | Nicholas T. Hariton | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
KR102400085B1 (ko) * | 2018-05-07 | 2022-05-19 | 애플 인크. | 크리에이티브 카메라 |
US10713543B1 (en) | 2018-06-13 | 2020-07-14 | Electronic Arts Inc. | Enhanced training of machine learning systems based on automatically generated realistic gameplay information |
CN110634177A (zh) * | 2018-06-21 | 2019-12-31 | 华为技术有限公司 | 一种物体建模运动方法、装置与设备 |
US11669726B2 (en) | 2018-07-02 | 2023-06-06 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US10621788B1 (en) | 2018-09-25 | 2020-04-14 | Sony Corporation | Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
CN109453517B (zh) * | 2018-10-16 | 2022-06-10 | Oppo广东移动通信有限公司 | 虚拟角色控制方法和装置、存储介质、移动终端 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
US10977549B2 (en) * | 2019-02-14 | 2021-04-13 | Adobe Inc. | Object animation using generative neural networks |
US10825225B1 (en) * | 2019-03-20 | 2020-11-03 | Lucasfilm Entertainment Company Ltd. LLC | Simulation stream pipeline |
US11276216B2 (en) | 2019-03-27 | 2022-03-15 | Electronic Arts Inc. | Virtual animal character generation from image or video data |
US10953334B2 (en) | 2019-03-27 | 2021-03-23 | Electronic Arts Inc. | Virtual character generation from image or video data |
US10586396B1 (en) | 2019-04-30 | 2020-03-10 | Nicholas T. Hariton | Systems, methods, and storage media for conveying virtual content in an augmented reality environment |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
CN110111417B (zh) * | 2019-05-15 | 2021-04-27 | 浙江商汤科技开发有限公司 | 三维局部人体模型的生成方法、装置及设备 |
US10748350B1 (en) * | 2019-05-17 | 2020-08-18 | Roblox Corporation | Modification of animated characters |
CN110288716B (zh) * | 2019-06-14 | 2023-08-08 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
US11110353B2 (en) | 2019-07-10 | 2021-09-07 | Electronic Arts Inc. | Distributed training for machine learning of AI controlled virtual entities on video game clients |
US11704853B2 (en) * | 2019-07-15 | 2023-07-18 | Disney Enterprises, Inc. | Techniques for feature-based neural rendering |
KR20190095184A (ko) * | 2019-07-25 | 2019-08-14 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 그 제어 방법 |
CN114375177A (zh) | 2019-09-01 | 2022-04-19 | Lg电子株式会社 | 身体测量装置及其控制方法 |
KR102234646B1 (ko) * | 2020-03-31 | 2021-04-01 | (주)케이넷 이엔지 | 가상 현실 체험 장치 및 방법 |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
JP6818219B1 (ja) * | 2020-05-29 | 2021-01-20 | 株式会社PocketRD | 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム |
US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
AU2021285994A1 (en) | 2020-06-05 | 2023-03-09 | Maria Tashjian | Technologies for virtually trying-on items |
US20230262100A1 (en) * | 2020-07-14 | 2023-08-17 | Sony Group Corporation | Information processing device, information processing method, program, and system |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
AU2021480445A1 (en) | 2021-12-23 | 2024-03-07 | Softbank Corp. | Avatar display device, avatar generation device, and program |
WO2023167968A2 (en) * | 2022-03-02 | 2023-09-07 | Brain Corporation | Systems and methods for aligning a plurality of local computer readable maps to a single global map and detecting mapping errors |
CN117234342B (zh) * | 2023-11-15 | 2024-03-19 | 北京京拍档科技股份有限公司 | 一种基于人台模型生成虚拟模特的方法及设备 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070229498A1 (en) * | 2006-03-29 | 2007-10-04 | Wojciech Matusik | Statistical modeling for synthesis of detailed facial geometry |
US20110022965A1 (en) * | 2009-07-23 | 2011-01-27 | Apple Inc. | Personalized shopping avatar |
US20110148864A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for creating high-quality user-customized 3d avatar |
US20110234581A1 (en) * | 2010-03-28 | 2011-09-29 | AR (ES) Technologies Ltd. | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature |
CN102222347A (zh) * | 2010-06-16 | 2011-10-19 | 微软公司 | 使用波阵面编码来创建深度图像 |
CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
CN102222329A (zh) * | 2010-03-17 | 2011-10-19 | 微软公司 | 深度检测的光栅扫描 |
US20110292036A1 (en) * | 2010-05-31 | 2011-12-01 | Primesense Ltd. | Depth sensor with application interface |
US20120019517A1 (en) * | 2010-07-23 | 2012-01-26 | Mixamo, Inc. | Automatic generation of 3d character animation from 3d meshes |
CN102508867A (zh) * | 2011-10-09 | 2012-06-20 | 南京大学 | 一种人体运动的运动图检索方法 |
Family Cites Families (186)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4288078A (en) | 1979-11-20 | 1981-09-08 | Lugo Julio I | Game apparatus |
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (zh) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
JPH06508788A (ja) | 1991-12-03 | 1994-10-06 | フレンチ スポーテク コーポレイション | 対話型ビデオ式検査および訓練システム |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
WO1996041304A1 (en) | 1995-06-07 | 1996-12-19 | The Trustees Of Columbia University In The City Of New York | Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
AU3283497A (en) | 1996-05-08 | 1997-11-26 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
WO1998007129A1 (fr) | 1996-08-14 | 1998-02-19 | Latypov Nurakhmed Nurislamovic | Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes |
DE69733684T2 (de) | 1996-09-18 | 2006-04-27 | Koninklijke Philips Electronics N.V. | Nachrichtenverteilungssystem |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
WO1999019828A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6384819B1 (en) | 1997-10-15 | 2002-05-07 | Electric Planet, Inc. | System and method for generating an animatable character |
US6195104B1 (en) | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
WO2000034919A1 (en) | 1998-12-04 | 2000-06-15 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP1147370B1 (en) | 1998-12-16 | 2009-02-25 | 3DV Systems Ltd. | Self gating photosurface |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US7062454B1 (en) | 1999-05-06 | 2006-06-13 | Jarbridge, Inc. | Previewing system and method |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US20010034668A1 (en) | 2000-01-29 | 2001-10-25 | Whitworth Brian L. | Virtual picture hanging via the internet |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US20030206652A1 (en) * | 2000-06-28 | 2003-11-06 | David Nister | Depth map creation through hypothesis blending in a bayesian framework |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US6901379B1 (en) | 2000-07-07 | 2005-05-31 | 4-D Networks, Inc. | Online shopping with virtual modeling and peer review |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
AU2003212211A1 (en) | 2002-04-19 | 2003-11-03 | Iee International Electronics And Engineering S.A. | Safety device for a vehicle |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP4355341B2 (ja) | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
WO2004111687A2 (en) | 2003-06-12 | 2004-12-23 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
EP1743277A4 (en) | 2004-04-15 | 2011-07-06 | Gesturetek Inc | MONITORING OF BI-MANUAL MOVEMENTS |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP5160235B2 (ja) | 2005-01-07 | 2013-03-13 | クアルコム,インコーポレイテッド | 画像中の物体の検出及び追跡 |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
EP1851750A4 (en) | 2005-02-08 | 2010-08-25 | Oblong Ind Inc | SYSTEM AND METHOD FOR CONTROL SYSTEM BASED ON GESTURES |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
US7389591B2 (en) | 2005-05-17 | 2008-06-24 | Gesturetek, Inc. | Orientation-sensitive signal output |
EP1752748B1 (en) | 2005-08-12 | 2008-10-29 | MESA Imaging AG | Highly sensitive, fast pixel for use in an image sensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
CN1928908A (zh) | 2005-09-08 | 2007-03-14 | 御轩星球网路有限公司 | 虚拟实境购物系统 |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
TW200828043A (en) | 2006-12-29 | 2008-07-01 | Cheng-Hsien Yang | Terminal try-on simulation system and operating and applying method thereof |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
EA200970864A1 (ru) | 2007-03-19 | 2010-04-30 | Масси Милиано Ою | Способ и система для индивидуального пошива и розничной продажи одежды |
US20080252637A1 (en) | 2007-04-14 | 2008-10-16 | Philipp Christian Berndt | Virtual reality-based teleconferencing |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
EP2195781A1 (en) | 2007-08-30 | 2010-06-16 | Feeling Software | Online shopping system and method using 3d reconstruction |
JP2011512054A (ja) | 2007-12-21 | 2011-04-14 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | 模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム |
US20100030578A1 (en) | 2008-03-21 | 2010-02-04 | Siddique M A Sami | System and method for collaborative shopping, business and entertainment |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US9189886B2 (en) | 2008-08-15 | 2015-11-17 | Brown University | Method and apparatus for estimating body shape |
US8941642B2 (en) | 2008-10-17 | 2015-01-27 | Kabushiki Kaisha Square Enix | System for the creation and editing of three dimensional models |
US8659596B2 (en) | 2008-11-24 | 2014-02-25 | Mixamo, Inc. | Real time generation of animation-ready 3D character models |
US20100302138A1 (en) | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
US8803950B2 (en) | 2009-08-24 | 2014-08-12 | Samsung Electronics Co., Ltd. | Three-dimensional face capturing apparatus and method and computer-readable medium thereof |
US7961910B2 (en) * | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
TWI434227B (zh) * | 2009-12-29 | 2014-04-11 | Ind Tech Res Inst | 動畫產生系統及方法 |
JP5346863B2 (ja) * | 2010-03-30 | 2013-11-20 | 大日本スクリーン製造株式会社 | 3次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム |
US9245177B2 (en) * | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
US8861800B2 (en) * | 2010-07-19 | 2014-10-14 | Carnegie Mellon University | Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction |
US8582867B2 (en) * | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
KR101514327B1 (ko) * | 2010-11-04 | 2015-04-22 | 한국전자통신연구원 | 얼굴 아바타 생성 장치 및 방법 |
-
2012
- 2012-06-21 EP EP12879512.7A patent/EP2864961A4/en not_active Withdrawn
- 2012-06-21 JP JP2015517577A patent/JP6018707B2/ja active Active
- 2012-06-21 WO PCT/CN2012/077303 patent/WO2013189058A1/en active Application Filing
- 2012-06-21 CN CN201280074186.4A patent/CN104395929B/zh active Active
- 2012-06-21 KR KR1020157001597A patent/KR101911133B1/ko active IP Right Grant
- 2012-08-14 US US13/585,540 patent/US9001118B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070229498A1 (en) * | 2006-03-29 | 2007-10-04 | Wojciech Matusik | Statistical modeling for synthesis of detailed facial geometry |
US20110022965A1 (en) * | 2009-07-23 | 2011-01-27 | Apple Inc. | Personalized shopping avatar |
US20110148864A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for creating high-quality user-customized 3d avatar |
CN102222329A (zh) * | 2010-03-17 | 2011-10-19 | 微软公司 | 深度检测的光栅扫描 |
US20110234581A1 (en) * | 2010-03-28 | 2011-09-29 | AR (ES) Technologies Ltd. | Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature |
US20110292036A1 (en) * | 2010-05-31 | 2011-12-01 | Primesense Ltd. | Depth sensor with application interface |
CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
CN102222347A (zh) * | 2010-06-16 | 2011-10-19 | 微软公司 | 使用波阵面编码来创建深度图像 |
US20120019517A1 (en) * | 2010-07-23 | 2012-01-26 | Mixamo, Inc. | Automatic generation of 3d character animation from 3d meshes |
CN102508867A (zh) * | 2011-10-09 | 2012-06-20 | 南京大学 | 一种人体运动的运动图检索方法 |
Non-Patent Citations (4)
Title |
---|
DRAGOMIR ANGUELOV 等: "SCAPE: Shape Completion and Animation of People", 《ACM TRANSACTIONS ON GRAPHICS (TOG) - PROCEEDINGS OF ACM SIGGRAPH 2005》 * |
KAIRAT AITPAYEV 等: "Creation of 3D Human Avatar using Kinect", 《ASIAN TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATION & MULTIMEDIA》 * |
SHIZHE ZHOU 等: "Parametric Reshaping of Human Bodies in Images", 《ACM TRANSACTIONS ON GRAPHICS》 * |
STEFAN HAUSWIESNER 等: "Free Viewpoint Virtual Try-On With Commodity Depth Cameras", 《PROCEEDINGS OF THE 10TH INTERNATIONAL CONFERENCE ON VIRTUAL REALITY CONTINUUM AND ITS APPLICATIONS IN INDUSTRY》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108475439A (zh) * | 2016-02-16 | 2018-08-31 | 乐天株式会社 | 三维模型生成系统、三维模型生成方法以及程序 |
CN108475439B (zh) * | 2016-02-16 | 2022-06-17 | 乐天集团股份有限公司 | 三维模型生成系统、三维模型生成方法和记录介质 |
CN111228752A (zh) * | 2016-07-15 | 2020-06-05 | 宏达国际电子股份有限公司 | 用于自动配置传感器的方法、电子设备和记录介质 |
CN111228752B (zh) * | 2016-07-15 | 2021-09-07 | 宏达国际电子股份有限公司 | 用于自动配置传感器的方法、电子设备和记录介质 |
US11341776B2 (en) | 2016-07-15 | 2022-05-24 | Htc Corporation | Method, electronic apparatus and recording medium for automatically configuring sensors |
CN107945255A (zh) * | 2017-11-24 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种虚拟人物表情驱动方法及系统 |
CN112204621A (zh) * | 2018-05-31 | 2021-01-08 | 微软技术许可有限责任公司 | 基于计算设备能力简档的虚拟骨架 |
Also Published As
Publication number | Publication date |
---|---|
KR20150024899A (ko) | 2015-03-09 |
EP2864961A1 (en) | 2015-04-29 |
CN104395929B (zh) | 2017-10-03 |
KR101911133B1 (ko) | 2018-10-23 |
US9001118B2 (en) | 2015-04-07 |
JP2015531098A (ja) | 2015-10-29 |
WO2013189058A1 (en) | 2013-12-27 |
US20130342527A1 (en) | 2013-12-26 |
JP6018707B2 (ja) | 2016-11-02 |
EP2864961A4 (en) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104395929A (zh) | 使用深度相机的化身构造 | |
JP2015531098A5 (zh) | ||
US20210074005A1 (en) | Image processing method and apparatus, image device, and storage medium | |
US12054227B2 (en) | Matching meshes for virtual avatars | |
US9646340B2 (en) | Avatar-based virtual dressing room | |
US10702216B2 (en) | Method and system for body scanning and display of biometric data | |
US11640672B2 (en) | Method and system for wireless ultra-low footprint body scanning | |
Bertiche et al. | Pbns: Physically based neural simulator for unsupervised garment pose space deformation | |
US10628666B2 (en) | Cloud server body scan data system | |
WO2021028728A1 (ru) | Способ и система для дистанционного выбора одежды | |
Gültepe et al. | Real-time virtual fitting with body measurement and motion smoothing | |
US20160088284A1 (en) | Method and system for determining biometrics from body surface imaging technology | |
CN104854623A (zh) | 基于化身的虚拟试衣室 | |
Vitali et al. | Acquisition of customer’s tailor measurements for 3D clothing design using virtual reality devices | |
CN114529640B (zh) | 一种运动画面生成方法、装置、计算机设备和存储介质 | |
CN114270402A (zh) | 用于构建三维扫描人体模型的方法和装置 | |
AU2017260525B2 (en) | Method and system for body scanning and display of biometric data | |
Straka et al. | Rapid skin: estimating the 3D human pose and shape in real-time | |
Xu et al. | Human body reshaping and its application using multiple RGB-D sensors | |
CN116452601A (zh) | 虚拟试衣方法、装置、电子设备及存储介质 | |
Bardis et al. | WebGL enabled smart avatar warping for body weight animated evolution | |
RU2805003C2 (ru) | Способ и система для дистанционного выбора одежды | |
US11983819B2 (en) | Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject | |
Straka | Human Pose and Shape Estimation from Multi-View Images for Virtual Dressing Rooms | |
Fei | Expressive textures: synthetic and video avatars |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150728 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20150728 Address after: Washington State Applicant after: Micro soft technique license Co., Ltd Address before: Washington State Applicant before: Microsoft Corp. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |