CN103765480A - 参数化3d脸部生成 - Google Patents

参数化3d脸部生成 Download PDF

Info

Publication number
CN103765480A
CN103765480A CN201180073150.XA CN201180073150A CN103765480A CN 103765480 A CN103765480 A CN 103765480A CN 201180073150 A CN201180073150 A CN 201180073150A CN 103765480 A CN103765480 A CN 103765480A
Authority
CN
China
Prior art keywords
face
shape
parameter
pca
face shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180073150.XA
Other languages
English (en)
Other versions
CN103765480B (zh
Inventor
X.童
W.胡
Y.杜
Y.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN103765480A publication Critical patent/CN103765480A/zh
Application granted granted Critical
Publication of CN103765480B publication Critical patent/CN103765480B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

描述系统、设备和方法,其包括:接收脸部控制参数的语义描述和相关联的测量准则;获得主成分分析(PCA)系数;响应PCA系数,生成3D脸部;基于测量准则,确定每个3D脸部的测量值;以及基于测量值,确定脸部控制参数的回归参数。

Description

参数化3D脸部生成
背景技术
人脸特征的3D建模普遍用于创建人的真实感3D表示。例如,诸如虚拟化身(avatar)的虚拟人表示常常利用这样的模型。生成的脸部表示的一些常规应用允许用户通过直接修改基本的3D模型的各种要素来自定义脸部特征以反映不同的脸部类型、种族等。例如,常规的解决方案可以允许修改脸部形状、纹理、性别、年龄、种族等。但是,现有的方法不允许以允许发展全局3D脸部模型的方式操纵语义脸部形状或其部分。
附图说明
附图中以举例的方式而非限制的方式示出本文所描述的题材。为了简单、清楚地说明,图中示出的元件不一定按比例绘制。例如,为清楚起见,一些元件的尺寸可能相对于其它元件有所夸大。此外,在认为合适时,附图中重复使用附图标记来指示对应或类似的元件。图中:
图1是实例系统的说明性图;
图2示出实例过程;
图3示出实例过程;
图4示出实例平均脸部;
图5示出实例过程;
图6示出实例用户界面;
图7、8、9和10示出实例脸部控制参数方案;以及
图11是全都按照本公开的至少一些实现布置的实例系统的说明性图。
具体实施方式
现在参考附图描述一个或多个实施例或实现。尽管论述了特定的配置和布置,但是应了解,这样做只是为了说明的目的。本领域技术人员将意识到,在不偏离本描述的精神和范围的情况下,可以采用其它配置和布置。本领域技术人员将明白,也可以在不同于本文所描述的各种其它系统和应用中采用本文所描述的技术和/或布置。
尽管以下描述例如阐述了可在诸如芯片上系统(SoC)架构的架构中证明的各种实现,但是本文描述的技术和/或布置的实现不限于特定的架构和/或计算系统,并且出于类似的目的,可以由任何架构和/或计算系统来实现。例如,采用例如多个集成电路(IC)芯片和/或封装的各种架构、和/或诸如机顶盒、智能电话等的各种计算设备和/或消费型电子(CE)设备均可实现本文所描述的技术和/或布置。此外,尽管以下描述可能会阐述诸如系统组件的逻辑实现、类型和相互关系、逻辑分区/集成选择等的众多具体细节,但是在没有这些具体细节的情况下也可以实践要求权利的主题。例如,在其它情况下,可能没有详细示出诸如控制结构和全软件指令序列的一些题材,以免使本文所公开的题材晦涩难懂。
本文所公开的题材可以用硬件、固件、软件或其任意组合来实现。本文所公开的题材也可以作为存储在机器可读介质上的指令来实现,这些指令可以由一个或多个处理器读取并执行。机器可读介质可以包括用于存储或传送可由机器(例如,计算设备)读取的形式的信息的任何介质和/或机构。例如,机器可读介质可以包括:只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪速存储器设备;电、光、声或其它形式的传播信号(例如,载波、红外信号、数字信号等);以及其它。
说明书中提到“一个实现”、“实现”、“实例实现”等时表示所描述的实现可以包括特定特征、结构或特性,但不是每个实现都一定要包含该特定特征、结构或特性。而且,这些短语不一定指相同的实现。此外,当结合一个实现描述特定特征、结构或特性时,认为本领域技术人员知道结合其它实现来实施该特征、结构或特性,而不管本文是否进行了明确描述。
图1示出根据本公开的实例系统100。在各种实现中,系统100可以包括3D形变脸部模型102,它能够响应存储在模型3D脸部的数据库104中的模型3D脸部并响应由控制模块106所提供的控制数据来进行参数化3D脸部生成。根据本公开,存储在数据库104中的每个模型脸部可以对应于一个或多个主成分分析(PCA)系数形式的脸部形状和/或纹理数据。形变脸部模型102可以通过将由数据库104提供的形状和/或纹理数据变换为向量空间表示而得到。
如将在下文更详细地解释的,模型102可以响应数据库104中的脸部而获悉形变模型脸部,其中可以将形变脸部表示为平均脸部与PCA本征值和本征向量的线性组合。如还将在下文更详细地解释的,控制模块106可以包括用户界面(UI)108,它提供可以配置成控制模型102的输出的一个或多个脸部特征控件(例如,滑块)。
在各种实现中,系统100的模型102和控制模块106可以由在计算系统的一个或多个处理器核上执行的一个或多个软件应用来提供,而与计算系统相关联的一个或多个存储设备(例如,物理存储器设备、盘驱动器等)可以提供数据库104。在其它实现中,系统100的各种组件可以在地理上分散,并利用各种有线或无线联网技术中的任何技术在通信上耦合在一起,从而使得数据库104和/或控制模块106可以在物理上远离模型102。例如,远离模型102的一个或多个服务器可以提供数据库104,并且可以通过例如互联网将脸部数据传送到模型102。类似地,控制模块106的至少部分(例如,UI 108)可以由计算系统的网络浏览器中的应用来提供,而模型102可以寄宿在远离该计算系统并经由互联网耦合到模块106的一个或多个服务器。
图2示出根据本公开的各种实现用于生成模型脸部的实例过程200的流程图。在各种实现中,过程200可以用于生成即将存储在诸如系统100的数据库104的数据库中的模型脸部。过程200可以包括如图2的方框202、204、206、208和210中的一个或多个方框所示的一个或多个操作、功能或动作。以非限制性实例的方式,本文将参考图1的实例系统来描述过程200。过程200可以在方框202开始。
在方框202,可以接收3D脸部图像。例如,方框202可以涉及接收采用该图像的每个点或顶点的形状数据(例如,就笛卡尔坐标来说的x、y、z)和纹理数据(例如,8位深度的红色、绿色和蓝色)来指定脸部的数据。例如,在方框202接收的3D脸部图像可以利用诸如激光扫描等已知技术来生成,并且可以包括数千个顶点。在各种实现中,在方框202接收的脸部图像的形状和纹理可以分别用列向量S=(x1, y1, z1, x2, y2, z2,…, xn, yn, zn)t和T=(R1, G1, B1, R2, G2, B2, …, Rn, Gn, Zn)t(其中,n是脸部的顶点数)来表示。
在方框204,可以检测或标识3D图像的预定义的脸部标志点(landmark)。例如,在各种实现中,在方框204,可以对3D图像运用已知技术以便提取标志点(例如,参见Wu and Trivedi, “Robust facial landmark detection for intelligent vehicle system(智能车辆系统的稳健的脸部标志点检测)”, International Workshop on Analysis and Modeling of Faces and Gestures, 2005年10月)。在各种实现中,方框204可以涉及利用已知技术来标识预定义的标志点及其相关联的形状和纹理向量(例如,参见Zhang et al., “Robust Face Alignment Based On Hierarchical Classifier Network(基于分层的分类器网络的稳健的脸部对齐)”, Proc. ECCV Workshop Human-Computer Interaction, 2006, 下文称为“Zhang”)。例如,“Zhang”利用八十八(88)个预定义的标志点,包括例如利用八个预定义标志点来标识眼睛。
在方框206,可以将脸部图像(如在方框204所标识的标志点所指定)对齐,并且在方框208,可以从对齐的脸部图像形成网格。在各种实现中,方框206和208可以涉及运用已知的3D对齐和网格化技术(例如,参见Kakadiaris et al., “3D face recognition(3D脸部识别)”, Proc. British Machine Vision Conf., pages 200-208 (2006))。在各种实现中,方框206和208可以涉及将脸部图像的标志点对齐到特定的参考脸部网格,以使得普通的坐标系统可以允许采用图像的标志点相对于参考脸部的形状和纹理差异来指定由过程200所生成的任意数量的模型脸部。
过程200可以在方框210结束,在方框210,可以生成对齐的脸部图像标志点的PCA表示。在各种实现中,方框210可以涉及利用已知技术(例如,参见M.A. Turk and A.P. Pentland, “Face Recognition Using Eigenfaces(使用本征脸部的脸部识别)”, IEEE Conf. on Computer Vision and Pattern Recognition, pp. 586-591, 1991)来将脸部图像表示为:
Figure DEST_PATH_IMAGE001
其中,X0对应于平均列向量,Pi是第i个PCA本征向量,并且λi是对应的第i个本征向量值或系数。
图3示出根据本公开的各种实现用于指定脸部特征参数的实例过程300的流程图。在各种实现中,过程300可用于指定与系统100的控制模块106的脸部特征控件相关联的脸部特征参数。过程300可以包括如图3的方框302、304、306、308、310、312、314、316、318和320中的一个或多个方框所示的一个或多个操作、功能或动作。以非限制性实例的方式,本文将参考图1的实例系统来描述过程300。过程300可以在方框302开始。
在方框302,脸部控制参数的语义描述和相关联的测量准则。在各种实现中,在方框302接收的语义描述可以对应于脸部的任何方面、部分或特征,例如:年龄(例如,范围从年轻到年老),性别(例如,范围从女性到男性),形状(例如,椭圆形、长形、心形、方形、圆形、三角形和菱形);种族(例如,东亚、亚洲次大陆、白种人等);表情(例如,生气、高兴、惊讶等)。在各种实现中,在方框302接收的对应的测量准则可以包括确定性的和/或离散的测量准则。例如,对于性别语义描述,测量准则可以是男性或女性。在各种实现中,在方框302接收的对应的测量准则可以包括可由特定关键点测量的数值和/或概率测量准则,例如脸部形状、眼睛大小、鼻子高度等。
接着,过程300可以继续如循环303所表示的那样在PCA空间中对实例脸部进行采样,其中在方框304,可以将索引k设置为1,并且可以为循环303确定即将采样的实例脸部的总数m。例如,可以确定,对于在方框302接收的脸部控制参数描述,可以对总共m=100个实例脸部进行采样以便生成脸部控制参数的测量值。因此,在该实例中,如将在下文更加详细地描述的,循环303可进行总共一百次以便生成一百个实例脸部以及脸部控制参数的对应数量的测量值。
在方框306,可以随机获得PCA系数,并且在方框308,利用这些PCA系数来生成实例3D脸部。接着,可以通过下式来表示在方框308生成的3D脸部:
Figure 685482DEST_PATH_IMAGE002
其中,αi是第i个本征向量的系数。
在各种实现中,方框306可以包括采样对应于表示PCA空间中的总能量的约95%的前n维本征值的系数集合{αi}。在方框306在PCA子空间中而不是在整个PCA空间中采样可以允许表征整个PCA空间的测量差异。例如,在{αi}=[-3, +3]范围内采样PCA系数可以对应于在对应于[-3*std, +3*std](其中,“std”表示标准偏差)范围内的数据差异的[-3*λi, +3*λi]的范围内采样第i个本征值。
在方框310,可以确定语义描述的测量值。在各种实现中,方框310可以涉及利用各个脸部标志点的坐标来计算测量值。例如,将所采样的第i个本征值的系数设置为Ai={αij, j=1, …n},那么方框310处的表示相对于代表性脸部的概率的对应测量可以表示为
Figure DEST_PATH_IMAGE003
在各种实现中,可以通过一个或多个脸部特征测量来在数值上定义或指定每个已知的语义脸部形状(椭圆形、长形、心形、方形、圆形、三角形和菱形)。例如,图4示出根据本公开的各种实现的实例平均脸部400的若干实例度量测量。如图所示,用于定义或指定对应于语义脸部形状的脸部特征参数的度量测量可以包括前额宽度(fhw)、脸颊宽度(cbw)、下巴宽度(jw)、脸部宽度(fw)和脸部高度(fh)。在各种实现中,可以通过这些特征测量的一个或多个高斯分布来定义代表性脸部形状,并且可以通过那些测量的对应的概率分布来表示每个实例脸部。
过程300可以在方框312继续,其中确定是否k=m。例如,对于m=100,循环303的方框306-310的第一次迭代对应于k=1,因此在方框312,k≠m,并且过程300在方框314继续,其中设置k=k+1,并返回到方框306,在方框306,可以为新的实例3D脸部随机获得PCA系数。如果在方框306-310的一次或多次额外迭代之后,在方框312确定k=m,那么循环303可以结束,并且过程300可以在方框316继续,在方框316,可以对于在方框302接收的语义描述生成测量值的矩阵。
在各种实现中,方框316可以包括将m个脸部控制参数测量的集合归一化到范围[-1, +1],并将测量表示为:
其中,A mxn 是所采样的本征值系数的矩阵,其中每一行对应于一个样本,测量矩阵
Figure DEST_PATH_IMAGE005
中的每一行对应于归一化的控制参数,并且回归矩阵
Figure 756261DEST_PATH_IMAGE006
将脸部控制参数映射到本征值的系数。在各种实现中,b=0的控制参数值可以对应于特定语义描述的平均值(例如,平均脸),并且b=1可以对应于该语义描述的最大正概率。例如,对于性别语义描述,b=0的控制参数值可以对应于中性性别的脸,b=1可以对应于完全男性的脸,b=-1可以对应于完全女性的脸,并且具有例如b=0.8的值的脸可以比具有b=0.5的值的脸更男性化。
过程300可以在方框318继续,在方框318,可以确定脸部控制参数的回归参数。在各种实现中,方框318可以涉及根据下式确定式(3)的回归矩阵
Figure 151470DEST_PATH_IMAGE006
的值:
Figure DEST_PATH_IMAGE007
其中,B T 是测量矩阵B的转置。过程300可以在方框320结束,在方框320,将回归参数存储在存储器中以便用于稍后检索和使用,如将在下文进一步详细描述的那样。
在各种实现中,过程300可用于指定对应于椭圆形、长形、心形、方形、圆形、三角形和菱形的公认语义脸部形状的脸部控制参数。此外,在各种实现中,可以通过UI 108的特征控件(例如,滑块)来操纵由过程300定义的脸部控制参数,从而使得系统100的用户能够修改或自定义3D形变脸部模型102的脸部特征的输出。因此,例如,可以通过多次进行过程300来定义UI 108的脸部形状控制要素,从而指定椭圆形、长形、心形、方形、圆形、三角形和菱形脸部形状的控制要素。
图5示出根据本公开的各种实现用于生成自定义的3D脸部的实例过程500的流程图。在各种实现中,过程500可以由3D形变脸部模型102响应系统100的控制模块106来实现。过程500可以包括如图5的方框502、504、506、508和510中的一个或多个方框所示的一个或多个操作、功能或动作。以非限制性实例的方式,本文将参考图1的实例系统来描述过程500。过程500可以在方框502开始。
在方框502,可以接收脸部控制参数的回归参数。例如,方框502可以涉及模型102接收特定脸部控制参数(举一些实例来说,诸如性别脸部控制参数或方形脸部形状脸部控制参数)的式(3)的回归参数
Figure 903526DEST_PATH_IMAGE006
。在各种实现中,可以从存储器接收方框502的回归参数。在方框504,可以接收脸部控制参数的值,并且在方框506,可以响应脸部控制参数值而确定PCA系数。在各种实现中,方框504可以涉及接收由例如
Figure 725988DEST_PATH_IMAGE008
(对于m=1)表示的脸部控制参数b,并且方框506可以涉及利用回归参数
Figure DEST_PATH_IMAGE009
来如下地计算PCA系数:
Figure 930705DEST_PATH_IMAGE010
过程500可以在方框508继续,在方框508,可以基于在方框508确定的PCA系数来生成自定义的3D脸部。例如,方框508可以涉及利用式(2)以及式(5)的结果来生成脸部。过程300可以在方框510结束,在方框510,可以提供自定义的3D脸部作为输出。例如,可以通过如本文所描述的脸部模型102来进行方框508和510。
尽管如图2、3和5所示的实例过程200、300和500的实现可以包括按照所示的顺序进行所示出的所有方框,但是本公开在这方面不受限制,并且在各种实例中,过程200、300和/或500的实现可以包括只进行所示出的所有方框的子集,和/或采用与所示的顺序不同的顺序进行所示出的方框。
另外,可以响应由一个或多个计算机程序产品所提供的指令来进行图2、3和5的过程和/或方框中的任何一个或多个过程和/或方框。这些程序产品可以包括提供指令的信号承载介质,这些指令在由例如一个或多个处理器核执行时可以提供本文所描述的功能性。计算机程序产品可以在任何形式的计算机可读介质中提供。因此,例如,包括一个或多个处理器核的处理器可以响应通过计算机可读介质传达给处理器的指令进行图2、3和5中所示出的一个或多个方框。
图6示出根据本公开的各种实现的实例用户界面(UI)600。例如,UI 600可以用作系统100的UI 108。如图所示,UI 600包括脸部显示窗格(pane)602和控制窗格604。控制窗格604包括滑块606形式的特征控件,可以操纵滑块606以便改变各个对应的脸部控制参数的值。可以响应对滑块606的操纵来自定义显示窗格602中的模拟3D脸部608的各种脸部特征。在各种实现中,可以通过手动输入参数值来调整UI 600的各个控制参数。另外,可以在不同页面控制窗格604上群集不同的模拟类别(例如,脸部形状控件、脸部种族控件等)。在各种实现中,UI 600可以包括配置成允许用户单独控制不同脸部形状的不同特征控件,例如滑块。例如,UI 600可以包括七个不同的滑块以用于独立地控制椭圆形、长形、心形、方形、圆形、三角形和菱形脸部形状。
图7-9示出根据本公开的各种实现的实例脸部控制参数方案。进行本文描述的过程可以提供图7-10的方案。在各种实现中,可以单独操纵脸部的特定部分,例如眼睛、下巴、鼻子等。图7示出实例方案700,它包括长形脸部形状和方形脸部形状的脸部控制参数以及例如允许例如修改脸的部分的更多离散的脸部控制参数,诸如眼睛大小和鼻子高度。
对于另一个非限制性实例,图8示出实例方案800,它包括性别和种族的脸部控制参数,其中可以操纵或自定义脸部形状和纹理(例如,脸部颜色)。在各种实现中,一些控制(例如,性别)参数值可以具有[-1, +1]的范围,而诸如种族的其它控制参数值可以从0(平均脸部)到+1变化。在又一个非限制性实例中,图9示出实例方案900,它包括脸部表情的脸部控制参数,其中可以操纵或自定义包括生气、厌恶、害怕、高兴、难过和惊讶的脸部表情。在各种实现中,表情控件可以从0(平均或中性脸部)到+1变化。在一些实现中,表情控制参数值可以增大到超过+1以便模拟夸张的表情。图10示出实例方案1000,它包括长形、方形、椭圆形、心形、圆形、三角形和菱形脸部形状的脸部控制参数。
图11示出根据本公开的实例系统1100。系统1100可用于执行本文所论述的各种功能中的一些或所有功能,并且可以包括能够进行根据本公开的各种实现的参数化3D脸部生成的任何设备或设备合集。例如,系统1100可以包括诸如桌面型计算机、移动或平板计算机、智能电话、机顶盒等计算平台或设备的选定组件,但是本公开在这方面不受限制。在一些实现中,系统1100可以是CE设备的基于Intel?架构(IA)的计算平台或SoC。本领域技术人员将容易地明白,在不偏离本公开的范围的情况下,本文描述的实现可以与备选处理系统一起使用。
系统1100包括具有一个或多个处理器核1104的处理器1102。处理器核1104可以是至少能够部分地执行软件和/或处理数据信号的任何类型的处理器逻辑。在各种实例中,处理器核1104可以包括CISC处理器核、RISC微处理器核、VLIW微处理器核和/或实现指令集的任意组合的任意数量的处理器核、或诸如数字信号处理器或微控制器的任何其它处理器设备。
处理器1102还包括解码器1106,它可用于将由例如显示处理器1108和/或图形处理器1110接收的指令解码为控制信号和/或微代码输入点。尽管在系统1100中示为不同于核1104的组件,但是本领域技术人员可意识到,核1104中的一个或多个核可以实现解码器1106、显示处理器1108和/或图形处理器1110。在一些实现中,处理器1102可以配置成进行本文所描述的任何过程,包括关于图2、3和5描述的实例过程。此外,响应控制信号和/或微代码输入点,解码器1106、显示处理器1108和/或图形处理器1110可以执行对应操作。
处理核1104、解码器1106、显示处理器1108和/或图形处理器1110可以通过系统互连1116在通信上和/或在操作上与彼此和/或与各种其它系统设备耦合,各种其它系统设备可以包括但不限于例如存储器控制器1114、音频控制器1118和/或外围设备1120。外围设备1120可以包括例如统一串行总线(USB)主机端口、外围组件互连(PCI)快速端口、串行外围接口(SPI)接口、扩展总线和/或其它外围设备。尽管图11将存储器控制器1114示为通过互连1116耦合到解码器1106与处理器1108和1110,但是在各种实现中,存储器控制器1114可以直接耦合到解码器1106、显示处理器1108和/或图形处理器1110。
在一些实现中,系统1100可以经由I/O总线(图11中未示出)与同样在图11中没有示出的各种I/O设备通信。这些I/O设备可以包括但不限于例如通用异步接收器/传送器(UART)设备、USB设备、I/O扩展接口或其它I/O设备。在各种实现中,系统1100可以代表用于进行移动、网络和/或无线通信的系统的至少部分。
系统1100还可包括存储器1112。存储器1112可以是一个或多个离散存储器组件,例如动态随机存取存储器(DRAM)设备、静态随机存取存储器(SRAM)设备、闪速存储器设备或其它存储器设备。尽管图11将存储器1112示为位于处理器1102的外部,但是在各种实现中,存储器1112可以位于处理器1102的内部。存储器1112可以存储由数据信号表示的指令和/或数据,它们可以在进行包括关于图2、3和5描述的实例过程的本文描述的任何过程中由处理器1102执行。例如,存储器1112可以存储如本文所描述的回归参数和/或PCA系数。在一些实现中,存储器1112可以包括系统存储器部分和显示存储器部分。
诸如实例系统100和/或UI 600的本文描述的设备和/或系统代表了根据本公开的许多可能的设备配置、架构或系统中的若干种。符合本公开的系统的众多变化(例如实例系统100和/或UI 600的变化)是可能的。
上文描述的系统以及如本文所描述的由它们执行的处理可以用硬件、固件、或软件或其任意组合来实现。另外,本文公开的任意一个或多个特征可以用包括离散和集成电路逻辑、专用集成电路(ASIC)逻辑和微控制器的硬件、软件、固件及其组合来实现,并且可以作为域特定集成电路封装的部分或集成电路封装的组合来实现。如本文所使用的,术语“软件”是指包括计算机可读介质的计算机程序产品,在计算机可读介质中存储有计算机程序逻辑,以便使计算机系统执行本文所公开的一个或多个特征和/或特征的组合。
尽管参考各种实现描述了本文所阐述的某些特征,但是不希望以限制的含义来解释本描述。因此,本文所描述的实现的各种修改以及对于本公开所属领域的技术人员来说显而易见的其它实现视为落在本公开的精神和范围内。

Claims (30)

1. 一种计算机实现的方法,包括:
接收脸部控制参数的语义描述和相关联的测量准则;
获得多个主成分分析(PCA)系数;
响应所述多个PCA系数,生成多个3D脸部;
响应所述测量准则,确定所述多个3D脸部中的每个脸部的测量值;以及
响应所述测量值,确定所述脸部控制参数的多个回归参数。
2. 如权利要求1所述的方法,其中获得所述多个PCA系数包括从存储器随机获得所述PCA系数。
3. 如权利要求1所述的方法,其中所述语义描述包括对脸部形状的语义描述。
4. 如权利要求3所述的方法,其中所述脸部形状包括椭圆形、长形、心形、方形、圆形、三角形或菱形之一。
5. 如权利要求1所述的方法,还包括:
将所述多个回归参数存储在存储器中。
6. 如权利要求5所述的方法,其中所述多个回归参数包括第一回归参数,所述方法还包括:
从所述存储器接收所述第一回归参数;
接收所述脸部控制参数的值;
响应所述值确定第一PCA系数,其中所述多个PCA系数包括所述第一PCA系数;以及
响应所述第一PCA系数,生成3D脸部。
7. 如权利要求6所述的方法,其中所述脸部控制参数的值包括响应对特征控件的操纵而生成的所述脸部控制参数的值。
8. 如权利要求7所述的方法,其中所述特征控件包括滑块。
9. 如权利要求7所述的方法,其中所述特征控件包括多个脸部形状控件之一。
10. 如权利要求9所述的方法,其中所述多个脸部形状控件包括对应于长形脸部形状、椭圆形脸部形状、心形脸部形状、方形脸部形状、圆形脸部形状、三角形脸部形状和菱形脸部形状中的每个脸部形状的单独的特征控件。
11. 一种计算机实现的方法,包括:
接收脸部控制参数的回归参数;
接收所述脸部控制参数的值;
响应所述值,确定主成分分析(PCA)系数;以及
响应所述PCA系数,生成3D脸部。
12. 如权利要求11所述的方法,其中所述脸部控制参数的值包括响应对特征控件的操纵而生成的所述脸部控制参数的值。
13. 如权利要求12所述的方法,其中所述特征控制包括滑块。
14. 如权利要求12所述的方法,其中所述特征控件包括多个脸部形状控件之一。
15. 如权利要求14所述的方法,其中所述多个脸部形状控件包括对应于长形脸部形状、椭圆形脸部形状、心形脸部形状、方形脸部形状、圆形脸部形状、三角形脸部形状和菱形脸部形状中的每个脸部形状的单独的特征控件。
16. 一种系统,包括:
处理器和耦合到所述处理器的存储器,其中所述存储器中的指令将所述处理器配置成:
接收脸部控制参数的回归参数;
接收所述脸部控制参数的值;
响应所述值,确定主成分分析(PCA)系数;以及
响应所述PCA系数,生成3D脸部。
17. 如权利要求16所述的系统,还包括用户界面,其中所述用户界面包括多个特征控件,并且其中所述存储器中的所述指令将所述处理器配置成响应对所述多个特征控件中的第一特征控件的操纵而接收所述脸部控制参数的值。
18. 如权利要求17所述的系统,其中所述多个特征控件包括多个滑块控件。
19. 如权利要求17所述的系统,其中所述多个特征控件包括多个脸部形状控件。
20. 如权利要求19所述的系统,其中所述多个脸部形状控件包括对应于长形脸部形状、椭圆形脸部形状、心形脸部形状、方形脸部形状、圆形脸部形状、三角形脸部形状和菱形脸部形状中的每个脸部形状的单独的特征控件。
21. 一种物品,包括其中存储有指令的计算机程序产品,所述指令在执行时导致:
接收脸部控制参数的语义描述和相关联的测量准则;
获得多个主成分分析(PCA)系数;
响应所述多个PCA系数,生成多个3D脸部;
响应所述测量准则,确定所述多个3D脸部中的每个脸部的测量值;以及
响应所述测量值,确定所述脸部控制参数的多个回归参数。
22. 如权利要求21所述的物品,其中获得所述多个PCA系数包括从存储器随机获得所述PCA系数。
23. 如权利要求21所述的物品,其中所述语义描述包括对脸部形状的语义描述。
24. 如权利要求23所述的物品,其中所述脸部形状包括椭圆形、长形、心形、方形、圆形、三角形或菱形之一。
25. 如权利要求21所述的物品,所述计算机程序产品中还存储有指令,所述指令在执行时导致:
将所述多个回归参数存储在存储器中。
26. 如权利要求25所述的物品,其中所述多个回归参数包括第一回归参数,所述计算机程序产品中还存储有指令,所述指令在执行时导致:
从所述存储器接收所述第一回归参数;
接收所述脸部控制参数的值;
响应所述值确定第一PCA系数,其中所述多个PCA系数包括所述第一PCA系数;以及
响应所述第一PCA系数,生成3D脸部。
27. 如权利要求26所述的物品,其中所述脸部控制参数的值包括响应对特征控件的操纵而生成的所述脸部控制参数的值。
28. 如权利要求27所述的物品,其中所述特征控件包括滑块。
29. 如权利要求27所述的物品,其中所述特征控件包括多个脸部形状控件之一。
30. 如权利要求29所述的物品,其中所述多个脸部形状控件包括对应于长形脸部形状、椭圆形脸部形状、心形脸部形状、方形脸部形状、圆形脸部形状、三角形脸部形状和菱形脸部形状中的每个脸部形状的单独的特征控件。
CN201180073150.XA 2011-08-09 2011-08-09 用于参数化3d脸部生成的方法和设备 Expired - Fee Related CN103765480B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001305 WO2013020247A1 (en) 2011-08-09 2011-08-09 Parameterized 3d face generation

Publications (2)

Publication Number Publication Date
CN103765480A true CN103765480A (zh) 2014-04-30
CN103765480B CN103765480B (zh) 2017-06-09

Family

ID=47667837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073150.XA Expired - Fee Related CN103765480B (zh) 2011-08-09 2011-08-09 用于参数化3d脸部生成的方法和设备

Country Status (6)

Country Link
US (1) US20130271451A1 (zh)
EP (1) EP2742488A4 (zh)
JP (1) JP5786259B2 (zh)
KR (1) KR101624808B1 (zh)
CN (1) CN103765480B (zh)
WO (1) WO2013020247A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462995A (zh) * 2014-06-20 2017-02-22 英特尔公司 3d面部模型重建装置和方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748325B2 (en) 2011-11-17 2020-08-18 Adobe Inc. System and method for automatic rigging of three dimensional characters for facial animation
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US8737767B2 (en) * 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US9747495B2 (en) * 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
WO2014139118A1 (en) 2013-03-14 2014-09-18 Intel Corporation Adaptive facial expression calibration
WO2014139142A1 (en) 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
WO2017165363A1 (en) 2016-03-21 2017-09-28 The Procter & Gamble Company Systems and methods for providing customized product recommendations
FR3051951B1 (fr) * 2016-05-27 2018-06-15 Mimi Hearing Technologies GmbH Procede d'elaboration d'un modele deformable en trois dimensions d'un element, et systeme associe
WO2017223530A1 (en) 2016-06-23 2017-12-28 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10559111B2 (en) 2016-06-23 2020-02-11 LoomAi, Inc. Systems and methods for generating computer ready animation models of a human head from captured data images
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
US10621771B2 (en) 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
JP6849824B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
JP6849825B2 (ja) 2017-05-31 2021-03-31 ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company 見掛け肌年齢を判定するためのシステム及び方法
US10198845B1 (en) 2018-05-29 2019-02-05 LoomAi, Inc. Methods and systems for animating facial expressions
CN111027350A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于人脸三维重建的改进pca算法
CN110035271B (zh) * 2019-03-21 2020-06-02 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
KR102241153B1 (ko) 2019-07-01 2021-04-19 주식회사 시어스랩 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11551393B2 (en) 2019-07-23 2023-01-10 LoomAi, Inc. Systems and methods for animation generation
KR102422779B1 (ko) * 2019-12-31 2022-07-21 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
JP7076861B1 (ja) 2021-09-17 2022-05-30 株式会社PocketRD 3次元アバター生成装置、3次元アバター生成方法及び3次元アバター生成プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556196B1 (en) * 1999-03-19 2003-04-29 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for the processing of images
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
US20080222574A1 (en) * 2000-09-28 2008-09-11 At&T Corp. Graphical user interface graphics-based interpolated animation performance
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654498B2 (ja) * 1985-10-26 1994-07-20 ソニー株式会社 判断情報表示装置
JP3480563B2 (ja) 1999-10-04 2003-12-22 日本電気株式会社 パターン識別のための特徴抽出装置
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US9400921B2 (en) * 2001-05-09 2016-07-26 Intel Corporation Method and system using a data-driven model for monocular face tracking
US7461063B1 (en) * 2004-05-26 2008-12-02 Proofpoint, Inc. Updating logistic regression models using coherent gradient
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
KR20070068501A (ko) * 2005-12-27 2007-07-02 박현 2차원 칼라 얼굴 영상에서 반복적인 주성분분석 재구성을이용한 자동적인 잡음 제거
US8139067B2 (en) * 2006-07-25 2012-03-20 The Board Of Trustees Of The Leland Stanford Junior University Shape completion, animation and marker-less motion capture of people, animals or characters
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
FR2907569B1 (fr) 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
US8803950B2 (en) * 2009-08-24 2014-08-12 Samsung Electronics Co., Ltd. Three-dimensional face capturing apparatus and method and computer-readable medium thereof
CN101950415B (zh) * 2010-09-14 2011-11-16 武汉大学 一种基于形状语义模型约束的人脸超分辨率处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556196B1 (en) * 1999-03-19 2003-04-29 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for the processing of images
US20080222574A1 (en) * 2000-09-28 2008-09-11 At&T Corp. Graphical user interface graphics-based interpolated animation performance
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101770649A (zh) * 2008-12-30 2010-07-07 中国科学院自动化研究所 一种人脸图像自动合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓慧 等: "语义脸像的分析与生成", 《第18届全国多媒体学术会议(NCMT2009)、第5届全国人机交互学术会议(CHCI2009)、第5届全国普适计算学术会议(PCC2009)论文集》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462995A (zh) * 2014-06-20 2017-02-22 英特尔公司 3d面部模型重建装置和方法

Also Published As

Publication number Publication date
CN103765480B (zh) 2017-06-09
KR20140043939A (ko) 2014-04-11
WO2013020247A1 (en) 2013-02-14
JP5786259B2 (ja) 2015-09-30
EP2742488A4 (en) 2016-01-27
JP2014522057A (ja) 2014-08-28
EP2742488A1 (en) 2014-06-18
US20130271451A1 (en) 2013-10-17
KR101624808B1 (ko) 2016-05-26

Similar Documents

Publication Publication Date Title
CN103765480A (zh) 参数化3d脸部生成
CN109325437B (zh) 图像处理方法、装置和系统
CN104376594B (zh) 三维人脸建模方法和装置
KR20230021043A (ko) 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
Meng et al. Robust matrix factorization with unknown noise
Wang et al. A new locality-preserving canonical correlation analysis algorithm for multi-view dimensionality reduction
CN106709404A (zh) 图像处理装置及图像处理方法
CN106778468A (zh) 3d人脸识别方法及设备
Ming Rigid-area orthogonal spectral regression for efficient 3D face recognition
US10991154B1 (en) Method for generating model of sculpture of face with high meticulous, computing device, and non-transitory storage medium
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
Wang et al. A variational model for normal computation of point clouds
CN105550641A (zh) 基于多尺度线性差分纹理特征的年龄估计方法和系统
CN110084219A (zh) 界面交互方法及装置
CN110349159A (zh) 基于权重能量自适应分布的三维形状分割方法及系统
US20220358694A1 (en) Method and apparatus for generating a floor plan
Awiszus et al. Learning disentangled representations via independent subspaces
CN104850820B (zh) 一种脸部识别方法及装置
CN112508778A (zh) 一种3d人脸道具贴图方法、终端及存储介质
CN116469147A (zh) 人脸表情迁移方法和表情迁移装置、电子设备及存储介质
Ho et al. Facial modeling from an uncalibrated face image using flexible generic parameterized facial models
Song et al. Quasi-equilibrium feature pyramid network for salient object detection
Xiao et al. 3d face reconstruction via feature point depth estimation and shape deformation
El Sayed et al. 3D face detection based on salient features extraction and skin colour detection using data mining
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170609

Termination date: 20190809