CN111127668A - 一种角色模型生成方法、装置、电子设备和存储介质 - Google Patents

一种角色模型生成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111127668A
CN111127668A CN201911369519.6A CN201911369519A CN111127668A CN 111127668 A CN111127668 A CN 111127668A CN 201911369519 A CN201911369519 A CN 201911369519A CN 111127668 A CN111127668 A CN 111127668A
Authority
CN
China
Prior art keywords
model
feature
deformation
vertex
migrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911369519.6A
Other languages
English (en)
Other versions
CN111127668B (zh
Inventor
李培
陈康
张伟东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911369519.6A priority Critical patent/CN111127668B/zh
Publication of CN111127668A publication Critical patent/CN111127668A/zh
Application granted granted Critical
Publication of CN111127668B publication Critical patent/CN111127668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2024Style variation

Abstract

本发明实施例提供了一种角色模型生成方法和装置,所述方法包括:依据样本人脸样本人脸数据集,生成平均特征模型;将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;确定待迁移模型与所述注册对齐模型的顶点对应关系;获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。本发明实施例可以实现基于几何形变的三维人脸模型的风格迁移,避免了模型穿模的现象。

Description

一种角色模型生成方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,特别是涉及一种角色模型生成方法和一种角色模型生成装置。
背景技术
风格迁移是将给定风格图像的风格迁移到另一幅内容图像(如:照片、草图等)的过程。在图像处理领域中,风格迁移属于非真实感绘制领域(NPR),在过去的多年间,有许多研究者对风格迁移进行了相关研究,大多数研究都集中于将自然图像迁移成具有油画、水墨画等艺术风格的图像。已有的风格迁移方法主要可以分为两类,分别是:基于纹理合成的风格迁移方法和基于神经网络的风格迁移方法。
现有技术中,针对于三维模型的风格迁移,一般都是进行纹理上的风格化,目前基于纹理的风格化多用深度学习的方法进行风格迁移,该类技术方案只能风格化纹理贴图部分,并不会对几何形状做改变。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种角色模型生成方法和相应的一种角色模型生成装置、电子设备、存储介质。
为了解决上述问题,本发明实施例公开了一种角色模型生成方法,包括:
依据样本人脸数据集,生成平均特征模型;
将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。
可选地,所述样本人脸数据集包括多个原始脸部模型;所述依据样本人脸数据集,生成平均特征模型的步骤,包括:
对所述多个原始脸部模型进行主成分分析PCA处理,生成PCA特征向量以及与所述PCA特征向量对应的PCA特征值;
确定与所述多个原始脸部模型对应的PCA特征值的特征平均值;
采用所述PCA特征向量和所述特征平均值,生成平均特征模型。
可选地,所述将所述平均特征模型对齐至待迁移模型,生成注册对齐模型的步骤,包括:
确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点;所述第一特征顶点与所述第二特征顶点对应;
确定所述待迁移模型与所述平均特征模型之间的坐标转换关系;
确定所述第一特征顶点与所述第二特征顶点之间的差异;
按照所述坐标转换关系,将所述差异同步至所述平均特征模型,生成注册对齐模型。
可选地,在所述确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点的步骤之前,还包括:
确定所述平均特征模型的尺寸参数;
将所述待迁移模型的尺寸调整至与所述尺寸参数匹配。
可选地,所述获取形变模型的步骤包括:
获取图像数据;
提取所述图像数据中的特征点;
采用所述特征点和预置的参数化模型,得到形变模型。
可选地,所述确定所述待迁移模型与所述注册对齐模型的顶点对应关系的步骤,包括:
获取所述注册对齐模型中的第三特征顶点;
确定所述待迁移模型中与所述第三特征顶点对应的第四特征顶点。
可选地,所述依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型的步骤,包括:
确定所述形变模型的形变特征参数;
将所述形变特征参数同步至所述注册对齐模型,生成形变后的注册对齐模型;
确定所述待迁移模型与所述形变后的注册对齐模型之间的几何形变量;
采用所述顶点对应关系,将所述几何形变量同步至所述待迁移模型,生成目标模型。
本发明实施例公开了一种角色模型生成装置,包括:
平均特征模块,用于依据样本人脸数据集,生成平均特征模型;
注册对齐模块,用于将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
匹配关系模块,用于确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
获取模块,用于获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
风格化模块,用于依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。
可选地,所述样本人脸数据集包括多个原始脸部模型;所述平均特征模块包括:
主成分子模块,用于对所述多个原始脸部模型进行主成分分析PCA处理,生成PCA特征向量以及与所述PCA特征向量对应的PCA特征值;
平均值子模块,用于确定与所述多个原始脸部模型对应的PCA特征值的特征平均值;
特征模型子模块,用于采用所述PCA特征向量和所述特征平均值,生成平均特征模型。
可选地,所述注册对齐模块包括:
第一特征顶点子模块,用于确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点;所述第一特征顶点与所述第二特征顶点对应;
坐标转换子模块,用于确定所述待迁移模型与所述平均特征模型之间的坐标转换关系;
差异确定子模块,用于确定所述第一特征顶点与所述第二特征顶点之间的差异;
匹配点转换子模块,用于按照所述坐标转换关系,将所述差异同步至所述平均特征模型,生成注册对齐模型。
可选地,注册对齐模块还包括:
尺寸确定子模块,用于确定所述平均特征模型的尺寸参数;
尺寸匹配子模块,用于将所述待迁移模型的尺寸调整至与所述尺寸参数匹配。
可选地,所述获取模块包括:
图像子模块,用于获取图像数据;
特征点子模块,用于提取所述图像数据中的特征点;
参数子模块,用于采用所述特征点和预置的参数化模型,得到形变模型。
可选地,所述匹配关系模块包括:
第三特征顶点子模块,用于获取所述注册对齐模型中的第三特征顶点;
第四特征顶点子模块,用于确定所述待迁移模型中与所述第三特征顶点对应的第四特征顶点。
可选地,所述风格化模块包括:
参数确定子模块,用于确定所述形变模型的形变特征参数;
形变子模块,用于将所述形变特征参数同步至所述注册对齐模型,生成形变后的注册对齐模型;
几何形变量确定子模块,用于确定所述待迁移模型与所述形变后的注册对齐模型之间的几何形变量;
几何形变量同步子模块,用于将所述几何形变量同步至所述待迁移模型,生成目标模型。
本发明实施例还公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并经配置在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的角色模型生成方法的步骤。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的角色模型生成方法的步骤。本发明实施例包括以下优点:
通过在生成平均特征模型后,将平均特征模型对齐至待迁移模型注册,得到注册对齐模型,以及在确定待迁移模型与注册对齐模型的顶点对应关系;在获取与平均特效模型具有一致拓扑的形变模型后,得到与形变模型的形变特征参数对应几何形变量,并依据所述顶点对应关系和注册对齐模型,将得到的几何形变量同步至所述待迁移模型,以将形变特征参数对应的的特征迁移至给定风格的待迁移模型中,生成目标模型,实现基于几何形变的三维人脸模型的风格迁移,避免了模型穿模的现象。
附图说明
图1是本发明的一种角色模型生成方法实施例的步骤流程图;
图2是本发明的一种角色模型生成方法实施例中模型拓扑示意图;
图3是本发明的一种角色模型生成方法实施例中平均特征模型示意图;
图4是本发明的一种角色模型生成方法实施例中待迁移模型示意图;
图5是本发明的一种角色模型生成方法实施例中注册对齐模型示意图;
图6是本发明的一种角色模型生成方法实施例中目标模型示意图;
图7是本发明的一种角色模型生成方法实施例中形变模型示意图;
图8是本发明的一种角色模型生成方法流程示意图;
图9是本发明的一种角色模型生成装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种角色模型生成方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,依据样本人脸数据集,生成平均特征模型;
样本人脸数据集中可以包含有多个三维的脸部模型。其中,脸部模型的各个顶点可以对应于三维坐标系中的多个三维坐标,即任一脸部模型可以表示为一组三维坐标,例如:S=(X1,Y1,Z1,X2,......,Yn,Zn)T∈R3n,包含n个三维坐标(Xi,Yi,Zi)。样本人脸数据集中各个脸部模型的拓扑一致,即不同脸部模型的顶点坐标索引一样、不同脸部模型的面片索引一样。如图2所示,两个脸部模型中鼻尖位置为第k个坐标,即样本人脸数据集中所有脸部模型的第k个坐标均为鼻尖位置。可以提取样本人脸数据集中各个脸部模型的脸部数据,并对确定脸部数据的均值,依据得到的均值生成平均特征模型。如图3所示,是本发明的一种角色模型生成方法实施例中的一种平均特征模型示意图。
步骤102,将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
如图4所示,是本发明的一种角色模型生成方法实施例中的一种待迁移模型示意图。待迁移模型为需要进行风格迁移的脸部模型,即其他风格的角色脸部模型,例如:游戏角色的脸部模型、卡通角色的脸部模型等。待迁移模型包括但不限于人形态、动物形态等。
将平均特征模型对齐至待迁移模型注册,具体是将平均特征模型进行几何形变后得到注册对齐模型,使得注册对齐模型的外形与待迁移模型一致。由于注册对齐模型通过将平均特征模型进行形变后得到,所以注册对齐模型的拓扑与所述平均特征模型的拓扑相一致。如图5所示,是本发明的一种角色模型生成方法实施例中的一种注册对齐模型示意图。
需要说明的是,待迁移模型的拓扑可以与平均特征模型的拓扑一致,待迁移模型的拓扑也可以与平均特征模型的拓扑不一致,本发明实施例对此不作限定。
步骤103,确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
确定待迁移模型与注册对齐模型中,针对于同一特征的顶点之间的顶点对应关系。例如:待迁移模型中的鼻尖的顶点与注册对齐模组中的鼻尖的顶点对应。
步骤104,获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
形变模型是具有与平均特征模型相同风格、相同拓扑的脸部模型。本发明实施例对形变模型的获取方式不作限定。
步骤105,依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。如图6所示,是本发明的一种角色模型生成方法实施例中的一种目标模型示意图。
形变特征参数可以是某一脸部模型与平均特征模型之间的差异信息。
可以通过形变特征参数对注册对齐模型进行形变,使得形变后的注册对齐模型与形变模型的外形匹配,然后根据顶点对应关系,将形变后的注册对齐模型的顶点同步至待迁移模型中,使得待迁移模型形变至与形变后的注册对齐模型的外形匹配,从而生成目标模型,以实现风格迁移。由于目标模型是待迁移模型进行形变生成,所以目标模型的拓扑与待迁移模型的拓扑一致。
在实际应用中,形变特征参数还可以直接通过读取预先存储的数据获得,或者通过输入设备采集获得,或者从服务端中下载获取,本发明实施例对此不作限定。
在本发明实施例中,通过在生成平均特征模型后,将平均特征模型对齐至待迁移模型注册,得到注册对齐模型,以及在确定待迁移模型与注册对齐模型的顶点对应关系;在获取与平均特效模型具有一直的拓扑的形变模型后,得到与形变模型的形变特征参数对应几何形变量,并依据所述顶点对应关系和注册对齐模型,将得到的几何形变量同步至所述待迁移模型,以将形变特征参数对应的的特征迁移至给定风格的待迁移模型中,生成目标模型,实现基于几何形变的三维人脸模型的风格迁移,避免了模型穿模的现象。
在本发明的一种可选实施例中,所述样本人脸数据集包括多个原始脸部模型;所述步骤101可以包括:
子步骤S11,对所述多个原始脸部模型进行主成分分析PCA处理,生成PCA特征向量以及与所述PCA特征向量对应的PCA特征值;
可以对样本人脸数据集中的所有原始脸部数据做PCA处理。针对每一个原始脸部数据,分解出多个PCA特征向量和与PCA特征向量匹配的PCA特征值。通过前k个PCA特征向量和对应PCA特征值得到主成分,其中,主成分中的特征向量是通过对应特征值进行归一化后的向量。
子步骤S12,确定与所述多个原始脸部模型对应的PCA特征值的特征平均值;
确定主要成分中,每一个PCA特征向量对应的PCA特征值的平均值为特征平均值。
子步骤S13,采用所述PCA特征向量和所述特征平均值,生成平均特征模型。
采用主要成分中,PCA特征向量和对应特征平均值,生成平均特征模型。
在本发明的一种可选实施例中,所述步骤102可以包括:
子步骤S21,确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点;所述第一特征顶点与所述第二特征顶点对应;
第一特征顶点与第二特征顶点对应于同一PCA特征向量,也即对应于同一脸部特征。例如:当第一特征顶点为待迁移模型中鼻尖顶点时,第二特征顶点为平均特征模型中鼻尖顶点。
子步骤S22,确定所述第一特征顶点与所述第二特征顶点之间的差异;
第一特征顶点与第二特征顶点之间的差异是指几何维度上的差异。具体的,所述差异可以是指第一特征顶点在平均特征模型中的相对位置与第二特征顶点在待迁移模型中的相对位置之间的差异。例如:第一特征顶点距离平均特征模型中的中心点相距第一长度距离,第二特征顶点距离待迁移模型中的中心点相距第二长度距离,第一特征顶点与第二特征顶点之间差异可以是第一长度与第二长度的差值。
子步骤S23,确定所述待迁移模型与所述平均特征模型之间的坐标转换关系;
待迁移模型和平均特征模型可以分别对应于不同的坐标系。坐标转换关系是第二特征顶点与第一特征顶点的坐标转换信息,依据坐标转换关系,可以将平均特征模型旋转平移至待迁移模型的坐标系中。
子步骤S24,按照所述坐标转换关系,将差异同步至所述平均特征模型,生成注册对齐模型。
根据第一特征顶点和第二特征顶点之间的差异,计算第一特征顶点相对第二特征顶点的几何形变量,并采用坐标转换关系,将对应的几何形变量同步至平均特征模型中,使得形变后的平均特征模型与待迁移模型外形匹配,形变后的平均特征模型即为注册对齐模型。
在本发明的一种可选实施例中,在子步骤S21之前,步骤102还包括:
子步骤S25,确定所述平均特征模型的尺寸参数;
子步骤S26,将所述待迁移模型的尺寸调整至与所述尺寸参数匹配。
在子步骤S21之前,可以调整待迁移模型的尺寸,使得待迁移模型的尺寸与平均特征模型的尺寸一致,从而减少子步骤S21-S24数据处理量,提高子步骤S21-S24的执行效率。
在本发明的另一种可选实施例中,所述步骤104可以包括:
子步骤S41,获取图像数据;
图像数据可以是一帧或多帧的二维脸部图像。图像数据可以通过静态图像或者动态图像(即视频)获得,本发明实施例对图像数据的获取方法不作限定。
子步骤S42,提取所述图像数据中的特征点;
提取二维脸部图像中的多个特征点,特征点对应于脸部中的多个部位,例如:鼻尖、下巴、眼角等。
子步骤S43,采用所述特征点和预置的参数化模型,得到形变模型。
所述参数化模型为:
Figure BDA0002339306070000091
其中,S为形变模型,S为平均特征模型,a为形变特征参数,Vi为主成分的PCA特征向量以及对应的PCA特征值。
通过建立特征点与参数化模型中主成分之间的匹配关系,进行人脸重建,拟合得到与参数化模型匹配的形变模型,同时,得到与形变模型对应的形变特征参数。由于形变模型与参数化模型匹配,所以通过图像数据得到的初始化模型的拓扑与平均特征模型的拓扑一致。
在本发明的一种可选实施例中,所述步骤104可以包括:
子步骤S51,获取初始特征参数;
子步骤S52,将所述初始特征参数输入至预置的参数化模型;
子步骤S53,将所述参数化模型的输出结果为形变模型。
可以将获取到的初始特征参数输入至参数化模型,得到参数化模型输出的结果为形变模型,并通过参数化模型确定与形变模型匹配的形变特征参数。
形变特征参数可以直接通过读取预先存储的数据获得,或者通过输入设备采集获得,或者从服务端中下载获取,本发明实施例对形变特征参数的获取方式不作限定。
在本发明的一种实现中,可以通过获取初始特征参数,并基于参数化模型和初始特征参数,确定形变模型。并基于形变模型和参数化模型确定形变特征参数,并校验初始特征参数和形变特征参数是否为一致,若一致,则确定该形变特征参数为目标形变特征参数,若不一致,则重新执行子步骤S51-S53。
在本发明的一种可选实施例中,所述步骤103可以包括:
子步骤S31,获取所述注册对齐模型中的第三特征顶点;
获取注册对齐模型中,与PCA特征向量对应的第三特征顶点。
子步骤S32,确定所述待迁移模型中与所述第三特征顶点对应的第四特征顶点。
第三特征顶点与第四特征顶点对应与同一PCA特征向量。
由于注册对齐模型与风格模型形状近似,使用KDTree保存注册对齐模型的第三特征顶点的坐标,在第三特征顶点的坐标上走最近邻搜索,从而提高确定第四特征顶点的坐标的效率。
在本发明的一种可选实施例中,所述步骤105可以包括:
子步骤S61,确定所述形变模型的形变特征参数;
形变特征参数与形变模型相对于平均特征模型的差异对应,同时,形变特征参数与形变模型的脸部特征相对应。
子步骤S62,将所述形变特征参数同步至所述注册对齐模型,生成形变后的注册对齐模型;
通过将形变特征参数同步至注册对齐模型,使得注册对齐模型进行形变,形变后的注册对齐模型具有与形变模型对应的脸部特征。
子步骤S63,确定所述待迁移模型与所述形变后的注册对齐模型之间的几何形变量;
通过待迁移模型中特征顶点与形变后的注册对齐模型中特征顶点的差异,确定待迁移模型与形变后的注册对齐模型之间的几何形变量。
具体的,可以确定待迁移模型中第四特征顶点相对于形变后的注册对齐模型中第三特征顶点几何差异,从而确定待迁移模型与形变后的注册对齐模型之间的几何形变量。
子步骤S64,采用所述顶点对应关系,将所述几何形变量同步至所述待迁移模型,生成目标模型。
采用顶点对应关系,将形变后的注册对齐模型与待迁移模型之间的差异(即几何形变量)同步至对应的特征顶点,从而生成目标模型。
具体的,可以确定每一个第四特征顶点对应的形变量后,对待迁移模型进行形变,使得对第四特征顶点做对应的几何形变后,第四特征顶点对应的PCA特征向量、PCA特征与形变特征参数匹配,即与形变后的注册对齐模型匹配,生成目标模型,即目标模型具有与特征参数对应的脸部特征。
其中,目标模型为:
Figure BDA0002339306070000111
其中,
Figure BDA0002339306070000112
为形变前的注册对齐模型为,a为形变特征参数。即目标模型和形变前的注册对齐模型之间的差异与形变模型和平均特征模型之间的差异一致,从而将形变特征参数对应的脸部特征传递至给定风格的待迁移模型中,由于待迁移模型与形变模型具备不同的风格,实现基于几何形变的风格迁移,避免了脸部模型在进行风格迁移时的模型穿模现象。。
图8是本发明的一种角色模型生成方法流程示意图。以下,以一个示例对本发明实施例的一种角色模型生成方法作进一步说明,角色模型生成方法包括如下步骤:
S201:生成PCA人脸参数化模型(参数化模型),PCA人脸参数化模型是一种基于3D人脸数据集的参数化模型。设定数据集(样本人脸数据集)中每一个人脸表示为S=(X1,Y1,Z1,X2,......,Yn,Zn)T∈R3n,包含n个X,Y,Z坐标,对m个人脸数据做PCA操作,分解出对应的特征值和特征向量,构建主成分,获取前k个主成分,生成PCA人脸参数化模型。
S202:注册对齐给定模型(待迁移模型),将平均脸模型(平均特征模型)注册对齐到给定模型上,主要步骤包括:
1、调整给定模型尺度,与平均脸模型尺度一致。
2、选取特征匹配点,一般选择嘴角、眼睛、鼻子等特征部位。
3、刚体对齐,通过选取的匹配点,计算两个模型间的刚性变换,将平均脸模型旋转平移到给定模型坐标系下。
4、非刚体注册对齐,通过选取的匹配点,计算平均脸模型上每一个顶点的变换,将其形变成给定模型。
注册对齐后的模型(注册对齐模型)与给定模型形状接近,拓扑与平均脸模型保持一致。
S203:计算形变模型(初始模型)对应的PCA人脸参数化模型的参数,PCA人脸参数化模型包含平均脸
Figure BDA0002339306070000121
和k个主成分V=(V1,V2,......,Vk)∈R3n×k。则对于任意的人脸都可以用该模型参数化表示:
Figure BDA0002339306070000122
那么,任意形变模型S都可以通过上述公式计算出它所对应PCA人脸参数化模型的参数a,一般地,PCA人脸参数化模型中的顶点数目大于主成分数,该线性方程为超定方程,有唯一参数a。
S204:建立给定模型与注册对齐模型的匹配关系。经过非刚体注册后,注册对齐模型与给定模型形状接近,对给定模型上的每一个顶点做最近邻搜索,找到对应的匹配点,可使用KDTree保存注册对齐模型顶点坐标,用于快速搜索最近邻点。
S205:风格迁移,是基于几何形变的风格迁移,即对每一个顶点进行改变。在S203步骤中,获取了形变模型S的参数化表示,即PCA人脸参数化模型参数a,设定注册对齐模型为
Figure BDA0002339306070000131
对应的PCA人脸参数化模型参数为a,则该模型形变后为:
Figure BDA0002339306070000132
因为PCA人脸参数化模型参数a保持一致,所以模型T形变的部分与形变模型S保持一致,在S204步骤中,获取了给定模型在注册对齐模型上的匹配关系,将几何形变的顶点同步变换给定模型的顶点上,即完成在给定模型上的形变,得到迁移模型(目标模型)。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图9,示出了本发明的一种角色模型生成装置实施例的结构框图,具体可以包括如下模块:
平均特征模块901,用于依据样本人脸数据集,生成平均特征模型;
注册对齐模块902,用于将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
匹配关系模块903,用于确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
获取模块904,用于获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
风格化模块905,用于依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。
在本发明的一种可选实施例中,所述样本人脸数据集包括多个原始脸部模型;所述平均特征模块901包括:
主成分子模块,用于对所述多个原始脸部模型进行主成分分析PCA处理,生成PCA特征向量以及与所述PCA特征向量对应的PCA特征值;
平均值子模块,用于确定与所述多个原始脸部模型对应的PCA特征值的特征平均值;
特征模型子模块,用于采用所述PCA特征向量和所述特征平均值,生成平均特征模型。
在本发明的一种可选实施例中,所述注册对齐模块902包括:
第一特征顶点子模块,用于确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点;所述第一特征顶点与所述第二特征顶点对应;
坐标转换子模块,用于确定所述待迁移模型与所述平均特征模型之间的坐标转换关系;
差异确定子模块,用于确定所述第一特征顶点与所述第二特征顶点之间的差异;
匹配点转换子模块,用于按照所述坐标转换关系,将所述差异同步至所述平均特征模型,生成注册对齐模型。
在本发明的一种可选实施例中,注册对齐模块902还包括:
尺寸确定子模块,用于确定所述平均特征模型的尺寸参数;
尺寸匹配子模块,用于将所述待迁移模型的尺寸调整至与所述尺寸参数匹配。
在本发明的一种可选实施例中,所述获取模块904包括:
图像子模块,用于获取图像数据;
特征点子模块,用于提取所述图像数据中的特征点;
参数子模块,用于采用所述特征点和预置的参数化模型,得到形变模型。
在本发明的一种可选实施例中,所述匹配关系模块903包括:
第三特征顶点子模块,用于获取所述注册对齐模型中的第三特征顶点;
第四特征顶点子模块,用于确定所述待迁移模型中与所述第三特征顶点对应的第四特征顶点。
在本发明的一种可选实施例中,所述风格化模块905包括:
参数确定子模块,用于确定所述形变模型的形变特征参数;
形变子模块,用于将所述形变特征参数同步至所述注册对齐模型,生成形变后的注册对齐模型;
几何形变量确定子模块,用于确定所述待迁移模型与所述形变后的注册对齐模型之间的几何形变量;
几何形变量同步子模块,用于将所述几何形变量同步至所述待迁移模型,生成目标模型。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并经配置在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的角色模型生成方法的步骤。
本发明实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的角色模型生成方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种角色模型生成方法和一种角色模型生成装置、电子设备和存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种角色模型生成方法,其特征在于,包括:
依据样本人脸数据集,生成平均特征模型;
将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。
2.根据权利要求1所述的方法,其特征在于,所述样本人脸数据集包括多个原始脸部模型;所述依据样本人脸数据集,生成平均特征模型的步骤,包括:
对所述多个原始脸部模型进行主成分分析PCA处理,生成PCA特征向量以及与所述PCA特征向量对应的PCA特征值;
确定与所述多个原始脸部模型对应的PCA特征值的特征平均值;
采用所述PCA特征向量和所述特征平均值,生成平均特征模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述平均特征模型对齐至待迁移模型,生成注册对齐模型的步骤,包括:
确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点;所述第一特征顶点与所述第二特征顶点对应;
确定所述待迁移模型与所述平均特征模型之间的坐标转换关系;
确定所述第一特征顶点与所述第二特征顶点之间的差异;
按照所述坐标转换关系,将所述差异同步至所述平均特征模型,生成注册对齐模型。
4.根据权利要求3所述的方法,其特征在于,在所述确定所述平均特征模型中的第一特征顶点,以及,所述待迁移模型中的第二特征顶点的步骤之前,还包括:
确定所述平均特征模型的尺寸参数;
将所述待迁移模型的尺寸调整至与所述尺寸参数匹配。
5.根据权利要求3所述的方法,其特征在于,所述获取形变模型的步骤包括:
获取图像数据;
提取所述图像数据中的特征点;
采用所述特征点和预置的参数化模型,得到形变模型。
6.根据权利要求5所述的方法,其特征在于,所述确定所述待迁移模型与所述注册对齐模型的顶点对应关系的步骤,包括:
获取所述注册对齐模型中的第三特征顶点;
确定所述待迁移模型中与所述第三特征顶点对应的第四特征顶点。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型的步骤,包括:
确定所述形变模型的形变特征参数;
将所述形变特征参数同步至所述注册对齐模型,生成形变后的注册对齐模型;
确定所述待迁移模型与所述形变后的注册对齐模型之间的几何形变量;
采用所述顶点对应关系,将所述几何形变量同步至所述待迁移模型,生成目标模型。
8.一种角色模型生成装置,其特征在于,包括:
平均特征模块,用于依据样本人脸数据集,生成平均特征模型;
注册对齐模块,用于将所述平均特征模型对齐至待迁移模型,生成注册对齐模型,其中,所述注册对齐模型的拓扑与所述平均特征模型的拓扑相一致;
匹配关系模块,用于确定所述待迁移模型与所述注册对齐模型的顶点对应关系;
获取模块,用于获取形变模型,所述形变模型的拓扑与所述平均特征模型的拓扑相一致;
风格化模块,用于依据所述顶点对应关系和所述注册对齐模型,将所述形变模型的形变特征参数同步至所述待迁移模型,生成目标模型。
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并经配置在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的角色模型生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的角色模型生成方法的步骤。
CN201911369519.6A 2019-12-26 2019-12-26 一种角色模型生成方法、装置、电子设备和存储介质 Active CN111127668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911369519.6A CN111127668B (zh) 2019-12-26 2019-12-26 一种角色模型生成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911369519.6A CN111127668B (zh) 2019-12-26 2019-12-26 一种角色模型生成方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111127668A true CN111127668A (zh) 2020-05-08
CN111127668B CN111127668B (zh) 2023-08-22

Family

ID=70503410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911369519.6A Active CN111127668B (zh) 2019-12-26 2019-12-26 一种角色模型生成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111127668B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768477A (zh) * 2020-07-06 2020-10-13 网易(杭州)网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备
CN112634418A (zh) * 2020-12-30 2021-04-09 北京爱奇艺科技有限公司 一种人体模型穿模可见性检测方法、装置及电子设备
CN112927328A (zh) * 2020-12-28 2021-06-08 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN113409454A (zh) * 2021-07-14 2021-09-17 北京百度网讯科技有限公司 人脸图像处理方法、装置、电子设备及存储介质
WO2021238126A1 (zh) * 2020-05-29 2021-12-02 北京达佳互联信息技术有限公司 三维人脸重建方法及装置
CN112634418B (zh) * 2020-12-30 2024-04-19 北京爱奇艺科技有限公司 一种人体模型穿模可见性检测方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986221A (zh) * 2018-07-27 2018-12-11 河海大学常州校区 一种基于模板人脸逼近的不规范三维人脸网格纹理方法
CN109300188A (zh) * 2018-10-23 2019-02-01 北京旷视科技有限公司 三维模型处理方法及装置
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110415341A (zh) * 2019-08-01 2019-11-05 腾讯科技(深圳)有限公司 一种三维人脸模型的生成方法、装置、电子设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986221A (zh) * 2018-07-27 2018-12-11 河海大学常州校区 一种基于模板人脸逼近的不规范三维人脸网格纹理方法
CN109359575A (zh) * 2018-09-30 2019-02-19 腾讯科技(深圳)有限公司 人脸检测方法、业务处理方法、装置、终端及介质
CN109300188A (zh) * 2018-10-23 2019-02-01 北京旷视科技有限公司 三维模型处理方法及装置
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110415341A (zh) * 2019-08-01 2019-11-05 腾讯科技(深圳)有限公司 一种三维人脸模型的生成方法、装置、电子设备及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238126A1 (zh) * 2020-05-29 2021-12-02 北京达佳互联信息技术有限公司 三维人脸重建方法及装置
CN111768477A (zh) * 2020-07-06 2020-10-13 网易(杭州)网络有限公司 三维人脸表情基建立方法及装置、存储介质及电子设备
CN112927328A (zh) * 2020-12-28 2021-06-08 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN112927328B (zh) * 2020-12-28 2023-09-01 北京百度网讯科技有限公司 表情迁移方法、装置、电子设备及存储介质
CN112634418A (zh) * 2020-12-30 2021-04-09 北京爱奇艺科技有限公司 一种人体模型穿模可见性检测方法、装置及电子设备
CN112634418B (zh) * 2020-12-30 2024-04-19 北京爱奇艺科技有限公司 一种人体模型穿模可见性检测方法、装置及电子设备
CN113409454A (zh) * 2021-07-14 2021-09-17 北京百度网讯科技有限公司 人脸图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111127668B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN111127668B (zh) 一种角色模型生成方法、装置、电子设备和存储介质
CN109325437B (zh) 图像处理方法、装置和系统
CN110660037B (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
CN106778928B (zh) 图像处理方法及装置
Tewari et al. High-fidelity monocular face reconstruction based on an unsupervised model-based face autoencoder
CN101159064B (zh) 画像生成系统以及按照图像生成画像的方法
CN113205040A (zh) 人脸图像处理方法、装置和电子设备
US10321747B2 (en) Makeup assistance device, makeup assistance system, makeup assistance method, and makeup assistance program
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
Xiong et al. Supervised descent method for solving nonlinear least squares problems in computer vision
CN111199531A (zh) 基于泊松图像融合及图像风格化的交互式数据扩展方法
JP6207210B2 (ja) 情報処理装置およびその方法
CN105096353B (zh) 一种图像处理方法及装置
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN105096249B (zh) 图像处理方法和装置
CN111914595B (zh) 一种基于彩色图像的人手三维姿态估计方法和装置
Riaz et al. Age-invariant face recognition using gender specific 3D aging modeling
CN111680544A (zh) 人脸识别方法、装置、系统、设备及介质
CN111353069A (zh) 一种人物场景视频生成方法、系统、装置及存储介质
CN113658324A (zh) 图像处理方法及相关设备、迁移网络训练方法及相关设备
WO2023284670A1 (zh) 图形码提取模型构建方法、识别方法、装置、设备和介质
CN116206024A (zh) 基于视频的虚拟人模型驱动方法、装置、设备及存储介质
Li et al. Face aging effect simulation model based on multilayer representation and shearlet transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant