CN105787974B - 仿生人脸衰老模型建立方法 - Google Patents

Abstract

本发明适用于图像处理领域，公开了一种仿生人脸衰老模型建立方法，包括：建立人脸数据库，然后对数据库中的图片进行预处理，依据改进的ASM算法提取特征点，然后启动训练程序，求取训练库中样本之间的变化映射，从而分别建立形状衰老模型和纹理衰老模型，启动匹配程序，对输入人脸进行最优样本匹配，选择目标人脸的衰老年龄，匹配形状衰老模型和纹理衰老模型，合成最终的衰老人脸。本发明实现了人脸图像自适应衰老变形，并利用高维空间形象几何方法进行图像匹配，将纹理和肤色信息分离，使最后变形的图像更加逼真。

Description

仿生人脸衰老模型建立方法

技术领域

本发明属于图像处理领域，尤其涉及一种仿生人脸衰老模型建立方法。

背景技术

随着计算机图形学的发展，图像变形技术变得日益成熟起来，并在医学影像、影视业、人脸动画、游戏等很多方面发挥了重要作用。人脸图像变形会受到包括姿态、表情、光照等因素的影响,其中年龄变化的不确定性使得人脸衰老变形成了一大难题。如何推测出人衰老之后的变化，这不仅是一个十分有趣的研究话题，而且人脸容貌的衰老模拟合成作为一个重要的变形分支，在公安刑事侦破，人脸识别，影视化妆设计及大众娱乐领域体现了重大的应用价值。刑警可以根据当年的容貌照片，依据经验预测逃亡多年的犯人容貌，根据走失儿童家长提供的现有照片，推测几年后儿童的样貌，以便寻找。在影视业制作的过程中，演员经常会扮演不同年龄的角色，化妆师根据年长的人的容貌，为演员画出不同年龄的容貌，年龄跨度可达五六十岁。所以人脸衰老的预测有着非常广泛的应用和研究价值。

在人脸衰老方面，至今已经有很多研究工作。最早的人脸衰老工作是基于坐标变换模拟出人脸外貌的改变，主要使用cardilidal strain变换，通过改变人脸和头骨的形状来模拟随着年龄变化引起的特征改变。此方法可以很好地改变人脸图像轮廓的年龄特征。但是此种方法无法准确的将纹理变化表现出来。

1995年Burt和Perrett将样本图像按年龄段划分为7个不同的样本组，分别计算每组的平均人脸图像，然后合成模拟人脸的衰老变化。该方法可以很好地实现人脸形状和纹理信息的变化，但是因为使用平均脸，所以变到该年龄段是的样貌特征全部一致，不能体现个体差异。

Lanitis等使用基于年龄函数的方法实现人脸年龄变迁的合成，基于一个包含45个人在不同年龄阶段的照片的人脸图像数据库，利用AAM方法将每个人脸表示为一个特征向量，然后求取每组中的平均特征，其他图像用与该平均脸的偏差表示，在该平均脸的基础上求出目标年龄人脸特征向量。主要是用来模拟遗失儿童的现在面貌，模拟了从幼年到成年的容貌变迁，并不适合从青年到老年的衰老变化。

Liu等提出了一种基于图像的表面细节移植技术，利用这种技术可以将老年人脸图像的纹理细节特征(如皱纹、斑点等)移植到青年人脸图像上，从而合成青年人脸图像的老化效果。刘剑毅等提出了基于小波的人脸衰老变化合成方法，首先使用小波将图像分解成高频和低频部分，再将年轻人脸图像的低频信息与老年人脸图像高频信息进行融合生成人脸衰老仿真图像。该工作只参考了个别人脸的信息及模板，其衰老信息及方式还不够充分。

中国发明专利(CN200810162058)公开了一种基于脸型的人脸衰老图像合成方法。步骤为：1)人脸图像数据的获取；建立不同年龄的人脸数据库，获取用户输入的一张年轻人脸图像，手工标记得到所有人脸的特征点；2)基于个性化算法的人脸匹配：通过计算出表征人脸的脸型特征点的局部曲率表准差，将输入图像在人脸图像数据库的不同年龄段中进行匹配找出多幅图像；3)纹理增强的原型合成：使用找到的图像进行纹理增强的原型合成，得到老人原型和年轻人原型两张原型图像；4)形状颜色的变换：对输入图像和3)中获取的两张原型图像进行性状和颜色的变换处理，得到最终的衰老合成图像。

中国发明专利(CN201110167408.4)公开了一种基于改进的ASM算法的人脸特征定位方法，属于计算机视觉和图像处理技术领域：包括如下步骤：特征点的手动标定；上、下模型的统计形状和局部灰度模型的建立；上、下模型中特征点的独立搜索匹配；能量函数约束的综合模型实例生成。针对传统ASM方法对人脸包含表情情况下特征定位过程遇到的困难，通过将人脸面部特征按变化相关度进行区域划分成上、下两个形状区域，独立进行统计形状模型和局部灰度模型的建模，特征匹配搜索过程通过引入一个能量函数对上、下模型生成实例的综合形状进行误差约束，最终得到准确的特征定位结果。

通过上述分析可以发现，以往的工作大多只是基于单一人脸的信息，或者按单一模式来处理所有人的衰老，或者采用手动划绘的方法，并没有考虑不同种类人有着不同的个性化变老途径，而且由于人脸容易受到生存环境、生活习惯等因素的影响，对人脸的预测总是不那么精确；虽然国外学者建立了较大容量的人脸衰老数据库，但它只适用于西方人，并不适应亚洲人青年到老年阶段的衰老变化。

发明内容

本发明实施例提供了一种仿生人脸衰老模型建立方法，能够实现自适应衰老变化，有效解决了东方人脸衰老的不真实问题。本发明旨在通过样本学习的算法获得不同年龄人脸之间的空间映射关系，从而建立一个动态匹配模板，用来对各种人脸形成其独特的衰老变化，而不是单一的匹配某个模板，造成衰老的相似性。通过本发明的方法更逼真的实现衰老模拟。

为此，本发明实施例提供了如下技术方案：

本发明提供一种仿生人脸衰老模型建立方法，其特征在于，该方法包括以下步骤：

A：建立人脸数据库的步骤；

B：对数据库中的图片进行预处理，包括对图像表情、尺寸、以及光照的处理；

C：依据改进的ASM算法提取特征点，利用多三角坐标系依据图像中人脸信息，标定出n＝73个特征点，存储为X＝{x₁,x₂,……x_n}；

D：启动所述训练程序，进行形状衰老空间的训练，将计算结果存储到内存A中；

E：启动所述训练程序，进行纹理衰老空间的训练，将计算结果存储到内存B中；

F：启动所述匹配程序，输入一张人脸，并利用C中的方法对其进行特征点标定，然后对输入人脸进行最优样本匹配，所述样本匹配为利用稀疏原理将该输入图像映射到样本库中；

G：启动所述匹配程序，选择目标人脸的衰老年龄，将人脸分别映射到形状衰老空间A和纹理衰老空间B中，合成最终的衰老人脸；H：输出衰老人脸图像。

本发明所述的仿生人脸衰老模型建立方法，所述步骤A还包括以下步骤：

a：所述数据库为同一个人从年轻到衰老每隔十岁为一个年龄段的图片库，需要至少40个人的清晰正面照，并按年龄进行分组，共七组图片，所述数据库为亚洲人脸衰老数据库，包括至少40个人的20岁前后、30岁前后、40岁前后、50岁前后、60岁前后、70岁前后、80岁前后的正面照各一张。

本发明所述的仿生人脸衰老模型建立方法，所述步骤B还包括以下步骤：

b1：所述对图像表情预处理，采用表情归一化算法，将图片中笑等表情通过调整变成统一的无表情人脸，减少表情对纹理和形状的影响；

b2：所述对尺寸的预处理，将图片大小基本调整在292×336尺寸左右，而且使人脸在图片中处于居中的位置；

b3：所述对光照的预处理，去除光照的影响，对光照进行归一化处理，弱化光照对纹理的影响。

本发明所述的仿生人脸衰老模型建立方法，所述步骤C还包括以下步骤：

c1：所述特征点包括眼睛、眉毛、鼻子、嘴巴和轮廓能表示人脸特征的关键点；

c2：用改进的ASM算法标出特征点后，按照一定的顺序连接起来，利用多三角坐标系使其形成一个三角网格覆盖人脸，并保持该拓扑结构不变。

本发明所述的仿生人脸衰老模型建立方法，所述步骤D还包括以下步骤：

d1：所述计算变化映射，采用高维空间形象几何方法，将图像视作高维空间中的点，以计算20岁组到40岁组变化映射为例，d2：对其余各组之间采用d1所述公式求得每组之间的变化映射，共15组变化，将结果存储于内存A中。

本发明所述的仿生人脸衰老模型建立方法，所述d1步骤包括以下步骤：

d101：所述同一人脸从20岁到40岁的变化为连续的，即为空间中相邻的两个点，其形状变化和纹理变化符合线性变化；

d102：将20岁组的所有图片记为X，将40岁组的所有图片记为Y，根据稀疏原理和字典学习方法，可采用如下公式：

公式中，{D_X,D_Y}为超完备字典，d_X、d_Y是对空间X、Y的稀疏表示，λ_X、λ_Y为正规化参数，此时求得的即为X到Y之间的变化映射。

本发明所述的仿生人脸衰老模型建立方法，所述步骤E还包括以下步骤：

e：所述形状变化包括衰老的各个部位的变化，如眼睑下垂、眼睛内陷、出现眼袋、鼻子轻微拉长、嘴巴变薄、嘴角下垂以及面部轮廓的变化等。

本发明所述的仿生人脸衰老模型建立方法，所述步骤F还包括以下步骤：

f：所述纹理变化包括出现老年斑、皱纹、肤色变暗、眉毛变浅等变化。

本发明所述的仿生人脸衰老模型建立方法，所述步骤G还包括以下步骤：

g：所述计算匹配参数，以输入一张20岁的照片为例，标出特征点，映射到20岁组的图片库中，找到最佳稀疏参数：

公式中，d_i为20岁组图片的特征点，α_i为所求稀疏参数。

本发明所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤H还包括以下步骤：

h：所述匹配形状和纹理衰老模型，以变化到40岁为例，变化映射为d102中所述输入图片为g中所述则变化后的图片为：

具体而言，本发明提供一种仿生人脸衰老模型建立方法，所述方法采用计算机其特征在于，包括以下步骤：建立人脸数据库，所述数据库为同一个人从年轻到衰老每隔十岁为一个年龄段的图片库，需要至少40个人的清晰正面照，并按年龄进行分组，共七组图片；对数据库中的图片进行预处理，包括对图像表情，尺寸，以及光照的处理；依据改进的ASM算法提取特征点，依据图像中人脸信息，标定出n＝73个特征点，存储为X＝{x₁,x₂,……x_n}；启动所述训练程序，求取训练库中样本之间的变化映射，包括七组图片库之间的15组映射关系，分别计算形状变化映射和纹理变化映射，将计算结果存储到内存A中；启动所述训练程序，从所述内存A中提取关于形状变化的映射关系，从而建立形状衰老模型；启动所述训练程序，从所述内存A中提取关于纹理变化的映射关系，从而建立纹理衰老模型；启动所述匹配程序，对输入人脸进行最优样本匹配，所述样本匹配为利用稀疏原理找到该输入图像在样本库中的表示参数；启动所述匹配程序，选择目标人脸的衰老年龄，匹配形状衰老模型和纹理衰老模型，合成最终的衰老人脸。

与现有技术相比，本发明具有如下优点：

首先，本发明中提到的数据库为亚洲人人脸数据库，适应于亚洲人的衰老变化，只是目前条件有限，并不能搜集到大量的人脸，如果能够将此数据库继续搜集下去，建立起一个足够多数据的亚洲人衰老数据库，将会为人脸衰老工作带来巨大的进步空间。

而且，有效解决了衰老个性化问题，同时将纹理与形状分开计算，有效避免了两者之间的影响，能实现皱纹、眼袋、皮肤光泽、毛发等真实感的衰老变化效果。

最后，采用PCA和改进的ASM算法，计算量小、耗时少、操作简单、具有良好的人机交互界面。

本发明使用改进的ASM方法，标定特征点是一种可以自动标定特征点的方法，并非手动标定。本发明使用的并非人脸形状曲率来确定人脸，而是通过73个特征点所形成的三角网格以及纹理特征来从库中匹配人脸。本发明使用的并不是从库中找到人脸，而是通过计算通过最佳融合比例，合成最匹配人脸。本发明实际是通过样本学习的算法获得不同年龄人脸之间的空间映射关系，对输入图像进行同样的空间映射，从而得到最终衰老图像。

本发明中的改进的ASM算法是在多三角坐标系下，即不止将人脸划分为两个区域，而是划分成若干个三角区域，对每一个区域中的纹理和形状，以及之间的拓扑结构关系进行计算。

附图说明

图1是本发明实施例提供的一种仿生人脸衰老模型建立方法建立的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种仿生人脸衰老模型建立方法建立的流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

本实施例所用图像RGB彩色图像，图像大小292×336像素，位深24bit。

测试平台：CPU：Intel(R)Core(TM)2Quad CPU Q6600@2.4GHz(4CPUs)；GPU：NVIDIAGeforce 8400GS(2SM,16SP)。

如图1所示，该方法包括以下步骤：

步骤101，建立人脸数据库。

具体的，建立亚洲人脸衰老数据库，包括同一个人从年轻到衰老每隔十岁为一个年龄段的图片库，需要至少40个人的清晰正面照，并按年龄进行分组，共七组图片。

优选的，所述数据库为亚洲人脸衰老数据库，包括至少40个人的20岁前后、30岁前后、40岁前后、50岁前后、60岁前后、70岁前后、80岁前后的正面照各一张以上。即共280张以上的图片，所指年龄20岁，并非必须为20岁，可在20岁左右皆可。

步骤102，对人脸图像进行预处理。

具体的，对数据库中的图片进行预处理，包括对图像表情、尺寸、以及光照的处理。

优选的，所述对图像表情预处理，采用表情归一化算法，将图片中笑等表情通过调整变成统一的无表情人脸，减少表情对纹理和形状的影响。

优选的，所述对尺寸的预处理，将图片大小基本调整在292*336尺寸左右，而且使人脸在图片中处于居中的位置。

优选的，所述对光照的预处理，去除光照的影响，对光照进行归一化处理，弱化光照对纹理的影响。

步骤103，提取特征点。

具体的，依据改进的ASM算法提取特征点，依据图像中人脸信息，标定出n＝73个特征点，存储为X＝{x₁,x₂,……x_n}。

优选的，所述特征点包括眼睛、眉毛、鼻子、嘴巴和轮廓能表示人脸特征的关键点。

优选的，用改进的ASM算法标出特征点后，按照一定的顺序连接起来，形成一个三角网格覆盖人脸，并保持该拓扑结构不变。

步骤104，求取样本之间的变化映射。

具体的，启动所述训练程序，求取训练库中样本之间的变化映射，包括七组图片库之间的15组映射关系，分别计算形状变化映射和纹理变化映射，将计算结果存储到内存A中。

其中，所述计算变化映射，采用高维空间形象几何方法，将图像视作高维空间中的点，以计算20岁组到40岁组变化映射为例，包括以下步骤：

步骤一：所述同一人脸从20岁到40岁的变化为连续的，即为空间中相邻的两个点，其形状变化和纹理变化符合线性变化。

步骤二：将20岁组的所有图片记为X，将40岁组的所有图片记为Y，根据稀疏原理和字典学习方法，可采用如下公式：

公式中，{D_X,D_Y}为超完备字典，d_X,d_Y是对空间X，Y的稀疏表示，λ_X，λ_Y为正规化参数，此时求得的即为X到Y之间的变化映射。

同时，对其余各组之间采用d1所述公式求得每组之间的变化映射，共15组变化，将结果存储于内存A中。

步骤105，建立形状衰老模型。

具体的，启动所述训练程序，从所述内存A中提取关于形状变化的映射关系，从而建立形状衰老模型。

优选的，所述形状变化包括衰老的各个部位的变化，如眼睑下垂、眼睛内陷、出现眼袋、鼻子轻微拉长、嘴巴变薄、嘴角下垂以及面部轮廓的变化等。

步骤106，建立纹理衰老模型。

具体的，启动所述训练程序，从所述内存A中提取关于纹理变化的映射关系，从而建立纹理衰老模型。

优选的，所述纹理变化包括出现老年斑、皱纹、肤色变暗、眉毛变浅等变化。

步骤107，输入一张人脸图像。

输入一张人脸图像，并选定该图像属于哪个年龄范围。

步骤108，样本匹配。

具体的，启动所述匹配程序，对输入人脸进行最优样本匹配，所述样本匹配为利用稀疏原理找到该输入图像在样本库中的表示参数。

优选的，所述计算匹配参数，以输入一张20岁的照片为例，标出特征点，映射到20岁组的图片库中，找到最佳稀疏参数：

公式中，d_i为20岁组图片的特征点，α_i为所求稀疏参数。

步骤109，模型匹配。

具体的，启动所述匹配程序，选择目标人脸的衰老年龄，匹配形状衰老模型和纹理衰老模型，合成最终的衰老人脸。

优选的，所述匹配形状和纹理衰老模型，以变化到40岁为例，变化映射为d102中所述输入图片为g中所述则变化后的图片为：

步骤110，输出衰老人脸图像。

将计算结果输出，保存为图片，即为衰老后的人脸图像。

本发明实施例通过建立人脸数据库，然后对数据库中的图片进行预处理，依据改进的ASM算法提取特征点，然后启动训练程序，求取训练库中样本之间的变化映射，从而分别建立形状衰老模型和纹理衰老模型，启动匹配程序，对输入人脸进行最优样本匹配，选择目标人脸的衰老年龄，匹配形状衰老模型和纹理衰老模型，合成最终的衰老人脸。本发明实现了人脸图像自适应衰老变形，并利用高维空间形象几何方法进行图像匹配，将纹理和肤色信息分离，使最后变形的图像更加逼真。

本发明通过使用改进的ASM方法标定特征点是一种可以自动标定特征点的方法，并非现有技术的手动标定，从而快速、且误差小。本发明使用的并非传统的人脸形状曲率来确定人脸，而是通过73个特征点所形成的三角网格以及纹理特征来从库中匹配人脸。同时，本发明使用的不是从库中找到人脸，而是通过计算通过最佳融合比例，合成最匹配人脸。因此，提高了对人脸面部存在表情情况下特征定位的准确性。通过本发明，计算出人脸衰老的形状变化和纹理变化矢量，对输入图像使用同样的变化矢量，从而得到最终衰老图像。在本发明提到的分区域算法是针对表情难以定位的情况作出的改进，而本发明中的改进的ASM算法是在多三角坐标系下，即不止将人脸划分为两个区域，而是划分成若干个三角区域，对每一个区域中的纹理和形状，以及之间的拓扑结构关系进行计算，进一步提高了ASM算法对人脸面部存在表情情况下特征定位的准确性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (8)

1.一种仿生人脸衰老模型建立方法，其特征在于，该方法包括以下步骤：

A：建立人脸数据库的步骤；所述人脸数据库为同一个人从年轻到衰老每隔预定年龄为一个年龄段的人脸图片库，所述人脸图片按年龄进行分组；

B：对数据库中的图片进行预处理，包括对图像表情、尺寸、以及光照的处理；

C：依据改进的ASM算法提取特征点，利用多三角坐标系依据图像中人脸信息，标定出n＝73个特征点，存储为X＝{x₁，x₂，……x_n}；

D：启动训练程序，进行形状衰老空间的训练，将计算结果存储到内存P中；

E：启动所述训练程序，进行纹理衰老空间的训练，将计算结果存储到内存Q中；

F：启动匹配程序，输入一张人脸，并利用步骤C中的方法对其进行特征点标定，然后对输入人脸进行最优样本匹配，所述样本匹配为利用稀疏原理将该输入人脸映射到样本库中；

G：启动所述匹配程序，选择目标人脸的衰老年龄，将人脸分别映射到形状衰老空间和纹理衰老空间中，合成最终的衰老人脸；

H：输出衰老人脸图像；

其中，所述步骤D还包括以下步骤：

d1：计算变化映射，采用高维空间形象几何方法，将图像视作高维空间中的点，计算20岁组到40岁组变化映射，

d2：对其余各组之间采用步骤d1中的公式求得每组之间的变化映射，共15组变化，将结果存储于内存P中；

所述d1步骤包括以下步骤：

d101：同一人脸从20岁到40岁的变化为连续的，即为空间中相邻的两个点，其形状变化和纹理变化符合线性变化；

d102：将20岁组的所有图片记为X，将40岁组的所有图片记为Y，根据稀疏原理和字典学习方法，可采用如下公式：

公式中，{D_X,D_Y}为超完备字典，d_X,d_Y是对X，Y的稀疏表示，λ_X、λ_Y为正规化参数，此时求得的即为X到Y之间的变化映射。

2.根据权利要求1所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤A还包括以下步骤：

a：所述数据库为同一个人从年轻到衰老每隔十岁为一个年龄段的图片库，需要至少40个人的清晰正面照，并按年龄进行分组，共七组图片,所述数据库为亚洲人脸衰老数据库，包括至少40个人的20岁、30岁、40岁、50岁、60岁、70岁、80岁的正面照各一张。

3.根据权利要求1所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤B还包括以下步骤：

b1：对图像表情预处理，采用表情归一化方法，将图片中表情通过调整变成统一的无表情人脸，减少表情对纹理和形状的影响；

b2：对尺寸的预处理，将图片大小调整在292*336，而且使人脸在图片中处于居中的位置；

b3：对光照的预处理，去除光照的影响，对光照进行归一化处理，弱化光照对纹理的影响。

4.根据权利要求1或2所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤C还包括以下步骤：

c1：所述特征点包括眼睛、眉毛、鼻子、嘴巴和轮廓能表示人脸特征的关键点；

c2：用改进的ASM算法标出特征点后，按照一定的顺序连接起来，利用多三角坐标系使其形成一个三角网格覆盖人脸，并保持拓扑结构不变。

5.根据权利要求1或2所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤D还包括以下步骤：

d：形状变化包括衰老的各个部位的变化，所述各个部位的变化包括眼睑下垂、眼睛内陷、出现眼袋、鼻子轻微拉长、嘴巴变薄、嘴角下垂以及面部轮廓的变化。

6.根据权利要求1或2所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤E还包括以下步骤：

e：纹理变化包括出现老年斑、皱纹、肤色变暗、眉毛变浅的变化。

7.根据权利要求1或2所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤G还包括以下步骤：

g：计算匹配参数，输入一张20岁的照片，标出特征点，映射到20岁组的图片库中，找到最佳稀疏参数：

公式中，d_i为20岁组图片的特征点，α_i为所求稀疏参数。

8.根据权利要求7所述的仿生人脸衰老模型建立方法，其特征在于，所述步骤H还包括以下步骤：

h：匹配形状和纹理衰老模型，将人脸变化到40岁，变化映射为输入图片为步骤g中则变化后的图片为：

其中，d_i为20岁组图片的特征点，α_i为稀疏参数。