CN109636910A - 一种基于深度生成对抗网络的颅面复原方法 - Google Patents

Abstract

本发明公开了一种基于深度生成对抗网络的颅面复原方法，其包括以下步骤：S1、获取训练样本；并获取待复原对象的条件信息；S2、构建生成对抗网络，并获取代价函数；根据待复原对象的三维颅骨信息得到二维颅骨数据；S3、将训练样本中的数据作为生成对抗网络的输入，训练生成对抗网络以最优化代价函数，完成生成对抗网络的训练；S4、将待复原对象的二维颅骨数据和条件信息作为训练好的生成对抗网络的输入，得到复原后的颅面信息。本方法基于生成对抗网络，根据待复原对象的颅骨数据和条件信息可以进行高精度颅面复原，有助于刑事案件中对受害者的面部识别、考古学中对古人面容的恢复、医疗脸部外科手术的效果预测等。

Description

一种基于深度生成对抗网络的颅面复原方法

技术领域

本发明涉及颅面复原领域，具体涉及一种基于深度对抗网络的颅面复原方法。

背景技术

根据颅骨样本来复原出接近真实的颅面，对于刑事案件中对受害者的面部识别、考古学中对古人面容恢复、医疗脸部外科手术效果预测、以及逼近真实人脸的动画制作等应用领域有着十分重要的作用。由于人体头颅的结构十分复杂，头颅内部包含大脑、血管以及神经，外部又覆盖着多层软组织结构。更为棘手的是由于人种和胖瘦等差异，各层软组织的厚薄程度又存在较大差异，这就使得其面部结构具有复杂、多变的特性。

早期的大多数颅面复原工作都是三维的。最早的三维颅面复原研究工作可以追溯到19世纪后期的石膏填充颅面复原法，此方法需要知道复原人脸的大致面部信息和身份信息(性别、年龄)，然后采用石膏在颅骨上填充软组织来复原面部。该方法需要经验丰富的雕刻师来完成，且耗时数月。另外，在填充软组织时需要手工标定一些特征点，而这些特征点是通过大致估算得来，并没有考虑这些特征点的深层关系。

现有基于计算机辅助的颅面复原技术主要依赖可变形模板。可变形模板具有一般人脸特征的人脸模型，根据不同人的面部的关键特征点，可将这个模板变形到对应的人脸。因此，该方法主要考虑的问题是：这些关键特征点怎么得到。对于这个问题，基于统计的特征点估计方法，取得较为理想的效果。由于统计模型本身的能力与可变形模型对面部特征的表达存在天然的限制，导致复原的颅面千篇一律，不够逼真。因此现有颅面复原技术难以准确复原。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度生成对抗网络的颅面复原方法解决了现有颅面复原方法复原效果差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

提供一种基于深度生成对抗网络的颅面复原方法，其包括以下步骤：

S1、获取若干一一对应的二维颅面数据、二维颅骨数据和条件信息，并将其作为训练样本；扫描待复原对象的颅骨，并获取待复原对象的条件信息；

S2、构建包括生成器和判别器的生成对抗网络，并获取生成对抗网络的代价函数；根据扫描得到的待复原对象的颅骨信息进行三维颅骨重建，并获取三维颅骨的二维数据；

S3、将训练样本中的二维颅面数据和二维颅骨数据分别作为生成对抗网络的输入，训练生成对抗网络以最优化代价函数，完成生成对抗网络的训练；

S4、将三维颅骨的二维数据和待复原对象的条件信息作为训练好的生成对抗网络的输入，得到复原后的颅面信息。

进一步地，步骤S1中二维颅面数据和二维颅骨数据均为二维图像数据。

进一步地，步骤S1中的条件信息包括：性别和年龄。

进一步地，步骤S2中生成器包括第一生成器和第二生成器，判别器包括第一判别器和第二判别器。

进一步地，步骤S2中生成对抗网络的代价函数为：

其中

其中a_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本，i∈(1，2，…，M)，M为二维颅骨数据集合中用于训练生成对抗网络的样本个数；b_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本， 为含有条件码c_j的样本b_i，c_j∈c，j∈(1，2，…，J)，c为条件信息的二值编码的集合，J为二值编码的总数；a_i与b_i为相互对应的样本；G为生成器，为颅面到颅骨的生成器，即第二生成器；为颅骨到颅面的生成器，即第一生成器；D为判别器，表示与对应的判别器，即第二判别器；表示与对应的判别器，即第一判别器；λ₁与λ₂分别为调节参数，即常数；为判别器与生成器的代价函数，即中间代价函数；为信息差异代价函数，即中间代价函数；为循环保持关系用代价函数，即中间代价函数；为重构代价函数，即中间代价函数；Q为条件信息判别网络；和均为生成器的提取器，分别用于提取样本a_i和b_i的条件信息以外的数据；和均为生成器的结合器，用于结合条件信息和提取器提取的信息。

进一步地，步骤S3中训练生成对抗网络以最优化代价函数的具体方法包括以下步骤：

S3-1、将训练样本中的二维颅骨数据a_i输入第一生成器得到生成的颅面数据b‘_i；

S3-2、将生成的颅面数据b‘_i和二维颅面数据b_i输入第一判别器进行判别，得到判别结果的同时将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据

S3-3、将生成的颅骨数据和二维颅骨数据a_i输入第二判别器进行判别，得到判别结果；

S3-4、根据步骤S3-2和步骤S3-3的判别结果对目标函数

进行优化，实现最优化代价函数

进一步地，步骤S3-1的具体方法包括以下步骤：

S3-1-1、将训练样本中的二维颅骨数据a_i输入第一生成器，并通过第一生成器的提取器获取输入训练样本的图像数据；

S3-1-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-1-3、通过第一生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，并采用8个残差块对下采样进行处理，得到采样输出结果；其中后4个残差块通过公式

插入二维颅骨数据a_i的条件信息；其中γ和β为第一生成器的结合器根据二维颅骨数据a_i的条件信息生成的调节参数；adaIN为自适应归一化算法；k为特征图；σ为标准差；μ为均值；

S3-1-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅面数据b‘_i。

进一步地，步骤S3-2中将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据的具体方法包括以下步骤：

S3-2-1、将生成的颅面数据b‘_i输入第二生成器，并通过第二生成器的提取器获取输入训练样本的图像数据；

S3-2-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-2-3、通过第二生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，得到采样输出结果；

S3-2-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅骨数据

本发明的有益效果为：本方法基于生成对抗网络，根据待复原对象的颅骨数据、年龄信息和性别信息可以进行高精度颅面复原，有助于刑事案件中对受害者的面部识别、考古学中对古人面容的恢复、医疗脸部外科手术的效果预测等。

附图说明

图1为本方法的流程示意图；

图2为本方法与其他方法对同一对象进行颅面复原的效果对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，该基于深度生成对抗网络的颅面复原方法包括以下步骤：

S1、获取若干一一对应的二维颅面数据、二维颅骨数据和条件信息，并将其作为训练样本；扫描待复原对象的颅骨，并获取待复原对象的条件信息；

S2、构建包括生成器和判别器的生成对抗网络，并获取生成对抗网络的代价函数；根据扫描得到的待复原对象的颅骨信息进行三维颅骨重建，并获取三维颅骨的二维数据；

S3、将训练样本中的二维颅面数据和二维颅骨数据分别作为生成对抗网络的输入，训练生成对抗网络以最优化代价函数，完成生成对抗网络的训练；

S4、将三维颅骨的二维数据和待复原对象的条件信息作为训练好的生成对抗网络的输入，得到复原后的颅面信息。

步骤S1中二维颅面数据和二维颅骨数据均为二维图像数据。

步骤S1中的条件信息包括：性别和年龄。

步骤S2中生成器包括第一生成器和第二生成器，判别器包括第一判别器和第二判别器。

步骤S2中生成对抗网络的代价函数为：

其中

其中a_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本，i∈(1，2，…，M)，M为二维颅骨数据集合中用于训练生成对抗网络的样本个数；b_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本， 为含有条件码c_j的样本b_i，c_j∈c，j∈(1，2，…，J)，c为条件信息的二值编码的集合，J为二值编码的总数；a_i与b_i为相互对应的样本；G为生成器，为颅面到颅骨的生成器，即第二生成器；为颅骨到颅面的生成器，即第一生成器；D为判别器，表示与对应的判别器，即第二判别器；表示与对应的判别器，即第一判别器；λ₁与λ₂分别为调节参数，即常数；为判别器与生成器的代价函数，即中间代价函数；为信息差异代价函数，即中间代价函数；为循环保持关系用代价函数，即中间代价函数；为重构代价函数，即中间代价函数；Q为条件信息判别网络；和均为生成器的提取器，分别用于提取样本a_i和b_i的条件信息以外的数据；和均为生成器的结合器，用于结合条件信息和提取器提取的信息。

步骤S3中训练生成对抗网络以最优化代价函数的具体方法包括以下步骤：

S3-1、将训练样本中的二维颅骨数据a_i输入第一生成器得到生成的颅面数据b‘_i；

S3-2、将生成的颅面数据b‘_i和二维颅面数据b_i输入第一判别器进行判别，得到判别结果的同时将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据

S3-3、将生成的颅骨数据和二维颅骨数据a_i输入第二判别器进行判别，得到判别结果；

S3-4、根据步骤S3-2和步骤S3-3的判别结果对目标函数

进行优化，实现最优化代价函数

步骤S3-1的具体方法包括以下步骤：

S3-1-1、将训练样本中的二维颅骨数据a_i输入第一生成器，并通过第一生成器的提取器获取输入训练样本的图像数据；

S3-1-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-1-3、通过第一生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，并采用8个残差块对下采样进行处理，得到采样输出结果；其中后4个残差块通过公式

插入二维颅骨数据a_i的条件信息；其中γ和β为第一生成器的结合器根据二维颅骨数据a_i的条件信息生成的调节参数；adaIN为自适应归一化算法；k为特征图；σ为标准差；μ为均值；

S3-1-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅面数据b‘_i。

步骤S3-2中将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据的具体方法包括以下步骤：

S3-2-1、将生成的颅面数据b‘_i输入第二生成器，并通过第二生成器的提取器获取输入训练样本的图像数据；

S3-2-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-2-3、通过第二生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，得到采样输出结果；

S3-2-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅骨数据

在本发明的一个实施例中，判别器均采用与PatchGAN一样的判别器。在整个生成器中，每一层都采用了线性整流函数(ReLU)作为激活函数。在训练过程中，我们设置λ₁＝λ₂＝10。同时，我们使用Adam算法优化梯度、batch size为1以及学习率为0.0001。最终使用了5289对数据并迭代训练200轮。我们的年龄段设置为：<10，10-19，20-29，30-39，40-49，50-59，60-69，70-79，>＝80。

本发明在具体实施时，将真实的颅面放入1762不同颅面构成的人脸池中，并用人脸相似度检测算法计算复原颅面与池中1763个颅面的相似度，我们用真实颅面的相似度排名来衡量颅面复原的准确性。我们采用的人脸相似度检测算法有OpenFace、FaceNet、FaceRecognition、SeetaFace。我们测试了来自不同性别和9个不同年龄段共计18个样本，结果如表1所示：

表1：不同相似度算法得到的准确率

从表1可以看出，通过本方法得到的颅面复原图像与真实颅面具有极高的准确率。

如图2所示，图中a是真实颅骨的CT扫描，b是真实颅面的CT扫描，c是本方法复原的颅面，d是FaceIT方法复原的颅面，e是ReFace软件复原的颅面，f是Neville’s clay方法复原的颅面，g是真人照片。图2中下半部分是用本方法根据a中颅骨的CT扫面复原的不同年龄段的颅面。本方法与基于FaceIT方法、ReFace软件、Neville’s clay方法的颅面复原效果进行对比，结果显示本方法更加逼真。

综上所述，本方法基于生成对抗网络，根据待复原对象的颅骨数据、年龄信息和性别信息可以进行高精度颅面复原，有助于刑事案件中对受害者的面部识别、考古学中对古人面容的恢复、医疗脸部外科手术的效果预测等。

Claims (8)

1.一种基于深度生成对抗网络的颅面复原方法，其特征在于，包括以下步骤：

S1、获取若干一一对应的二维颅面数据、二维颅骨数据和条件信息，并将其作为训练样本；扫描待复原对象的颅骨，并获取待复原对象的条件信息；

S2、构建包括生成器和判别器的生成对抗网络，并获取生成对抗网络的代价函数；根据扫描得到的待复原对象的颅骨信息进行三维颅骨重建，并获取三维颅骨的二维数据；

S3、将训练样本中的二维颅面数据和二维颅骨数据分别作为生成对抗网络的输入，训练生成对抗网络以最优化代价函数，完成生成对抗网络的训练；

S4、将三维颅骨的二维数据和待复原对象的条件信息作为训练好的生成对抗网络的输入，得到复原后的颅面信息。

2.根据权利要求1所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S1中二维颅面数据和二维颅骨数据均为二维图像数据。

3.根据权利要求1所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S1中的条件信息包括：性别和年龄。

4.根据权利要求1所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S2中生成器包括第一生成器和第二生成器，判别器包括第一判别器和第二判别器。

5.根据权利要求4所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S2中生成对抗网络的代价函数为：

其中

其中a_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本，i∈(1,2，…，M)，M为二维颅骨数据集合中用于训练生成对抗网络的样本个数；b_i为二维颅骨数据集合中用于训练生成对抗网络的第i个样本， 为含有条件码c_j的样本b_i，c_j∈c，j∈(1,2，…，J)，c为条件信息的二值编码的集合，J为二值编码的总数；a_i与b_i为相互对应的样本；G为生成器，为颅面到颅骨的生成器，即第二生成器；为颅骨到颅面的生成器，即第一生成器；D为判别器，表示与对应的判别器，即第二判别器；表示与对应的判别器，即第一判别器；λ₁与λ₂分别为调节参数，即常数；为判别器与生成器的代价函数，即中间代价函数；为信息差异代价函数，即中间代价函数；为循环保持关系用代价函数，即中间代价函数；为重构代价函数，即中间代价函数；Q为条件信息判别网络；和均为生成器的提取器，分别用于提取样本a_i和b_i的条件信息以外的数据；和均为生成器的结合器，用于结合条件信息和提取器提取的信息。

6.根据权利要求5所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S3中训练生成对抗网络以最优化代价函数的具体方法包括以下步骤：

S3-1、将训练样本中的二维颅骨数据a_i输入第一生成器得到生成的颅面数据b‘_i；

S3-2、将生成的颅面数据b‘_i和二维颅面数据b_i输入第一判别器进行判别，得到判别结果的同时将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据a‘’_i；

S3-3、将生成的颅骨数据a‘’_i和二维颅骨数据a_i输入第二判别器进行判别，得到判别结果；

S3-4、根据步骤S3-2和步骤S3-3的判别结果对目标函数

进行优化，实现最优化代价函数

7.根据权利要求6所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S3-1的具体方法包括以下步骤：

S3-1-1、将训练样本中的二维颅骨数据a_i输入第一生成器，并通过第一生成器的提取器获取输入训练样本的图像数据；

S3-1-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-1-3、通过第一生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，并采用8个残差块对下采样进行处理，得到采样输出结果；其中后4个残差块通过公式

插入二维颅骨数据a_i的条件信息；其中γ和β为第一生成器的结合器根据二维颅骨数据a_i的条件信息生成的调节参数；adaIN为自适应归一化算法；k为特征图；σ为标准差；μ为均值；

S3-1-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅面数据b‘_i。

8.根据权利要求6所述的基于深度生成对抗网络的颅面复原方法，其特征在于，所述步骤S3-2中将生成的颅面数据b‘_i输入第二生成器得到生成的颅骨数据a‘’_i的具体方法包括以下步骤：

S3-2-1、将生成的颅面数据b‘_i输入第二生成器，并通过第二生成器的提取器获取输入训练样本的图像数据；

S3-2-2、采用大小为7×7、步长为1的卷积层提取图像数据的特征，得到特征图；

S3-2-3、通过第二生成器的结合器采用大小为3×3、步长为2的卷积层对特征图进行2次下采样，得到采样输出结果；

S3-2-4、采用最临近插值算法和步长为1的反卷积层对采样输出结果进行2次上采样，得到生成的颅骨数据a‘’_i。