CN107967463A

CN107967463A - 一种基于合成图像和深度学习的虚拟人脸识别方法

Info

Publication number: CN107967463A
Application number: CN201711321717.6A
Authority: CN
Inventors: 李美丹; 张瑜
Original assignee: Wuhan University of Science and Engineering WUSE
Current assignee: Wuhan University of Science and Engineering WUSE
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-04-27
Anticipated expiration: 2037-12-12
Also published as: CN107967463B

Abstract

本发明公开了一种基于合成图像和深度学习的虚拟人脸识别方法，利用图像合成技术生成图像库，再将生成的图像库作为训练数据集来建立深度学习模型，用成功训练的模型识别输入的人脸照片。本方法实现了特征人脸照片的智能合成和实际人脸照片的智能识别，有效、精准地完成人脸的合成和识别。

Description

一种基于合成图像和深度学习的虚拟人脸识别方法

技术领域

本发明属于图像合成和人脸识别方法技术领域，特别是涉及一种基于合成图像和深度学习的虚拟人脸识别方法。

背景技术

当今社会儿童走失，拐卖儿童现象十分严重，孩子的丢失对于一个家庭来说是一个沉痛的打击，为了寻回自己的孩子，父母竭尽所能，即使行万里路走访全国各地，寻找孩子的步伐也不曾停歇，一年，两年……无数个岁月指缝间流逝，但孩子的下落依旧杳无音信，当初幼小的儿童也成长为了另一幅模样。

为了帮助父母寻回自己的孩子，同时也让走失孩子找到自己的亲生父母，本文基于图像合成和深度学习提出了一种虚拟人脸识别的方法，目前寻亲方法主要是在寻子网上上传照片发布寻亲消息和百度寻人提供的人脸识别方法，百度寻人虽然运用了人工智能的人脸识别方法，但是其人脸数据库是由基于现实存在的人脸照片组成，可随着走失的时间增长，人的模样在不断变化，识别长大后的照片与儿童走丢时的照片进行对比，相似度是不容乐观的。

发明内容

为了解决上述技术问题，本发明提供了一种基于图像合成和深度学习的虚拟人脸识别方法。一种基于合成图像和深度学习的虚拟人脸识别方法，其特征在于，包括以下步骤：

步骤1：图像合成；

具体包括以下子步骤：

步骤1.1：给定父亲照片F和母亲照片M，计算中间照片C关键点坐标；

步骤1.2：合成中间照片C；

具体包括以下子步骤：

步骤1.2.1：对合成照片进行三角剖分；

步骤1.2.2：对取样照片进行相同位置的三角剖分；

步骤1.2.3：计算三角剖分后合成照片与取样照片中各个对应的小三角形的仿射变换矩阵；

步骤1.2.4：将取样照片小三角形中各个像素点按照各自的仿射变换矩阵映射到合成照片相对应的三角形内；

步骤2：构建人脸识别模型；

具体包括以下子步骤：

步骤2.1：照片预处理，将预处理的照片分成两大类，分别为训练集和测试集，训练集用来训练卷积神经网络模型，将训练后的模型在测试集上进行测试；

步骤2.2：训练深度卷积神经网络模型；

具体包括以下子步骤：

步骤2.2.1：构建卷积神经网络结构；

步骤2.2.2：使用反向传播算法训练卷积神经网络模型；

步骤3：使用模型进行人脸识别。

本发明与背景技术相比，具有的有益的效果是：

(1)准确性。运用合成的虚拟人脸照片构建训练集来高强度训练卷积神经网络模型，使得模型的识别率更高、更精准。

(2)高效性。通过卷积神经网络模型不仅可以从样本照片中构建出合成照片，也可以从合成照片追寻其参考的样本照片。

附图说明

图1为本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

为了提高相似度，本发明基于照片合成提出了一种人脸识别的方法，由双亲的照片合成出孩子的照片，通过调整混合程度参数得到与父母相似程度各异的照片，合成的照片作为模型的人脸数据库数据，识别长大后的孩子照片，根据相似度返回识别结果。

请见图1，本发明提供的一种基于合成图像和深度学习的虚拟人脸识别方法，包括以下步骤：

1)使用OpenCV和Dlib进行图像合成

1.1计算中间照片关键点坐标

给定父亲照片F和母亲照片M，使用Dlib库检测照片中人脸的68个关键点，由检测出父亲照片F和母亲照片M的人脸关键点坐标按照比例计算出中间照片C的关键点坐标，其中中间照片C的关键点横、纵坐标计算公式如下：

x_c＝(1-α)x_f+αx_m

y_c＝(1-α)y_f+αy_m (1)

其中x_m是照片M中关键点的横坐标，y_m是照片M中关键点的纵坐标；x_f是照片F中关键点的横坐标，y_f是照片F中关键点的纵坐标；x_c是照片C中关键点的横坐标，y_c是照片C中关键点的纵坐标。α(0≤α≤1)是控制照片F和M混合程度的参数。

在Dlib中定义一个frontal_face_detector类的对象作为人脸检测器，将检测到的人脸边界框结果保存到vector容器中。再在Dlib中定义一个shape_predictor类的对象作为关键点检测器，使用shape_predicto r_68_face_landmarks.dat来初始化关键点检测器。将一副照片和一个人脸边界框输入到关键点检测器里面，输出一个保存了检测到人脸68个关键点坐标的shape对象。

1.2合成中间照片

首先运用德洛内三角剖分算法对照片F和C进行三角剖分，然后将照片F和照片C进行仿射变换和像素投影，得到照片F的变形版F′,具体过程如下：

a)根据照片C中关键点坐标对中间照片C使用德洛内三角剖分算法进行三角剖分，将照片C中的人脸区域剖分成若干小三角形并且返回一个三角形列表，列表中每个三元组表示构成一个小三角形的三个顶点的索引，同时依据三角形列表对照片F进行三角剖分，最终剖分得到的照片F与照片C中各个三角形是一一对应的。

b)使用OpenCV计算照片F与中间照片C中每个相对应小三角形的仿射变换矩阵，将照片F中每个小三角内的像素按照对应的仿射变换矩阵映射到照片C对应的三角形区域中，得到照片F的变形版照片F′。

c)同理，按照步骤a、b可以得到照片M的变形版照片M′。

d)将两张变形版照片F′和M′进行alpha合成处理，得到大量与照片F和照片M相似程度各异的合成照片，具体合成公式如下：

C(x,y)＝(1-α)F′(x,y)+αM′(x,y) (2)

其中(x,y)表示像素点，C(x,y)表示得到的合成照片，F′(x,y)表示照片F变形版照片，M′(x,y)表示照片M变形版照片，α(0≤α≤1)是控制照片F和M混合程度的参数,当α趋近于0时，照片C与照片F高度相似；当α趋近于1时，照片C与照片M高度相似。

2)基于深度学习的人脸识别

2.1照片预处理

由于使用图像合成的照片数量有限，为了构建完善的训练数据集，采用对照片进行仿射变换的方法来扩大训练数据集，其中仿射变换公式如下：

其中|x y|表示输出照片中像素的空间位置，|v w|表示输入照片中像素的空间位置。矩阵T中t_ij(i＝1,2,3；j＝1,2)的值决定是对照片进行尺度、旋转、平移还是偏移操作，如对照片进行旋转操作时使用的T矩阵为θ为自选角度。

将预处理的照片分成两大类，分别为训练集和测试集。训练集用来训练卷积神经网络模型。将训练后的模型在测试集上进行测试，在训练集中对每类合成照片进行人工标记为0,1,2……。对每一类合成照片进行仿射变化后的照片所做的人工标记与这类合成照片的人工标记序号保持一致，如当混合程度参数α取值为0.5时合成的照片标记为0号，利用仿射变换生成不同的变换照片后，这些变换后的照片标号也记为0。每张照片的人脸根据人脸坐标被裁剪出来，为减少尺度对效果的影响，将所有的照片归一化为64×64大小，构建的训练数据集中的照片作为卷积神经网络的输入。

2.2训练面向人脸识别的深度卷积神经网络模型

a)构建卷积神经网络结构

卷积神经网络结构包含三个卷积层、两个池化层、一个全连接层和softmax分类层。第一层是一个使用16个滤波器的卷积层，每个滤波器大小为5×5×6，其后面跟着一个池化层。第二层是一个使用64个滤波器的卷积层，每个滤波器大小为2×2×16，其后面跟着一个池化层。第三层是一个使用128个滤波器的卷积层，每个滤波器大小为5×5×64。第四层是一个有640个神经元的全连接层，最后是可以实现对亲属关系进行识别判断的softmax层。卷积层和第一个全连接层上的激活函数使用sigmoid激活函数。为了增加模型的旋转不变性和避免过拟合，对特征图像采用2×2的池化操作。

b)使用反向传播算法训练卷积神经网络模型

将训练集中的照片输入到卷积神经网络模型中，卷积神经网络从一个随机滤波器开始计算，得到n对样本数据的真实值与输出值之间差的平方和的均值e的公式如下：

其中n表示n对样本数据，表示卷积神经网络模型的输出，表示训练集给出的输出。e越小表示卷积神经网络模型的输出越接近训练集的输出，使用梯度下降法寻找e的全局最小值。

在全连接层中将得到的所有特征照片连接起来，softmax分类层对整个特征照片进行分类训练，输出多个不同的照片类别识别号，即0、1、2……。使用迭代的方法重复上述过程进行多次训练，不断调整网络的参数及权重，选出人脸识别准确率最高和最稳定的网络作为当前使用网络。

卷积神经网络模型使用反向传播算法进行前向反向调节时，高斯分布使用均值为0，标准差设为0.01。当完成256张照片的训练后，随即调整模型的权值和偏置值，最终使模型更加成熟。

3)使用模型进行人脸的识别

将测试集中的人脸图像输入到模型中，模型对图像进行面部特征提取，若在模型类别中找到与输入图像特征一致的类别，则返回类别号，识别成功；否则识别失败。

本发明运用合成的虚拟照片组成人脸数据库来识别长大后孩子照片的方法与运用由现实存在的儿童时期的照片组成人脸数据库识别人脸的方法相比，提高了查找效率，有利于协助亲人和警方缩短寻找时间和范围，降低了寻亲的难度，有效的解决了寻找走失儿童的问题。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种基于合成图像和深度学习的虚拟人脸识别方法，其特征在于，包括以下步骤：

步骤1：图像合成；

具体包括以下子步骤：

步骤1.2：合成中间照片C；

具体包括以下子步骤：

步骤1.2.1：对合成照片进行三角剖分；

步骤1.2.2：对取样照片进行相同位置的三角剖分；

步骤2：构建人脸识别模型；

具体包括以下子步骤：

步骤2.2：训练深度卷积神经网络模型；

具体包括以下子步骤：

步骤2.2.1：构建卷积神经网络结构；

步骤2.2.2：使用反向传播算法训练卷积神经网络模型；

步骤3：使用模型进行人脸识别。

2.根据权利要求1所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于，步骤1.1的具体实现过程是：给定父亲照片F和母亲照片M，使用Dlib库检测照片中人脸关键点，由检测出父亲照片F和母亲照片M的人脸关键点坐标按照比例计算出中间照片C的关键点坐标，其中中间照片C的关键点横、纵坐标计算公式如下：

x_c＝(1-α)x_f+αx_m

y_c＝(1-α)y_f+αy_m (1)

其中x_m是照片M中关键点的横坐标，y_m是照片M中关键点的纵坐标，x_f是照片F中关键点的横坐标，y_f是照片F中关键点的纵坐标，x_c是照片C中关键点的横坐标，y_c是照片C中关键点的纵坐标，α是控制照片F和M混合程度的参数，0≤α≤1。

3.根据权利要求1所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于，步骤1.2的具体实现包括以下子步骤：

步骤1.2.1：根据中间照片C中关键点坐标对中间照片C使用德洛内三角剖分算法进行三角剖分，将中间照片C中的人脸区域剖分成若干小三角形并且返回一个三角形列表，列表中每个三元组表示构成一个小三角形的三个顶点的索引，同时依据三角形列表对照片F进行三角剖分，最终剖分得到的照片F与中间照片C中各个三角形是一一对应的；

步骤1.2.2：使用0penCV计算照片F与中间照片C中每个相对应小三角形的仿射变换矩阵，将照片F中每个小三角内的像素按照对应的仿射变换矩阵映射到照片C对应的三角形区域中，得到照片F的变形版照片F′；

步骤1.2.3：同理，按照步骤1.2.1、步骤1.2.2得到照片M的变形版照片M′；

步骤1.2.4：将两张变形版照片F′和M′进行alpha合成处理，得到若干与照片F和照片M相似程度各异的合成照片，具体合成公式如下：

C(x，y)＝(1-α)F′(x，y)+αM′(x，y) (2)

其中(x，y)表示像素点，C(x，y)表示得到的合成照片，F′(x，y)表示照片F变形版照片，M′(x，y)表示照片M变形版照片，a是控制照片F和M混合程度的参数，0≤α≤1；当α趋近于0时，照片C与照片F高度相似；当a趋近于1时，照片C与照片M高度相似。

4.根据权利要求1所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于，步骤2.1的具体实现过程是：对照片进行仿射变换来扩大训练数据集，其中仿射变换公式如下：

其中|x y|表示输出照片中像素的空间位置，|v w|表示输入照片中像素的空间位置，矩阵T中t_ij(i＝1，2，3；j＝1，2)的值决定是对照片进行尺度、旋转、平移还是偏移操作；

将预处理的照片分成两大类，分别为训练集和测试集，训练集用来训练卷积神经网络模型，将训练后的模型在测试集上进行测试；在训练集中对每类合成照片进行人工标记为0，1，2……，对每一类合成照片进行仿射变化后的照片所做的人工标记与这类合成照片的人工标记序号保持一致，每张照片的人脸根据人脸坐标被裁剪出来，并将所有的照片归一化为64×64大小，构建的训练数据集中的照片作为卷积神经网络的输入。

5.根据权利要求1所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于：步骤2.2.1中，卷积神经网络结构包含三个卷积层、两个池化层、一个全连接层和softmax层，第一层是一个使用16个滤波器的卷积层，每个滤波器大小为5×5×6，其后面跟着一个池化层，第二层是一个使用64个滤波器的卷积层，每个滤波器大小为2×2×16，其后面跟着一个池化层，第三层是一个使用128个滤波器的卷积层，每个滤波器大小为5×5×64，第四层是一个有640个神经元的全连接层，最后是可以实现对亲属关系进行识别判断的softmax层，卷积层和第一个全连接层上的激活函数使用sigmoid激活函数，并对特征图像采用2×2的池化操作。

6.根据权利要求5所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于：步骤2.2.2中，将训练集中的照片输入到卷积神经网络模型中，卷积神经网络从一个随机滤波器开始计算，得到n对样本数据的真实值与输出值之间差的平方和的均值e的公式如下：

<mrow> <mi>e</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <msubsup> <mi>O</mi> <mi>i</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mi>l</mi> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>O</mi> <mi>i</mi> <mrow> <mi>c</mi> <mi>n</mi> <mi>n</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，n表示n对样本数据，表示卷积神经网络模型的输出，表示训练集给出的输出，e越小表示卷积神经网络模型的输出越接近训练集的输出，使用梯度下降法寻找e的全局最小值；

在全连接层中将得到的所有特征照片连接起来，softmax分类层对整个特征照片进行分类训练，输出多个不同的照片类别识别号，即0、1、2……，使用迭代的方法重复上述过程进行多次训练，不断调整网络的参数及权重，选出人脸识别准确率最高和最稳定的网络作为当前使用网络。

7.根据权利要求1-6任意一项所述的基于合成图像和深度学习的虚拟人脸识别方法，其特征在于：步骤3的具体实现过程是：将测试集中的人脸图像输入到模型中，模型对图像进行面部特征提取，若在模型类别中找到与输入图像特征一致的类别，则返回类别号，识别成功，否则识别失败。