CN106650573B

CN106650573B - 一种跨年龄的人脸验证方法及系统

Info

Publication number: CN106650573B
Application number: CN201610821012.XA
Authority: CN
Inventors: 许勇; 高旻健
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2016-09-13
Filing date: 2016-09-13
Publication date: 2019-07-16
Anticipated expiration: 2036-09-13
Also published as: CN106650573A

Abstract

本发明公开了一种跨年龄的人脸验证方法及系统，所述方法包括：对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像；分别将预处理后的两幅图像进行镜面翻转、位置互换后得到八组待测图像对；将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层；对于每一个卷积神经网络，根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出，两个输出对应两种类别的评分，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别；统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果。本发明具有实行性、验证正确率高、受年龄影响小等优点。

Description

一种跨年龄的人脸验证方法及系统

技术领域

本发明涉及一种人脸验证方法及系统，尤其是一种跨年龄的人脸验证方法及系统，属于计算机视觉相关技术领域。

背景技术

随着现代信息技术的快速发展，进行身份认证的技术转到了生物特征层面。现代生物识别技术主要是通过计算机与高科技手段密切结合，利用人体固有的生理特性和行为特征来进行个人身份的鉴定。其中人脸识别是指人的面部五官以及轮廓的分布，这些分布特征因人而异，与生俱来。尤其是随着年龄的增长，人的面部五官有着极大地变化，而这种变化又是有一定的规律性的。这就需要通过计算机视觉领域相关知识来提高人脸验证的正确率。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种跨年龄的人脸验证方法，该方法具有实行性、验证正确率高、受年龄影响小等优点。

本发明的另一目的在于提供一种跨年龄的人脸验证系统。

本发明的目的可以通过采取如下技术方案达到：

一种跨年龄的人脸验证方法，所述方法包括：

对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像；其中，对齐后的人脸区域图像分别记为图像A和图像B；

分别将图像A和图像B进行镜面翻转、位置互换后得到八组待测图像对；

将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层；

对于每一个卷积神经网络，根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出；其中，两个输出分别对应“是同一个人”和“不是同一个人”这两种类别的评分；

对于每一个卷积神经网络，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别；

统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果。

进一步的，所述根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出，具体包括：

将输入层特征进行卷积与非线性变换，得到卷积层C1；

将C1层特征进行卷积与非线性变换，得到卷积层C2；

将C2层特征进行平均值降采样，得到P1层；

将P1层进行卷积与非线性变换，得到卷积层C3；

将C3层特征进行卷积与非线性变换，得到卷积层C4；

将C4层特征进行平均值降采样，得到P2层；

将P2层特征进行卷积与非线性变换，得到卷积层C5；

将C5层特征进行卷积与非线性变换，得到卷积层C6；

将C6层特征进行卷积与非线性变换，得到卷积层C7；

将C7层特征进行平均值降采样，得到P3层；

将P3层特征进行卷积与非线性变换，得到卷积层C8；

将C8层特征进行卷积与非线性变换，得到卷积层C9；

将C9层特征进行卷积与非线性变换，得到卷积层C10；

将C10层特征进行平均值降采样，得到P4层；

将P4层特征进行卷积与非线性变换，得到卷积层C11；

将C11层特征进行卷积与非线性变换，得到卷积层C12；

将C12层特征进行全连接计算与非线性变换，得到全连接层；

将全连接层特征进行全连接计算，并采用Soft-max函数计算，得到每组待测图像对的两个输出。

进一步的，卷积层C1～C12和降采样层P1～P4均称为隐含层，对于每一个隐含层，假设该隐含层的输入在(i,j)位置的输入向量为x_i,j，则输出向量为y_i,j，以此得到：

y_si,sj＝f_ks({x_{si+δi,sj+δj}}0≤δi,δj≤k)

其中，k为卷积核的大小，s为步长或采样系数，f_ks决定隐含层的类型，对应卷积层和降采样层。

进一步的，所述Soft-max函数，如下式：

其中，i∈{0,1}，x_i为i位置的输入。

进一步的，所述将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别，具体包括：

将每组待测图像对的两个输出进行顺次排列，得到L1层；

将L1层特征按照两种类别进行分类，并保留相应类别的最大值，得到L2层；

将L2层特征保留的两个评分进行比较，将较高评分对应的类别组成L3层。

进一步的，所述对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像，具体包括：

获取两幅待验证人脸图像中的人脸区域；

对人脸区域图像进行旋转，使经过两眼中心的直线与水平轴平行，得到对齐后的人脸区域图像。

本发明的另一目的可以通过采取如下技术方案达到：

一种跨年龄的人脸验证系统，所述系统包括：

预处理模块，用于对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像；其中，对齐后的人脸区域图像分别记为图像A和图像B；

镜面翻转与位置互换模块，用于分别将图像A和图像B进行镜面翻转、位置互换后得到八组待测图像对；

输入模块，用于将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层；

输出模块，用于对于每一个卷积神经网络，根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出；其中，两个输出分别对应“是同一个人”和“不是同一个人”这两种类别的评分；

处理模块，用于对于每一个卷积神经网络，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别；

统计模块，用于统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果。

进一步的，所述输出模块，具体包括：

第一卷积与非线性变换单元，用于将输入层特征进行卷积与非线性变换，得到卷积层C1；

第二卷积与非线性变换单元，用于将C1层特征进行卷积与非线性变换，得到卷积层C2；

第一降采样单元，用于将C2层特征进行平均值降采样，得到P1层；

第三卷积与非线性变换单元，用于将P1层进行卷积与非线性变换，得到卷积层C3；

第四卷积与非线性变换单元，用于将C3层特征进行卷积与非线性变换，得到卷积层C4；

第二降采样单元，用于将C4层特征进行平均值降采样，得到P2层；

第五卷积与非线性变换单元，用于将P2层特征进行卷积与非线性变换，得到卷积层C5；

第六卷积与非线性变换单元，用于将C5层特征进行卷积与非线性变换，得到卷积层C6；

第七卷积与非线性变换单元，用于将C6层特征进行卷积与非线性变换，得到卷积层C7；

第三降采样单元，用于将C7层特征进行平均值降采样，得到P3层；

第八卷积与非线性变换单元，用于将P3层特征进行卷积与非线性变换，得到卷积层C8；

第九卷积与非线性变换单元，用于将C8层特征进行卷积与非线性变换，得到卷积层C9；

第十卷积与非线性变换单元，用于将C9层特征进行卷积与非线性变换，得到卷积层C10；

第四降采样单元，用于将C10层特征进行平均值降采样，得到P4层；

第十一卷积与非线性变换单元，用于将P4层特征进行卷积与非线性变换，得到卷积层C11；

第十二卷积与非线性变换单元，用于将C11层特征进行卷积与非线性变换，得到卷积层C12；

全连接计算与非线性变换单元，用于将C12层特征进行全连接计算与非线性变换，得到全连接层；

全连接计算与函数计算单元，用于将全连接层特征进行全连接计算，并采用Soft-max函数计算，得到每组待测图像对的两个输出。

进一步的，所述处理模块，具体包括：

顺次排列单元，用于将每组待测图像对的两个输出进行顺次排列，得到L1层；

分类单元，用于将L1层特征按照两种类别进行分类，并保留相应类别的最大值，得到L2层；

比较单元，用于将L2层特征保留的两个评分进行比较，将较高评分对应的类别组成L3层。

进一步的，所述预处理模块，具体包括：

人脸区域获取单元，用于获取两幅待验证人脸图像中的人脸区域；

对齐单元，用于对人脸区域图像进行旋转，使经过两眼中心的直线与水平轴平行，得到对齐后的人脸区域图像。

本发明相对于现有技术具有如下的有益效果：

1、本发明方法及系统先对两幅待验证人脸图像进行预处理，再分别将预处理后的两幅图像进行镜面翻转、位置互换后得到八组待测图像对，将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层，在进行参数运算后得到每组待测图像对的两个类别(“是同一个人”和“不是同一个人”)评分输出，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别，最后统计所有网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果，具有针对不同年龄的人脸图像验证具有更准确的验证能力。

2、本发明方法及系统采用了卷积神经网络，进一步提高了网络的表达能力，通过避免显式的特征提取过程，隐式地从训练样本中获取对构筑训练样本空间贡献更大的特征，与传统网络相比有更高的识别率和抗干扰性。

3、本发明方法及系统在统计所有网络中较高评分对应的两种类别数量时，可以采用投票的方式，将较高评分对应的两种类别的票数进行比较，将票数较多的类别作为并联卷积神经网络的结果，使验证结果更具有可靠性，并提高模型的稳定性。

附图说明

图1为本发明实施例1的跨年龄的人脸验证方法流程图。

图2为本发明实施例1的并联卷积神经网络的总体示意图。

图3为本发明实施例1的并联卷积神经网络中单个卷积神经网络从输入到输出的示意图。

图4为本发明实施例2的跨年龄的人脸验证系统结构框图。

图5为本发明实施例2的跨年龄的人脸验证系统中的预处理模块结构框图。

图6为本发明实施例2的跨年龄的人脸验证系统中的输出模块结构框图。

图7为本发明实施例2的跨年龄的人脸验证系统中的处理模块结构框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1所示，本实施例提供了一种跨年龄的人脸验证方法，该方法包括以下步骤：

S101、对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像；其中，对齐后的人脸区域图像分别记为图像A和图像B；

该步骤中，对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像，具体包括：

1)通过OpenCV(Open Source Computer Vision Library，开源计算机视觉库)内的函数，获取两幅待验证人脸图像中的人脸区域，OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法，本实施例采用OpenCV获取人脸区域只是其中一种人脸区域获取方法，实际上还有很多方法可以获取人脸区域，这部分都是现有技术，在此不再赘述；

2)对人脸区域图像进行旋转，使经过两眼中心的直线与水平轴平行，得到对齐后的人脸区域图像；

S102、分别将图像A和图像B进行镜面翻转、位置互换后得到八组待测图像对；

对于图像A和图像B，输入(A,B)和输入(B,A)，得到的结果是不一样的，所以需要进行位置互换，因此八组待测图像对分别为：

1)原始图像A和原始图像B；

2)原始图像B和原始图像A；

3)镜面翻转后的图像A和原始图像B；

4)原始图像B和镜面翻转后的图像A；

5)原始图像A和镜面翻转后的图像B；

6)镜面翻转后的图像B和原始图像A；

7)镜面翻转后的图像A和镜面翻转后的图像B；

8)镜面翻转后的图像B和镜面翻转后的图像A；

S103、将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层，并联卷积神经网络如图2所示，图中S1～S8是指八组待测图像对；

S104、单个卷积神经网络从输入到输出如图3所示，对于每一个卷积神经网络，根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出；其中，两个输出分别对应“是同一个人”和“不是同一个人”这两种类别的评分，设图中蓝点为“不是同一个人”类别及其评分，白点为“是同一个人”类别及其评分，该步骤具体包括：

1)将输入层特征进行卷积与非线性变换，得到卷积层C1；

2)将C1层特征进行卷积与非线性变换，得到卷积层C2；

3)将C2层特征进行平均值降采样，得到P1层；

4)将P1层进行卷积与非线性变换，得到卷积层C3；

5)将C3层特征进行卷积与非线性变换，得到卷积层C4；

6)将C4层特征进行平均值降采样，得到P2层；

7)将P2层特征进行卷积与非线性变换，得到卷积层C5；

8)将C5层特征进行卷积与非线性变换，得到卷积层C6；

9)将C6层特征进行卷积与非线性变换，得到卷积层C7；

10)将C7层特征进行平均值降采样，得到P3层；

11)将P3层特征进行卷积与非线性变换，得到卷积层C8；

12)将C8层特征进行卷积与非线性变换，得到卷积层C9；

13)将C9层特征进行卷积与非线性变换，得到卷积层C10；

14)将C10层特征进行平均值降采样，得到P4层；

15)将P4层特征进行卷积与非线性变换，得到卷积层C11；

16)将C11层特征进行卷积与非线性变换，得到卷积层C12；

17)将C12层特征进行全连接计算与非线性变换，得到全连接层；

18)将全连接层特征进行全连接计算，并采用Soft-max函数计算，得到每组待测图像对的两个输出；所述Soft-max函数，如下式：

其中，i∈{0,1}，x_i为i位置的输入；

上述内容中，卷积层C1～C12和降采样层P1～P4均称为隐含层，对于每一个隐含层，假设该隐含层的输入在(i,j)位置的输入向量为x_i,j，则输出向量为y_i,j，以此得到：

y_si,sj＝f_ks({x_{si+δi,sj+δj}}0≤δi,δj≤k)

其中，k为卷积核的大小，s为步长或采样系数，f_ks决定隐含层的类型，对应卷积层和降采样层；

S105、对于每一个卷积神经网络，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别，参见图2的并联卷积神经网络，该步骤具体包括：

将每组待测图像对的两个输出进行顺次排列，得到L1层，L1层共有八组输出，每组输出有“是同一个人”和“不是同一个人”这两种类别的评分；

将L1层特征按照两种类别进行分类，并保留相应类别的最大值，得到L2层，在L2层中将八组输出中的“是同一个人”类别和“不是同一个人”类别分别列出，保留“是同一个人”类别中的最大值(即最高评分)，以及保留“不是同一个人”类别中的最大值(即最高评分)；

将L2层特征保留的两个评分进行比较，将较高评分对应的类别组成L3层，在L3层中将“是同一个人”类别的最大值与“不是同一个人”类别的最大值进行比较，较大的一个即为较高评分，获得较高评分对应的类别，如图2中用方框围住的单个卷积神经网络中，获得较高评分对应的类别为“是同一个人”类别。

S106、统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果，该步骤以投票的方式进行，例如第一个卷积神经网络(图2的左边开始)，最后获得较高评分对应的类别为“不是同一个人”类别，此时将“不是同一个人”类别记1票，第二个卷积神经网络，最后获得较高评分对应的类别为“不是同一个人”类别，此时将“不是同一个人”类别记2票，依次类推，最终将“是同一个人”类别的票数和“不是同一个人”类别的票数进行比较，将票数较多的类别作为并联卷积神经网络的结果，从图2中可以看到并联卷积神经网络的结果为“不是同一个人”类别，从而得知图像A和图像B中的人脸并不是同一个人。

实施例2：

如图4所示，本实施例提供了一种跨年龄的人脸验证系统，该系统包括预处理模块401、镜面翻转与位置互换模块402、输入模块403、输出模块404、处理模块405和统计模块406，各个模块的具体功能如下：

所述预处理模块401，用于对两幅待验证人脸图像进行预处理，得到对齐后的人脸区域图像；其中，对齐后的人脸区域图像分别记为图像A和图像B；该模块如图5所示，具体包括：

人脸区域获取单元501，用于获取两幅待验证人脸图像中的人脸区域；

对齐单元502，用于对人脸区域图像进行旋转，使经过两眼中心的直线与水平轴平行，得到对齐后的人脸区域图像。

所述镜面翻转与位置互换模块402，用于分别将图像A和图像B进行镜面翻转、位置互换后得到八组待测图像对。

所述输入模块403，用于将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层。

所述输出模块404，用于对于每一个卷积神经网络，根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出；其中，两个输出分别对应“是同一个人”和“不是同一个人”这两种类别的评分；该模块如图5所示，具体包括：

第一卷积与非线性变换单元601，用于将输入层特征进行卷积与非线性变换，得到卷积层C1；

第二卷积与非线性变换单元602，用于将C1层特征进行卷积与非线性变换，得到卷积层C2；

第一降采样单元603，用于将C2层特征进行平均值降采样，得到P1层；

第三卷积与非线性变换单元604，用于将P1层进行卷积与非线性变换，得到卷积层C3；

第四卷积与非线性变换单元605，用于将C3层特征进行卷积与非线性变换，得到卷积层C4；

第二降采样单元606，用于将C4层特征进行平均值降采样，得到P2层；

第五卷积与非线性变换单元607，用于将P2层特征进行卷积与非线性变换，得到卷积层C5；

第六卷积与非线性变换单元608，用于将C5层特征进行卷积与非线性变换，得到卷积层C6；

第七卷积与非线性变换单元609，用于将C6层特征进行卷积与非线性变换，得到卷积层C7；

第三降采样单元610，用于将C7层特征进行平均值降采样，得到P3层；

第八卷积与非线性变换单元611，用于将P3层特征进行卷积与非线性变换，得到卷积层C8；

第九卷积与非线性变换单元612，用于将C8层特征进行卷积与非线性变换，得到卷积层C9；

第十卷积与非线性变换单元613，用于将C9层特征进行卷积与非线性变换，得到卷积层C10；

第四降采样单元614，用于将C10层特征进行平均值降采样，得到P4层；

第十一卷积与非线性变换单元615，用于将P4层特征进行卷积与非线性变换，得到卷积层C11；

第十二卷积与非线性变换单元616，用于将C11层特征进行卷积与非线性变换，得到卷积层C12；

全连接计算与非线性变换单元617，用于将C12层特征进行全连接计算与非线性变换，得到全连接层；

全连接计算与函数计算单元618，用于将全连接层特征进行全连接计算，并采用Soft-max函数计算，得到每组待测图像对的两个输出。

所述处理模块405，用于对于每一个卷积神经网络，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别；该模块如图7所示，具体包括：

顺次排列单元701，用于将每组待测图像对的两个输出进行顺次排列，得到L1层；

分类单元702，用于将L1层特征按照两种类别进行分类，并保留相应类别的最大值，得到L2层；

比较单元702，用于将L2层特征保留的两个评分进行比较，将较高评分对应的类别组成L3层。

所述统计模块406，用于统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果。

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

综上所述，本发明方法及系统先对两幅待验证人脸图像进行预处理，再分别将预处理后的两幅图像进行镜面翻转、位置互换后得到八组待测图像对，将八组待测图像对作为并联卷积神经网络的每一个卷积神经网络的输入，进入输入层，在进行参数运算后得到每组待测图像对的两个类别(“是同一个人”和“不是同一个人”)评分输出，将每组待测图像对的两个输出进行多层处理，得到八组待测图像对中较高评分对应的类别，最后统计所有网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果，具有针对不同年龄的人脸图像验证具有更准确的验证能力。

以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims

1.一种跨年龄的人脸验证方法，其特征在于：所述方法包括：

统计所有卷积神经网络中较高评分对应的两种类别数量，将数量较多的类别作为并联卷积神经网络的结果；

其中，八组待测图像对分别为：

原始图像A和原始图像B；

原始图像B和原始图像A；

镜面翻转后的图像A和原始图像B；

原始图像B和镜面翻转后的图像A；

原始图像A和镜面翻转后的图像B；

镜面翻转后的图像B和原始图像A；

镜面翻转后的图像A和镜面翻转后的图像B；

镜面翻转后的图像B和镜面翻转后的图像A。

2.根据权利要求1所述的一种跨年龄的人脸验证方法，其特征在于：所述根据网络中进入输入层后的参数运算得到每组待测图像对的两个输出，具体包括：