CN105184253A - 一种人脸识别方法和人脸识别系统 - Google Patents

Abstract

本发明提供了一种人脸识别方法和人脸识别系统。所述方法包括：步骤S101：对眼镜图片中的眼镜进行分割以得到眼镜模板；步骤S102：在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及步骤S103：基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。该方法可以实现更加快速、简单、精确地进行对戴眼镜人脸的识别，以提供更好的识别性能。该人脸识别系统同样具有上述优点。

Description

一种人脸识别方法和人脸识别系统

技术领域

本发明涉及图像识别领域，具体而言涉及一种人脸识别方法和人脸识别系统。

背景技术

人脸遮挡对人脸识别系统的影响巨大(例如目前主流的统计或者机器学习的人脸识别系统)。眼镜是一种常见的遮挡，其对人脸识别的主要影响在于：1)很难收集大量带眼镜的人脸图片用于系统训练；2)眼镜款式多变，形态颜色变化大，很难用一个简单的模型刻画；3)眼镜会改变图像的统计特征、图像特征，从而给人脸识别系统带来识别干扰。现有的主流技术针对带眼镜遮挡的人脸识别系统皆采用去除眼镜的方法，其缺点是眼镜款式多、变化大，目前的去除眼镜算法并不能完美去除眼镜，往往给图像留下或者带来新的噪声，从而影响后续的识别性能。

另外，现有的对带眼镜遮挡的人脸识别系统均采用建立眼镜3D模型和人脸3D模型的方法，其算法复杂、运行较慢，并且识别效果不佳。

因此，需要提供一种人脸识别方法和人脸识别系统，以至少部分地解决上面提到的问题。

发明内容

针对现有技术的不足，本发明提出一种人脸识别方法和人脸识别系统，可以显著提升人脸识别的速度、精确度和性能，同时具有图像处理简单的特点。

本发明的一个实施例提供一种人脸识别方法，所述方法包括：步骤S101：对眼镜图片中的眼镜进行分割以得到眼镜模板；

步骤S102：在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及

步骤S103：基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

示例性地，在所述步骤S102中，所述人脸关键点与所述眼镜关键点相互匹配。

示例性地，在所述步骤S102中，所述人脸关键点和所述眼镜关键点是人工标注或机器自动标注获取的。

示例性地，在所述步骤S103中，所述调整包括通过变换矩阵对所述眼镜模板和所述眼镜图片进行线性变换。

示例性地，在所述步骤S103中，对所述线性变换加入噪声以控制眼镜的外形和位置。

示例性地，在所述步骤S103之后还包括步骤S104：将所述戴眼镜的人脸图片添加到训练数据库中以用于人脸识别模型的训练。

示例性地，所述噪声是高斯噪声。

本发明的另一实施例提供一种人脸识别系统，所述系统包括：眼镜模板构造模块，用于对眼镜图片中的眼镜进行分割以得到眼镜模板；关键点定义模块，用于在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及合成模块，用于基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，以及通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

示例性地，所述人脸关键点与所述眼镜关键点相互匹配。

示例性地，在所述合成模块中，所述调整包括通过变换矩阵对所述眼镜模板和所述眼镜图片进行线性变换。

示例性地，所述合成模块还用于对所述线性变换加入噪声以控制眼镜的外形和位置。

本发明的人脸识别方法，通过眼镜模板在无眼镜人脸上叠加眼镜合成戴眼镜人脸图片以用于人脸识别模型的训练，相对于从带有眼镜的人脸上去除眼镜而达到识别人脸的效果，具有更高的人脸识别速度、精确度和人脸识别性能，相对于建立眼镜3D模型和人脸3D模型从而合成3D人脸图片用于人脸识别的方法，具有图像处理简单的优点。本发明的人脸识别系统，同样具有上述优点。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1为本发明实施例的眼镜图片的示意图；

图2为本发明实施例的眼镜模板的示意图；

图3为本发明实施例的定义人脸关键点的示意图；

图4为本发明实施例的定义眼镜关键点的示意图；

图5为本发明实施例的叠加了眼镜的人脸合成图像示意图；以及

图6为本发明实施例的人脸识别方法的一种流程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。在附图中，为了清楚，层和区的尺寸以及相对尺寸可能被夸大。自始至终相同附图标记表示相同的元件。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明的一个实施例提供一种人脸识别方法。该方法可以显著提高人脸识别的速度、精确度以及人脸识别性能。

下面，参照图1至图5来具体描述本发明的实施例的一种人脸识别方法。其中，图1为本发明实施例的眼镜图片收集的示意图。图2为本发明实施例的眼镜模板生成的示意图。图3为本发明实施例的定义人脸关键点的示意图。图4为本发明实施例的定义眼镜关键点的示意图。图5为本发明实施例的叠加了眼镜的人脸合成图像示意图。本发明实施例的作者分析方法，包括如下步骤：

步骤S101：收集眼镜图片，对所述图片中的眼镜进行分割，以得到眼镜模板。

其中，眼镜图片指包含眼镜的各种图片，例如仅包括眼镜的照片、戴眼镜的人脸照片等。

示例性地，构造眼镜模板可以包括如下步骤：步骤一，眼镜图片收集。例如，通过互联网或者线下实拍的方式收集如图1所示的典型眼镜的图片。步骤二，眼镜模板生成。通过人工或者计算机视觉的图像分割算法(例如GrabCut)对图片中的眼镜进行分割，得到眼镜的镜架信息，即眼镜模板，如图2所示。经过图像分割算法之后的图像(眼镜模板)是干净的、仅有眼镜的图片，如图2所示。本发明相对于利用简单的数学模型来刻画有限的眼镜模板的传统方式，可以增加眼镜模板的种类，从而增加最终合成的戴眼镜人脸图片的种类，最终有利于人脸识别模型的训练。

在本实施例中，眼镜图片为二维图片，眼镜模板也为二维图片。

步骤S102：在无眼镜人脸图片上定义人脸关键点以及在眼镜图片和眼镜模板上定义眼镜关键点。

其中，无眼镜人脸图片为二维图片。示例性地，人脸关键点特指在人脸上具有特殊语义的部位，例如瞳孔位置、内眼角位置、外眼角位置等。图3描述了一种可能的在无眼镜人脸图片上的人脸关键点定义方式，其中各个关键点对应的语义分别为：左眼中心，右眼中心，以及鼻梁顶端。

示例性地，人脸图片中的关键点可以通过人工标注或者机器自动标注获取。其中机器自动标注包括AAM，ASM，随机森林(Randomforest)，深度学习(Deeplearning)等方法通过机器学习对关键点位置进行拟合。

示例性地，眼镜关键点特指在眼镜模板或眼镜图片中的眼镜上具有特殊语义的部位，例如镜片中心、镜架脚等。图4描述了一种可能的眼镜关键点定义方式，其中各个关键点对应的语义分别为：左眼中心，右眼中心，以及眼架中心。由于眼镜图片和眼镜模板具有对应关系，因此通常在眼镜图片上定义了关键点则相当于在眼镜模板上也定义了关键点，反之亦然。当然，也可以根据需要在眼镜图片和眼镜模板定义具有一定对应关系的不同的关键点。

示例性地，眼镜中的关键点可以通过人工标注或者机器自动标注获取。其中机器自动标注包括AAM，ASM，随机森林(Randomforest)，深度学习(Deeplearning)等方法通过机器学习对关键点位置进行拟合。

示例性地，在所述步骤S102中，所述人脸关键点和所述眼镜关键点是人工标注或机器自动标注获取的。

示例性地，在本实施例中，人脸关键点与眼镜关键点相互匹配，以提高合成的戴眼镜人脸图片的图片质量。其中，互相匹配是指人脸关键点与眼镜关键点一一对应，例如，图3中无眼镜人脸图片上的人脸关键点“左眼中心”与图4中眼镜图片上的眼镜关键点“左眼中心”相对应，图3中无眼镜人脸图片上的人脸关键点“鼻梁顶端”与图4中眼镜图片上的眼镜关键点“眼架中心”相对应，图3中无眼镜人脸图片上的人脸关键点“右眼中心”与图4中眼镜图片上的眼镜关键点“右眼中心”相对应，图3中的人脸关键点与图4中的眼镜关键点即为相互匹配。

步骤S103：基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使所述眼镜图片和所述眼镜模板与所述无眼镜人脸图片相匹配，通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

其中，通过上述的调整可以控制眼镜图片和眼镜模板中眼镜的形状、位置等特征，从而使眼镜图片和眼镜模板与无眼镜人脸图片相匹配，即，适于通过眼镜模板将眼镜图片中的眼镜叠加到无眼镜人脸图片的合适位置。上述的调整可以采用各种可行的变换方式，优选采用线性变换，以使变换更简单。

示例性地，步骤S103包括如下步骤：

首先，基于关键点的眼镜变换矩阵求解。示例性地，定义的规则可以是眼镜的右眼中心与人脸的右瞳孔重合。示例性地，利用人脸关键点信息和眼镜关键点信息，通过放射变换(affinetransformation)对眼镜模板进行变换。具体的，假设人脸的关键点坐标为：左眼中心(x_l，y_l)，右眼中心(x_r，y_r)，眼角中心(x_m，y_m)；眼镜的关键点坐标为：左眼中心(x′_l，y′_l)，右眼中心(x′_r，y′_r)，眼角中心(x′_m，y′_m)。通过最小二乘法找到最优的变换矩阵T。变换矩阵T是对眼镜图片进行平移、旋转和缩放的矩阵，以使得眼镜根据预定义的规则与人脸叠加重合。

$\underset{T}{\min }\left|\right|\left(\begin{array}{ccc}{x}_l& y_r& 1\\ x_r& y_r& 1\\ x_m& y_m& 1\end{array}\right)T-\left(\begin{array}{cc}{r}_l^{\′}& y_l^{\′}\\ r_r^{\′}& y_r^{\′}\\ x_m^{\′}& y_m^{\′}\end{array}\right)|{|}^2$

其次，进行局部眼镜外观变化调整。对线性变换加入噪声，以控制眼镜的外形和位置。示例性地，通过对线性变换T增加噪声来控制眼镜的外形和位置，从而增加合成的图像数量，使得眼睛与人脸的不同匹配更多：

$T=\left(\begin{array}{cc}{s}_{xx}& s_{xy}\\ s_{yx}& s_{yy}\\ d_x& d_y\end{array}\right),T^{\′}=\left(\begin{array}{cc}{s}_{xx}+n_{xx}& s_{xy}+n_{xy}\\ s_{yx}+n_{yx}& s_{yy}+n_{yy}\\ d_x+n_x& d_y+n_y\end{array}\right),$

n_xx，n_yy，n_xy，n_yx，n_x，n_y～N(0，λ)

其中n_xx,n_xy,n_yx,n_yy用来改变眼镜的外形，n_x,n_y用来改变眼镜的位置。示例性地，他们均满足均值为0，方差为λ的高斯分布。其中λ用来控制扰动的大小，一般取图像尺寸的1/50。

再次，带眼镜遮挡的人脸图像(即戴眼镜人脸图片)生成。如图5所示，通过变换矩阵T对眼镜和眼镜模板进行线性变换，并且，通过眼镜模板将眼镜图片中的眼镜叠加到无眼镜人脸图片完成带眼镜遮挡的人脸图片生成。示例性地，在本实施例中通过眼镜模板将眼镜图片中的眼镜叠加到无眼镜人脸图片上以形成戴眼镜人脸图片的方法可以为：假定X代表眼镜模板，Y代表眼镜图片，Z代表无眼镜人脸图片，W代表戴眼镜人脸图片(即合成图片)，则W＝Y*X+Z*(1-X)。在通过眼镜模板将眼镜图片和人脸图片进行叠加时，眼镜模板在此起一个选择的作用：对于合成图片中的每一个像素(i,j)，如果眼镜模板在此处的像素(其实是一个True/False的标志矩阵)为1，则合成图片在该位置的像素值从对应的眼镜图片中取，否则从无眼镜人脸图片中取。此外，还可以采用其他各种可行的方法通过眼镜模板将眼镜图片中的眼镜叠加到无眼镜人脸图片人脸上，在此并不进行限定。

示例性地，在所述步骤S103之后还包括步骤S104：将所述叠加了所述眼睛的人脸的图片添加到训练数据库中以用于人脸识别模型的训练。针对目前的人脸识别系统(例如基于统计或者机器学习的人脸识别方法)，通过前述的戴眼镜人脸图片生成方法，生成戴眼镜人脸图片并添加进训练数据库中，丰富数据库的戴眼镜人脸数据。系统可根据自身情况进行重新训练(例如基于机器学习的系统)或者分析指标(基于统计的系统)，从而提升对带眼镜遮挡的人脸识别的性能。示例性地，在步骤S104之后还可以包括步骤S105：利用所述人脸识别模型进行人脸识别。相对于现有的人脸识别系统，包括该人脸识别模型的人脸识别系统对戴眼镜人脸的识别准确率将得到很大的提高。

接下来，参照图6说明本发明实施例的一种人脸识别方法的流程。图6为本发明实施例的人脸识别方法的一种流程图。

如图6所示，该方法分为两大部分：带眼镜遮挡的人脸图片(数据)生成(对应步骤S101-S103)，以及带眼镜遮挡的人脸识别系统训练(对应步骤S104)。其中带眼镜人脸数据生成包括眼镜模板构造(对应步骤S101)、人脸及眼镜关键点生成(对应步骤S102)、带眼镜的人脸合成(对应步骤S103)三部分。带眼镜遮挡的人脸识别系统训练利用前述合成的戴眼镜人脸图片进行人脸识别模型的训练，可以提升系统对有眼镜遮挡的人脸的识别性能。

本发明的人脸识别方法，通过眼镜模板在无眼镜人脸上叠加眼镜合成戴眼镜人脸图片以用于人脸识别模型的训练，相对于从带有眼镜的人脸上去除眼镜而达到识别人脸的效果，具有更高的人脸识别速度、精确度和人脸识别性能，相对于建立眼镜3D模型和人脸3D模型从而合成3D人脸图片用于人脸识别的方法(本实施例中无眼镜人脸图片、眼镜图片、眼镜模板均为二维图片，图片合成方法为二维变换)，具有图像处理方法简单的优点。

本发明的另一实施例提供一种人脸识别系统，该人脸识别系统，其特征在于，所述系统包括：眼镜模板构造模块，用于对眼镜图片中的眼镜进行分割以得到眼镜模板；

关键点定义模块，用于在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及

合成模块，用于基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，以及通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

示例性地，在所述关键点定义模块中，所述人脸关键点和所述眼镜关键点是人工标注或机器自动标注获取的。

示例性地，在所述合成模块中，所述调整包括通过变换矩阵对所述眼镜模板和所述眼镜图片进行线性变换。

示例性地，所述合成模块还用于对所述线性变换加入噪声，以控制眼镜的外形和位置。

示例性地，所述系统还包括训练模块，用于将所述戴眼镜人脸图片添加到训练数据库中以用于人脸识别模型的训练。

示例性地，所述噪声是高斯噪声。

在本发明各实施例的人脸识别方法中，可以不包括训练步骤。在本发明各实施例的人脸识别系统中，也可以不包括训练模块。

本发明的人脸识别方法，由于通过在人脸上叠加眼镜而非从带有眼镜的人脸上去除眼镜而达到识别人脸的效果，因而可以保证更高的人脸识别速度、精确度和最优的人脸识别性能(实验表明，在某些情况下，本实施例的方法相比现有方法可将识别准确率提升60％至70％)，同时由于通过二维线性变换达到识别人脸的目的，因而具有图像处理简单的效果。本发明的人脸识别系统，同样具有上述优点。

本发明实施例的各个模块可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的人脸识别系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在存储载体上提供，或者以任何其他形式提供。

贯穿上述实施例，本发明提供了一套简单、高效、智能且具有重大参考意义的人脸识别方法。由于新技术与方法的引入，识别的精确度与可靠性都有极大的突破，能够更加准确的进行人脸识别。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (11)

1.一种人脸识别方法，其特征在于，所述方法包括：

步骤S101：对眼镜图片中的眼镜进行分割以得到眼镜模板；

步骤S102：在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及

步骤S103：基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

2.如权利要求1所述的人脸识别方法，其特征在于，在所述步骤S102中，所述人脸关键点与所述眼镜关键点相互匹配。

3.如权利要求1所述的人脸识别方法，其特征在于，在所述步骤S102中，所述人脸关键点和所述眼镜关键点是人工标注或机器自动标注获取的。

4.如权利要求1至3任一项所述的人脸识别方法，其特征在于，在所述步骤S103中，所述调整包括通过变换矩阵对所述眼镜模板和所述眼镜图片进行线性变换。

5.如权利要求4所述的人脸识别方法，其特征在于，在所述步骤S103中，对所述线性变换加入噪声以控制眼镜的外形和在所述戴眼镜人脸图片上的位置。

6.如权利要求1至3任一项所述的人脸识别方法，其特征在于，在所述步骤S103之后还包括步骤S104：将所述戴眼镜人脸图片添加到训练数据库中以用于人脸识别模型的训练。

7.如权利要求5所述的人脸识别方法，其特征在于，所述噪声是高斯噪声。

8.一种人脸识别系统，其特征在于，所述系统包括：

眼镜模板构造模块，用于对眼镜图片中的眼镜进行分割以得到眼镜模板；

关键点定义模块，用于在无眼镜人脸图片上定义人脸关键点以及在所述眼镜图片和所述眼镜模板上定义眼镜关键点；以及

合成模块，用于基于所述人脸关键点和所述眼镜关键点对所述眼镜图片和所述眼镜模板进行调整以使其与所述无眼镜人脸图片相匹配，以及通过所述眼镜模板将所述眼镜图片中的眼镜叠加到所述无眼镜人脸图片以合成戴眼镜人脸图片。

9.如权利要求8所述的人脸识别系统，其特征在于，在所述关键点定义模块中，所述人脸关键点与所述眼镜关键点相互匹配。

10.如权利要求8或9所述的人脸识别系统，其特征在于，在所述合成模块中，所述调整包括通过变换矩阵对所述眼镜模板和所述眼镜图片进行线性变换。

11.如权利要求10所述的人脸识别系统，其特征在于，所述合成模块还用于对所述线性变换加入噪声以控制眼镜的外形和位置。