CN109934062A - 眼镜摘除模型的训练方法、人脸识别方法、装置和设备 - Google Patents

Abstract

本发明公开了一种眼镜摘除模型的训练方法、人脸识别方法和装置。其中训练方法包括：获取样本图像，其中，样本图像包括输入图像和目标图像，输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，输入图像用于指示戴眼镜的人脸图像，目标图像用于指示未戴眼镜的人脸图像；构建对称卷积神经网络模型，其中，该模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1‑i个反卷积层为对称关系，卷积层用于对图像进行特征编码，反卷积层用于对图像进行特征解码；根据输入图像和目标图像对所述模型进行训练，得到眼镜摘除模型。该方法可以使得训练出的模型具有更好的效果。

Description

眼镜摘除模型的训练方法、人脸识别方法、装置和设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种眼镜摘除模型的训练方法、人脸识别方法、装置、电子设备和计算机可读存储介质。

背景技术

眼部区域是人脸最主要的特征区域，而眼镜是常见的面部遮挡物，尤其深色粗框眼镜有很明显的特征，它对眼部图像的特征提取有很大的干扰。人脸识别中有相似眼镜的人员很容易误认，或者一张不戴眼镜的证件照和戴眼镜的生活照很难认为是一个人。所以眼镜摘除是人脸识别的一个重要步骤。

相关技术中，常见的有以下集中方法来实现对眼镜的去除：1)基于边缘检测的方法来检测眼镜轮廓，再融合周围像素估计眼镜的像素；2)基于PCA(Principal ComponentAnalysis，主成分分析)的重建方法，通过将戴眼镜的人脸投影到不戴眼镜的人脸空间，再反向重建，可以去除眼镜。

但是，目前存在的问题是：基于边缘检测的方法容易受到眼镜种类和光照的影响，例如，无框或半框眼镜就很难检测到边缘信息，当出现反光时像素融合也很难进行；基于PCA的重建方法虽然简单，但其是基于整个人脸的投影和重建，不但在眼镜区域会有残留，人脸其他区域也引入了噪声，效果较差。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种眼镜摘除模型的训练方法。该方法可以通过使用戴眼镜和未戴眼镜的对应图像对对称卷积神经网络模型进行训练，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果。

本发明的第二个目的在于提出一种人脸识别方法。

本发明的第三个目的在于提出一种眼镜摘除模型的训练装置。

本发明的第四个目的在于提出一种人脸识别装置。

本发明的第五个目的在于提出一种电子设备。

本发明的第六个目的在于提出一种非临时性计算机可读存储介质。

本发明的第七个目的在于提出另一种电子设备。

本发明的第八个目的在于提出另一种非临时性计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出的眼镜摘除模型的训练方法，包括：获取样本图像，其中，所述样本图像包括输入图像和目标图像，所述输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，所述输入图像用于指示戴眼镜的人脸图像，所述目标图像用于指示未戴眼镜的人脸图像；构建对称卷积神经网络模型，其中，所述对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，所述卷积层用于对图像进行特征编码，所述反卷积层用于对图像进行特征解码；根据所述输入图像和目标图像对所述对称卷积神经网络模型进行训练，得到眼镜摘除模型。

根据本发明实施例的眼镜摘除模型的训练方法，获取样本图像，其中，该样本图像包括输入图像和目标图像，该输入图像和目标图像分别为戴眼镜和未戴眼镜的对应图像，并构建对称卷积神经网络模型，其中，该模型的左半部分用于对人脸的特征编码，右半部分用于对图像的解码，这样，根据所述输入图像和目标图像对该对称卷积神经网络模型进行训练，得到眼镜摘除模型，这样，通过使用戴眼镜和未戴眼镜的对应图像对模型进行训练，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

为达到上述目的，本发明第二方面实施例提出的人脸识别方法，包括：获取待识别的人脸图像；判断所述待识别的人脸图像中是否包含眼镜；若否，则对所述待识别的人脸图像进行人脸识别；若是，则根据预先训练的眼镜摘除模型对所述待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，所述眼镜摘除模型是采用本发明第一方面实施例所述的训练方法训练得到的；对所述眼镜摘除后的图像进行人脸识别。

根据本发明实施例的人脸识别方法，在判断待识别的人脸图像中包含眼镜时，将该待识别的人脸图像代入预先训练的眼镜摘除模型中以得到眼镜摘除后的图像，然后，对该眼镜摘除后的图像进行人脸识别，其中，所述眼镜摘除模型在训练时采用的是戴眼镜和未戴眼镜的对应样本，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

为达到上述目的，本发明第三方面实施例提出的眼镜摘除模型的训练装置，包括：获取模块，用于获取样本图像，其中，所述样本图像包括输入图像和目标图像，所述输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，所述输入图像用于指示戴眼镜的人脸图像，所述目标图像用于指示未戴眼镜的人脸图像；构建模块，用于构建对称卷积神经网络模型，其中，所述对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，所述卷积层用于对图像进行特征编码，所述反卷积层用于对图像进行特征解码；训练模块，用于根据所述输入图像和目标图像对所述对称卷积神经网络模型进行训练，得到眼镜摘除模型。

根据本发明实施例的眼镜摘除模型的训练装置，可以通过使用戴眼镜和未戴眼镜的对应图像对对称卷积神经网络模型进行训练，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

为达到上述目的，本发明第四方面实施例提出的人脸识别装置，包括：获取模块，用于获取待识别的人脸图像；判断模块，用于判断所述待识别的人脸图像中是否包含眼镜；人脸识别模块，用于在所述待识别的人脸图像中未包含眼镜时，对所述待识别的人脸图像进行人脸识别；眼镜摘除模块，用于在所述待识别的人脸图像中包含眼镜时，根据预先训练的眼镜摘除模型对所述待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，所述眼镜摘除模型是采用本发明第一方面实施例所述的训练方法训练得到的；其中，所述人脸识别模块，还用于对所述眼镜摘除后的图像进行人脸识别。

根据本发明实施例的人脸识别装置，在判断待识别的人脸图像中包含眼镜时，将该待识别的人脸图像代入预先训练的眼镜摘除模型中以得到眼镜摘除后的图像，然后，对该眼镜摘除后的图像进行人脸识别，其中，所述眼镜摘除模型在训练时采用的是戴眼镜和未戴眼镜的对应样本，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

为达到上述目的，本发明第五方面实施例提出的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第一方面实施例所述的眼镜摘除模型的训练方法。

为达到上述目的，本发明第六方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明第一方面实施例所述的眼镜摘除模型的训练方法。

为达到上述目的，本发明第七方面实施例提出的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第二方面实施例所述的人脸识别方法。

为达到上述目的，本发明第八方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明第二方面实施例所述的人脸识别方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的眼镜摘除模型的训练方法的流程图；

图2是根据本发明实施例的对称卷积神经网络模型进行训练的流程图；

图3是根据本发明实施例的眼镜摘除模型的训练方法的示例图；

图4是根据本发明一个实施例的眼镜摘除模型的训练装置的结构示意图；

图5是根据本发明一个实施例的人脸识别方法的流程图；

图6是根据本发明实施例的训练眼镜判定模型的流程图；

图7是根据本发明一个实施例的人脸识别装置的结构示意图；

图8是根据本发明一个实施例的电子设备的结构示意图；

图9是根据本发明一个实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的眼镜摘除模型的训练方法、人脸识别方法、装置、电子设备和计算机可读存储介质。

图1是根据本发明一个实施例的眼镜摘除模型的训练方法的流程图。需要说明的是，本发明实施例的眼镜摘除模型的训练方法可应用于本发明实施例的眼镜摘除模型的训练装置，该训练装置可被配置于电子设备上。

如图1所示，该眼镜摘除模型的训练方法可以包括：

S110，获取样本图像，其中，样本图像包括输入图像和目标图像，输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，输入图像用于指示戴眼镜的人脸图像，目标图像用于指示未戴眼镜的人脸图像。

可选地，可获取大量的样本图像，该样本图像可包括戴眼镜和未戴眼镜的对应图像，其中，戴眼镜的人脸图像可作为输入图像，未戴眼镜的人脸图像作为所述目标图像。可以理解，所述戴眼镜的人脸图像与未戴眼镜的人脸图像的区别仅在于图像中的人脸是否戴眼镜。

S120，构建对称卷积神经网络模型，其中，对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，输入层与输出层对称，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，卷积层用于对图像进行特征编码，反卷积层用于对图像进行特征解码。

可选地，所述对称卷积神经网络模型采用的是对称的卷积神经网络结构，该对称卷积神经网络可分为左右两部分，左半部分可由输入层和N个卷积层组成，用于对输入图像的编码，右半部分可由N个反卷积层和输出层组成，用于对图像的解码。例如，左半部分可以是AlexNet、VGGNet等经典网络的一部分，是对图像的特征提取，在本发明的实施例中，不需要AlexNet、VGGNet等神经网络中最后的分类层，在具体实施时可根据实际情况设计网络，比如，调整网络深度、卷积核的大小等。

可选地，在本发明的一个实施例中，该对称卷积神经网络模型还可包括N个池化层。其中，在每个卷积层的后面连接一个池化层，池化层可用于对输入的特征图进行压缩。

下面给出所述对称卷积神经网络模型的一种结构示例，其中，以所述N为3为例：

左半部分的神经网络结构如下：

1)输入层，大小为150*150*3，表示3通道图像，长宽均为150个像素；

2)第一卷积层，卷积核大小3*3，核数16；后面连接一个2*2的池化层，输出大小75*75；

3)第二卷积层，卷积核大小3*3，核数32；后面连接一个2*2的池化层，输出大小38*38；

4)第三卷积层，卷积核大小3*3，核数64；后面连接一个2*2的池化层，输出大小19*19。

右半部分采用卷积加上采样的形式，对特征解码，输出不戴眼镜的人脸图像。右半部分的神经网络结构如下：

1)对上一层进行卷积，卷积核大小3*3，核数128，并上采样，输出大小38*38；

2)对上一层进行卷积，卷积核大小3*3，核数64，并上采样，输出大小76*76；

3)对上一层进行卷积，卷积核大小3*3，核数32，并上采样，输出大小150*150；

4)对上一层进行卷积，得到输出层，卷积核大小3*3，核数3。

S130，根据输入图像和目标图像对对称卷积神经网络模型进行训练，得到眼镜摘除模型。

可选地，可将该输入图像输入到所述对称卷积神经网络模型中，并以所述目标图像作为目标输出，对所述对称卷积神经网络模型进行训练，最终得到的训练后的模型即为所述眼镜摘除模型。这样，在实际应用中，可通过所述眼镜摘除模型即可实现人脸图像中眼镜的摘除。

可以理解，为了能够使得训练的网络能够收敛，在训练阶段，还需要加上损失层，在本发明的实施例中，可以网络输出的图像的像素和目标图像的像素之间的最小平方误差为准则，训练网络。作为一种示例，如图2所示，所述对称卷积神经网络模型进行训练的具体实现过程可包括如下步骤：

S210，将输入图像输入至对称卷积神经网络模型进行训练，得到输出图像；

S220，计算输出图像的像素和目标图像的像素之间的最小平方误差；

S230，判断所述误差是否小于预设阈值；

也就是说，通过判断所述误差是否小于预设阈值，来判断训练网络是否收敛，其中，所述误差小于该预设阈值，可认为所述训练网络收敛，否则认为所述训练网络未收敛。当判断所述训练网络未收敛时，可继续将最新输出的图像作为新的输入图像并输入至上一次训练后得到的模型中进行训练。

S240，如果所述误差大于或等于预设阈值，则将输出图像作为新的输入图像，并将新的输入图像输入至上一次训练后得到的对称卷积神经网络模型进行训练，得到的新的输出图像，并执行所述步骤S220；

也就是说，当判断所述训练网络未收敛时，可继续将最新输出的图像作为新的输入图像并输入至上一次训练后得到的模型中进行训练，得到新的输出图像，之后，可计算该新的输出图像的像素和目标图像的像素之间的最小平方误差，进而根据该误差判断训练网络是否收敛。

S250，如果所述误差小于预设阈值，则将最后一次训练后得到的对称卷积神经网络模型作为所述眼镜摘除模型。

也就是说，当所述误差小于该预设阈值时，可认为所述训练网络收敛，此时，可将最后一次训练后得到的模型作为所述眼镜摘除模型。

举例而言，可获取样本图像，该样本图像可包括输入图像和目标图像，其中，输入图像用于指示戴眼镜的人脸图像，目标图像用于指示未戴眼镜的人脸图像，即该输入图像和目标图像分别为戴眼镜和未眼镜的对应图像。如图3所示，将输入图像输入到对称卷积神经网络模型中进行训练，得到输出图像，计算该输出图像的像素和目标图像的像素之间的最小平方误差，若所述误差小于预设阈值，则认为该网络已收敛，此时，可将该训练后得到的模型作为所述眼镜摘除模型；若所述误差大于或等于该预设阈值，则可为该网络未收敛，此时可将该输出图像作为新的输入图像输入到上一次训练后得到的模型中进行训练，得到新的输出图像，并计算该输出图像的像素和目标图像的像素之间的最小平方误差，直至所述误差小于该预设阈值时停止网络的训练，最后，将最终训练得到的模型作为所述眼镜摘除模型。

根据本发明实施例的眼镜摘除模型的训练方法，获取样本图像，其中，该样本图像包括输入图像和目标图像，该输入图像和目标图像分别为戴眼镜和未戴眼镜的对应图像，并构建对称卷积神经网络模型，其中，该模型的左半部分用于对人脸的特征编码，右半部分用于对图像的解码，这样，根据所述输入图像和目标图像对该对称卷积神经网络模型进行训练，得到眼镜摘除模型，这样，通过使用戴眼镜和未戴眼镜的对应图像对模型进行训练，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

与上述几种实施例提供的眼镜摘除模型的训练方法相对应，本发明的一种实施例还提供一种眼镜摘除模型的训练装置，由于本发明实施例提供的眼镜摘除模型的训练装置与上述几种实施例提供的眼镜摘除模型的训练方法相对应，因此在前述眼镜摘除模型的训练方法的实施方式也适用于本实施例提供的眼镜摘除模型的训练装置，在本实施例中不再详细描述。图4是根据本发明一个实施例的眼镜摘除模型的训练装置的结构示意图。如图4所示，该眼镜摘除模型的训练装置400可以包括：获取模块410、构建模块420和训练模块430。

具体地，获取模块410用于获取样本图像，其中，样本图像包括输入图像和目标图像，输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，输入图像用于指示戴眼镜的人脸图像，目标图像用于指示未戴眼镜的人脸图像。

构建模块420用于构建对称卷积神经网络模型，其中，对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，卷积层用于对图像进行特征编码，反卷积层用于对图像进行特征解码。作为一种示例，该对称卷积神经网络模型还可包括N个池化层，其中，在每个所述卷积层的后面连接一个池化层，所述池化层用于对输入的特征图进行压缩。

训练模块430用于根据输入图像和目标图像对对称卷积神经网络模型进行训练，得到眼镜摘除模型。作为一种示例的实现方式，训练模块430可将所述输入图像输入至所述对称卷积神经网络模型进行训练，得到输出图像，并计算所述输出图像的像素和所述目标图像的像素之间的最小平方误差，并判断所述误差是否小于预设阈值，若否，则将所述输出图像作为新的输入图像，并将所述新的输入图像输入至上一次训练后得到的对称卷积神经网络模型进行训练，得到的新的输出图像，并执行所述计算所述输出图像的像素和所述目标图像的像素之间的最小平方误差的步骤；若是，则将最后一次训练后得到的对称卷积神经网络模型作为所述眼镜摘除模型。

根据本发明实施例的眼镜摘除模型的训练装置，可以通过使用戴眼镜和未戴眼镜的对应图像对对称卷积神经网络模型进行训练，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

在实际应用中，可将通过本发明实施例的训练方法得到的眼镜摘除模型应用于人脸识别中，以提高人脸识别的准确度。为此，本发明还提出了一种人脸识别方法。

图5是根据本发明一个实施例的人脸识别方法的流程图。需要说明的是，本发明实施例的人脸识别方法可应用于本发明实施例的人脸识别装置中，该人脸识别装置可被配置于电子设备上。

如图5所示，该人脸识别方法可以包括：

S510，获取待识别的人脸图像。

可选地，所述待识别的人脸图像可以是用户通过上传的方式上传到电子设备上以实现人脸识别；或者，所述待识别的人脸图像可以是用户通过电子设备上的摄像头采集目标人脸的人脸图像而获得的，即可将该目标人脸的人脸图像作为所述待识别的人脸图像。

S520，判断待识别的人脸图像中是否包含眼镜。

作为一种示例的实现方式，可根据预先训练的眼镜判定模型判断所述待识别的人脸图像中是否包含眼镜。其中，在本示例中，如图6所示，所述眼镜判定模型可通过以下步骤预先训练得到的：

S610，获取戴眼镜人脸样本图像和不戴眼镜人脸样本图像；例如，可以准备2万张戴眼镜人脸样本图像和10万张不戴眼镜人脸样本图像。

S620，根据可变形模型算法，从戴眼镜人脸样本图像中提取第一人脸特征点，并从不戴眼镜人脸样本图像中提取第二人脸特征点；可选地，可利用可变形模型(ASM)提取戴眼镜人脸样本图像和不戴眼镜人脸样本图像中的人脸样本特征点，包括眼睛、眉毛、鼻子和嘴等特征点。

S630，根据第一人脸特征点提取戴眼镜人脸样本图像中的第一眼睛区域图像，并根据所述第二人脸特征点提取不戴眼镜人脸样本图像中的第二眼睛区域图像。

S640，将戴眼镜人脸样本图像和不戴眼镜人脸样本图像按照眼睛中心位置归一化到预设尺寸；例如，预设尺寸为80像素*80像素的大小。

S650，对归一化的第一眼睛区域图像和第二眼睛区域图像提取局部特征，得到判别样本特征库，可采用Gabor算法提取图像局部纹理特征；

S660，对判别样本特征库进行训练，得到眼镜判定模型。例如，可以利用支持向量基(SVM)分类器的机器学习模型对判别样本特征库进行训练，得到眼镜判定模型。

由此，可通过对样本图像的训练学习，得到眼镜判定模型，可以准确识别出待识别图像中是否包含眼镜。

S530，若否，则对待识别的人脸图像进行人脸识别。

可选地，当判断待识别的人脸图像中未包含眼镜时，可通过人脸识别算法对该待识别的人脸图像进行人脸识别。

S540，若是，则根据预先训练的眼镜摘除模型对待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，眼镜摘除模型是采用本发明上述任一个实施例所述的训练方法训练得到的。

可选地，当判断待识别的人脸图像中包含眼镜时，可需要先对该图像中的眼镜进行摘除处理，即可将该待识别的人脸图像代入预先训练的眼镜摘除模型中进行眼镜摘除处理，进而得到眼镜摘除后的图像。由此，所述眼镜摘除模型在训练时采用的是戴眼镜和未戴眼镜的对应样本，网络已经学习出眼镜检测及像素补偿方法，输出的将是一张眼镜摘除后的图像。

S550，对眼镜摘除后的图像进行人脸识别。

可选地，在得到眼镜摘除后的图像之后，可通过人脸识别算法对该眼镜摘除后的图像进行人脸识别。

根据本发明实施例的人脸识别方法，在判断待识别的人脸图像中包含眼镜时，将该待识别的人脸图像代入预先训练的眼镜摘除模型中以得到眼镜摘除后的图像，然后，对该眼镜摘除后的图像进行人脸识别，其中，所述眼镜摘除模型在训练时采用的是戴眼镜和未戴眼镜的对应样本，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

与上述几种实施例提供的人脸识别方法相对应，本发明的一种实施例还提供一种人脸识别装置，由于本发明实施例提供的人脸识别装置与上述几种实施例提供的人脸识别方法相对应，因此在前述人脸识别方法的实施方式也适用于本实施例提供的人脸识别装置，在本实施例中不再详细描述。图7是根据本发明一个实施例的人脸识别装置的结构示意图。如图7所示，该人脸识别装置700可以包括：获取模块710、判断模块720、人脸识别模块730和眼镜摘除模块740。

具体地，获取模块710用于获取待识别的人脸图像。

判断模块720用于判断待识别的人脸图像中是否包含眼镜。作为一种示例，判断模块720可根据预先训练的眼镜判定模型判断所述待识别的人脸图像中是否包含眼镜。其中，在本示例中，所述眼镜判定模型通过以下步骤预先训练得到：获取戴眼镜人脸样本图像和不戴眼镜人脸样本图像；根据可变形模型算法，从戴眼镜人脸样本图像中提取第一人脸特征点，并从不戴眼镜人脸样本图像中提取第二人脸特征点；根据第一人脸特征点提取戴眼镜人脸样本图像中的第一眼睛区域图像，并根据第二人脸特征点提取不戴眼镜人脸样本图像中的第二眼睛区域图像；将戴眼镜人脸样本图像和不戴眼镜人脸样本图像按照眼睛中心位置归一化到预设尺寸；对归一化的第一眼睛区域图像和第二眼睛区域图像提取局部特征，得到判别样本特征库；对判别样本特征库进行训练，得到眼镜判定模型。

人脸识别模块730用于在待识别的人脸图像中未包含眼镜时，对待识别的人脸图像进行人脸识别。

眼镜摘除模块740用于在待识别的人脸图像中包含眼镜时，根据预先训练的眼镜摘除模型对待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，眼镜摘除模型是采用本发明上述任一个实施例的训练方法训练得到的。

其中，在本发明的实施例中，人脸识别模块730还用于对眼镜摘除后的图像进行人脸识别。

根据本发明实施例的人脸识别装置，在判断待识别的人脸图像中包含眼镜时，将该待识别的人脸图像代入预先训练的眼镜摘除模型中以得到眼镜摘除后的图像，然后，对该眼镜摘除后的图像进行人脸识别，其中，所述眼镜摘除模型在训练时采用的是戴眼镜和未戴眼镜的对应样本，使学习更加具有针对性，不会给眼镜之外的区域带来影响，使得训练出的模型能够具有更好的效果，这样，在实际应用中，通过该眼镜摘除模型来实现人脸图像中眼镜的摘除，可以提高人脸眼镜摘除的效果，大大提升了人脸识别准确度。

为了实现上述实施例，本发明还提出了一种电子设备。

图8是根据本发明一个实施例的电子设备的结构示意图。如图8所示，该电子设备800可以包括：存储器810、处理器820及存储在所述存储器810上并可在所述处理器820上运行的计算机程序830，所述处理器820执行所述程序830时，实现本发明上述任一个实施例所述的眼镜摘除模型的训练方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明上述任一个实施例所述的眼镜摘除模型的训练方法。

为了实现上述实施例，本发明还提出了另一种电子设备。

图9是根据本发明一个实施例的电子设备的结构示意图。如图9所示，该电子设备900可以包括：存储器910、处理器920及存储在所述存储器910上并可在所述处理器920上运行的计算机程序930，所述处理器920执行所述程序930时，实现本发明上述任一个实施例所述的人脸识别方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现本发明上述任一个实施例所述的人脸识别方法。

在本发明的描述中，需要理解的是，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种眼镜摘除模型的训练方法，其特征在于，包括以下步骤：

获取样本图像，其中，所述样本图像包括输入图像和目标图像，所述输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，所述输入图像用于指示戴眼镜的人脸图像，所述目标图像用于指示未戴眼镜的人脸图像；

构建对称卷积神经网络模型，其中，所述对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，所述卷积层用于对图像进行特征编码，所述反卷积层用于对图像进行特征解码；

根据所述输入图像和目标图像对所述对称卷积神经网络模型进行训练，得到眼镜摘除模型。

2.如权利要求1所述的方法，其特征在于，所述对称卷积神经网络模型还包括N个池化层，其中，在每个所述卷积层的后面连接一个池化层，所述池化层用于对输入的特征图进行压缩。

3.如权利要求1所述的方法，其特征在于，所述根据输入图像和目标图像对所述对称卷积神经网络模型进行训练，得到眼镜摘除模型，包括：

将所述输入图像输入至所述对称卷积神经网络模型进行训练，得到输出图像；

计算所述输出图像的像素和所述目标图像的像素之间的最小平方误差；

判断所述误差是否小于预设阈值；

如果所述误差大于或等于所述预设阈值，则将所述输出图像作为新的输入图像，并将所述新的输入图像输入至上一次训练后得到的对称卷积神经网络模型进行训练，得到的新的输出图像，并执行所述计算所述输出图像的像素和所述目标图像的像素之间的最小平方误差的步骤；

如果所述误差小于所述预设阈值，则将最后一次训练后得到的对称卷积神经网络模型作为所述眼镜摘除模型。

4.一种人脸识别方法，其特征在于，包括：

获取待识别的人脸图像；

判断所述待识别的人脸图像中是否包含眼镜；

若否，则对所述待识别的人脸图像进行人脸识别；

若是，则根据预先训练的眼镜摘除模型对所述待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，所述眼镜摘除模型是采用如权利要求1至3中任一项所述的训练方法训练得到的；

对所述眼镜摘除后的图像进行人脸识别。

5.如权利要求4所述的方法，其特征在于，所述判断待识别的人脸图像中是否包含眼镜，包括：

根据预先训练的眼镜判定模型判断所述待识别的人脸图像中是否包含眼镜。

6.如权利要求5所述的方法，其特征在于，所述眼镜判定模型通过以下步骤预先训练得到：

获取戴眼镜人脸样本图像和不戴眼镜人脸样本图像；

根据可变形模型算法，从所述戴眼镜人脸样本图像中提取第一人脸特征点，并从所述不戴眼镜人脸样本图像中提取第二人脸特征点；

根据所述第一人脸特征点提取所述戴眼镜人脸样本图像中的第一眼睛区域图像，并根据所述第二人脸特征点提取所述不戴眼镜人脸样本图像中的第二眼睛区域图像；

将所述戴眼镜人脸样本图像和不戴眼镜人脸样本图像按照眼睛中心位置归一化到预设尺寸；

对归一化的所述第一眼睛区域图像和第二眼睛区域图像提取局部特征，得到判别样本特征库；

对所述判别样本特征库进行训练，得到所述眼镜判定模型。

7.一种眼镜摘除模型的训练装置，其特征在于，包括：

获取模块，用于获取样本图像，其中，所述样本图像包括输入图像和目标图像，所述输入图像和目标图像的区别在于图像中的人脸是否戴眼镜，其中，所述输入图像用于指示戴眼镜的人脸图像，所述目标图像用于指示未戴眼镜的人脸图像；

构建模块，用于构建对称卷积神经网络模型，其中，所述对称卷积神经网络模型采用对称的卷积神经网络结构，包括依次连接的输入层、N个卷积层、N个反卷积层和输出层，其中，第i个卷积层与第N+1-i个反卷积层为对称关系，N为正整数，i＝1,2,…,N，所述卷积层用于对图像进行特征编码，所述反卷积层用于对图像进行特征解码；

训练模块，用于根据所述输入图像和目标图像对所述对称卷积神经网络模型进行训练，得到眼镜摘除模型。

8.一种人脸识别装置，其特征在于，包括：

获取模块，用于获取待识别的人脸图像；

判断模块，用于判断所述待识别的人脸图像中是否包含眼镜；

人脸识别模块，用于在所述待识别的人脸图像中未包含眼镜时，对所述待识别的人脸图像进行人脸识别；

眼镜摘除模块，用于在所述待识别的人脸图像中包含眼镜时，根据预先训练的眼镜摘除模型对所述待识别的人脸图像中的眼镜进行摘除处理，得到眼镜摘除后的图像，其中，所述眼镜摘除模型是采用如权利要求1至3中任一项所述的训练方法训练得到的；

其中，所述人脸识别模块，还用于对所述眼镜摘除后的图像进行人脸识别。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至3中任一项所述的眼镜摘除模型的训练方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至3中任一项所述的眼镜摘除模型的训练方法。

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求4至6中任一项所述的人脸识别方法。

12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求4至6中任一项所述的人脸识别方法。