CN110909601A - 一种基于深度学习的美瞳识别方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于深度学习的美瞳识别方法及系统，该方法包括：获取待测对象的待测眼睛区域图像；获取待测眼睛区域图像的待测虹膜图像；对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；将待测局部二值化图像输入至深度学习网络模型，获取与待测眼睛区域图像相对应的待测对象识别结果；其中，深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，检测对象结果标签是根据虹膜图像训练样本预先确定的，并与样本图像一一对应。本发明实施例提供的基于深度学习的美瞳识别方法及系统，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

Description

一种基于深度学习的美瞳识别方法及系统

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于深度学习的美瞳识别方法及系统。

背景技术

传统的身份认证主要通过签名，印章，证件，密码等方法来确认身份信息，然而这些认证方式或多或少存在一定的缺陷。签名认证容易被伪造，印章认证和证件认证容易丢失且密码容易被窃取、遗忘等，均会给人们的日常生活带来极大的不安全性。

人体生物特征识别成为当下身份识别领域的前言研究技术，作为一种先天存在和后天行为习惯形成的独一无二的特征，主要分为人体生物特征和行为特征。其中，人脸、掌纹、虹膜、视网膜等生物特征和声纹、步态、签名等行为特征作为身份认证特征正运用到我们的生活中。虹膜因具有相互交错的细丝、条纹、冠状、斑点、隐窝等细节特征，决定了虹膜识别的唯一性、可行性和先进性，虹膜识别技术被认为是应用最方便最安全的生物识别技术。

虹膜识别技术是通过匹配已预先存储的注册人的虹膜信息，来识别身份信息。可用于监控、支付、智能识别等领域。为了保证身份识别的安全性和准确性，必须要求在虹膜采集注册和识别过程中确保虹膜未受到外部条件干扰，尤其是彩色隐形眼睛(简称美瞳)的干扰。如果用户在采集注册过程中佩戴了美瞳，采集的实际信息将不是该用户独一无二的虹膜特征信息，不仅会污染采集库，也会造成识别结果的错误。因此，有必要在进行虹膜识别之前，先确定待测对象是否佩戴美瞳。

目前对于美瞳的检测技术，大多是利用传统的图像处理方法，如提取灰度共生矩阵，局部二值化(局部二值化)向量特征等来进行识别，上述方法均不能够适用于大范围的应用场景。在实际应用中不同光照环境会影响拍摄的眼睛区域图像，不同花色纹理的美瞳图案，也会对上述传统方法的检测效果产生影响，造成上述算法的识别率较低，鲁棒性较差。

发明内容

本发明实施例提供一种基于深度学习的美瞳识别方法及系统，用以解决现有技术中对于美瞳检测的识别率低、检验算法鲁棒性差的缺陷。

第一方面，本发明实施例提供一种基于深度学习的美瞳识别方法，包括：

获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测局部二值化图像；将获取的待测局部二值化图像输入至深度学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；其中，深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，检测对象结果标签是根据虹膜图像训练样本预先确定的，并与样本图像一一对应。

进一步地，本实施例提供的基于深度学习的美瞳识别方法，该深度学习网络模型，至少包括：依次连接的至少五个卷积层、第一残差网络块、第二残差网络块、两个全连接层以及一个分类器。

其中，卷积层的卷积核大小均为3*3，在每个卷积层之后均连接有一个均值池化层，均值池化层的池化核大小为3*3，步长为2；分类器为softmax分类器；深度学习网络模型的损失函数为交叉熵损失函数。

其中，第一残差网络块包括依次连接的两个1*1卷积层、一个3*3卷积层和一个池化层。

第二残差网络块包括依次连接的两个1*1卷积层和一个3*3卷积层。

进一步地，在将待测局部二值化图像输入至深度学习网络模型之前，还包括：获取多个眼睛区域图像训练样本，并获取与每个眼睛区域图像训练样本对应的虹膜图像训练样本，以组建训练样本集。

将训练样本集中的所有虹膜图像训练样本划分为训练正样本集和多个训练负样本子集；通过聚类运算，将上述训练正样本集划分为多个训练正样本子集。

分别将每个训练负样本子集以及训练正样本子集中的虹膜图像训练样本转换成局部二值化图像，获取多个局部二值化图像负样本子集和多个局部二值化图像正样本子集。

将每个局部二值化图像负样本子集或局部二值化图像正样本子集中的局部二值化图像作为所述深度学习网络模型的输入，实现对深度学习网络模型的迭代训练。

其中，训练负样本是基于训练样本集中佩戴了美瞳的虹膜图像训练样本获取的，训练正样本是基于训练样本集中未佩戴美瞳的虹膜图像训练样本获取的。

进一步地，上述通过聚类运算，将训练正样本集划分为多个训练正样本子集，包括：

采用K-means算法对训练正样本集中的每个虹膜图像训练样本进行聚类，以将训练正样本集划分为多个训练正样本子集，其中K-means算法中的K值为训练正样本子集的个数。

进一步地，上述获取待测眼睛区域图像的待测虹膜图像，包括：

以待测眼睛区域图像的瞳孔中心为圆心，以虹膜的外边缘距离所述圆心的距离加预设像素作为边长，获取正方形的采样图像；将采样图像缩放至预设尺寸，获取待测虹膜图像。

进一步地，在将上述采样图像缩放至预设尺寸之后，还包括：

对采样图像中的瞳孔区域进行像素赋值，赋值为0；对采样图像中的眼睑遮挡区域以及除瞳孔区域以外的区域进行像素赋值，赋值为255。

进一步地，上述对待测虹膜图像进行图像处理后，获取待测局部二值化图像，包括：

获取计算待测虹膜图像的局部二值化值，并基于该局部二值化值对待测虹膜图像进行图像处理后，获取待测局部二值化图像。

第二方面，本发明实施例还提供一种基于深度学习的美瞳识别系统，包括：眼睛区域图像采集单元、图像提取单元、图像处理单元以及图像运算单元，其中：

眼睛区域图像采集单元，用于获取待测对象的待测眼睛区域图像；

图像提取单元，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元，用于对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；

图像运算单元，其中存储有深度学习网络模型，用于接收所述待测局部二值化图像，并将所述待测局部二值化图像输入至所述深度学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，所述检测对象结果标签是根据所述虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现如上述第一方面任一项所述基于深度学习的美瞳识别方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述基于深度学习的美瞳识别方法的步骤。

本发明实施例提供的基于深度学习的美瞳识别方法及系统，通过设置虹膜图像训练正样本和虹膜图像训练负样本，对经过改进的深度学习网络模型进行训练，并结合将检测眼睛区域图像的归一化处理后获取的局部二值化图像输入至训练完成的深度学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度学习的美瞳识别方法流程示意图；

图2为本发明实施例提供的一种深度学习网络模型的结构示意图；

图3为本发明实施例提供的一种对眼睛区域图像进行处理获取局部二值化图像的示意图；

图4为本发明实施例提供的一种基于深度学习的美瞳识别方法流程总体示意图；

图5为本发明实施例提供的一种基于深度学习的美瞳识别系统的结构示意图；

图6为本发明实施例提供的一种电子设备的实体结构示意图.

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于人的眼睛结构由巩膜、虹膜、瞳孔晶状体、视网膜等部分组成，其中虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征；而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性和防伪性。因此，虹膜识别技术是基于眼睛中的虹膜进行身份识别，

但由于用户在数据采集或识别的过程中使用了美瞳，对虹膜识别技术中的特征识别形成了极大的干扰，导致检测识别率降低甚至无法识别。现有技术中的针对使用了美瞳的虹膜检测识别技术，不能应用于大范围的应用场景，且不能有效的区分出受光照环境等外部影响，以及不能有效区分呈现不同花色纹理的美瞳图案，致使识别率低下，识别算法的鲁棒性差。

为了解决或部分解决目前在虹膜识别技术上的不足，如图1所示，本发明实施例提供了一种基于深度学习的美瞳识别方法，包括但不限于以下步骤：

步骤S1，获取待测对象的待测眼睛区域图像；

步骤S2，获取所述待测眼睛区域图像的待测虹膜图像；

步骤S3、对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；

步骤S4、将所述待测局部二值化图像输入至深度学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果。

其中，本实施例中使用的深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，检测对象结果标签是根据虹膜图像训练样本预先确定的，并与样本图像一一对应。

具体地，本发明实施例步骤S1中，获取待测对象的待测眼睛区域图像的方式可以是，首先利用常见的图像采集设备，比如摄像头、手机拍摄等进行实时获取，也可以利用预先拍摄并存储的包含待测对象面部的图像；然后，从该面部图像中提取出瞳孔特征最明显的眼睛区域图像，作为该待测对象的待测眼睛区域图像。

需要说明的是：一方面，本实施例不对包含待测对象面部的图像的尺寸和像素分辨率做出要求，以包含有瞳孔特征，并能够从该图像中提取出待测眼睛区域图像为准；另一方面，本发明实施例也不对采用何种设备进行图像的获取，以及如何从图像中提取出待测眼睛区域图像做出具体地限定。

进一步地，在步骤S2中，对提取出的待测眼睛区域图像进行图像处理，主要是提取出该眼睛区域图像中虹膜特征最明显的待测虹膜图像。该待测虹膜图像的大小可以是640*480或其它常规或不常规的任一尺寸。

进一步地，在步骤S3中，对待测虹膜图像进行适当的图像预处理，一方面可以消除图像中的无关信息、恢复有用的真实信息、增强有关信息的可检测性以及最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性，一般可以采用图像切割的方式进行。进一步地，利用局部二值化(简称：LBP)图像处理方法，对获取的待测虹膜图像进行处理，以将该待测虹膜图像转换成待测LBP图像。

另一方面，也可以是对提取的待测LBP图像进行预定的尺寸变换，使每次输入至深度学习网络模型的图片尺寸相同。

相应地，在对深度学习网络模型进行模型训练时是使用虹膜图像训练样本的样本图像来进行的。在训练之前，可以利用每个虹膜图像训练样本所包含的虹膜特征预先确定出包含佩戴有美瞳以及未佩戴美瞳的检测对象结果标签。其中可以对虹膜的以下特征：交错的细丝、条纹、冠状、斑点、隐窝等进行数字化，例如：按照有无细丝、细丝的条数、细丝的分布位置等等进行数字化后，建立出多个正样本结果标签和负样本标签。其中佩戴有美瞳的按照美瞳的花色不同对应不同的负样本标签；未佩戴美瞳的可以根据眼睛区域图像的主体特征对应不同的正样本标签。

进一步地，基于每个虹膜图像训练样本的局部二值化图像以及与其相对应的正样本标签或负样本标签，分别对深度学习网络模型进行迭代训练。

进一步地，将虹膜图像训练样本的局部二值化图像的尺寸与经过图像处理后的待测局部二值化图像的尺寸保持一致，这样能够获取到更为精确的待测对象识别结果，增加深度学习网络模型的鲁棒性。

本发明实施例提供的基于深度学习的美瞳识别方法，通过对虹膜图像进行图像处理转换成局部二值化图像，输入至训练好的深度学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

基于上述实施例的内容，如图2所示，作为一种可选实施例，本实施例提供的深度学习网络模型至少包括但不限于：

依次连接的至少五个卷积层(conv 1-conv 5)、第一残差网络块(Resnet Block1)、第二残差网络块(Resnet Block 2)、两个全连接层(FC 1-FC2)以及一个分类器；

其中，卷积层的卷积核大小均为3*3，在每个卷积层之后均连接有一个均值池化层(pool 1-pool 5)，该均值池化层的池化核大小为3*3，步长为2；上述分类器为softmax分类器；本实施例提供的深度学习网络模型中的损失函数为交叉熵损失函数；

上述第一残差网络块包括依次连接的两个1*1卷积层、一个3*3卷积层和一个池化层；第二残差网络块包括依次连接的两个1*1卷积层和一个3*3卷积层。

其中，前五个卷积层用于提取接收到的所述局部二值化图像的特征图；每个卷积层后的均值池化层用于对接收的特征图进行尺寸的变换。在本实施例中通过设置五个卷积层，以完成对局部二值化图像的特征提取，能够有效的防止欠拟合的发生，且能够提高建立的新模型的鲁棒性。由为了加深网络的层数，减少参数量，提高训练的稳定性和容易性，，在上述五个卷积层之后，通过设计增加了两个残差网络块，其中，第一残差网络块(Resnetblock 1)，由两个1x1的卷积层、一个3x3的卷积层和一个池化层依次连接组成；第二残差网络块(Resnet block 2)，在上述第一残差网络块的基础上去除掉了池化层。最后，通过两个全连接层对上述卷积层输出的局部二值化图像的特征图进行处理，转换成一维向量，并通过分类器输出层，即softmax分类器输出待测对象识别结果。

进一步地，为了提高建立的新模型的鲁棒性，在增加的两个连接层中应用dropout单元，以防止模型过拟合的出现。

本发明实施例提供的基于深度学习的美瞳识别方法中建立的深度学习网络模型，通过建立深度学习网络，使其更迎合与应用于适合美瞳识别的环境领域，有效的提高了对于有无佩戴美瞳的检测精度，防止过拟合以及欠拟合的出现，并提高了鲁棒性。

基于上述实施例的内容，作为一种可选实施例，在将待测局部二值化图像输入至深度学习网络模型之前，还包括但不限于以下步骤：

步骤S31，获取多个眼睛区域图像训练样本，并获取与每个眼睛区域图像训练样本对应的虹膜图像训练样本，以组建训练样本集；

步骤S32，将训练样本集中的所有虹膜图像训练样本划分为训练正样本集和多个训练负样本子集；通过聚类运算，将训练正样本集划分为多个训练正样本子集；

步骤S33，分别将每个训练负样本子集以及训练正样本子集中的虹膜图像训练样本转换成局部二值化图像，获取多个局部二值化图像负样本子集和多个局部二值化图像正样本子集；

步骤S34，将每个局部二值化图像负样本子集或局部二值化图像正样本子集中的局部二值化图像作为深度学习网络模型的输入，实现对深度学习网络模型的迭代训练；

其中，训练负样本是基于所述训练样本集中佩戴了美瞳的虹膜图像训练样本获取的，训练正样本是基于训练样本集中未佩戴美瞳的虹膜图像训练样本获取的。

需要说明的是，在本发明实施例中，首先可以根据佩戴美瞳与未佩戴美瞳所造成的虹膜图像的明显的特征变化的不同，将虹膜图像训练样本划分为虹膜图像训练正样本和虹膜图像训练负样本。具体地，是通过将未佩戴美瞳的虹膜样本作为虹膜图像的训练正样本，以佩戴有美瞳的美瞳样本作为训练用的负样本，并分别归类、组建成一个训练正样本集和一个训练负样本集。

进一步的，在本发明实施例中为提高本发明实施例中深度学习网络模型的分析效果，使其能够在完成对象识别时能够获取高精度的识别结果，按照美瞳的花色图案的多样性，可以将上述训练负样本集按照美瞳的花色图案的不同划分为多个训练负样本子集。

例如，可以划分为：格子纹理负样本子集、点状纹理负样本子集、深色花纹纹理子集等。其中格子纹理是指虹膜图像中包含有大量的格子状的纹路，点状纹理是指虹膜图像中包含有大量点状的纹路，而深色花纹纹理是指虹膜图像中包含有大量深色花纹的纹路；其中大量的程度是相对而言的。

进一步的，在对为佩戴美瞳的虹膜图像进行分析发现不同人之间的虹膜纹理也存在着较大的差别，比如黄种人和白种人中间的差异，有的虹膜图像纹理偏淡、而有的人虹膜图案片深色等等，可以进一步对为佩戴美瞳的训练正样本集进行进一步的划分，划分为多个训练正样本子集，每一个训练正样本子集具有共同的特征，而该共同特征确区别与其他的训练正样本子集的共同特征。

进一步地，分别利用不同的训练负样本子集作为负样本，以不同的训练正样本子集作为正样本，对深度学习网络模型进行训练。具体地，如图4所示，在其中训练阶段部分，可以预先收集采集各类人群的眼睛区域图像作为眼睛区域图像训练样本，经过图像处理，包括对该眼睛区域图像训练样本进行虹膜区域(ORI区域)定位截取，以提取出每个眼睛区域图像训练样本中的虹膜图像，

其中，可以对上述虹膜图像进行图像预处理，比如进行图像去噪以及调整图像尺寸等等，其中降噪处理的方式可以是利用像素赋值法进行降噪处理。

将处理后获取到的所有虹膜图像组建训练样本集，然后对上述训练样本集进行分类，具体地可以分为多个负样本子集和多个正样品集，为描述方便，以下将以三个负样本子集以及两个正样品集这一分割方式为例进行说明，但不视为对本发明实施例保护范围的限定。对上述五个样本子集分别进行如下操作：

首先，将每个样本集合中的每个虹膜图像转换成LBP图像，形成五个LBP图像样本子集，将分类号的五个图像样本子集分别作为深度学习网络模型的输入，迭代完成对深度学习网络模型的训练。例如：将格子纹理负样本子集合中的任一虹膜图像作为训练样本的输入，通过网络模型的训练，使其对应的输出结果标签与预先打好的标签相同，显示为有佩戴美瞳，且美瞳的花色为格子纹理。

进一步的，我们将每一个不同的训练负样本子集合以及每个不同的训练正样本子集合的标签进行预先设置设置为不同的数值。

需要说明的是，训练集样本的标签是预先标记的，在本发明实施例中利用深度网络模型的迭代预训练过程，使分类器的输出结果与预先对训练集图像设置的标签结果最大可能的相同。比如，针对训练集图像A，事先打好的标签为1，通过深度网络模型训练，使该图像A在分类器上对应标签1的输出分数为所有输出分数中最大。具体地，比如对应标签0的输出为0.1分，对应标签1的输出为0.7分，对应标签2的输出为0.1分，对应标签3的输出为0.1分，此时深度网络模型识别判定图片A是标签1的图片，并且分数越大，说明该分数所对应的标签结果可能性越高。

在实际检测过程中，在将任意一个眼睛区域图像进行处理后，获取到虹膜矩形图像，输入至深度学习网络模型后，获取到由该迁移学习网络模型输出的所有类别的可能性打分，比较相应分数的大小，得到最大分数所对应的标签值，根据该标签值可以判断出上述虹膜矩形图像是与正训练样本集合对应还是与正训练样本集合对应，以获取最终的对象识别结果(即判断出上述眼睛区域图像是否佩戴有美瞳)。需要说明的是，上述范围及数值的设定仅作为一种实施例进行说明，不视为对本实施例保护范围的限定。需要说明的是，上述范围及数值的设定仅作为一种实施例进行说明，不视为对本实施例保护范围的限定。

进一步地，由于美瞳的使用，虹膜图像采集困难等问题，导致采集的虹膜图像大多是小数量集的训练图像。而针对小规模的训练集，当训练数据不足时，模型从原始数据中获取的信息比较少，很容易导致在训练阶段效果很好，在测试阶段效果很差的欠拟合现象。

在本发明实施例提供的基于深度学习的美瞳识别方法中，在获取到多个训练正样本子集以及多个训练负样本子集后，对每一个样本集中的数据进行Y轴对称变换和高斯滤波处理，以增加训练集的数量。

需要说明的是，也可以采用其他的方式进行训练集的增加，利用数据翻转、X轴对称等，但考虑到眼睛区域图像所转换成的虹膜图像结构上的特性，例如眼睑遮盖区域的Y轴对称、但X轴不对称性等，通过使用Y轴对称变换和高斯滤波处理，以增加训练集的数量，能够在降低欠拟合概率的同时，保证所建立的深度学习网络模型的鲁棒性。

基于上述实施例的内容，作为一种可选实施例，其中，所述通过聚类运算，将训练正样本集划分为多个训练正样本子集，包括：

采用K-means算法对所述训练正样本集中的每个虹膜图像训练样本进行聚类，以将所述训练正样本集划分为多个训练正样本子集，其中K-means算法中的K值为所述正样本子集的个数。

具体地，在采用K-means算法对训练正样本集中的每个虹膜图像训练样本进行聚类运算，包括：先根据预设的正样本子集的个数确定K值，即将K值设为正样本子集的个数，然后在所述正样本子集中随机选取K个数据作为初始中心点，分别计算该正样本子集中每个数据距离K个初始中心的距离值，并根据距离值的大小，重新确定出新的中心点。按上述步骤进行迭代训练，直至正样本子集中的每个数据与其最近的初始中心的距离小于设定阈值时，停止迭代，完成收敛的过程。最后，将K个中心所包含的数据分别作为一个子集，则最终获取到多个训练正样本子集。

进一步地，也可以利用上述方法对每个训练负样品进行更进一步的划分。

本发明实施例提供的基于深度学习的美瞳识别方法，利用K-means算法对训练样本集进行划分为多个样品子集，并利用不同的样品子集完成对于深度学习网络的训练，有效的提高了检测结果的精度。

基于上述实施例的内容，作为一种可选实施例，上述获取待测眼睛区域图像的待测虹膜图像，包括：以待测眼睛区域图像的瞳孔中心为圆心，以虹膜的外边缘距离圆心的距离的两倍加预设像素作为边长，获取正方形的采样图像；将采样图像缩放至预设尺寸，获取待测虹膜图像。

如图3所示，其中图3-1是随机获取的眼睛区域图像，图3-2是根据图3-1中的眼睛区域图像所获取的虹膜图像。通过图3-1获取到图3-2的步骤，具体地可以是：假设获取到的图3-1的推向大小为640*480，以图3-1中的瞳孔中心作为圆心，由于虹膜的整个外边缘的形状为一个以通孔中心为圆心的近似圆形，获取该圆形的半径值(即至圆心的距离)或直径值之后，将该半径值加上五个像素值后(此时的预设像素值为10)，或者以直径值加上10个像素值所获取的像素值作为边长，在该眼睛区域图像中截取出正方形的图像，其中正方形的重心与该圆心相重合。

进一步地，可以将获取的正方形的图像进行尺寸的变换，使由所有最终获取到的正方形的采样图像的尺寸相统一，以最大程度的提高深度学习网络模型的鲁棒性。

基于上述实施例的内容，结合图3所示，作为一种可选实施例，在将所述采样图像缩放至预设尺寸之后，还包括但不限于：对采样图像中的瞳孔区域进行像素赋值，所述赋值为0；对采样图像中的眼睑遮挡区域以及除所述瞳孔区域以外的区域进行赋值像素赋值，所述赋值为255。

具体地，由于在上一步骤中获取到的虹膜图像中包含有较多的干扰信息，例如：拍摄时瞳孔受光线的影响所出现的反光、上下眼睑遮挡住了部分眼睛区域图像，在虹膜区域周边有其他的因素干扰(例如血丝)等等都会影响训练及检测的效果。为了克服上述不足，在本发明实施例提供的美瞳识别方法中，在获取到

获取到的采样图像后，对该采样图像中的不同区域进行像素赋值，以明确个区域的范围，可以有效的提高了对深度学习网络模型的训练效果。

需要说明的是，在本实施例中是将瞳孔区域赋值为最小值0，将眼睑遮挡区域以及除所述瞳孔区域以外的区域赋值为最大值255，但也可将上述不同的区域进行不同的赋值，对此本实施例不一一赘述，但均视为本发明实施例的保护范围。

基于上述实施例的内容，作为一种可选实施例，其中对待测虹膜图像进行图像处理后，获取待测局部二值化图像，包括但不限于：

获取计算所述待测虹膜图像的局部二值化值，并基于所述局部二值化值对所述待测虹膜图像进行图像处理后，获取所述待测局部二值化图像。

具体地，如图3中的图3-3所示，在获取到待测虹膜图像或者样品虹膜图像后，均可以通过局部二值化算法，通过对虹膜图像进行数字化处理，例如逐点局部二值化方法，为所述虹膜图像中的每一个像素设定对应的分割阈值，并根据分割阈值来判断该像素点的像素取值，能够在充分展现图像的细节的同时，对虹膜图像进行特征数目的减少，提高所建立的深度学习网络的收敛性。

如图5所示，本发明实施例还提供一种基于深度学习的美瞳识别系统，包括但不限于以下结构：眼睛区域图像采集单元51、图像提取单元52、图像处理单元53以及图像运算单元54，其中：

眼睛区域图像采集单元51，用于获取待测对象的待测眼睛区域图像；

图像提取单元52，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元53，用于对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；

图像运算单元54，其中存储有深度学习网络模型，用于接收所述待测局部二值化图像，并将所述待测局部二值化图像输入至所述深度学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，所述检测对象结果标签是根据所述虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

具体地，如图4所示，在测试阶段(如下所述的测试即为检测)，首先对测试图像进行虹膜区域(ORI区域)的定位获取后，获取到测试虹膜图像。然后，可以对瞳孔区域和眼睑遮挡区域进行像素赋值后，对赋值后获取的图像进行图像的缩放，以获取到固定尺寸的虹膜图像。

进一步地，对上一步获取到的虹膜图像进行LBP计算，以将所述虹膜图像转换成LBP图像。

进一步地，将上述LBP图像输入至预先训练完成的深度学习网络模型中，获取到该深度学习网络模型的输出结果。

例如，当上述训练集前三类为负样品子集，后两类为正样品子集。将测试图像输入到已经训练好的网络模型中，分类器输出的五个结果中得分最高的对应标签，为该图像的检测结果，如果最高得分结果在前三类中，则判断为佩戴了美瞳，如果最高得分在后两类中，则输出结果为未佩戴美瞳。本发明实施例提供的基于深度学习的美瞳识别系统，通过对虹膜图像进行图像处理转换成局部二值化图像，输入至训练好的深度学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测局部二值化图像；将所获取的待测局部二值化图像输入至深度学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；其中，深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，检测对象结果标签是根据虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测局部二值化图像；将所获取的待测局部二值化图像输入至深度学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；

其中，深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，检测对象结果标签是根据虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的美瞳识别方法，其特征在于，包括：

获取待测对象的待测眼睛区域图像；

获取所述待测眼睛区域图像的待测虹膜图像；

对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；

将所述待测局部二值化图像输入至深度学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，所述检测对象结果标签是根据所述虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

2.根据权利要求1所述的基于深度学习的美瞳识别方法，其特征在于，所述深度学习网络模型至少包括：

依次连接的至少五个卷积层、第一残差网络块、第二残差网络块、两个全连接层以及一个分类器；

所述卷积层的卷积核大小均为3*3，在每个所述卷积层之后均连接有一个均值池化层，所述均值池化层的池化核大小为3*3，步长为2；所述分类器为softmax分类器；所述深度学习网络模型的损失函数为交叉熵损失函数；

所述第一残差网络块包括依次连接的两个1*1卷积层、一个3*3卷积层和一个池化层；

所述第二残差网络块包括依次连接的两个1*1卷积层和一个3*3卷积层。

3.根据权利要求1所述的基于深度学习的美瞳识别方法，其特征在于，在将所述待测局部二值化图像输入至深度学习网络模型之前，还包括：获取多个眼睛区域图像训练样本，并获取与每个所述眼睛区域图像训练样本对应的虹膜图像训练样本，以组建训练样本集；

将所述训练样本集中的所有虹膜图像训练样本划分为训练正样本集和多个训练负样本子集；通过聚类运算，将所述训练正样本集划分为多个训练正样本子集；

分别将每个所述训练负样本子集以及训练正样本子集中的虹膜图像训练样本转换成局部二值化图像，获取多个局部二值化图像负样本子集和多个局部二值化图像正样本子集；

将每个所述局部二值化图像负样本子集或所述局部二值化图像正样本子集中的局部二值化图像作为所述深度学习网络模型的输入，实现对所述深度学习网络模型的迭代训练；

其中，所述训练负样本是基于所述训练样本集中佩戴了美瞳的虹膜图像训练样本获取的，所述训练正样本是基于所述训练样本集中未佩戴美瞳的虹膜图像训练样本获取的。

4.根据权利要求3所述的基于深度学习的美瞳识别方法，其特征在于，所述通过聚类运算，将所述训练正样本集划分为多个训练正样本子集，包括：

采用K-means算法对所述训练正样本集中的每个虹膜图像训练样本进行聚类，以将所述训练正样本集划分为多个训练正样本子集，其中K-means算法中的K值为所述训练正样本子集的个数。

5.根据权利要求1所述的基于深度学习的美瞳识别方法，其特征在于，所述获取所述待测眼睛区域图像的待测虹膜图像，包括：

以所述待测眼睛区域图像的瞳孔中心为圆心，以虹膜的外边缘距离所述圆心的距离加预设像素作为边长，获取正方形的采样图像；

将所述采样图像缩放至预设尺寸，获取所述待测虹膜图像。

6.根据权利要求5所述的基于深度学习的美瞳识别方法，其特征在于，在将所述采样图像缩放至预设尺寸之后，还包括：

对所述采样图像中的瞳孔区域进行像素赋值，所述赋值为0；

对所述采样图像中的眼睑遮挡区域以及除所述瞳孔区域以外的区域进行像素赋值，所述赋值为255。

7.根据权利要求1所述的基于深度学习的美瞳识别方法，其特征在于，所述对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像，包括：

获取所述待测虹膜图像的局部二值化值，并基于所述局部二值化值对所述待测虹膜图像进行图像处理后，获取所述待测局部二值化图像。

8.一种基于深度学习的美瞳识别系统，其特征在于，包括：

眼睛区域图像采集单元，用于获取待测对象的待测眼睛区域图像；

图像提取单元，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元，用于对所述待测虹膜图像进行图像处理后，获取待测局部二值化图像；

运算单元，其中存储有深度学习网络模型，用于接收所述待测局部二值化图像，并将所述待测局部二值化图像输入至所述深度学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述深度学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的，所述检测对象结果标签是根据所述虹膜图像训练样本预先确定的，并与所述样本图像一一对应。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于深度学习的美瞳识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于深度学习的美瞳识别方法的步骤。

Images