CN110991223B - 一种基于迁移学习的美瞳识别方法及系统 - Google Patents

Abstract

本发明实施例提供一种基于迁移学习的美瞳识别方法及系统，该方法包括：获取待测对象的待测眼睛区域图像；获取所述待测眼睛区域图像的待测虹膜图像；对所述待测虹膜图像进行图像处理后，获取待测矩形图像；将所述待测矩形图像输入至迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；其中，所述迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。本发明实施例提供的基于迁移学习的美瞳识别方法及系统，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

Description

一种基于迁移学习的美瞳识别方法及系统

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于迁移学习的美瞳识别方法及系统。

背景技术

目前，人工智能技术(AI技术)已经成为了各行各业突破行业技术瓶颈的热门技术，其中AI领域中的生物特征识别技术在例如网上购物付款、乘坐公共交通、旅游住宿等方面的运用，为人们的生活提供了更加安全的保障和全方位的服务以及更加便捷和舒适的使用体验。

由于人脸识别技术容易受光照条件、化妆、孪生等因素影响；而指纹识别具有指纹容易复制，且指纹痕迹容易留存；声纹识别也容易遭受声音盗录，变音等因素影响，因此，均存在不可克服的缺陷。虹膜作为人体唯一外部可见的内部器官，具有相互交错的细丝、条纹、冠状、斑点、隐窝等细节特征，具有唯一性、防伪性，虹膜识别技术被认为是应用最方便最安全的生物识别技术。

虹膜识别技术是通过匹配已预先存储的注册人的虹膜信息，来识别身份信息。可用于监控、支付、智能识别等领域。为了保证身份识别的安全性和准确性，必须要求在虹膜采集注册和识别过程中确保虹膜未受到外部条件干扰，尤其是彩色隐形眼睛(简称美瞳)的干扰。如果用户在采集注册过程中佩戴了美瞳，采集的实际信息将不是该用户独一无二的虹膜特征信息，不仅会污染采集库，也会对识别结果产生不利影响，因此，有必要在进行虹膜识别之前，先确定待测对象是否佩戴美瞳。

目前对于美瞳的检测技术，大多是利用传统的图像处理方法，如提取灰度共生矩阵，LBP(局部二值化)向量特征等来进行识别，该类方法不能够适用于大范围的应用场景，实际工程应用中不同光照环境影响拍摄的图像，以及不同花色纹理的美瞳图案，均会对该类传统方法的效果产生影响，造成上述算法的识别率较低，鲁棒性较差。

发明内容

本发明实施例提供一种基于迁移学习的美瞳识别方法及系统，用以解决现有技术中对于美瞳检测的识别率低、检验算法鲁棒性差的缺陷。

第一方面，本发明实施例提供一种基于迁移学习的美瞳识别方法，包括：

获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测矩形图像；将所获取的待测矩形图像输入至迁移学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；

其中，迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

进一步地，本实施例提供的基于迁移学习的美瞳识别方法，该迁移学习网络模型，具体包括：以去除VGG16网络结构模型的后三个连接层后，保留的前13个卷积层为基础，依次增加两个卷积层、一个最大池化层、两个全连接层以及一个softmax分类器，并在增加的两个全连接层之间增加一个dropout单元。

进一步地，在将待测矩形图像输入至迁移学习网络模型之前，还包括：

获取多个眼睛区域训练样本，并获取与每个眼睛区域训练样本对应的虹膜图像训练样本，以组建训练样本集；对训练样本集中的每个虹膜图像训练样本进行归一化处理之后，获取样本矩形图像；将每个样本矩形图像作为迁移学习网络模型的输入，以与每个虹膜图像训练样本相对应的检测对象结果标签分数作为输出，通过优化损失函数实现对迁移学习网络模型的迭代训练；其中，上述虹膜图像训练样本包括虹膜图像训练正样本和虹膜图像训练负样本；虹膜图像训练负样本是基于训练样本集中的美瞳样本获取的，虹膜图像训练正样本是基于训练样本集中的虹膜样本获取的。

进一步地，上述对所述训练样本集中的每个虹膜图像训练样本进行归一化处理，包括：获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像；对每个矩形图像进行像素变换，使每个矩形图像的像素值均映射至预设像素值范围；对经过像素变换后的矩形图像数据值进行归一化处理，获取样本矩形图像。

进一步地，上述获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像，转换公式为：

其中，P*Q为所述矩形图像的预设大小，其中P为宽度值，Q为高度值，(x_r，y_r)为半径为r的瞳孔圆心坐标，(x_R，y_R)为半径为R的虹膜圆心坐标。

进一步地，上述对每个所述矩形图像进行像素变换的计算公式为：

其中，(L1-L2)为预设像素范围，min为矩形图像中的点像素最小值，max为矩形图像中的点像素最大值，m为矩形图像进行像素变换前的像素值，M为矩形图像进行像素变换后的像素值。

进一步地，上述对经过像素变换后的矩形图像进行归一化处理中，所述归一化处理的计算公式为：

I_i＝(I_i-L1)/(L2-L1)

其中，I_i为经过归一化处理后的矩形图像中索引位置为i处的像素值。

第二方面，本发明实施例还提供一种基于迁移学习的美瞳识别系统，包括：瞳孔图像采集单元、图像提取单元、图像处理单元以及图像运算单元，其中：

瞳孔图像采集单元，用于获取待测对象的待测眼睛区域图像；

图像提取单元，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元，用于对所述待测虹膜图像进行图像处理后，获取待测矩形图像；

图像运算单元，其中存储有迁移学习网络模型，用于接收所述待测矩形图像，并将所述待测矩形图像输入至所述迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现如上述第一方面任一项所述基于迁移学习的美瞳识别方法的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一项所述基于迁移学习的美瞳识别方法的步骤。

本发明实施例提供的基于迁移学习的美瞳识别方法及系统，通过设置虹膜图像训练正样本和虹膜图像训练负样本，对经过改进的迁移学习网络模型进行训练，并结合对训练样本以及待检测瞳孔图像的归一化处理后输入至训练完成的迁移学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于迁移学习的美瞳识别方法流程示意图；

图2为本发明实施例提供的迁移学习网络模型的结构示意图；

图3为本发明实施例提供的一种基于迁移学习的美瞳识别方法流程总体示意图；

图4为本发明实施例提供的一种基于迁移学习的美瞳识别系统的结构示意图；

图5为本发明实施例提供的一种电子设备的实体结构示意图.

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

虹膜识别技术是基于眼睛中的虹膜进行身份识别，可以应用于安防设备(如门禁等)，以及有高度保密需求的场所等。由于人的眼睛结构由巩膜、虹膜、瞳孔晶状体、视网膜等部分组成，其中虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征；而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性和防伪性。因此，完全可以将眼睛的虹膜特征作为每个人的身份识别对象。

但随着美瞳的面世，对于用户在数据采集或识别的过程中使用了美瞳，对虹膜识别技术中的特征识别形成了极大的干扰，导致检测识别率降低甚至无法识别。而现有技术中的针对使用了美瞳的虹膜检测识别技术，不能应用于大范围的应用场景，且不能有效的区分出受光照环境等外部影响，以及不能有效区分呈现不同花色纹理的美瞳图案，致使识别率低下，识别算法的鲁棒性差。

为了解决或部分解决目前在虹膜识别技术上的不足，如图1所示，本发明实施例提供了一种基于迁移学习的美瞳识别方法，包括但不限于以下步骤：

步骤S1，获取待测对象的待测眼睛区域图像；

步骤S2，获取所述待测眼睛区域图像的待测虹膜图像；

步骤S3、对所述待测虹膜图像进行图像处理后，获取待测矩形图像；

步骤S4、将所述待测矩形图像输入至迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果。

其中，本实施例中使用的迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

具体地，本发明实施例步骤S1中，获取待测对象的待测眼睛区域图像的方式可以是，首先利用常见的图像采集设备，比如摄像头、手机拍摄等进行实时获取，也可以利用预先拍摄并存储的包含待测对象面部的图像；然后，从该面部图像中提取出瞳孔特征最明显的瞳孔图像，作为该待测对象的待测眼睛区域图像。

需要说明的是：一方面，本实施例不对包含待测对象面部的图像的尺寸和像素分辨率做出要求，以包含有瞳孔特征，并能够从该图像中提取出待测眼睛区域图像为准；另一方面，本发明实施例也不对采用何种设备进行图像的获取，以及如何从图像中提取出待测眼睛区域图像做出具体地限定。

进一步地，在步骤S2中，对提取出的待测眼睛区域图像进行图像处理，主要是提取出该眼睛区域图像中虹膜特征最明显的待测虹膜图像。该待测虹膜图像的大小可以是640*480或其它常规或不常规的任一尺寸。

进一步地，在步骤S3中，对待测虹膜图像进行适当的图像预处理，一方面可以消除图像中的无关信息、恢复有用的真实信息、增强有关信息的可检测性以及最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性；一般可以采用：空间变换处理或数字变换处理，最终获取到与待测虹膜图像相对应的待测矩形图像。另一方面，也可以是对提取的待测虹膜图像进行预定的尺寸变换，使每次输入至迁移学习网络模型的图片尺寸相同。

相应地，在对迁移学习网络模型进行模型训练时是使用虹膜图像训练样本的样本图像来进行的。在训练之前，可以利用每个虹膜图像训练样本所包含的虹膜特征预先确定出包含佩戴有美瞳以及未佩戴美瞳的检测对象结果标签。其中可以对虹膜的以下特征：交错的细丝、条纹、冠状、斑点、隐窝等进行数字化，例如：按照有无细丝、细丝的条数、细丝的分布位置等等进行数字化后，建立出多个检测对象结果标签。

进一步地，基于每个虹膜图像训练样本的样本矩形图像以及与其相对应的检测对象结果标签分别对迁移学习网络模型进行迭代训练。

进一步地，可以将虹膜图像训练样本的样本矩形图像的尺寸与经过图像处理后的待测矩形图像的尺寸保持一致，这样能够获取到更为精确的待测对象识别结果，增加迁移学习网络模型的鲁棒性。

本发明实施例提供的基于迁移学习的美瞳识别方法，通过对虹膜图像进行图像处理转换成矩形图像，输入至训练好的迁移学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

基于上述实施例的内容，如图2所示，作为一种可选实施例，本实施例提供的迁移学习网络模型，包括但不限于以下结构：

以去除VGG16网络结构模型的后三个连接层后，保留的前13个卷积层为基础，依次增加两个卷积层、一个最大池化层、两个全连接层以及一个softmax分类器，并在增加的两个所述全连接层之间增加一个dropout单元。

由于美瞳的使用，虹膜图像采集困难等问题，导致采集的虹膜图像大多是小数量集的训练图像。而针对小规模的训练集，当训练数据不足时，模型从原始数据中获取的信息比较少，很容易导致在训练阶段效果很好，在测试阶段效果很差的过拟合现象。

一方面，要保证模型的效果，就需要更多的先验信息，运用经典网络作为图像特征提取器可以有效提取更多的特征先验信息，如图2所示，本发明实施例中的迁移学习网络模型，是基于的经典VGG16网络结构模型，其中该VGG16网络结构模型的各网络结构参数已经被训练完成，这样设置可以有效的减少待建神经网络的训练时间。

另一方面，由于不同设备传感器采集的图像，会出现很多不确定性的内在属性，迁移学习网络模型如果设计的不够理想，网络学习的图像特征有可能学习到的是偏向传感器属性的“黑盒”特征，而并不是迁移学习网络模型预学习的特征，因此，运用预先训练好的VGG16网络结构模型的一部分作为图像特征提取器，可以有效的改善这一方面问题，其中网络模型参数大多聚集在第一层全连接层上。

再者，通过利用已经训练好的VGG16网络结构模型能够有效的增加网络层数及深度，防止欠拟合现象的出现。

进一步地，为了使该VGG16模型运用到适合美瞳识别的环境领域，本实施例通过保留该VGG16网络结构模型的的卷积层参数不变，即保持前13层不变而删除位于后面的3个连接层，作为图像特征提取器。同时，为了保证建立的新的网络模型能够适用于美瞳检测的应用场景，在上述图像特征提取器后依次增加两个卷积层和两个全连接层作为待训练模型层。

进一步地，为了提高建立的新模型的鲁棒性，在增加的两个连接层中应用dropout单元，以防止模型过拟合的出现。

进一步地，在增加的两个卷积层后增加一个最大池化层，缩小特征图尺寸的同时，增加了网络的深度，提升了网络的鲁棒性。其中，最大池化层的池化核的大小可以设置为3*3。

本发明实施例提供的基于迁移学习的美瞳识别方法中建立的迁移学习网络模型，是通过对经典VGG16网络结构模型进行改造后，使其更迎合与应用于适合美瞳识别的环境领域，有效的提高了输出的精度，防止过拟合以及欠拟合的出现，并提高了鲁棒性。

基于上述实施例的内容，作为一种可选实施例，在将所述待测矩形图像输入至迁移学习网络模型之前，还包括但不限于以下步骤：

步骤S31，获取多个眼睛区域图像训练样本，并获取与每个眼睛区域图像训练样本对应的虹膜图像训练样本，以组建训练样本集；

步骤S32，对训练样本集中的每个虹膜图像训练样本进行归一化处理之后，获取样本矩形图像；

步骤S33，将所述样本矩形图像作为迁移学习网络模型的输入，以与每个虹膜图像训练样本相对应的检测对象结果标签作为输出，通过优化损失函数实现对迁移学习网络模型的迭代训练。

其中，虹膜图像训练样本包括虹膜图像训练正样本和虹膜图像训练负样本；虹膜图像训练负样本是基于训练样本集中的美瞳样本获取的，虹膜图像训练正样本是基于训练样本集中的虹膜样本获取的。

需要说明的是，在本发明实施例中，根据佩戴美瞳与未佩戴美瞳所造成的虹膜图像的特征变化的不同，将虹膜图像训练样本划分为虹膜图像训练正样本和虹膜图像训练负样本。具体地，是通过将未佩戴美瞳的虹膜样本作为虹膜图像训练正样本，以佩戴有美瞳的美瞳样本作为训练用的负样本，并完成对迁移学习网络模型的训练。

进一步的，在本发明实施例中为提高本发明实施例中迁移学习网络模型的分析效果，使其能够在完成对象识别时能够获取高精度的识别结果，按照美瞳的花色图案的多样性，可以将上述虹膜图像训练负样本按照美瞳的花色图案的不同划分为多个集合。

具体地，在本实施中提供了一种虹膜图像的划分方法，包括，按照有无佩戴美瞳划分为两大集合，即佩戴有美瞳的虹膜图像训练负样本集合以及未佩戴美瞳的虹膜图像训练正样本集合。并进一步的将佩戴有美瞳的虹膜图像训练负样本集合划分为多个训练负样本子集合，例如：格子纹理负样本子集合、点状纹理负样本子集合、深色花纹纹理子集合等。其中格子纹理是指虹膜图像中包含有大量的格子状的纹路，点状纹理是指虹膜图像中包含有大量点状的纹路，而深色花纹纹理是指虹膜图像中包含有大量深色花纹的纹路；其中大量的程度是相对而言的。

进一步地，分别利用不同的训练负样本子集合作为负样本，以虹膜图像训练正样本集合作为正样本对迁移学习网络模型进行训练。具体地，如图4所示，在其中训练阶段部分，可以预先收集采集各类人群的眼睛区域图像作为眼睛区域图像训练样本，经过图像处理，提取出每个眼睛区域图像训练样本中的虹膜图像，组建训练样本集。

然后对上述训练样本集进行分类，具体地可以分为多个负样本子集合和多个正样品集合，为描述方便，以下将以三个负样本子集合以及一个正样品集合这一分割方式为例进行说明，但不视为对本发明实施例保护范围的限定。对上述四个样本集合分别进行如下操作：

首先，将每个样本集合中的每个虹膜图像训练样本进行归一化处理之后，变成同一尺寸和大小的图片，作为迁移学习网络模型的输入，在获取迁移模型输出的分数后，通过交叉熵损失函数优化，反向传播训练最优的模型参数，迭代完成对迁移学习网络模型的训练。

需要说明的是，训练集样本的标签是预先标记的，在本发明实施例中利用迁移网络模型的迭代预训练过程，使分类器的输出结果与预先对训练集图像设置的标签结果最大可能的相同。比如，针对训练集图像A，事先打好的标签为1，通过迁移网络模型训练，使该图像A在分类器上对应标签1的输出分数为所有输出分数中最大。具体地，比如对应标签0的输出为0.1分，对应标签1的输出为0.7分，对应标签2的输出为0.1分，对应标签3的输出为0.1分，此时迁移网络模型识别判定图片A是标签1的图片，并且分数越大，说明该分数所对应的标签结果可能性越高。

在实际检测过程中，在将任意一个眼睛区域图像进行处理后，获取到虹膜矩形图像，输入至迁移学习网络模型后，获取到由该迁移学习网络模型输出的所有类别的可能性打分，比较相应分数的大小，得到最大分数所对应的标签值，根据该标签值可以判断出上述虹膜矩形图像是与负训练样本集合对应还是与正训练样本集合对应，以获取最终的对象识别结果(即判断出上述眼睛区域图像是否佩戴有美瞳)。需要说明的是，上述范围及数值的设定仅作为一种实施例进行说明，不视为对本实施例保护范围的限定。

基于上述实施例的内容，作为一种可选实施例，其中，对训练样本集中的每个虹膜图像训练样本进行归一化处理，即步骤S32包括但不限于以下步骤：

S41，获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像；

S42，对每个矩形图像进行像素变换，使每个所述矩形图像的像素值均映射至预设像素范围；

S43，对经过像素变换后的矩形图像的数据值进行归一化处理，获取所述样本矩形图像。

由于获取的训练样本集中的每个虹膜图像为类似于环形的图像，而由于采样对象的各异，导致作为样本的瞳孔图像训练样本的差异性较大，尤其表现在尺寸、像素上。在本实施例提供的基于迁移学习的美瞳识别方法，为了克服训练样本的多样性和差异性，首先，经过步骤S41，提取出每个虹膜图像训练样本中，区别特征最为明显的虹膜环形区域，即位于瞳孔和巩膜之间形成的环形区域，并将该环形区域通过图像处理为矩形图像；并进以一步的将图像处理后的矩形区域进行图像缩放，处理为预设尺寸的矩形图像。

进一步地，在步骤S42中，对步骤S42中获取到的预设尺寸的矩形图像进行像素变换，以完成所有训练样本图片的统一化，以最大程度的提高迁移学习网络模型的鲁棒性。

进一步地，在步骤S43中，对经过像素变换后的矩形图像的数据值再次进行归一化处理，并将处理后的获取的所有样本矩形图像加入至虹膜图像训练样本集。

进一步地，由于虹膜图像训练样本被预先划分为了不同的正样本和负样本，此时，获取的虹膜图像训练样本集被划分为至少一个虹膜图像训练正样本集合和多个虹膜图像训练负样本集合。最后，分别利用上述虹膜图像训练正样本集合和虹膜图像训练负样本集合完成对迁移学习网络模型的迭代训练。

基于上述实施例的内容，作为一种可选实施例，其中，步骤S41中，获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像，转换公式可以为：

其中，P*Q为矩形图像的预设大小，其中P为宽度值，Q为高度值，(x_r，y_r)为半径为r的瞳孔圆心坐标，(x_R，y_R)为半径为R的虹膜圆心坐标，i为所述虹膜环形区域的每个像素点在矩形图像中索引位置的编号，L_i为所述虹膜环形区域每个像素点所在的环形的半径。

例如，矩形图像的预设大小可以设置为256*64，即将每个虹膜图像训练样本中包含的虹膜环形区域均利用即坐标的方式转换成大小为256*64的矩形图像。在展开过程中每一个虹膜环形区域的的每一个环形的半径为L_i则i的取值为1,2…64，圆心为(x_i，y_i)(i＝1，2，...64)，极坐标的计算公式为：

进一步地，由于在图像采集的过程中，部分虹膜图像会被眼睑遮挡，导致虹膜环形区域中也有部分被眼睑遮挡，为克服上述不足，在获取到矩形图像后，将被眼睑遮挡部分进行赋值，如统一赋值为128。

基于上述实施例的内容，作为一种可选实施例，在步骤42中，对每个虹膜图像训练样本进行图像处理，获取到预设大小的矩形图像后，对每个矩形图像进行像素变换的计算公式可以为：

其中，(L1-L2)为所述预设像素范围，min为所述矩形图像中的点像素最小值，max为所述矩形图像中的点像素最大值，m为所述矩形图像进行像素变换前的像素，M为所述矩形图像进行像素变换后的像素。

其中L1可以设置为64，L2可以设置为192，即公国上述像素变换公式，对每个矩形图片的像素进行统一。

基于上述实施例的内容，作为一种可选实施例，在步骤S43中，对经过像素变换后的矩形图像进行归一化处理中，归一化处理的计算公式可以为：

I_i＝(I_i-L1)/(L2-L1)

其中，I_i为所述经过归一化处理后的矩形图像中索引位置为i处的像素。

基于上述实施例的内容，作为一种可选实施例，在对待测虹膜图像进行图像处理后输入至迁移学习网络模型中之前，还包括：

对待测虹膜图像的进行所述归一化处理后，将归一化处理后的待测虹膜图像输入至迁移学习网络模型中。

如图3所示，在测试阶段，为了所获取到的待测对象识别结果更加的准确，对获取的待测虹膜图像也进行上述实施例所记载的图像处理，包括：将待测虹膜图像对应的环形虹膜区域进行展开获取到预设大小的矩形图像、对展开的矩形图像进行像素变换，使该矩形图像与训练样本的矩形图像的像素范围相同或相近、然后，再进行归一化处理。

最后，才将与待测虹膜图像对应的归一化处理后的矩形图像输入至已经训练完成的迁移学习网络模型中，获取到分类结果。由于迁移学习网络模型中最大池化层以及softmax分类器的存在，可以根据左后的分类结果还可以判断出待测对象是否佩戴有美瞳。

如图4所示，本发明实施例还提供一种基于迁移学习的美瞳识别系统，包括但不限于以下结构：瞳孔图像采集单元41、图像提取单元42、图像处理单元43以及图像运算单元44，其中：

瞳孔图像采集单元41，用于获取待测对象的待测眼睛区域图像；

图像提取单元42，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元43，用于对所述待测虹膜图像进行图像处理后，获取待测矩形图像；

图像运算单元44，其中存储有迁移学习网络模型，用于接收所述待测矩形图像，并将所述待测矩形图像输入至所述迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

本发明实施例提供的基于迁移学习的美瞳识别方法，通过对虹膜图像进行图像处理转换成矩形图像，输入至训练好的迁移学习网络模型，获取待测对象识别结果，有效的提高了美瞳检测的识别率和检验算法的鲁棒性。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测矩形图像；将所获取的待测矩形图像输入至迁移学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；其中，迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取待测对象的待测眼睛区域图像；获取该待测眼睛区域图像的待测虹膜图像；对该待测虹膜图像进行图像处理后，获取待测矩形图像；将所获取的待测矩形图像输入至迁移学习网络模型，获取与该待测眼睛区域图像相对应的待测对象识别结果；

其中，迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于迁移学习的美瞳识别方法，其特征在于，包括：

获取待测对象的待测眼睛区域图像；

获取所述待测眼睛区域图像的待测虹膜图像；

对所述待测虹膜图像进行图像处理后，获取待测矩形图像；

将所述待测矩形图像输入至迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的；

所述迁移学习网络模型包括：

以去除VGG16网络结构模型的后三个连接层后，所保留的前13个卷积层为基础，依次增加两个卷积层、一个最大池化层、两个全连接层以及一个softmax分类器，并在增加的所述两个全连接层之间增加一个dropout单元。

2.根据权利要求1所述的基于迁移学习的美瞳识别方法，其特征在于，在将所述待测矩形图像输入至迁移学习网络模型之前，还包括：获取多个眼睛区域图像训练样本，并获取与每个所述眼睛区域图像训练样本对应的虹膜图像训练样本，以组建训练样本集；

对所述训练样本集中的每个虹膜图像训练样本进行归一化处理之后，获取样本矩形图像；

将每个所述样本矩形图像作为所述迁移学习网络模型的输入，以与所述每个虹膜图像训练样本相对应的检测对象结果标签分数作为输出，通过优化损失函数实现对所述迁移学习网络的迭代训练；

其中，所述虹膜图像训练样本包括虹膜图像训练正样本和虹膜图像训练负样本；所述虹膜图像训练负样本是基于所述训练样本集中的美瞳样本获取的，所述虹膜图像训练正样本是基于所述训练样本集中的虹膜样本获取的。

3.根据权利要求2所述的基于迁移学习的美瞳识别方法，其特征在于，所述对所述训练样本集中的每个虹膜图像训练样本进行归一化处理，包括：

获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像；

对每个所述矩形图像进行像素变换，使每个所述矩形图像的像素值均映射至预设像素范围；

对经过像素变换后的矩形图像的数据值进行归一化处理，获取所述样本矩形图像的特征数据。

4.根据权利要求3所述的基于迁移学习的美瞳识别方法，其特征在于，所述获取每个虹膜图像训练样本中包含的瞳孔和巩膜之间形成的虹膜环形区域，并利用极坐标方式展开成预设大小的矩形图像，转换公式为：

其中，P*Q为所述矩形图像的预设大小，其中P为宽度值，Q为高度值，(x_r，y_r)为半径为r的瞳孔圆心坐标，(x_R，y_R)为半径为R的虹膜圆心坐标，i为所述虹膜环形区域的每个像素点在矩形图像中索引位置的编号，L_i为所述虹膜环形区域每个像素点所在的环形的半径。

5.根据权利要求3所述的基于迁移学习的美瞳识别方法，其特征在于，所述对每个所述矩形图像进行像素变换的计算公式为：

其中，(L1-L2)为所述预设像素范围，min为所述矩形图像中的点像素最小值，max为所述矩形图像中的点像素最大值，m为所述矩形图像进行像素变换前的像素值，M为所述矩形图像进行像素变换后的像素值。

6.根据权利要求5所述的基于迁移学习的美瞳识别方法，其特征在于，所述对经过像素变换后的矩形图像进行归一化处理中，所述归一化处理的计算公式为：

I_i＝(I_i-L1)/(L2-L1)

其中，I_i为经过归一化处理后的矩形图像中索引位置为i处的像素值。

7.一种基于迁移学习的美瞳识别系统，其特征在于，包括：

瞳孔图像采集单元，用于获取待测对象的待测眼睛区域图像；

图像提取单元，用于获取所述待测眼睛区域图像的待测虹膜图像；

图像处理单元，用于对所述待测虹膜图像进行图像处理后，获取待测矩形图像；

运算单元，其中存储有迁移学习网络模型，用于接收所述待测矩形图像，并将所述待测矩形图像输入至所述迁移学习网络模型，获取与所述待测眼睛区域图像相对应的待测对象识别结果；

其中，所述迁移学习网络模型是基于虹膜图像训练样本的样本图像以及对应的检测对象结果标签进行训练后得到的；

所述迁移学习网络模型包括：

以去除VGG16网络结构模型的后三个连接层后，所保留的前13个卷积层为基础，依次增加两个卷积层、一个最大池化层、两个全连接层以及一个softmax分类器，并在增加的所述两个全连接层之间增加一个dropout单元。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于迁移学习的美瞳识别方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于迁移学习的美瞳识别方法的步骤。