CN108734078A - 图像处理方法、装置、电子设备、存储介质及程序 - Google Patents

Abstract

本申请实施方式公开了一种图像处理方法、装置、电子设备、存储介质及程序，其中的图像处理方法主要包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

Description

图像处理方法、装置、电子设备、存储介质及程序

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种图像处理方法、图像处理装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

人脸关键点是人脸识别等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，尤其是准确精细的确定出人脸中的相应器官的关键点，不仅有利于增强人脸的语义信息，而且有利于提高人脸关键点的应用范围。

发明内容

本申请实施方式提供一种图像处理技术方案。

根据本申请实施方式其中一个方面，提供了一种图像处理方法，该方法包括：获取至少包括眼睛区域的待处理图像；基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

在本申请一实施方式中，所述虹膜关键点包括：虹膜轮廓关键点和/或虹膜中心关键点。

在本申请又一实施方式中，所述虹膜关键点包括：处于被遮挡位置处的虹膜关键点，和/或，处于未被遮挡位置处的虹膜关键点。

在本申请再一实施方式中，所述虹膜轮廓关键点包括：虹膜轮廓处的16-24个关键点。

在本申请再一实施方式中，所述待处理图像包括：基于预定侧单眼的待处理图像；或者，基于双侧单眼的待处理图像；或者，基于双眼的待处理图像。

在本申请再一实施方式中，所述获取至少包括眼睛区域的待处理图像包括：确定待处理人脸图像中的眼睛区域；根据所述眼睛区域对所述待处理人脸图像进行切割，所述切割出的眼睛区域的图像块被作为所述待处理图像。

在本申请再一实施方式中，所述获取至少包括眼睛区域的待处理图像包括：确定待处理人脸图像中的眼睛区域；根据所述眼睛区域对所述待处理人脸图像进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，所述单眼区域的图像块和/或镜像处理后的图像块被作为所述待处理图像。

在本申请再一实施方式中，所述确定人脸图像中的眼睛区域包括：基于神经网络获取所述待处理人脸图像的初始人脸关键点信息；根据所述初始人脸关键点信息确定所述待处理人脸图像中的眼睛区域。

在本申请再一实施方式中，所述方法还包括：将所述虹膜关键点信息中的基于待处理图像的坐标信息转换为基于待处理人脸图像的坐标信息。

在本申请再一实施方式中，所述神经网络是基于带有虹膜关键点标注数据的样本数据集训练而得。

在本申请再一实施方式中，所述虹膜关键点标注数据采用以下步骤获取：获取眼睛图像样本中的虹膜轮廓的曲线控制点；根据所述曲线控制点形成曲线；采用插值方式在所述曲线中插入多个点，所述插入的点的信息为所述虹膜关键点标注数据。

在本申请再一实施方式中，所述眼睛图像样本通过下述步骤获得：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，所述切割出的眼睛区域的图像块被作为所述眼睛图像样本。

在本申请再一实施方式中，所述眼睛图像样本通过下述步骤获得：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，所述单眼区域的图像块和/或镜像处理后的图像块被作为所述眼睛图像样本。

在本申请再一实施方式中，所述眼睛图像样本的获得过程还包括：对所述作为眼睛图像样本的图像块进行变换处理；根据所述变换处理对所述图像块的虹膜关键点标注数据进行处理；将变换处理后的图像块作为所述眼睛图像样本，所述眼睛图像样本的虹膜关键点标注数据为所述处理后的虹膜关键点标注数据。

在本申请再一实施方式中，所述变换处理包括：平移、旋转以及缩放处理中的一个或者多个。

在本申请再一实施方式中，所述方法还包括：根据所述虹膜关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、视线跟踪。

根据本申请实施方式其中另一个方面，提供了一种图像处理装置，该装置包括：输入图像模块，用于获取至少包括眼睛区域的待处理图像；获取关键点模块，用于基于神经网络从所述待处理图像中提取虹膜关键点信息；其中，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

在本申请一实施方式中，所述装置还包括：训练模块，用于基于样本数据集训练所述神经网络；其中，所述样本数据集包括：虹膜关键点标注数据。

在本申请又一实施方式中，所述装置还包括：标注模块，所述标注模块用于：获取眼睛图像样本中的虹膜轮廓的曲线控制点；根据所述曲线控制点形成曲线；采用插值方式在所述曲线中插入多个点，所述插入的点的信息为所述虹膜关键点标注数据。

在本申请再一实施方式中，所述装置还包括：第一样本模块，用于：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，将所述切割出的眼睛区域的图像块作为所述眼睛图像样本。

在本申请再一实施方式中，所述装置还包括：第二样本模块，用于：确定人脸图像样本中的眼睛区域；根据所述眼睛区域对所述人脸图像样本进行切割，得到单眼区域的图像块；将所述单眼区域的图像块进行镜像处理，将所述单眼区域的图像块和/或镜像处理后的图像块作为所述眼睛图像样本。

在本申请再一实施方式中，所述装置还包括：变换处理模块，用于：对作为眼睛图像样本的图像块进行变换处理；根据所述变换处理对所述作为眼睛图像样本的图像块的虹膜关键点标注数据进行处理；将变换处理后的图像块作为所述眼睛图像样本，所述眼睛图像样本的虹膜关键点标注数据为所述处理后的虹膜关键点标注数据。

在本申请再一实施方式中，所述装置还包括：处理模块，用于：根据所述虹膜关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测、视线跟踪。

根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一实施方式的图像处理方法中的步骤。

根据本申请实施方式的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一实施方式的图像处理方法中的步骤。

根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一实施方式的图像处理方法中的步骤。

基于本申请提供的图像处理方法、图像处理装置、电子设备以及计算机可读存储介质，本申请通过利用神经网络提取待处理图像中的虹膜关键点信息(例如，虹膜轮廓关键点和/或者虹膜中心关键点信息)，这样，可以利用虹膜关键点信息有效的描述出虹膜在待处理图像中的精细位置，因此，本申请提供的技术方案可以应用于需要确定人的视线方向，以进一步确定人的状态、以及针对虹膜和/或者虹膜之外的眼球区域进行美化处理等多种应用场景中。由此可知，本申请不仅有利于增强人脸的语义信息，而且有利于提高人脸关键点的应用范围。

下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请方法一个实施方式的流程图；

图2为本申请的虹膜关键点的示意图；

图3为本申请的训练神经网络的流程图；

图4为本申请的标注人脸图像样本的流程图；

图5为本申请装置一个实施方式的结构示意图；

图6为实现本申请实施方式的一示例性设备的框图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法及设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

示例性实施例

图1为本申请的图像处理方法的一实施方式的流程图。如图1所示，该实施方式中的图像处理方法包括：步骤S100以及步骤S110。

S100、获取至少包括眼睛区域的待处理图像。

在一个可选示例中，本申请获取的所有待处理图像均为基于预定侧单眼的待处理图像，例如，本申请获取的所有待处理图像均为基于左眼的待处理图像(即不包括右眼，但是包括左眼的左眼图像)，再例如，本申请获取的所有待处理图像均为基于右眼的待处理图像(即不包括左眼，但是包括右眼的右眼图像)。在获取到的所有待处理图像均为基于预定侧单眼的待处理图像的情况下，本申请中的神经网络在训练时，通常采用基于预定侧单眼的图像样本对神经网络进行训练，从而有利于降低神经网络训练的难度，并有利于提高神经网络提取的虹膜关键点的精度。

在另一个可选示例中，本申请获取的待处理图像为基于双侧单眼的待处理图像，即获取的所有待处理图像既包括基于左眼的待处理图像，也包括基于右眼的待处理图像，即包括左眼图像以及右眼图像。在获取到的所有待处理图像为基于双侧单眼的待处理图像的情况下，本申请中的神经网络在训练时，通常应采用基于双侧单眼的图像样本对神经网络进行训练，相对于采用基于预定侧单眼的图像样本对神经网络进行训练的方式而言，神经网络的训练难度可能会有所提升，而神经网络提取的虹膜关键点的精度可能会有所下降。

在再一个可选示例中，本申请获取的待处理图像包括基于双眼的待处理图像，例如，本申请获取到的所有待处理图像均为同时包含有左眼和右眼的待处理图像，即包括左眼和右眼的双眼图像。另外，本申请获取到的所有待处理图像可以包括：同时包含有左眼和右眼的双眼图像，也可以包括：左眼图像和/或右眼图像。在获取到的所有待处理图像既包括基于双眼的待处理图像，又包括基于双侧单眼的待处理图像的情况下，本申请中的神经网络在训练时，通常应采用基于双眼的图像样本以及基于双侧单眼的图像样本对神经网络进行训练，相对于采用基于双侧单眼的图像样本对神经网络进行训练的方式而言，神经网络的训练难度可能会有所提升，而神经网络提取的虹膜关键点的精度可能会有所下降。

在一个可选示例中，本申请中的待处理图像是从人脸图像中切割出的图像块，例如，首先，确定待处理人脸图像中的眼睛区域，然后，根据该眼睛区域对待处理人脸图像进行切割，本申请将切割出的眼睛区域的图像块作为待处理图像。一个可选的具体实施方式为：首先，将待处理人脸图像作为输入图像提供给神经网络，由神经网络从待处理人脸图像中提取出包括脸部轮廓关键点、眼睛关键点、鼻子关键点、眉毛关键点以及嘴巴关键点在内的人脸关键点信息，这里的人脸关键点可以称为初始人脸关键点；初始人脸关键点信息通常包括：关键点编号以及关键点在待处理人脸图像中的坐标；初始人脸关键点的数量可以为106或者21或者68等，本申请不限制初始人脸关键点的数量；然后，根据神经网络提取出的初始人脸关键点信息确定待处理人脸图像中的眼睛区域，例如，左眼区域和右眼区域这两个区域；最后，根据确定出的眼睛区域对待处理人脸图像进行切割，从而获得眼睛区域图像块，即待处理图像；例如，根据左眼区域对待处理人脸图像进行切割，将切割出的左眼区域图像块作为待处理图像，根据右眼区域对待处理人脸图像进行切割，并针对切割出的右眼区域图像块做镜像处理，将镜像处理获得的图像块(即镜像处理后形成左眼区域图像块)同样作为待处理图像，从而通过待处理人脸图像获得两个待处理图像(即两个基于左眼的待处理图像)；再例如，根据右眼区域对待处理人脸图像进行切割，将切割出的右眼区域图像块作为待处理图像，根据左眼区域对待处理人脸图像进行切割，并针对切割出的左眼区域图像块做镜像处理，将镜像处理获得的图像块(即镜像处理后形成右眼区域图像块)同样作为待处理图像，从而通过待处理人脸图像获得两个待处理图像(即两个基于右眼的待处理图像)。

本申请通过对一侧眼睛区域图像块做镜像处理，使得从待处理人脸图像中切割出的两个待处理图像均为同侧眼睛区域图像块，在针对所有的待处理人脸图像均进行如此处理的情况下，本申请输入到神经网络中的所有待处理图像均为基于预定侧单眼的待处理图像，这样，本申请可以采用基于预定侧单眼的图像样本对神经网络进行训练即可，从而有利于降低神经网络训练的难度，并有利于提高神经网络提取的虹膜关键点的精度。

在一个可选示例中，本申请也可以采用其他方式获取至少包括眼睛区域的待处理图像，例如，从预先设置的眼睛区域图像集合中获取待处理图像等，本申请不限制获取待处理图像的具体实现方式。

在一个可选示例中，本申请中的待处理人脸图像可以为呈现静态的图片或者照片等图像，也可以为呈现动态的视频中的视频帧等。该待处理人脸图像中的人脸可以为正脸，也可以为存在小角度偏转(例如，人脸偏转幅度小于预定角度)的侧脸，还可以为存在大角度偏转(例如，人脸偏转幅度不小于预定角度)的侧脸等。本申请不限制待处理人脸图像中的人脸的具体表现形态。

S110、基于神经网络从待处理图像中提取虹膜关键点信息。

从眼睛的结构来开，虹膜属于眼球中层，位于血管膜的最前部，在睫状体前方，可调节瞳孔的大小，调节进入眼内光线多少的作用；虹膜中央有瞳孔。

在一个可选示例中，本申请中的神经网络主要用于提取待处理图像中的虹膜关键点信息。对于不同种族的人来说，虹膜的颜色不尽相同，例如，对于亚洲人而言，虹膜的颜色通常为黑色，此时，虹膜关键点也可以称为黑眼珠关键点。本申请的神经网络的网络结构可以根据提取虹膜关键点信息的实际需求灵活设计，本申请实施方式并不限制该神经网络的具体网络结构。例如，本申请的神经网络可以包括但不限于卷积层、非线性Relu层、池化层以及全连接层等，神经网络所包含的层数越多，则网络越深；再例如，本申请的神经网络的网络结构可以采用但不限于ALexNet、深度残差网络(Deep Residual Network，ResNet)或VGGnet(Visual Geometry Group Network，视觉几何组网络)等神经网络所采用的网络结构。

在一个可选示例中，本申请基于神经网络从待处理图像中提取的虹膜关键点信息主要用于描述虹膜在待处理图像中的位置，例如，虹膜关键点信息可以包括：虹膜关键点编号以及虹膜关键点在待处理图像中的坐标等。本申请中的虹膜关键点可以包括：位于虹膜轮廓处的虹膜轮廓关键点，也可以包括：位于虹膜中心位置处的虹膜中心关键点；还可以同时包括：虹膜轮廓关键点以及虹膜中心关键点(如图2所示)。

在一个可选示例中，本申请中的虹膜轮廓关键点的数量通常为多个关键点，可选的，针对单眼而言，可以为16-24个虹膜轮廓关键点，例如，20个虹膜轮廓关键点。

需要特别说明的是，本申请基于神经网络从待处理图像中提取出的虹膜关键点信息通常包括：处于被遮挡位置处的虹膜关键点以及处于未被遮挡位置处的虹膜关键点；例如，在虹膜轮廓部分被遮挡，而部分未被遮挡的情况下，本申请提取出的虹膜关键点为完整的虹膜轮廓关键点，即被遮挡的虹膜轮廓关键点基于透视方式而被显示出来；再例如，在由于眼睛处于半闭状态而使虹膜中心关键点被眼皮遮挡的情况下，本申请依然可以提取出虹膜中心关键点，即提取出的虹膜中心关键点是基于透视方式的虹膜中心关键点。

本申请中的神经网络可以是使用带有虹膜关键点标注数据的样本数据集训练而得，例如，训练神经网络所使用的图像样本中标注的虹膜关键点标注信息可以包括：被遮挡的虹膜关键点标注信息以及未被遮挡的虹膜关键点标注信息，如此训练后的神经网络，具有提取更为完整的虹膜关键点的性能。

本申请通过提取被遮挡位置处的虹膜轮廓关键点信息以及虹膜中心关键点信息，有利于对人脸的眼睛形态的精确勾画，从而使神经网络提取出的虹膜关键点信息可以更好的适用于人脸的图像渲染(例如，对眼睛的眼白的渲染等)、变脸处理、美颜处理(例如，美瞳处理)、美妆处理、人脸识别(例如，识别虹膜的颜色等)、人脸状态检测(例如，是否处于疲劳状态等)、表情检测以及视线跟踪(例如，是否存在未专注驾驶现象等)等应用。本申请不限制提取出的虹膜关键点信息的应用场景。

在一个可选示例中，在待处理图像为从待处理人脸图像中切割出来的图像块的情况下，本申请可以将神经网络提取出的虹膜关键点信息中的基于待处理图像的坐标信息转换为基于待处理人脸图像的坐标信息，即针对虹膜关键点信息中的坐标信息进行坐标系的转换处理。另外，本申请可以基于待处理人脸图像针对人脸关键点的编号规则将申请网络提取出的虹膜关键点信息中的基于待处理图像的编号转换为基于待处理人脸图像中的编号。

在一个可选示例中，本申请可以利用样本数据集中的多个图像样本对神经网络进行训练。可选的，本申请中的样本数据集可以为针对多个人脸图像样本而设置的人脸样本数据集，也可以为针对多个眼睛图像样本而设置的眼睛样本数据集。无论是人脸样本数据集，还是眼睛样本数据集，均包含有虹膜关键点标注信息。一个可选的例子，针对人脸样本数据集而言，人脸图像样本带有人脸关键点标注信息，人脸关键点标注信息可以包括：初始人脸关键点以及虹膜关键点标注信息，例如，人脸图像样本带有148个人脸关键点标注信息，这148个人脸关键点标注信息中包括106个初始人脸关键点标注信息以及42个虹膜关键点标注信息。另一个可选的例子，针对眼睛样本数据集而言，眼睛图像样本带有虹膜关键点标注信息，例如，眼睛图像样本带有20个虹膜轮廓关键点标注信息以及一个虹膜中心关键点标注信息。本申请不限制人脸关键点标注信息的具体数量以及虹膜关键点标注信息的具体数量。

在一个可选示例中，人脸图像样本或者眼睛图像样本所带有的虹膜关键点标注信息包括被遮挡的虹膜关键点标注信息，即本申请不仅会针对人脸/眼睛图像样本中的位于未遮挡位置处的虹膜关键点进行标注，还会针对人脸/眼睛图像样本中的位于被遮挡位置处的虹膜关键点进行标注。

一个可选的例子，本申请可以预先设定在人脸图像样本中需要标注的虹膜关键点总数量为42个，无论人脸图像样本中的人脸的偏转方向以及表情如何，本申请针对任一人脸图像样本均应标注出42个虹膜关键点标注信息。另外，无论是人脸图像样本中的虹膜关键点，还是人脸图像样本中的除虹膜关键点之外的其他人脸关键点，针对人脸图像样本中的位于被遮挡位置处的人脸关键点而言，本申请为其所标注的坐标为该人脸关键点的透视坐标。

另一个可选的例子，本申请可以预先设定在基于左眼的眼睛图像样本中需要标注的虹膜关键点总数量为21个，无论眼睛图像样本中的眼睛的形态如何，本申请针对任一基于左眼的眼睛图像样本均应标注出21个虹膜关键点标注信息。针对眼睛图像样本中的位于被遮挡位置处的虹膜关键点而言，本申请为其所标注的坐标为该虹膜关键点的透视坐标。

在一个可选示例中，本申请的设置虹膜关键点标注信息的一个实施方式如图3所示。

图3中，S300、确定人脸图像样本中的眼睛区域。

在一个可选示例中，针对一人脸图像样本而言，本申请可以利用神经网络提取出该人脸图像样本中的初始人脸关键点信息，并根据初始人脸关键点信息确定出眼睛区域。在该人脸图像样本中标注有初始人脸关键点标注信息的情况下，本申请也可以直接根据该人脸图像样本中的初始人脸关键点标注信息确定该人脸图像样本中的眼睛区域。例如，人脸初始关键点信息包括有表示人脸五官大致位置或脸部轮廓的关键点，根据这些位置可初步确定人脸的眼睛区域，例如，可确定图2整体的这个区域。需要说明的是，基于人脸初始关键点信息确定的眼睛区域是一个初略的范围，表示的是眼睛在哪个区域，而并不能确定诸如虹膜关键点等精细信息。而基于人脸初始关键点信息的人脸关键点定位技术，可采用传统的人脸21关键点定位、人脸106关键点定位等技术，本申请对此并不限定。

上述眼睛区域可以为左眼区域以及右眼区域，也可以为包含有双眼的区域等，下面以眼睛区域为左眼区域和右眼区域为例，对本申请实施方式的下述步骤进行说明。

S310、根据眼睛区域对人脸图像样本进行切割，切割出的眼睛区域的图像块被作为眼睛图像样本。分别到步骤S311以及步骤S320。

在一个可选示例中，本申请可以根据左眼区域和右眼区域分别对人脸图像样本进行切割，从而获得左眼图像块和右眼图像块。本申请可以将左眼图像块直接作为眼睛图像样本，本申请可以对右眼图像块进行镜像处理，并将镜像处理后获得的眼睛图像块(又一个左眼图像块)同样作为一眼睛图像样本，从而通过人脸图像样本获得两个眼睛图像样本，即两个左眼图像样本。

在一个可选示例中，本申请也可以将右眼图像块直接作为眼睛图像样本，并对左眼图像块进行镜像处理，将镜像处理后获得的眼睛图像块(又一个右眼图像块)同样作为眼睛图像样本，从而通过人脸图像样本获得两个眼睛图像样本，即两个右眼图像样本。

S311、针对任一眼睛图像样本，获取眼睛图像样本中的虹膜中心关键点的坐标信息，根据虹膜中心关键点的坐标信息形成虹膜关键点标注数据中的虹膜中心关键点标注数据。到步骤S340。

在一个可选示例中，本申请中的虹膜中心关键点可以是标注人员在眼睛图像样本中手工设置的点。本申请通过为虹膜中心关键点设置编号，并确定该点在眼睛图像样本中的坐标，从而获得该眼睛图像样本的虹膜中心关键点标注数据。

S320、针对任一眼睛图像样本，获取眼睛图像样本中的虹膜轮廓的曲线控制点，并根据曲线控制点形成虹膜轮廓线。到步骤S330。

在一个可选示例中，对于任一左眼图像样本而言，本申请应获取左眼的多个虹膜轮廓的曲线控制点，并利用左眼的多个虹膜轮廓的曲线控制点形成曲线，即左眼的虹膜轮廓线；对于任一右眼图像样本而言，本申请应获取右眼的多个虹膜轮廓的曲线控制点，并利用右眼的多个虹膜轮廓的曲线控制点形成曲线，即右眼的虹膜轮廓线。本申请中的曲线控制点可以是标注人员在眼睛图像样本中手工设置的曲线控制点。

在一个可选示例中，本申请可以采用在曲线控制点之间逐像素插值的方式，通过相应的多个曲线控制点形成相应的虹膜轮廓线。本申请不限制通过曲线控制点形成虹膜轮廓线的具体实现方式。另外，本申请中的虹膜轮廓线所形成的形状通常为圆形或者椭圆形。

S330、采用插值方式在虹膜轮廓线中插入多个点，插入的点的信息为虹膜关键点标注数据中的虹膜轮廓关键点标注数据。到步骤S340。

在一个可选示例中，本申请可以通过均匀插值的方式选取虹膜轮廓线上的多个点；例如，在虹膜轮廓线上均匀的插入16-24(如20)个点，通过为插入的各点设置编号，并确定各点在眼睛图像样本中的坐标，从而获得该眼睛图像样本的虹膜轮廓关键点标注数据。

需要特别说明的是，本申请中针对一条虹膜轮廓线所插入的点的数量可以根据实际需求确定，但是，针对一条虹膜轮廓线所插入的点的数量应保证：经插入的点所拟合形成的曲线相对眼睛的实际虹膜轮廓线的误差度，为由曲线控制点形成的虹膜轮廓线相对眼睛的实际虹膜轮廓线的误差度的1/5至1/10。由此可知，本申请为眼睛图像样本所形成的虹膜关键点标注信息所表达出的虹膜形状，能够更接近实际的虹膜形状，从而更有利于训练神经网络。

S340、将虹膜轮廓关键点标注数据以及虹膜中心关键点标注数据作为虹膜关键点标注数据，与上述眼睛图像样本一起添加到眼睛样本数据集中。到步骤S350。

S350、针对已经设置了虹膜关键点标注数据的眼睛图像样本进行变换处理，并根据针对眼睛图像样本的变换处理对该眼睛图像样本的虹膜关键点标注数据进行处理。到步骤S360。

在一个可选示例中，本申请中的变换处理可以为平移、旋转以及缩放处理中的至少一个。本申请可以通过将眼睛图像样本与相应的矩阵(例如，3×3的变换矩阵)相乘，获得变换处理后的眼睛图像样本。当然，本申请中的变换处理也可以为除平移、旋转以及缩放处理之外的其他方式，本申请不限制对眼睛图像样本进行变换处理的具体表现形式。

在一个可选示例中，眼睛图像样本在进行变换处理后，其虹膜关键点标注数据中的虹膜关键点坐标也会产生相应的变化，本申请通过对虹膜关键点标注数据进行相应的变化，可以方便的获得变换处理后的眼睛图像样本的虹膜关键点标注数据。

S360、将变换处理后的眼睛图像样本作为新的眼睛图像样本，将处理后的虹膜关键点标注数据作为该新的眼睛图像样本的虹膜关键点标注数据，添加到眼睛样本数据集中。

在一个可选示例中，本申请的利用眼睛图像样本对神经网络进行训练的一个实施方式如图4所示。

图4中，S400、将眼睛图像样本输入神经网络，经由神经网络提取出眼睛图像样本的虹膜关键点信息。

在一个可选示例中，本申请中的所有眼睛图像样本均为左眼图像样本或者右眼图像样本。

在一个可选示例中，本申请中的眼睛图像样本带有多个虹膜关键点标注信息。眼睛图像样本所带有的虹膜关键点标注信息包括：虹膜轮廓关键点标注信息以及虹膜中心关键点标注信息。一个可选的例子，眼睛图像样本带有21个虹膜关键点标注信息，这21个虹膜关键点标注信息中包括20个虹膜轮廓关键点标注信息以及1个虹膜中心关键点标注信息。另外，无论眼睛图像样本中是否存在位于被遮挡位置处的虹膜关键点，所有虹膜关键点(如21个虹膜关键点)均具有标注信息。

S410、针对神经网络提取出的虹膜关键点与标注的相应的虹膜关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个漂移距离。

在一个可选示例中，神经网络提取出的所有虹膜关键点与标注的所有虹膜关键点中的两个具有相同编号的虹膜关键点形成一组关键点，例如，本申请可以形成21组关键点，从而本申请可以针对21组关键点分别进行距离计算，以获得21个漂移距离。

S420、基于计算获得的漂移距离，经由损失函数对神经网络进行监督学习。

在一个可选示例中，本申请的损失函数可以为L1损失函数等。本申请通过利用损失函数对神经网络进行监督学习，有利于提高神经网络提取虹膜关键点的准确性。

图5为本申请的图像处理装置一个实施方式的结构示意图。如图5所示，该实施方式的装置主要包括：输入图像模块500以及获取关键点模块510。可选的，该实施方式的装置还可以包括：训练模块520、标注模块530、第一样本模块540、第二样本模块550、变换处理模块560以及处理模块570。

输入图像模块500用于获取至少包括眼睛区域的待处理图像。输入图像模块500所执行的具体操作如上述方式实施方式中针对S100的描述，在此不再重复说明。

获取关键点模块510用于基于神经网络从输入图像模块500获取的待处理图像中提取虹膜关键点信息；其中，虹膜关键点信息用于描述虹膜在待处理图像中的位置。获取关键点模块510所执行的具体操作如上述方式实施方式中针对S110的描述，在此不再重复说明。

训练模块520用于基于样本数据集训练神经网络；其中，样本数据集包括：虹膜关键点标注数据。训练模块520所执行的具体操作如上述方式实施方式中针对图4的描述，在此不再重复说明。

标注模块530用于获取眼睛图像样本中的虹膜轮廓的曲线控制点，根据曲线控制点形成曲线，并采用插值方式在曲线中插入多个点，插入的点的信息即为虹膜关键点标注数据。标注模块530所执行的具体操作如上述方法实施方式中针对图3中的步骤S311、S330、S340以及S350的描述，在此不再重复说明。

第一样本模块540用于确定人脸图像样本中的眼睛区域，并根据眼睛区域对人脸图像样本进行切割，将切割出的眼睛区域的图像块作为眼睛图像样本。

在一个可选示例中，针对一人脸图像样本而言，第一样本模块540可以利用神经网络提取出该人脸图像样本中的初始人脸关键点信息，并根据初始人脸关键点信息确定出眼睛区域。在该人脸图像样本中标注有初始人脸关键点标注信息的情况下，第一样本模块540也可以直接根据该人脸图像样本中的初始人脸关键点标注信息确定该人脸图像样本中的眼睛区域。例如，人脸初始关键点信息包括有表示人脸五官大致位置或脸部轮廓的关键点，第一样本模块540可以根据这些位置初步确定出人脸的眼睛区域。

需要说明的是，第一样本模块540基于人脸初始关键点信息确定的眼睛区域是一个初略的范围，表示的是眼睛在哪个区域，而并不能确定诸如虹膜关键点等精细信息。第一样本模块540确定出的眼睛区域可以为左眼区域以及右眼区域，也可以为包含有双眼的区域等。

一个可选的具体例子，第一样本模块540可以根据其确定出的眼角区域为左眼区域和右眼区域分别对人脸图像样本进行切割，从而获得左眼图像块和右眼图像块。第一样本模块540可以将左眼图像块和/或右眼图像块直接作为眼睛图像样本。

第二样本模块550用于确定人脸图像样本中的眼睛区域，根据眼睛区域对人脸图像样本进行切割，得到单眼区域的图像块，并将单眼区域的图像块进行镜像处理，将单眼区域的图像块和/或镜像处理后的图像块作为眼睛图像样本。

在一个可选示例中，针对一人脸图像样本而言，第二样本模块550可以利用神经网络提取出该人脸图像样本中的初始人脸关键点信息，并根据初始人脸关键点信息确定出眼睛区域。在该人脸图像样本中标注有初始人脸关键点标注信息的情况下，第二样本模块550也可以直接根据该人脸图像样本中的初始人脸关键点标注信息确定该人脸图像样本中的眼睛区域。例如，人脸初始关键点信息包括有表示人脸五官大致位置或脸部轮廓的关键点，第二样本模块550可以根据这些位置初步确定出人脸的眼睛区域。

需要说明的是，第二样本模块550基于人脸初始关键点信息确定的眼睛区域是一个初略的范围，表示的是眼睛在哪个区域，而并不能确定诸如虹膜关键点等精细信息。第二样本模块550确定出的眼睛区域可以为左眼区域以及右眼区域，也可以为包含有双眼的区域等。

一个可选的具体例子，第二样本模块550可以根据其确定出的眼角区域为左眼区域和右眼区域分别对人脸图像样本进行切割，从而获得左眼图像块和右眼图像块。第二样本模块550可以将左眼图像块直接作为眼睛图像样本，第二样本模块550可以对右眼图像块进行镜像处理，并将镜像处理后获得的眼睛图像块(又一个左眼图像块)同样作为一眼睛图像样本，从而第二样本模块550获得两个眼睛图像样本，即两个左眼图像样本。在另一个可选的具体例子中，第二样本模块550也可以将右眼图像块直接作为眼睛图像样本，并对左眼图像块进行镜像处理，将镜像处理后获得的眼睛图像块(又一个右眼图像块)同样作为眼睛图像样本，从而第二样本模块550获得两个眼睛图像样本，即两个右眼图像样本。

变换处理模块560用于对作为眼睛图像样本的图像块进行变换处理，根据针对图像块的变换处理对作为眼睛图像样本的图像块的虹膜关键点标注数据进行处理，并将变换处理后的图像块作为眼睛图像样本，眼睛图像样本的虹膜关键点标注数据为处理后的虹膜关键点标注数据。变换处理模块560所执行的具体操作如上述方法实施方式中针对图3中的步骤S350以及S360的描述，在此不再重复说明。

处理模块570用于根据虹膜关键点信息进行以下至少之一处理：人脸的图像渲染、变脸处理、美颜处理、美妆处理、人脸识别、人脸状态检测、表情检测以及视线跟踪等。本申请不限制处理模块570根据虹膜关键点信息所执行的处理的具体表现形式。

示例性设备

图6示出了适于实现本申请的示例性设备600，设备600可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图6中，设备600包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)601，和/或，一个或者多个图像处理器(GPU)613等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信部612可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器602和/或随机访问存储器630中通信以执行可执行指令，通过总线604与通信部612相连、并经通信部612与其他目标设备通信，从而完成本申请中的相应步骤。

在一个可选的示例中，处理器在执行指令后，实现上述任一方法实施方式中的步骤，例如，处理器所执行的指令包括：用于获取至少包括眼睛区域的待处理图像的指令；用于基于神经网络从待处理图像中提取虹膜关键点信息的指令，其中，虹膜关键点信息用于描述虹膜在待处理图像中的位置。

此外，在RAM 603中，还可以存储有装置操作所需的各种程序以及数据。CPU601、ROM602以及RAM603通过总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使中央处理单元601执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口605也连接至总线604。通信部612可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装在存储部分608中。

需要特别说明的是，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。

特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码在被处理器执行时，实现上述任一方法实施方式中的步骤。

在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载及安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请中记载的上述指令。

可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取至少包括眼睛区域的待处理图像；

基于神经网络从所述待处理图像中提取虹膜关键点信息，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

2.根据权利要求1所述的方法，其特征在于，所述虹膜关键点包括：虹膜轮廓关键点和/或虹膜中心关键点。

3.根据权利要求1至2中任一所述的方法，其特征在于，所述虹膜关键点包括：处于被遮挡位置处的虹膜关键点，和/或，处于未被遮挡位置处的虹膜关键点。

4.根据权利要求2至3中任一所述的方法，其特征在于，所述虹膜轮廓关键点包括：虹膜轮廓处的16-24个关键点。

5.根据权利要求1至4中任一所述的方法，其特征在于，所述待处理图像包括：

基于预定侧单眼的待处理图像；或者

基于双侧单眼的待处理图像；或者

基于双眼的待处理图像。

6.根据权利要求1至5中任一所述的方法，其特征在于，所述获取至少包括眼睛区域的待处理图像包括：

确定待处理人脸图像中的眼睛区域；

根据所述眼睛区域对所述待处理人脸图像进行切割，所述切割出的眼睛区域的图像块被作为所述待处理图像。

7.一种图像处理装置，其特征在于，包括：

输入图像模块，用于获取至少包括眼睛区域的待处理图像；

获取关键点模块，用于基于神经网络从所述待处理图像中提取虹膜关键点信息；

其中，所述虹膜关键点信息用于描述虹膜在待处理图像中的位置。

8.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-6中任一所述的图像处理方法中的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-6中任一所述的图像处理方法中的步骤。

10.一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述权利要求1-6中任一所述的图像处理方法中的步骤。