CN108229252A - 一种瞳孔定位方法及系统 - Google Patents

Abstract

本发明实施例公开了瞳孔定位方法及系统，应用于信息处理技术领域。在本实施例的方法中，瞳孔定位系统在瞳孔定位的过程中，先根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，然后根据标注的位置信息所指示区域的图像即第一图像的像素值进行图像划分处理得到两个子区域的图像，即可将其中一个子区域即前景部分区域确定为待处理人脸图像中瞳孔所在区域。由于对眼球边缘的位置信息可以通过简单的机器学习模型就能标注，然后再结合图像处理方法即可实现实时地瞳孔定位，和现有技术中直接对瞳孔的位置信息进行标注相比，降低了复杂度，且定位的瞳孔比较准确。

Description

一种瞳孔定位方法及系统

技术领域

本发明涉及信息处理技术领域，特别涉及一种瞳孔定位方法及系统。

背景技术

随着人脸五官特征分析和定位技术的不断发展，使基于该技术的应用逐渐成为热点，比如利用人脸特征的身份识别，基于五官特征的人脸特效和人脸卡通动画等。当移动设备的处理能力增强，在手机上做人脸实时检测标记算法处理成为可能，此类应用也成为近期的研究热点。

瞳孔作为人脸重要的生物特征，在身份识别以及实时表情动画中都有着重要的应用，在身份识别中可以作为重要的生物特征，在人脸动画中通过跟踪真实瞳孔的运动驱动动画人物，让动画更加逼真。瞳孔检测和定位是实现这一切的基础，目前的瞳孔定位技术主要分为两大类，一类是基于学习的方法，这种方法通过对瞳孔特征建模，通过大量学习带标记的瞳孔图像得到模型参数，利用模型去做瞳孔定位，这种方法需要花时间进行模型训练和学习，同时复杂度高，不能满足实时性的要求。另外一类方法是基于图像处理的方法，先检测出图像中包含眼部的矩形区域，然后对眼部图像进行边缘检测，借助于边缘信息和瞳孔的几何先验知识，提取出完整的瞳孔边缘，这种方法的干扰因素多，很容易受到姿态和头发等外部因素的影响，鲁棒性差。

发明内容

本发明实施例提供一种瞳孔定位方法及系统，实现了根据待处理人脸图像中眼球边缘的第一图像的像素值将第一图像划分为两个区域，从而确定其中一个区域为瞳孔所在区域。

本发明实施例提供一种瞳孔定位方法，包括：

根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，所述预置的机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息，所述待处理人脸图像中标注的位置信息所指示区域的图像为第一图像；

根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像；所述两个子区域的像素值分别属于两个不同范围，所述两个范围的平均像素差值大于预置的值；

所述两个子区域包括前景部分区域和背景部分区域，确定所述前景部分区域为所述待处理人脸图像中瞳孔所在区域。

本发明实施例还提供一种瞳孔定位系统，包括：

标注单元，用于根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，所述预置的机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息，所述待处理人脸图像中标注的位置信息所指示区域的图像为第一图像；

区域划分单元，用于根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像，所述两个子区域的像素值分别属于两个不同范围，所述两个范围的平均像素差值大于预置的值；

确定单元，用于如果所述两个子区域包括前景部分区域和背景部分区域，确定所述前景部分区域为所述待处理人脸图像中瞳孔所在区域。

可见，在本实施例的方法中，瞳孔定位系统在瞳孔定位的过程中，先根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，然后根据标注的位置信息所指示区域的图像即第一图像的像素值进行图像划分处理得到两个子区域的图像，即可将其中一个子区域即前景部分区域确定为待处理人脸图像中瞳孔所在区域。由于对眼球边缘的位置信息可以通过简单的机器学习模型就能标注，然后再结合图像处理方法即可实现实时地瞳孔定位，和现有技术中直接对瞳孔的位置信息进行标注相比，降低了复杂度，且定位的瞳孔比较准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种瞳孔定位方法的流程图；

图2是本发明实施例中一种对待处理人脸图像中眼球边缘的位置信息进行标注的方法流程图；

图3是本发明实施例中另一种对待处理人脸图像中眼球边缘的位置信息进行标注的方法流程图；

图4是本发明应用实施例提供的一种瞳孔定位方法的流程图；

图5是本发明应用实施例中生成的分类树的示意图；

图6是本发明应用实施例中统计的像素值与像素点个数的曲线图；

图7a是本发明应用实施例中生成的第二图像的示意图；

图7b是本发明应用实施例中生成的二值化图像的示意图；

图7c是本发明应用实施例中生成的瞳孔图像的示意图；

图8是本发明实施例提供的一种瞳孔定位系统的结构示意图；

图9是本发明实施例提供的另一种瞳孔定位系统的结构示意图；

图10是本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排它的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供一种瞳孔定位方法，主要是瞳孔定位系统所执行的方法，流程图如图1所示，包括：

步骤101，根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，待处理人脸图像中标注的位置信息所指示区域的图像为第一图像。

可以理解，瞳孔定位系统可以通过对多个人脸样本图像中眼球边缘的位置信息进行训练后，比如通过回归树等方法进行训练后，得到机器学习模型，在机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息；然后瞳孔定位系统将机器学习模型储存在系统中，就可以根据该机器学习模型实时地对待处理人脸图像中眼球边缘的位置信息进行标注。一般情况下，眼球边缘的位置信息用6个二维位置信息(比如二维坐标)进行标注，在本步骤中得到的第一图像中可以包括眼白部分图像和瞳孔部分图像。

步骤102，根据第一图像的像素值进行图像划分处理得到两个子区域的图像，且两个子区域的像素值分别属于两个不同范围，且这两个范围的平均像素差值大于预置的值。

具体地，由于瞳孔部分图像和眼白部分图像之间的像素值差别比较大，则瞳孔定位系统得到的平均像素差值较大的两个不同范围的子区域的图像，就可以将第一图像中瞳孔部分图像和眼白部分图像区分开来，具体可以采用二值化方法将第一图像划分为两个子区域。

在一种情况下，瞳孔定位系统在进行图像划分处理时，可以根据第一图像的像素值直接将第一图像划分为两个子区域，具体地，可以先确定第一像素值阈值，将第一图像中像素值大于第一像素值阈值的点所在区域作为一个子区域，将第一图像中像素值不大于第一像素值阈值的点所在区域作为另一个子区域。

在另一种情况下，瞳孔定位系统在进行图像划分处理时，可以先对第一图像的去色彩处理，即根据第一图像的像素值对第一图像进行灰度化处理得到第二图像为第一图像的灰度图像，这样第二图像的信息中就只包括第一图像的纹理信息，而不包括颜色信息，防止颜色信息对后续操作的干扰；然后根据第二图像的像素值将第二图像划分为两个子区域，具体地，确定第二像素值阈值，将第二图像中像素值大于第二像素值阈值的点所在区域作为一个子区域，将第二图像中像素值不大于第二像素值阈值的点所在区域作为另一个子区域。

需要说明的是，上述第一像素值阈值和第二像素值阈值可以是用户根据实际经验输入到系统中的固定值，也可以是分别根据第一图像和第二图像的像素值得到。具体地，瞳孔定位系统在确定第二像素值阈值时，可以统计第二图像中各个像素值对应的像素点个数，即可得到像素点个数与像素值的对应关系式；然后将统计的像素点个数的两个峰值之间的谷值对应的像素值作为第二像素值阈值，或者在统计的像素点个数的两个峰值之间包含谷值的区间内，选择一个最优值对应的最优像素值作为第二像素值阈值。比如最优像素值为与第二图像中除该最优像素值之外的其它像素值的平均方差最大的像素值。

步骤103，通过上述步骤102的处理得到的两个子区域包括前景部分区域和背景部分区域，确定前景部分区域为待处理人脸图像中瞳孔所在区域。

进一步地，在有些情况下，通过上述步骤102的操作后，两个子区域的图像并不是严格地分为前景部分图像和背景部分图像，在左右两边还存在一起干扰部分，则瞳孔定位系统在执行步骤102之后，还需要进行去干扰处理，将前景部分图像左右两边的干扰去掉。具体地：

在一种情况下，如果瞳孔定位系统在执行上述步骤102后，将两个子区域中第一子区域的图像中各个像素点的像素值都分别设置为第一数值，将两个子区域中第二子区域的图像中各个像素点的像素值都分别设置为第二数值。比如第一数值为255，第二数值为0，或者第一数值为0，第二数值为255，其中像素值为255的图像显示白色，像素值为0的图像显示黑色。则在去干扰处理时，如果前景部分图像的像素值为第一数值，背景部分图像的像素值为第二数值，则如果某一列图像中像素值为第一数值的像素点个数小于预置个数，将某一列图像中像素值为第一数值的像素点的像素值设置为第二数值。

可见，在本实施例的方法中，瞳孔定位系统在瞳孔定位的过程中，先根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，然后根据标注的位置信息所指示区域的图像即第一图像的像素值进行图像划分处理得到两个子区域的图像，即可将其中一个子区域即前景部分区域确定为待处理人脸图像中瞳孔所在区域。由于对眼球边缘的位置信息可以通过简单的机器学习模型就能标注，然后再结合图像处理方法即可实现实时地瞳孔定位，和现有技术中直接对瞳孔的位置信息进行标注相比，降低了复杂度，且定位的瞳孔比较准确。

参考图2所示，在一个具体的实施例中，上述预置的机器学习模型为第一分类模型，则瞳孔定位系统可以通过如下步骤来对待处理人脸图像中眼球边缘的位置信息进行标注，具体地：

步骤201，获取第一分类模型，第一分类模型包括第一分类信息，第一分类信息包括对人脸图像的第一分类条件，及基于第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息。

一般情况下，第一分类模型是通过对多个人脸训练图像进行训练得到的，且一组第一分类信息可以用一棵分类树来表示，这颗分类树的每个叶子节点中包括一类人脸图像，这类人脸图像中眼球边缘的平均位置信息即为这类人脸图像的预测位置信息，且每个叶子节点的各个下一级叶子节点分别包括该叶子节点中的一类人脸图像再基于上述第一分类条件进行分类后的各类人脸图像。

其中第一分类条件可以为人脸图像中眼睛区域的两个像素点的像素值的绝对差值是否大于一个阈值，如果大于，则属于一类人脸图像，如果不大于，则属于另一类人脸图像。其中两个像素点可以是随机的两个像素点。

步骤202，根据第一分类条件确定待处理人脸图像的类型。

步骤203，将第一分类信息中与步骤202确定的类型对应的预测位置信息标注为待处理人脸图像中眼球边缘的位置信息。

参考图3所示，在另一个具体的实施例中，上述预置的机器学习模型为第二分类模型，则瞳孔定位系统可以通过如下步骤来对待处理人脸图像中眼球边缘的位置信息进行标注，具体地：

步骤301，获取第二分类模型，第二分类模型包括一组第一分类信息和至少一组第二分类信息，第一分类信息包括对人脸图像的第一分类条件，及基于第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；任一组第二分类信息包括对人脸图像的第二分类条件，及基于第二分类条件的各个类型图像分别对应的眼球边缘的预测位置信息，及各个类型图像对应的预测位置信息的误差值。

可以理解，第二分类模型是通过对多个人脸训练图像进行训练得到的，且一组分类信息(包括第一分类信息或第二分类信息)可以用一棵分类树来表示，这颗分类树的每个叶子节点中包括一类人脸图像，这类人脸图像中眼球边缘的平均位置信息即为这类人脸图像的预测位置信息，且每个叶子节点的各个下一级叶子节点分别包括该叶子节点中的一类人脸图像再基于上述第一分类条件进行分类后的各类人脸图像。

对于任一组第二分类信息对应的分类树中，每个叶子节点的信息中还包括该叶子节点包括的一类人脸图像的误差值，该误差值是这类人脸图像中各个人脸图像的真实位置信息分别与对应人脸图像当前的预测位置信息的差值的相加值，这样一个叶子节点对应一个误差值，其中，人脸图像当前的预测位置信息为两颗以上分类树(分别表示两组以上分类信息，包括当前分类树的第二分类信息)分别对相应人脸图像的预测位置信息的相加值。

其中第一分类条件和第二分类条件都可以为人脸图像中眼睛区域的两个像素点的像素值的绝对差值是否大于一个阈值，如果大于，则属于一类人脸图像，如果不大于，则属于另一类人脸图像。其中两个像素点可以是随机的两个像素点。

步骤302，根据第一分类条件和至少一个第二分类条件分别确定待处理人脸图像为第一类型图像和至少一个第二类型图像。

步骤303，将待处理人脸图像的最终预测位置信息与最终误差值的相加值标注为待处理人脸图像中眼球边缘的位置信息，其中，最终预测位置信息为第一分类信息中第一类型图像的预测位置信息，与至少一组第二分类信息中相应第二类型图像分别对应的预测位置信息的相加值；最终误差值为至少一组第二分类信息中相应第二类型图像分别对应的误差值的相加值。

本实施例中，瞳孔定位系统在对待处理人脸图像中眼球边缘的位置信息进行标注时，考虑到了在对人脸训练图像进行训练过程中的误差，使得标注的眼球边缘的位置信息更准确。

在具体的实施例中，瞳孔定位系统在训练第二分类模型时，可以形成第一分类树，第一分类树的某一叶子节点的多个下一级叶子节点分别为某一叶子节点中包括的多个人脸训练图像根据第一分类条件得到的多个类型的人脸训练图像，并储存第一分类信息，在第一分类信息中包括所述第一分类树中各个叶子节点对应的预测位置信息及所述第一分类条件。且还会形成至少一个第二分类树，第二分类树的某一叶子节点的多个下一级叶子节点分别为某一叶子节点中包括的多个人脸训练图像根据第二分类条件得到的多个类型的人脸训练图像，并储存至少一组第二分类信息，任一组第二分类信息包括某一第二分类树中各个叶子节点对应的预测位置信息，第二分类条件及某一叶子节点的预测位置信息的误差值。

其中，某一个叶子节点的预测位置信息为某一个叶子节点中包括的多个人脸训练图像中眼球边缘的平均位置信息；第一分类条件和第二分类条件都包括各个叶子节点包括的多个人脸训练图像中眼睛区域的两个像素点的像素值的绝对差值大于或不大于阈值及这两个像素点的位置信息；某一叶子节点的误差值是该叶子节点中各个人脸训练图像的真实位置信息分别与对应人脸训练图像当前的预测位置信息的差值的相加值，其中，人脸训练图像当前的预测位置信息为两组以上分类信息(包括当前一组第二分类信息)分别对相应人脸训练图像的预测位置信息的相加值。

需要说明的是，在生成一个分类树的过程中，如果满足如下的任一条件时，瞳孔定位系统可以停止继续生成上述某一分类树(包括第一分类树或第二分类树)：分类树的深度达到预置深度，分类次数达到预置次数及各类人脸训练图像的预测位置信息的误差都小于预置误差。

以下以一个具体的实施例来说明本实施例的瞳孔定位方法，参考图4所示，本实施例的方法具体包括：

步骤401，采用回归树的方法训练多个人脸训练图像得到分类模型。

具体地，参考图5所示，瞳孔定位系统会将多个(比如n个)人脸训练图像分为两类，然后再分别将每一类人脸训练图像分为两类，这样以此类推，如果分类次数达到预置次数，或是分类树的深度达到预置深度，或是各类人脸训练图像的预测位置信息的误差小于预置误差，停止对人脸训练图像的分类，这样即可形成第一颗分类树。然后瞳孔定位系统会将第一颗分类树储存为一组第一分类信息，具体包括各个叶子节点的预测位置信息和分类条件，其中每个叶子节点的预测位置信息为该叶子节点包括的多个人脸训练图像中眼球边缘的平均位置信息；分类条件可以包括人脸训练图像中眼睛区域的两个像素点的像素值的绝对差值大于(或不大于)阈值的信息，及这两个像素点的具体位置信息等。

瞳孔定位系统还可以按照上述生成第一颗分类树的方法生成第二颗分类树，不同的是，瞳孔定位系统会计算各个叶子节点对应的误差值，该误差值为叶子节点中包括的多个人脸训练图像的真实位置信息分别与对应人脸训练图像当前的预测位置信息的差值的相加值，其中，人脸训练图像当前的预测位置信息为第一颗分类树和第二颗分类树分别对相应人脸训练图像的预测位置信息的相加值。且瞳孔定位系统会将第二颗分类树储存为一组第二分类信息，具体包括，各个叶子节点的预测位置信息，分类条件及误差值。

瞳孔定位系统还可以按照上述生成第二颗分类树的方法生成第三棵分类树，不同的是，瞳孔定位系统在计算各个叶子节点对应的误差值时，人脸训练图像当前的预测位置信息为第一颗分类树、第二颗分类树和第三棵分类树分别对相应人脸训练图像的预测位置信息的相加值。

按照上述方法，以此类推，可以生成多颗分类树，当各类人脸训练图像的预测位置信息的误差都小于预置误差，则停止分类树的继续生成。瞳孔定位系统储存的各个分类树的信息即构成了训练的分类模型，具体可以包括一组第一分类信息和多组第二分类信息。

步骤402，根据分类模型对待处理人脸图像中眼球边缘的位置信息进行标注，标注的位置信息所指示区域的图像为第一图像。

具体地，瞳孔定位系统根据分类模型中一组第一分类信息可以将待处理人脸图像分为第一类型图像(即属于某个叶子节点)，并从分类模型中得到这个叶子节点对应的预测位置信息。根据分类模型中的多组第二分类信息可以分别得到待处理人脸图像的多个预测位置信息，及多个误差值。则待处理人脸图像中眼球边缘的位置信息为通过上述分类模型得到的多个预测位置信息的第一相加值，与多个误差值的第二相加值的和。

步骤403，对第一图像进行灰度化处理得到第二图像，即将第一图像的色彩信息去掉，第二图像中只包括纹理信息，得到的第二图像中各个像素点的像素值(即灰度值)在0到255的区间内。

步骤404，根据第二图像的像素值对第二图像进行二值化处理得到二值化图像，将二值化图像分为两个区域的图像，即前景部分图像和背景部分图像。

具体地，瞳孔定位系统可以确定一个像素值阈值，然后将第二图像中大于该像素值阈值的像素值作为一个子区域，将该子区域内各个像素点的像素值都设置为0(或255)；将不大于该像素值阈值的像素值作为另一个子区域，将该另一子区域内各个像素点的像素值都设置为255(或0)，这样即可得到二值化图像。

其中，像素值阈值可以根据经验值来确定，但是由于每个人的眼球包括的眼白和瞳孔两部分的灰度分布可能并不完全一致，采用固定阈值划分第二图像时，效果并不理想，需要采用自适应阈值的方法。

具体地，瞳孔定位系统可以统计第二图像中各个像素值的像素点个数，得到如图6所示的曲线图，即像素点个数和像素值的关系图，则可以将像素点个数的两个峰值(峰值1和峰值2)之间的谷值对应的像素值作为像素值阈值；或者，在像素点个数的两个峰值之间包含谷值的区间内，选择一个最优值对应的最优像素值作为像素值阈值。该最优像素值可以为与第二图像中除最优像素值之外的其它像素值的平均方差最大的像素值。

步骤405，对二值化图像进行去干扰处理后，将二值化图像的前景部分图像作为待处理人脸图像的瞳孔图像。

具体地，瞳孔定位系统可以先采用垂直方向投影的方法去掉二值化图像中左右区域干扰得到一次去干扰图像，然后再对一次去干扰图像进行形态学腐蚀处理以进一步去掉细小干扰因素，即可得到瞳孔图像。

其中，在采用垂直方向投影的方法时，如果二值化图像中包括前景部分图像和背景部分图像，两部分图像的像素值分为0和255，瞳孔定位系统可以从上到下扫描二值化图像中每一列图像中各个像素点的像素值，统计每一列图像中像素值为0的像素点个数Ci，其中，i大于或等于0，且小于或等于W，这里W为二值化图像中像素的列数，如果某一列图像中像素值为0的像素点个数Ci小于预置个数Tp，则将该列图像中所有像素点的像素值都置为255，即背景部分图像的像素值。具体如下公式1所示，其中，p(i,j)为二值化图像中i列j行的像素值：

在进行形态学腐蚀处理时，瞳孔定位系统可以将一次去干扰图像中某些干扰像素去掉，具体是针对一次去干扰图像边缘区域中像素值为第一数值(即0)的像素点，将这些像素点的像素值去掉。

例如图7a所示为通过上述步骤403的处理后得到的第二图像即灰度图像，图7b所示为通过上述步骤404的处理后得到的二值化图像，图7c所示为通过上述步骤405的处理后得到的瞳孔图像。

本发明实施例还提供一种瞳孔定位系统，其结构示意图如图8所示，具体可以包括：

标注单元10，用于根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，所述预置的机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息，所述待处理人脸图像中标注的位置信息所指示区域的图像为第一图像；

区域划分单元11，用于根据所述标注单元10得到的第一图像的像素值进行图像划分处理得到两个子区域的图像，所述两个子区域的像素值分别属于两个不同范围，所述两个范围的平均像素差值大于预置的值；

确定单元12，用于如果所述两个子区域包括前景部分区域和背景部分区域，确定所述区域划分单元11划分为的前景部分区域为所述待处理人脸图像中瞳孔所在区域。

所述区域划分单元11在划分第一图像时，具体用于根据所述第一图像的像素值将所述第一图像划分为两个子区域；或者，根据所述第一图像的像素值对所述第一图像进行灰度化处理得到第二图像，根据所述第二图像的像素值将所述第二图像划分为两个子区域。

在一种情况下，区域划分单元11确定第一像素值阈值；将所述第一图像中像素值大于所述第一像素值阈值的点所在区域作为一个子区域，将所述第一图像中像素值不大于所述第一像素值阈值的点所在区域作为另一个子区域；在另一种情况下，区域划分单元11会确定第二像素值阈值，将第二图像中像素值大于所述第二像素值阈值的点所在区域作为一个子区域，将所述第二图像中像素值不大于所述第二像素值阈值的点所在区域作为另一个子区域。

在一个具体的实施例中，所述区域划分单元11在确定第二像素值阈值时，具体用于统计所述第二图像中各个像素值对应的像素点个数；将所述统计的像素点个数的两个峰值之间的谷值对应的像素值作为所述第二像素值阈值；或，在所述统计的像素点个数的两个峰值之间包含谷值的区间内，选择一个最优值对应的最优像素值作为所述第二像素值阈值。

这里最优像素值为与所述第二图像中除所述最优像素值之外的其它像素值的平均方差最大的像素值。

可见，在本实施例的系统在瞳孔定位的过程中，标注单元10先根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，然后区域划分单元11根据标注的位置信息所指示区域的图像的像素值进行图像划分处理得到两个子区域的图像，确定单元12即可将其中一个子区域即前景部分区域确定为待处理人脸图像中瞳孔所在区域。由于对眼球边缘的位置信息可以通过简单的机器学习模型就能标注，然后再结合图像处理方法即可实现实时地瞳孔定位，和现有技术中直接对瞳孔的位置信息进行标注相比，降低了复杂度，且定位的瞳孔比较准确。

参考图9所示，在一个具体的实施例中，瞳孔定位系统除了可以包括如图8所示的结构外，还可以包括第一设置单元13和第二设置单元14，且系统中的标注单元10还可以通过模型获取单元110，分类单元120和位置标注单元130来实现，其中：

在一种情况下，预置的机器学习模型为第一分类模型，则模型获取单元110，用于获取第一分类模型，所述第一分类模型包括一组第一分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；分类单元120，用于根据所述模型获取单元110获取的第一分类条件确定所述待处理人脸图像的类型；所述位置标注单元130，用于将所述第一分类信息中与所述分类单元120确定的类型对应的预测位置信息标注为所述待处理人脸图像中眼球边缘的位置信息。

在另一种情况下，预置的机器学习模型为第二分类模型，则模型获取单元110，还用于获取第二分类模型，所述第二分类模型包括一组第一分类信息和至少一组第二分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；所述任一组第二分类信息包括对人脸图像的第二分类条件，及基于所述第二分类条件的各个类型图像分别对应的眼球边缘的预测位置信息，及各个类型图像对应的预测位置信息的误差值；所述分类单元120，还用于根据所述模型获取单元110获取的第一分类条件和至少一个第二分类条件分别确定所述待处理人脸图像为第一类型图像和至少一个第二类型图像；所述位置标注单元130，还用于将所述待处理人脸图像的最终预测位置信息与最终误差值的相加值标注为所述待处理人脸图像中眼球边缘的位置信息；其中，所述最终预测位置信息为第一分类信息中所述分类单元120确定的第一类型图像的预测位置信息，与所述至少一组第二分类信息中相应第二类型图像分别对应的预测位置信息的相加值；所述最终误差值为所述至少一组第二分类信息中相应第二类型图像分别对应的误差值的相加值。

在这种情况下，模型获取单元110在获取第二分类模型时，具体用于形成第一分类树，所述第一分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第一分类条件得到的多个类型的人脸训练图像；储存所述第一分类信息，所述第一分类信息包括所述第一分类树中各个叶子节点对应的预测位置信息及所述第一分类条件；形成至少一个第二分类树，所述第二分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第二分类条件得到的多个类型的人脸训练图像；储存所述至少一组第二分类信息，任一组第二分类信息包括某一所述第二分类树中各个叶子节点对应的预测位置信息，所述第二分类条件及某一叶子节点的预测位置信息的误差值；

其中，某一个叶子节点的预测位置信息为所述某一个叶子节点中包括的多个人脸训练图像中眼球边缘的平均位置信息，所述第一分类条件和第二分类条件都包括各个叶子节点包括的多个人脸训练图像中眼睛区域的两个像素点的像素值的绝对差值大于或不大于阈值及所述两个像素点的位置信息；某一叶子节点的误差值是该叶子节点中各个人脸训练图像的真实位置信息分别与对应人脸训练图像当前的预测位置信息的差值的相加值，其中，人脸训练图像当前的预测位置信息为两组以上分类信息(包括当前一组第二分类信息)分别对相应人脸训练图像的预测位置信息的相加值。

第一设置单元13，用于在区域划分单元11划分两个子区域后，还可以将所述两个子区域中第一子区域的图像中各个像素点的像素值都分别设置为第一数值，将所述两个子区域中第二子区域的图像中各个像素点的像素值都分别设置为第二数值。

第二设置单元14，用于在第一设置单元13的设置处理后，如果所述两个子区域的图像中前景部分图像的像素值为所述第一数值，所述背景部分图像的像素值为所述第二数值，如果某一列图像中像素值为所述第一数值的像素点个数小于预置个数，将所述某一列图像中像素值为所述第一数值的像素点的像素值设置为所述第二数值。

本发明实施例还提供一种终端设备，其结构示意图如图10所示，该终端设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)20(例如，一个或一个以上处理器)和存储器21，一个或一个以上存储应用程序221或数据222的存储介质22(例如一个或一个以上海量存储设备)。其中，存储器21和存储介质22可以是短暂存储或持久存储。存储在存储介质22的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对终端设备中的一系列指令操作。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中的一系列指令操作。

具体地，在存储介质22中储存的应用程序221包括瞳孔定位的应用程序，且该程序可以包括上述瞳孔定位系统中的标注单元10，区域划分单元11，确定单元12，第一设置单元13和第二设置单元14，在此不进行赘述。更进一步地，中央处理器20可以设置为与存储介质22通信，在终端设备上执行存储介质22中储存的瞳孔定位的应用程序对应的一系列操作。

终端设备还可以包括一个或一个以上电源23，一个或一个以上有线或无线网络接口24，一个或一个以上输入输出接口25，和/或，一个或一个以上操作系统223，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述方法实施例中所述的由瞳孔定位系统所执行的步骤可以基于该图10所示的终端设备的结构。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM)、随机存取存储器RAM)、磁盘或光盘等。

以上对本发明实施例所提供的瞳孔定位方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种瞳孔定位方法，其特征在于，包括：

根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，所述预置的机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息，所述待处理人脸图像中标注的位置信息所指示区域的图像为第一图像；

根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像；所述两个子区域的像素值分别属于两个不同范围，所述两个范围的平均像素差值大于预置的值；

所述两个子区域包括前景部分区域和背景部分区域，确定所述前景部分区域为所述待处理人脸图像中瞳孔所在区域。

2.如权利要求1所述的方法，其特征在于，所述预置的机器学习模型为第一分类模型，所述根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，具体包括：

获取第一分类模型，所述第一分类模型包括第一分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；

根据所述第一分类条件确定所述待处理人脸图像的类型，将所述第一分类信息中与所述确定的类型对应的预测位置信息标注为所述待处理人脸图像中眼球边缘的位置信息。

3.如权利要求1所述的方法，其特征在于，所述预置的机器学习模型为第二分类模型，所述根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，具体包括：

获取第二分类模型，所述第二分类模型包括一组第一分类信息和至少一组第二分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；所述任一组第二分类信息包括对人脸图像的第二分类条件，及基于所述第二分类条件的各个类型图像分别对应的眼球边缘的预测位置信息，及各个类型图像对应的预测位置信息的误差值；

根据所述第一分类条件和至少一个第二分类条件分别确定所述待处理人脸图像为第一类型图像和至少一个第二类型图像；

将所述待处理人脸图像的最终预测位置信息与最终误差值的相加值标注为所述待处理人脸图像中眼球边缘的位置信息；其中，所述最终预测位置信息为第一分类信息中所述第一类型图像的预测位置信息，与所述至少一组第二分类信息中相应第二类型图像分别对应的预测位置信息的相加值；所述最终误差值为所述至少一组第二分类信息中相应第二类型图像分别对应的误差值的相加值。

4.如权利要求3所述的方法，其特征在于，所述获取第二分类模型，具体包括：

形成第一分类树，所述第一分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第一分类条件得到的多个类型的人脸训练图像；

储存所述第一分类信息，所述第一分类信息包括所述第一分类树中各个叶子节点对应的预测位置信息及所述第一分类条件；

形成至少一个第二分类树，所述第二分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第二分类条件得到的多个类型的人脸训练图像；

储存所述至少一组第二分类信息，任一组第二分类信息包括某一所述第二分类树中各个叶子节点对应的预测位置信息，所述第二分类条件及某一叶子节点的预测位置信息的误差值；

其中，某一个叶子节点的预测位置信息为所述某一个叶子节点中包括的多个人脸训练图像中眼球边缘的平均位置信息，所述第一分类条件和第二分类条件都包括各个叶子节点包括的多个人脸训练图像中眼睛区域的两个像素点的像素值的绝对差值大于或不大于阈值及所述两个像素点的位置信息。

5.如权利要求1至4任一项所述的方法，其特征在于，所述根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像，具体包括：

根据所述第一图像的像素值将所述第一图像划分为两个子区域；或者，

根据所述第一图像的像素值对所述第一图像进行灰度化处理得到第二图像，根据所述第二图像的像素值将所述第二图像划分为两个子区域。

6.如权利要求5所述的方法，其特征在于，所述根据第一图像的像素值将所述第一图像划分为两个子区域，具体包括：

确定第一像素值阈值；将所述第一图像中像素值大于所述第一像素值阈值的点所在区域作为一个子区域，将所述第一图像中像素值不大于所述第一像素值阈值的点所在区域作为另一个子区域；

所述根据所述第二图像的像素值将所述第二图像划分为两个子区域，具体包括：

确定第二像素值阈值，将将所述第二图像中像素值大于所述第二像素值阈值的点所在区域作为一个子区域，将所述第二图像中像素值不大于所述第二像素值阈值的点所在区域作为另一个子区域。

7.如权利要求6所述的方法，其特征在于，所述确定第二像素值阈值，具体包括：

统计所述第二图像中各个像素值对应的像素点个数；

将所述统计的像素点个数的两个峰值之间的谷值对应的像素值作为所述第二像素值阈值；或，

在所述统计的像素点个数的两个峰值之间包含谷值的区间内，选择一个最优值对应的最优像素值作为所述第二像素值阈值。

8.如权利要求7所述的方法，其特征在于，所述最优像素值为与所述第二图像中除所述最优像素值之外的其它像素值的平均方差最大的像素值。

9.如权利要求1至4任一项所述的方法，其特征在于，所述根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像之后，所述方法还包括：

将所述两个子区域中第一子区域的图像中各个像素点的像素值都分别设置为第一数值，将所述两个子区域中第二子区域的图像中各个像素点的像素值都分别设置为第二数值。

10.如权利要求9所述的方法，其特征在于，所述两个子区域的图像中前景部分图像的像素值为所述第一数值，所述背景部分图像的像素值为所述第二数值，则所述根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像之后，所述方法还包括：

如果某一列图像中像素值为所述第一数值的像素点个数小于预置个数，将所述某一列图像中像素值为所述第一数值的像素点的像素值设置为所述第二数值。

11.一种瞳孔定位系统，其特征在于，包括：

标注单元，用于根据预置的机器学习模型对待处理人脸图像中眼球边缘的位置信息进行标注，所述预置的机器学习模型中包括各个类型的人脸图像的眼球边缘的预测位置信息，所述待处理人脸图像中标注的位置信息所指示区域的图像为第一图像；

区域划分单元，用于根据所述第一图像的像素值进行图像划分处理得到两个子区域的图像，所述两个子区域的像素值分别属于两个不同范围，所述两个范围的平均像素差值大于预置的值；

确定单元，用于如果所述两个子区域包括前景部分区域和背景部分区域，确定所述前景部分区域为所述待处理人脸图像中瞳孔所在区域。

12.如权利要求11所述的系统，其特征在于，所述预置的机器学习模型为第一分类模型，则所述标注单元包括模型获取单元，分类单元和位置标注单元，其中：

所述模型获取单元，用于获取第一分类模型，所述第一分类模型包括第一分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；

所述分类单元，用于根据所述第一分类条件确定所述待处理人脸图像的类型；

所述位置标注单元，用于将所述第一分类信息中与所述确定的类型对应的预测位置信息标注为所述待处理人脸图像中眼球边缘的位置信息。

13.如权利要求12所述的系统，其特征在于，所述预置的机器学习模型为第二分类模型，则：

所述模型获取单元，还用于获取第二分类模型，所述第二分类模型包括一组第一分类信息和至少一组第二分类信息，所述第一分类信息包括对人脸图像的第一分类条件，及基于所述第一分类条件的各个类型图像分别对应的眼球边缘的预测位置信息；所述任一组第二分类信息包括对人脸图像的第二分类条件，及基于所述第二分类条件的各个类型图像分别对应的眼球边缘的预测位置信息，及各个类型图像对应的预测位置信息的误差值；

所述分类单元，还用于根据所述第一分类条件和至少一个第二分类条件分别确定所述待处理人脸图像为第一类型图像和至少一个第二类型图像；

所述位置标注单元，还用于将所述待处理人脸图像的最终预测位置信息与最终误差值的相加值标注为所述待处理人脸图像中眼球边缘的位置信息；其中，所述最终预测位置信息为第一分类信息中所述第一类型图像的预测位置信息，与所述至少一组第二分类信息中相应第二类型图像分别对应的预测位置信息的相加值；所述最终误差值为所述至少一组第二分类信息中相应第二类型图像分别对应的误差值的相加值。

14.如权利要求13所述的系统，其特征在于，

所述模型获取单元，具体用于形成第一分类树，所述第一分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第一分类条件得到的多个类型的人脸训练图像；储存所述第一分类信息，所述第一分类信息包括所述第一分类树中各个叶子节点对应的预测位置信息及所述第一分类条件；形成至少一个第二分类树，所述第二分类树的某一叶子节点的多个下一级叶子节点分别为所述某一叶子节点中包括的多个人脸训练图像根据所述第二分类条件得到的多个类型的人脸训练图像；储存所述至少一组第二分类信息，任一组第二分类信息包括某一所述第二分类树中各个叶子节点对应的预测位置信息，所述第二分类条件及某一叶子节点的预测位置信息的误差值；

其中，某一个叶子节点的预测位置信息为所述某一个叶子节点中包括的多个人脸训练图像中眼球边缘的平均位置信息，所述第一分类条件和第二分类条件都包括各个叶子节点包括的多个人脸训练图像中眼睛区域的两个像素点的像素值的绝对差值大于或不大于阈值及所述两个像素点的位置信息。

15.如权利要求11至14任一项所述的系统，其特征在于，

所述区域划分单元，具体用于根据所述第一图像的像素值将所述第一图像划分为两个子区域；或者，根据所述第一图像的像素值对所述第一图像进行灰度化处理得到第二图像，根据所述第二图像的像素值将所述第二图像划分为两个子区域。

16.如权利要求15所述的系统，其特征在于，

所述区域划分单元，具体用于确定第一像素值阈值；将所述第一图像中像素值大于所述第一像素值阈值的点所在区域作为一个子区域，将所述第一图像中像素值不大于所述第一像素值阈值的点所在区域作为另一个子区域；或者，

所述区域划分单元，具体用于确定第二像素值阈值，将第二图像中像素值大于所述第二像素值阈值的点所在区域作为一个子区域，将所述第二图像中像素值不大于所述第二像素值阈值的点所在区域作为另一个子区域。

17.如权利要求16所述的系统，其特征在于，

所述区域划分单元，具体用于统计所述第二图像中各个像素值对应的像素点个数；将所述统计的像素点个数的两个峰值之间的谷值对应的像素值作为所述第二像素值阈值；或，在所述统计的像素点个数的两个峰值之间包含谷值的区间内，选择一个最优值对应的最优像素值作为所述第二像素值阈值。

18.如权利要求17所述的系统，其特征在于，所述最优像素值为与所述第二图像中除所述最优像素值之外的其它像素值的平均方差最大的像素值。

19.如权利要求11至14任一项所述的系统，其特征在于，还包括：

第一设置单元，用于将所述两个子区域中第一子区域的图像中各个像素点的像素值都分别设置为第一数值，将所述两个子区域中第二子区域的图像中各个像素点的像素值都分别设置为第二数值。

20.如权利要求19所述的系统，其特征在于，还包括：

第二设置单元，用于如果所述两个子区域的图像中前景部分图像的像素值为所述第一数值，所述背景部分图像的像素值为所述第二数值，如果某一列图像中像素值为所述第一数值的像素点个数小于预置个数，将所述某一列图像中像素值为所述第一数值的像素点的像素值设置为所述第二数值。