CN104850842B - 移动终端虹膜识别的人机交互方法 - Google Patents

Abstract

本发明提供了移动终端虹膜识别的人机交互方法，包括利用采集设备获取近红外人脸图像并结合虹膜定位对人眼区域进行检测而得到人眼的位置信息，进一步根据检测结果获取人眼相对于所述采集设备的距离信息和人脸朝向的姿态估计，再根据距离和姿态信息发出提示，从而实现人机交互体验，此外还具有界面友好、易用性强和识别效率高等优点。

Description

移动终端虹膜识别的人机交互方法

技术领域

本发明涉及一种虹膜识别方法，特别涉及移动终端虹膜识别的人机交互方法。

背景技术

近年来，虹膜识别已经在安防、银行等领域得到广泛应用，然而受制于使用者易用性方面的问题，虹膜识别迟迟没有得到更大规模的应用，其最主要的原因即为使用者的交互体验差。在使用者的交互体验中，虹膜识别设备惯用“所见即所得”的图像反馈来指导使用者的进行远近距离提示以及人眼区域对准，需要使用者根据实际显示的情况进行人为对准，才能够实现虹膜图像的正常采集，这严重制约了虹膜识别采集区域的范围。此外，这种所见即所得显示的图像均为近红外的人脸图像，相对于可见光人脸图像而言，近红外人脸图像是灰白图像，有比较“恐怖”的感觉，使得使用者相对较难接受，人机交互体验差，间接影响了虹膜识别的易用性。

基于上述现有技术的不足之处，因此需要开发出一种界面友好、易用性强且具有交互体验的红膜识别方法和设备。

发明内容

本发明的目的在于提供了移动终端虹膜识别的人机交互方法，该方法的虹膜识别流程包括如下步骤：

a)利用采集设备获取近红外人脸图像并结合虹膜定位对人眼区域进行检测而得到人眼的位置信息；

b)根据步骤a)的检测结果获取人眼相对于所述采集设备的距离信息，并判断该距离是否满足虹膜识别的要求，如果不满足要求则返回步骤a)；

c)根据步骤a)的检测结果进行人脸关键点位置的初始化并对人脸关键点进行检测，从而实现人脸朝向的姿态估计并判断该姿态是否满足虹膜识别的要求，如果不满足则返回步骤a)；

d)截取人眼区域的虹膜图像进行虹膜识别。

优选地，所述步骤b)和所述步骤c)同时进行，且如果所述距离和人脸朝向姿态不同时满足虹膜识别的要求，则返回步骤a)。

优选地，所述步骤b)与所述步骤c)的执行顺序交换。

优选地，所述步骤a)根据人眼区域检测结果实时动态输出人眼的实际位置。

优选地，所述步骤b)通过计算人脸图像中使用者双眼的距离d来获取人眼相对于采集设备距离信息。

优选地，所述步骤c)通过人脸关键点检测结果实现所述近红外人脸图像映射到可见光下的人脸图像。

优选地，还包括通过人脸关键点检测结果实现所述近红外人脸图像的风格化动态呈现。

优选地，所述步骤b)和所述步骤c)根据判断结果向使用者发出距离和/或姿态的调整信息。

优选地，使用者通过设置符合虹膜识别要求的自定义人脸图像，所述步骤c)通过判断该自定义人脸图像中的人眼目标位置与人眼实际位置之间的距离来发出姿态调整的提示信息。

优选地，所述使用者自定义的人脸图像为普通人脸图像或软件合成图像。

本发明提供的移动终端虹膜识别的人机交互方法具有极好的人机交互体验，此外还具有界面友好、易用性强和识别效率高等优点。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1是传统虹膜设备人眼采集区域示意图；

图2(a)至图2(e)是带有人眼检测功能的虹膜设备的人眼采集区域示意图；

图3是近红外人脸图像的人眼区域截取示意图；

图4(a)至图4(c)是移动终端虹膜识别的人机交互方法的三种流程图；

图5是基于双眼区域检测的距离计算示意图；

图6是基于单眼区域检测的距离计算示意图；

图7是人脸图像关键点检测与使用者姿态变化的关系示意图；

图8是近红外人脸图像映射至可见光人脸图像的示意图；

图9是近红外人脸图像映射到对应卡通人脸图像的示意图；

图10(a)至图10(d)是基于人眼实际位置和目标位置的交互示意图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明提供了移动终端虹膜识别的人机交互方法，扩大了虹膜采集的图像范围，具有较强的人机交互特性，提升了使用者易用性。

传统的虹膜识别设备是将采集到的虹膜图像实时的显示在反馈显示器中，使用者根据虹膜图像实际的显示效果来调整自身与虹膜采集设备的相对位置，从而保证采集的图像可以用于虹膜识别。如图1所示，虹膜101出现在对应的位置时，虹膜识别才会得有有效的进行；虹膜102偏下以及虹膜103偏上都会给虹膜识别带来困难，不利于提高使用者的使用体验和识别效率。

为了克服以上问题，本发明移动终端虹膜识别的人机交互方法直接采集使用者的人脸图像，在人脸图像上进行自动的人眼区域检测，如图2(a)至图(e)分别示出了人脸在采集图像中的不同位置，当使用者向左移动、向右移动时，只要保证有完整的一只人眼在采集范围内，就可以完成虹膜识别的功能。当使用者上下移动的过程中，只需要保证眼部区域在可采集范围内即可。通过自动截取人脸图像中的眼部图像进行虹膜识别，如图3所示，通过自动截取虹膜识别图像可以有效减少使用者的配合程度，只需要保证有眼部区域在采集范围内即可。

图4(a)-图4(c)分别示出了根据本发明的移动终端虹膜识别的人机交互方法的三种流程图。

如图4(a)所示，根据本发明的移动终端虹膜识别的人机交互方法的第一种识别流程包括如下步骤：

步骤401：利用采集设备获取一张近红外人脸图像，进入步骤402；

步骤402：结合虹膜定位对人眼区域进行检测，进入步骤403和404，分别同时进行人眼距离的判断和人眼位置的判断；

步骤403：获取人眼相对于采集设备的距离信息，进入步骤407；

步骤404：获取近红外人脸图像中人眼的位置信息，进入步骤405；

步骤405：根据人眼位置信息进行人脸关键点位置初始化并对人脸的关键点进行检测，进入步骤406；

步骤406：根据人脸关键点检测结果进行人脸朝向的姿态估计；

步骤407：判断人眼距离和人脸姿态是否满足虹膜识别要求，如果不满足要求则进入步骤404，如果都满足要求则进入步骤408；

步骤408：截取虹膜图像并进行识别。

上述流程中，步骤403和404同时进行，即同时获取人眼的位置和距离信息，且步骤407同时判断人眼距离和人脸姿态是否满足要求虹膜识别要求。

第二种识别流程与第一种识别流程不同点在于：将第一种识别流程中的步骤407分成步骤407a和步骤407b，即先判断人眼与设备的距离是否满足要求，在满足要求的条件下再判断人眼的位置姿态是否满足虹膜识别的要求。具体的如图4(b)所示，该识别流程先进入步骤407a获取人眼的距离并进行距离判断，只有人眼距离满足红膜识别要求后再进入步骤407b获取人眼的位置信息和人脸姿态判断。

第三种识别流程与第二种识别流程不同点在于：该识别流程先进入步骤407b获取人眼的位置信息及人脸姿态，只有人脸姿态满足红膜识别要求后才进入步骤407a获取人眼的距离并进行距离判断，具体的如图4(c)所示。

图5和图6分别示出了判断人眼与采集设备之间的距离是否满足虹膜识别要求的两种方法，其中图5示出了判断双眼之间间距的方法，图6示出了判断单眼虹膜半径大小的方法。

在人眼检测过程中可以计算使用者双眼的距离d来判断人眼与采集设备之间的距离是否满足虹膜识别要求，双眼距离d根据人脸图像大小的变化而变化，如图5所示，人脸图像从小到大过程中双眼距离d依次为d1、d2和d3，其中d1<d2<d3；进一步设定的最小阈值th1和最大阈值th2，当d大于th2时，说明人眼过于靠近采集设备而无法正确识别虹膜，此时可以提示使用者远离虹膜采集设备，当d小于th1时，说明人眼过于远离采集设备而无法正确识别虹膜，此时可以提示使用者靠近虹膜采集设备。

当采集的人脸图像中只有单只人眼存在时，如图6所示，则截取对应的人眼区域图像，进行虹膜边界定位，利用虹膜半径来实现使用者的距离提示。具体地，可以设定半径最小阈值rth1和半径最大阈值rth2，当虹膜半径r大于rth2时，说明人眼过于靠近采集设备而无法正确识别虹膜，此时可以提示使用者远离采集设备，当虹膜半径r小于rth1时，说明人眼过于远离采集设备而无法正确识别虹膜，此时可以提示使用者靠近设备。

通过采集人脸图像可以保证人眼区域的图像完整性，从而实现人眼区域检测结果还可以确定和区分左眼还是右眼，从而可以实现使用者位置提示的功能。如图2所示，当使用者左眼离开显示屏时，提示使用者向右移动；当使用者右眼离开显示屏时，提示使用者向左移动；当使用者双眼靠近屏幕上方位置时，提示使用者向下移动；当使用者双眼靠近屏幕下方位置时，提示使用者向上移动。

使用者的姿态与人脸面部关键点的位置信息存在着一定的联系，如图7所示，人脸图像中关键点区域的三角化平面图中可以清晰的表达出不同的使用者姿态下的人脸关键点的变化。利用这种人脸关键点的变化可以实现人脸朝向的姿态估计，进一步可以实现向使用者发出姿态相关的提示信息，促使使用者将姿态调整到合适的位置，使得采集到的虹膜图像满足虹膜识别的要求。

通过采集使用者在不同姿态情况下的人脸图像并进行人脸关键点检测，如图8所示，以人眼关键区域为基准点，实现人脸图像的映射，将近红外的灰白人脸图像映射到可见光下的人脸图像。实现这种人脸图像映射后，使用者界面显示的可见光图像更易于使用者接受，从而提升使用者使用体验以及愉悦度。

优选地，可以根据人脸关键点的检测实现近红外人脸图像的风格化动态呈现，即使用者的喜好进行人脸图像的差异化转换，如图9所示，可以根据对应的人脸关键点信息，实现人脸图像的卡通化转换并获得人脸卡通图像，且该人脸卡通图像可以实时根据人脸姿态的变化而动态呈现。

更加优选地，使用者可以预先设定好界面显示的自定义人脸图像，该自定义人脸图像可以采用使用者的自拍头像，也可以是通过软件合成的图像，如图10(a)所示，该自定义图像和合成图像必须满足虹膜识别要求，自定义人脸图像和合成图像中的人眼位置即为实际能够进行虹膜识别的位置，利用人眼区域检测的结果可以实时输出人眼的实际位置104，如图10(b)所示。通过图像处理可以得出人眼实际位置104和人眼目标位置105之间的相对距离并提示使用者向人眼目标位置105移动，从而实现正确地虹膜识别。所述自定义图像和合成图像也可以为包含人眼区域的局部人脸图像，如图10(c)所示。通过这种人机交互方法，使用者可以很方面的实现人眼区域对齐从而保证虹膜图像的有效采集，此外合成图像中还可以设置一些个性化的脸部特征，例如个性化的眉毛、鼻子、皮肤等，使用者根据自己的喜好进行人脸局部特征的个性化选择，如图10(d)所示，这可以大大提升虹膜识别应用的趣味性，使得使用者使用虹膜识别功能的热情。

为了提高使用者的易用性，加强虹膜识别的人机交互特性，本发明提供的移动终端虹膜识别的人机交互方法具有极好的人机交互体验，此外还具有界面友好、易用性强和识别效率高等优点。

所述附图仅为示意性的并且未按比例画出。虽然已经结合优选实施例对本发明进行了描述，但应当理解本发明的保护范围并不局限于这里所描述的实施例。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (8)

1.移动终端虹膜识别的人机交互方法，该方法的虹膜识别流程包括如下步骤：

a)利用采集设备获取近红外人脸图像并结合虹膜定位对人眼区域进行检测而得到人眼的位置信息；

b)根据步骤a)的检测结果获取人眼相对于所述采集设备的距离信息，分别针对是否同时获取到双眼图像的情况分别进行距离提示，所述距离提示步骤如下：

b1：当检测近红外人脸图像存在双眼时，计算使用者双眼的距离d，进入步骤b2；当检测近红外人脸图像仅存在单眼时，根据人眼区域图像进行虹膜边界定位并计算得出虹膜半径r，进入步骤b3；

b2：获取到双眼图像的情况，设定最小距离阈值th1最大距离阈值th2，当d大于th2时则提示使用者远离所述采集设备；当d小于th1时则提示使用者靠近所述采集设备；

b3：获取到单眼图像的情况，设定最小半径阈值rth1最大距离阈值rth2，当r大于rth2时则提示使用者远离所述采集设备；当r小于rth1时则提示使用者靠近所述采集设备；

b4：判断经调整后的人眼与所述采集设备之间的距离信息是否满足虹膜识别的要求，如果是，根据步骤a)的人眼位置信息获取人眼相对于所述采集设备的位置，对使用者进行上下左右四个方向的移动提示；否则返回步骤a)；

c)根据步骤a)的检测结果进行人脸关键点位置的初始化并对人脸关键点进行检测，得到人脸图像中关键点区域的三角化平面图，从而实现人脸朝向的姿态估计，通过人脸关键点检测结果实现所述近红外人脸图像向其他适合用户交互图像形式的映射，并判断该姿态是否满足虹膜识别的要求，如果不满足则返回步骤a)；

d)截取人眼区域的虹膜图像进行虹膜识别，所述人眼区域位于所述获取图像的中心或者较边缘位置，所述虹膜图像为双眼的虹膜图像或者任意单眼的虹膜图像，通过自动截取获取图像中可识别的虹膜图像区域降低识别系统对用户的配合要求。

2.根据权利要求1所述的人机交互方法，其特征在于：所述步骤b)和所述步骤c)同时进行，且如果所述距离和人脸朝向姿态不同时满足虹膜识别的要求，则返回步骤a)。

3.根据权利要求1所述的人机交互方法，其特征在于：所述步骤b)与所述步骤c)的执行顺序交换。

4.根据权利要求1至3中任一项所述的人机交互方法，其特征在于：所述步骤a)根据人眼区域检测结果实时动态输出人眼的实际位置。

5.根据权利要求1至3中任一项所述的人机交互方法，其特征在于：所述步骤b)和所述步骤c)根据判断结果向使用者发出距离和/或姿态的调整信息。

6.根据权利要求1至3中任一项所述的人机交互方法，其特征在于：所述步骤c)通过人脸关键点检测结果实现所述近红外人脸图像映射到可见光人脸图像，并实现所述近红外人脸图像的风格化动态呈现。

7.根据权利要求1至3中任一项所述的人机交互方法，其特征在于：使用者通过设置符合虹膜识别要求的自定义人脸图像，所述步骤c)通过判断该自定义人脸图像中的人眼目标位置与人眼实际位置之间的距离来发出姿态调整的提示信息。

8.根据权利要求7所述的人机交互方法，其特征在于：所述使用者自定义的人脸图像为普通人脸图像或软件合成图像。