CN106407772A - 适于虚拟现实设备的人机交互与身份认证装置及其方法 - Google Patents

Abstract

本发明提供了一种人机交互方法，包括以下步骤：1)对眼部关键点进行检测，包括上下眼皮、虹膜内外圆、瞳孔中心的关键点检测，拟合得出上下眼皮边界、眼角、虹膜内外圆边界的位置信息，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心；2)计算眼球视线的方向，结合该视线对应在虚拟现实设备显示屏幕上的位置，完成眼球视线追踪；3)对眼球进行凝视/眨眼检测，包括凝视检测以及眨眼检测；若凝视/眨眼检测通过，进入步骤4；否则，进入步骤5；4)针对凝视检测中凝视的具体项目执行相应的操作；之后返回步骤1的眼部关键点检测；5)根据眼球视线的方向更新虚拟现实设备的显示内容；之后返回步骤1的眼部关键点检测。

Description

适于虚拟现实设备的人机交互与身份认证装置及其方法

技术领域

本发明涉及虚拟现实技术以及人机交互和身份认证领域，尤其涉及一种利用人眼虹膜特征进行虚拟现实设备人机交互与身份认证的装置，同时也涉及基于该装置实现的人机交互与身份认证方法。

背景技术

随着虚拟现实技术和可穿戴技术的快速发展，头戴式虚拟现实设备开创了全新的消费电子市场，并在可以预见的将来会迅速普及。如eBay公司率先推出第一家基于头戴式虚拟现实设备的虚拟现实百货商店。

然而基于头戴式虚拟现实设备的人机交互以及身份认证方法存在缺陷，在支付环节用户需要取下头戴式虚拟现实设备，在移动设备的eBay相关应用中进行身份认证，完成交易。反复地摘取虚拟现实眼镜设备不仅极大削弱了用户的浸入式体验，也间接地增加了身份认证的复杂程度。

由于头戴式虚拟现实设备可以便捷地采集到用户的眼部图像，同时基于眼部信息的人机交互以及身份认证技术已经达到实用水平，因此利用基于眼部信息的人机交互以及身份认证技术来完成头戴式虚拟现实设备的相应操作，为用户提供友好便捷、安全可靠的交互体验和身份认证方法，是亟待实现的课题。

发明内容

针对现有技术不足，本发明所要解决的首要技术问题在于提供一种适于虚拟现实设备的人机交互与身份认证装置。

本发明所要解决的另一个技术问题在于提供一种适于虚拟现实设备的人机交互与身份认证方法。

为实现上述的发明目的，本发明采用下述的技术方案：

一种适于虚拟现实设备的人机交互与身份认证装置，其特征在于包括，图像采集模块，用于采集眼部图像；算法处理模块，用于实现人机交互及身份认证；所述装置在进行人机交互时，算法处理模块进行眼部关键点检测、眼球视线追踪、凝视/眨眼检测；所述装置在进行身份认证时，算法处理模块进行活体检测、虹膜识别、交互操作。

优选地，所述图像采集模块包括至少一个光源，位于所述装置靠近人眼的一侧的正上方，用于照明。

优选地，所述图像采集模块包括至少一个摄像头，位于所述设备靠近人眼的一侧的正上方，用于采集眼部图像。

优选地，当用户需要进行人机交互或身份认证时，所述图像采集模块的光源开启，否则关闭。

优选地，当用户需要进行人机交互或身份认证时，所述图像采集模块的摄像头开启，否则关闭。

优选地，所述光源为主动光源，用于提供波长在700纳米到900纳米范围内的光。

优选地，所述摄像头聚焦范围为15毫米到80毫米，视场角为50度到120度。

根据本发明的另一方面，提供了一种应用于所述的人机交互与身份认证装置的人机交互方法，包括以下步骤：

1)对眼部关键点进行检测，包括上下眼皮、虹膜内外圆、瞳孔中心的关键点检测，拟合得出上下眼皮边界、眼角、虹膜内外圆边界的位置信息，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心；

2)计算眼球视线的方向，结合该视线对应在虚拟现实设备显示屏幕上的位置，完成眼球视线追踪；

3)对眼球进行凝视/眨眼检测，包括凝视检测以及眨眼检测；若凝视/眨眼检测通过，进入步骤4；否则，进入步骤5；

4)针对凝视检测中凝视的具体项目执行相应的操作；之后返回步骤1的眼部关键点检测；

5)根据眼球视线的方向更新虚拟现实设备的显示内容；之后返回步骤1的眼部关键点检测。

优选地，所述步骤1中上下眼皮、虹膜内外圆、瞳孔中心的关键点检测的具体步骤为：对采集的眼部图像，利用机器学习方法，检测出上下眼皮各4个关键点、虹膜内外边界各4个关键点以及瞳孔中心1个关键点，共17个关键点；对上下眼皮各4个关键点分别进行三次多项式拟合，可以得到拟合的上下眼皮边界以及两个眼角的位置信息；对虹膜内外边界各4个关键点分别进行圆的拟合，可以得到拟合的虹膜内外圆边界，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心。

优选地，所述步骤2中的眼球视线追踪的具体方法为：利用眼部关键点检测及拟合方法得到的两个眼角、瞳孔中心以及虹膜中心的位置信息，计算出眼角连线中心、虹膜中心与眼角连线中心的距离、瞳孔中心与眼角连线中心的距离、虹膜中心和眼角连线中心连接线与眼角连线之间的夹角、瞳孔中心和眼角连线中心连接线与眼角连线之间的夹角，计算出眼球视线的方向；再根据显示屏幕与人眼部的距离,计算出该视线对应在显示屏幕上的位置，完成眼球视线追踪。

优选地，所述步骤3中判断凝视检测不通过的方法为：根据眼球视线进行判断，该视线对应在显示屏幕上的项目发生了变动，则凝视/眨眼检测不通过。

优选地，所述步骤3中判断凝视检测通过的方法为：根据眼球视线进行判断，如果该视线对应在虚拟现实设备上的项目在预定时间内未发生变动，则凝视检测通过。

优选地，所述步骤3中判断眨眼检测通过的方法为：根据对采集图像序列的眼皮拟合结果进行判断，若上下眼皮的运动轨迹显示上下眼皮的边界由分开到重合再到分开，则认为进行了一次眨眼运动；当检测到进行了两次或两次以上的眨眼运动后，则眨眼检测通过。

根据本发明的另一方面，提供了一种应用于所述人机交互与身份认证装置的身份认证方法，包括步骤：

a)对用户进行活体检测，如果活体检测通过，进入步骤b，否则身份认证失败，进入步骤d；

b)对用户进行虹膜识别，如果虹膜识别通过，进入步骤c，否则身份认证失败，进入步骤d；

c)进行交互操作，包括凝视检测以及眨眼检测，若凝视检测以及眨眼检测通过，身份认证成功；否则，身份认证失败；

d)获取身份认证结果。

优选地，所述步骤a中的活体检测的方法为利用采集到的用户的虹膜图像，从中提取相应的虹膜纹理特征以及频谱特征，进而判断当前用户是否为活体。

优选地，所述步骤b中的虹膜识别方法为利用采集到的用户的虹膜图像，与所存储的用户的虹膜图像进行特征比对，进而识别当前用户身份。

优选地，所述步骤c中的凝视检测的方法为利用采集到的当前用户的图像序列，进行上下眼皮、瞳孔中心的关键点检测，进而得到眼角、瞳孔中心、虹膜中心的位置信息，计算眼球视线的方向，结合显示屏幕与人眼之间的距离，计算出该视线对应在显示屏幕上的位置。

优选地，所述步骤c中的眨眼检测的方法为采集到的当前用户的图像序列，进行上下眼皮的关键点检测，拟合上下眼皮边界，通过上下眼皮的运动轨迹判断其动作。

优选地，所述步骤d中的身份认证成功，用于赋予当前用户其被识别身份账户相应的功能及权限；所述的身份认证失败，用于不对当前用户开启其未能认证身份账户相应的功能及权限。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出本发明的实施例一；

图2示出本发明的实施例二；

图3示出本发明的实施例三；

图4示出本发明的人机交互流程图；

图5示出本发明的基于眼部关键点检测的眼球视线追踪示意图；

图6示出本发明的身份认证流程图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件。

为了使头戴式虚拟现实设备与用户更好地进行人机交互及身份认证，同时用户能够便捷地获对其账户相应的操作权限，而无需反复摘取头戴式设备再在其他设备上进行所需的认证操作，本发明实施例提供了一种适于虚拟现实设备的人机交互与身份认证装置及其方法。

如图1-3所示，为本发明的装置组成的实施例。总体而言，本发明包括适于虚拟现实设备的人机交互与身份认证装置，而虚拟现实设备均用于提供三维动态实景和实体行为的一种模拟环境，并使用户沉浸到该环境中，该装置包括图像采集模块，用于采集眼部图像；算法处理模块，用于实现人机交互及身份认证；所述装置在进行人机交互时，算法处理模块进行眼部关键点检测、眼球视线追踪、凝视/眨眼检测；所述装置在进行身份认证时，算法处理模块进行活体检测、虹膜识别、交互操作。

图像采集模块包括至少一个光源，位于虚拟现实设备靠近人眼的一侧；且当用户需要进行人机交互或身份认证时，光源开启，否则关闭；根据本发明的一个实施例，光源为主动光源，用于提供波长在700纳米到900纳米范围内的光；

图像采集模块包括至少一个摄像头，位于虚拟现实设备靠近人眼的一侧，用于采集眼部图像；且当用户需要进行人机交互或身份认证时，摄像头开启，否则关闭；根据本发明的一个实施例，摄像头聚焦范围为15毫米到80毫米，视场角为50度到120度；

算法处理模块用于实现人机交互及身份认证。检测上下眼皮关键点，进而拟合出两个眼角、上下眼皮边界；检测虹膜内外圆关键点，进而拟合出虹膜内外圆边界，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心；根据两个眼角、瞳孔中心、虹膜中心的位置信息计算出眼球视线方向；根据眼球视线方向更新虚拟现实设备的显示内容；根据眼球视线方向判断用户是否凝视虚拟现实设备显示的具体项目；根据上下眼皮的运动轨迹判断用户是否眨眼；针对用户凝视的具体项目执行相应的操作。

如图1所示，该装置采用两个光源102和两个摄像头103时，两个光源102分别位于虚拟现实设备对应两只眼睛的显示屏幕101的上方，两个摄像头103也分别位于虚拟现实设备对应两只眼睛的显示屏幕101的上方；

如图2所示，该装置采用一个光源202和两个摄像头203时，一个光源202位于虚拟现实设备靠近人眼一侧的正上方，两个摄像头203分别位于虚拟现实设备对应两只眼睛的显示屏幕201的上方；

如图3所示，该装置采用一个光源302和一个摄像头303时，光源和摄像头均位于虚拟现实设备靠近人眼一侧的正上方，对应两只眼睛的显示屏幕301的中间。

作为本发明的一个实施例，光源可以省略。

图4示出本发明的人机交互流程图；如图4所示，提供了一种适于虚拟现实设备的人机交互方法，所述人机交互方法的步骤为：

401)眼部关键点检测，包括上下眼皮、虹膜内外圆以及瞳孔中心的关键点检测。具体方法为：对采集的眼部图像，利用机器学习方法，检测出上下眼皮各4个关键点、虹膜内外边界各4个关键点以及瞳孔中心1个关键点，共17个关键点。对上下眼皮各4个关键点分别进行三次多项式拟合，可以得到上下眼皮边界以及两个眼角的位置信息。对虹膜内外边界各4个关键点分别进行圆的拟合，可以得到虹膜内外圆边界。通过虹膜内外圆信息得到准确的瞳孔和虹膜中心。

402)基于眼部关键点检测计算出眼球视线的方向，实现眼球视线追踪。

具体方法为：如图5所示，基于眼部关键点检测的眼球视线追踪示意图；利用眼部关键点检测及拟合方法得到的两个眼角、瞳孔中心以及虹膜中心的位置信息，计算出眼角连线中心、虹膜中心与眼角连线中心的距离、瞳孔中心与眼角连线中心的距离、虹膜中心和眼角连线中心连接线与眼角连线之间的夹角、瞳孔中心和眼角连线中心连接线与眼角连线之间的夹角，计算出眼球视线的方向，再根据显示屏幕与人眼部的距离h,计算出该视线对应在显示屏幕上的位置，完成眼球视线追踪。

403)对眼球进行凝视/眨眼检测，包括凝视检测以及眨眼检测；若凝视/眨眼检测通过，进入步骤404；否则，进入步骤405。

具体判断方法为：

步骤403中判断凝视检测不通过的方法为：根据眼球视线进行判断，该视线对应在显示屏幕上的项目发生了变动，则凝视检测不通过，进入步骤405；

步骤403中判断凝视检测通过的方法为：根据眼球视线进行判断，如果该视线对应在虚拟现实设备上的项目在预定时间内未发生变动，则凝视检测通过；

步骤403中判断眨眼检测通过的方法为：根据眼皮拟合结果进行判断，若上下眼皮的运动轨迹显示上下眼皮的边界由分开到重合再到分开，则认为进行了一次眨眼运动；当检测到进行了两次或两次以上的眨眼运动后，则眨眼检测通过，否则进入步骤405。

404)针对凝视检测模块中凝视的具体项目执行相应的操作，根据场景的不同，相应操作会有区别。之后返回步骤401的眼部关键点检测，开始下一轮操作；

根据本发明的一个实施例，若凝视/眨眼检测通过，则对选定的项目进行预先设定的相应操作，根据场景的不同，相应操作会有区别。包括但是不限于突出显示眼球视线所对应的项目并作三维旋转，显示该项目的具体属性，以及显示该项目的下级菜单等。之后返回眼部关键点检测过程，开始下一轮操作。

405)根据眼球视线更新设备显示内容，根据场景的不同，更新内容也会有区别；

具体的，若凝视/眨眼检测未通过，则更新设备显示内容。该操作是根据改变后的视线进行相应的更新显示内容的操作。根据场景的不同，更新内容也会有区别。包括但不限于根据用户所看的方向更改所显示的内容，使当前显示内容与用户在真实情况下目光改变所见内容相一致，提高用户的浸入感；对突出放大显示的项目，根据用户的目光进行相应三维旋转，为用户全面展示该项目等。

图6示出本发明的身份认证流程图；如图6所示，提供了一种适于虚拟现实设备的身份认证方法。

所述身份认证方法的步骤为：

601)利用算法处理模块进行活体检测。

其中活体检测利用采集到的当前用户的虹膜图像，从中提取相应的虹膜纹理特征以及频谱特征，以此为基础计算综合分数，根据此分数是否超过阈值来判断当前图像是否来自活体用户。若当前图像通过活体检测，则进入下一步处理；否则身份认证失败，进入步骤604。

根据本发明的一个实施例，活体检测的方法为利用采集到的用户的虹膜图像，从中提取相应的虹膜纹理特征以及频谱特征，进而判断当前用户是否为活体。

602)利用算法处理模块进行虹膜识别。

其中虹膜识别利用采集到当前用户的虹膜图像，与所存储的用户的虹膜图像进行特征比对，根据比对分数是否超过预设的阈值来判断当前用户是否与设备中所存储的用户身份相一致。若一致则进入下一步处理；否则身份认证失败，进入步骤604。

根据本发明的一个实施例，虹膜识别方法为利用采集到的用户的虹膜图像，与所存储的用户的虹膜图像进行比对，进而识别当前用户身份。

603)进入交互操作，包括凝视检测以及眨眼检测，主要负责与用户进行必要的交互，通过交互判断身份认证是否成功。

根据本发明的一个实施例，交互操作主要是负责与用户进行必要的交互，如身份认证确认、在线支付交易确认以及取消支付的交互操作等，利用基于眼部关键点检测的交互方法：

步骤603中的凝视检测的方法为利用采集到的当前用户的图像序列，进行眼部的关键点检测，计算眼球视线的方向，如果该视线对应在虚拟现实设备上的项目在预定时间内未发生变动，则凝视检测通过；根据本发明的一个实施例，凝视检测的方法为利用采集到的当前用户的图像序列，进行上下眼皮、瞳孔中心的关键点检测，进而得到眼角、瞳孔中心、虹膜中心的位置信息，计算眼球视线的方向，结合显示屏幕与人眼之间的距离，计算出该视线对应在显示屏幕上的位置。

步骤603中的眨眼检测的方法为采集到的当前用户的图像序列，进行上下眼皮的关键点检测，并拟合上下眼皮，通过上下眼皮的运动轨迹判断其动作；当未检测到用户进行过两次及两次以上眨眼动作，或检测到用户在规定时间段内并非始终凝视正前方，则身份认证失败。

当检测到用户进行过两次及两次以上眨眼动作，且检测到用户在规定时间段内始终凝视正前方，则身份认证成功；

作为本发明的另一施例，上述交互操作可被省略。

604)获取身份认证结果，并返回，包括身份认证成功、身份认证失败。

根据本发明的一个实施例，当身份认证成功，赋予当前用户以其被识别身份账户相应的功能以及权限；当身份认证失败，不对当前用户开启其未能认证身份账户相应的功能及权限。

本发明提出一种适于虚拟现实设备的人机交互与身份认证装置及其方法，其主要优点如下：

1.本发明针对头戴式虚拟现实设备的用户人机交互及身份认证过程繁琐的问题，设计了一种适于虚拟现实设备的人机交互与身份认证装置及其方法。在进行人机交互及身份认证时，无需摘取头戴式虚拟现实设备后再进行人机交互或身份认证，能够方便友好、有效安全地进行人机交互及身份认证；

2.本发明针对头戴式虚拟现实设备的身份认证的安全性能，设计了一种适于虚拟现实设备的身份认证方法，能够准确地识别用户身份，同时有效地防范恶意的欺骗攻击行为，保护用户的账户安全。

得益于上述两点，本发明解决了头戴式虚拟现实设备人机交互及身份认证繁琐的问题，可以广泛地应用到现有的头戴式虚拟现实设备人机交互及身份认证系统中，提供方便快捷的人机交互和安全准确的身份认证方法。

所述附图仅为示意性的并且未按比例画出。虽然已经结合优选实施例对本发明进行了描述，但应当理解本发明的保护范围并不局限于这里所描述的实施例。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (10)

1.一种适于虚拟现实设备的人机交互与身份认证装置，其特征在于包括，

图像采集模块，用于采集眼部图像；

算法处理模块，用于实现人机交互及身份认证；

所述装置在进行人机交互时，算法处理模块进行眼部关键点检测、眼球视线追踪、凝视/眨眼检测；所述装置在进行身份认证时，算法处理模块进行活体检测、虹膜识别、交互操作。

2.根据权利要求1所述的装置，其特征在于：所述图像采集模块包括至少一个光源，位于所述装置靠近人眼的一侧的正上方，用于照明。

3.根据权利要求1所述的装置，其特征在于：所述图像采集模块包括至少一个摄像头，位于所述设备靠近人眼的一侧的正上方，用于采集眼部图像。

4.一种应用于权利要求1所述的人机交互与身份认证装置的人机交互方法，包括以下步骤：

1)对眼部关键点进行检测，包括上下眼皮、虹膜内外圆、瞳孔中心的关键点检测，拟合得出上下眼皮边界、眼角、虹膜内外圆边界的位置信息，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心；

2)计算眼球视线的方向，结合该视线对应在虚拟现实设备显示屏幕上的位置，完成眼球视线追踪；

3)对眼球进行凝视/眨眼检测，包括凝视检测以及眨眼检测；若凝视/眨眼检测通过，进入步骤4；否则，进入步骤5；

4)针对凝视检测中凝视的具体项目执行相应的操作；之后返回步骤1的眼部关键点检测；

5)根据眼球视线的方向更新虚拟现实设备的显示内容；之后返回步骤1的眼部关键点检测。

5.根据权利要求4所述的人机交互方法，其特征在于：所述步骤1中上下眼皮、虹膜内外圆、瞳孔中心的关键点检测的具体步骤为：对采集的眼部图像，利用机器学习方法，检测出上下眼皮各4个关键点、虹膜内外边界各4个关键点以及瞳孔中心1个关键点，共17个关键点；对上下眼皮各4个关键点分别进行三次多项式拟合，可以得到拟合的上下眼皮边界以及两个眼角的位置信息；对虹膜内外边界各4个关键点分别进行圆的拟合，可以得到拟合的虹膜内外圆边界，通过虹膜内外圆信息得到准确的瞳孔和虹膜中心。

6.根据权利要求4所述的人机交互方法，其特征在于：所述步骤2中的眼球视线追踪的具体方法为：利用眼部关键点检测及拟合方法得到的两个眼角、瞳孔中心以及虹膜中心的位置信息，计算出眼角连线中心、虹膜中心与眼角连线中心的距离、瞳孔中心与眼角连线中心的距离、虹膜中心和眼角连线中心连接线与眼角连线之间的夹角、瞳孔中心和眼角连线中心连接线与眼角连线之间的夹角，计算出眼球视线的方向；再根据显示屏幕与人眼部的距离,计算出该视线对应在显示屏幕上的位置，完成眼球视线追踪。

7.根据权利要求4所述的人机交互方法，其特征在于：所述步骤3中判断凝视检测通过的方法为：根据眼球视线进行判断，如果该视线对应在虚拟现实设备上的项目在预定时间内未发生变动，则凝视检测通过。

8.根据权利要求4所述的人机交互方法，其特征在于：所述步骤3中判断眨眼检测通过的方法为：根据对采集图像序列的眼皮拟合结果进行判断，若上下眼皮的运动轨迹显示上下眼皮的边界由分开到重合再到分开，则认为进行了一次眨眼运动；当检测到进行了两次或两次以上的眨眼运动后，则眨眼检测通过。

9.一种应用于权利要求1所述的人机交互与身份认证装置的身份认证方法，包括步骤：

a)对用户进行活体检测，如果活体检测通过，进入步骤b，否则身份认证失败，进入步骤d；

b)对用户进行虹膜识别，如果虹膜识别通过，进入步骤c，否则身份认证失败，进入步骤d；

c)进行交互操作，包括凝视检测以及眨眼检测，若凝视检测以及眨眼检测通过，身份认证成功；否则，身份认证失败；

d)获取身份认证结果。

10.根据权利要求9所述的身份认证方法，其特征在于：所述步骤a中的活体检测的方法为利用采集到的用户的虹膜图像，从中提取相应的虹膜纹理特征以及频谱特征，进而判断当前用户是否为活体。