CN107977560A - 基于视线追踪的身份认证方法及装置 - Google Patents

Abstract

本发明公开了一种基于视线追踪的身份认证方法及装置，其中，方法包括以下步骤：采集包含目标用户的视频图像；根据视频图像获取目标用户在空间中视线方向，并获取目标用户在交互屏幕上的注视点；根据目标用户在交互屏幕上的注视点得到注视点信息，并根据注视点信息提取身份认证口令；判断身份认证口令与预设口令是否匹配；如果身份认证口令与预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作。该方法可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

Description

基于视线追踪的身份认证方法及装置

技术领域

本发明涉及信息安全与计算机视觉的交叉技术领域，特别涉及一种基于视线追踪的身份认证方法及装置。

背景技术

口令输入是身份认证的一种常见形式，在信息安全领域有着广泛的应用。口令作为通往系统大门的钥匙，掌管着系统安全的命脉，其安全性也受到了极大的重视。但是由于口令输入过程中易被窥探或监测，从而导致口令被窃取，又使得口令安全成为整个系统安全的薄弱环节。

普通的口令输入方式常常借助于鼠标，键盘，或者触摸屏等设备，使用双手或单手，通过移动，点击，敲击，触摸等动作来完成。在上述口令输入过程中，由于用户手部动作或者屏幕上显示的点击位置易被攻击者观测或被某些特制传感器监测，用户的口令很容易被攻击者窃取。尤其是在ATM机等设备上进行口令输入时，攻击者通过肉眼或者远程摄像头就可观测到用户的整个口令输入过程，从而窃取用户口令，即所谓的肩窥攻击。而基于视线追踪的身份认证方法，取代了传统的双手或单手来进行口令输入的方法，通过捕捉用户的视线，并将其转换成口令来实现身份验证功能。与传统的口令输入方式相比，用户在使用视线进行口令输入的过程中，没有手部动作，眼部的变化十分细微，同时也不直接接触键盘或触摸屏等设备，因此可以极大地降低被监测的风险，提高口令输入过程的安全性。

另外，随着手机，平板和个人电脑的普及，口令输入在这些设备上的使用频率也大大增加。现在，几乎所有的手机，平板和个人电脑上都配备有单个或多个摄像头。并且由于电子硬件的高效化和微型化，上述设备已经具备了可以实时进行图像处理的能力，因此可以在正常负荷的情况下运行实时的视线追踪程序，从而完成基于视线追踪的身份认证功能。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于视线追踪的身份认证方法，该方法可以有效提高口令输入的便捷性、安全性和实用性，简单易实现。

本发明的另一个目的在于提出一种基于视线追踪的身份认证装置。

为达到上述目的，本发明一方面实施例提出了一种基于视线追踪的身份认证方法，包括以下步骤：采集包含目标用户的视频图像；根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点；根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令；判断所述身份认证口令与预设口令是否匹配；如果所述身份认证口令与所述预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作。

本发明实施例的于视线追踪的身份认证方法，可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，不仅可以改善传统口令输入方式易被监测攻击的问题，而且可以通过消除口令输入时对手的依赖，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

另外，根据本发明上述实施例的基于视线追踪的身份认证方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点，进一步包括：对所述视频图像中包含人脸的区域进行分割，获取包含所述目标用户的脸部图像；对所述脸部图像进行处理，并通过视线追踪得到对应于所述视频图像当前时刻的所述视线方向；根据所述视线方向和所述目标用户与所述交互屏幕之间的相对空间位置，获取所述目标用户对应于所述视频图像当前时刻在所述交互屏幕上的注视点位置。

进一步地，在本发明的一个实施例中，所述根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令，进一步包括：在所述交互屏幕上显示用于口令输入的交互界面，其中，所述交互界面包含可被选中的符号，每一符号占用所述交互界面中的任一区域；将所述注视点位置对应到所述交互界面上的符号，其中，当所述注视点位置落在所述交互界面上任一符号所占用的区域内，所述任一符号与所述注视点位置互相对应；当视线注视所述任一符号并且注视时间满足预设条件时，所述任一符号确定被选中；将所有被选中的符号组成符号串，并且将所述符号串作为所述身份认证口令。

进一步地，在本发明的一个实施例中，所述如果所述身份认证口令与所述预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作，进一步包括：当匹配结果为正确时，发出所述正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中；当所述匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

进一步地，在本发明的一个实施例中，上述方法还包括：记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。

为达到上述目的，本发明另一方面实施例提出了一种基于视线追踪的身份认证装置包括：图像获取模块，用于采集包含目标用户的视频图像；视线追踪模块，用于根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点；口令提取模块，用于根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令；口令验证模块，用于判断所述身份认证口令与预设口令是否匹配，并且在所述身份认证口令与所述预设口令匹配时，发出正确提示，否则发出错误提示，并执行相应动作。

本发明实施例的基于视线追踪的身份认证装置，可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，不仅可以改善传统口令输入方式易被监测攻击的问题，而且可以通过消除口令输入时对手的依赖，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

另外，根据本发明上述实施例的基于视线追踪的身份认证装置还可以具有以下附加的技术特征：进一步地，在本发明的一个实施例中，所述视线追踪模块包括：分割单元，用于对所述视频图像中包含人脸的区域进行分割，获取包含所述目标用户的脸部图像；处理单元，用于对所述脸部图像进行处理，并通过视线追踪得到对应于所述视频图像当前时刻的所述视线方向；获取单元，用于根据所述视线方向和所述目标用户与所述交互屏幕之间的相对空间位置，获取所述目标用户对应于所述视频图像当前时刻在所述交互屏幕上的注视点位置。

进一步地，在本发明的一个实施例中，所述口令提取模块包括：显示单元，用于在所述交互屏幕上显示用于口令输入的交互界面，其中，所述交互界面包含可被选中的符号，每一符号占用所述交互界面中的任一区域；识别单元，用于将所述注视点位置对应到所述交互界面上的符号，其中，当所述注视点位置落在所述交互界面上任一符号所占用的区域内，所述任一符号与所述注视点位置互相对应；判断单元，用于在视线注视所述任一符号并且注视时间满足预设条件时，所述任一符号确定被选中；生成单元，用于将所有被选中的符号组成符号串，并且将所述符号串作为所述身份认证口令。

进一步地，在本发明的一个实施例中，所述口令验证模块包括：第一发送单元，用于在匹配结果为正确时，发出所述正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中；第二发送单元，用于在所述匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

进一步地，在本发明的一个实施例中，上述装置还包括：防误选模块，用于记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于视线追踪的身份认证方法的流程图；

图2为根据本发明另一个实施例的基于视线追踪的身份认证方法的流程图；

图3为根据本发明一个实施例的基于视线追踪进行身份认证装置的字符型口令输入界面；

图4为根据本发明一个实施例的基于视线追踪进行身份认证装置的图案型口令输入界面；

图5为根据本发明一个实施例的基于视线追踪进行身份认证装置的手势型口令输入界面；

图6为根据本发明一个实施例的基于视线追踪的口令输入过程的防误选方法的流程图；

图7为根据本发明一个实施例的基于视线追踪对用户进行身份认证功能的装置示意图；

图8为根据本发明另一个实施例的基于视线追踪对用户进行身份认证功能的装置示意图；

图9为根据本发明又一个实施例的基于视线追踪对用户进行身份认证功能的装置示意图；

图10为根据本发明一个实施例的基于视线追踪的身份认证装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于视线追踪的身份认证方法及装置，首先将参照附图描述根据本发明实施例提出的基于视线追踪的身份认证方法。

图1是本发明一个实施例的基于视线追踪的身份认证方法的流程图。

如图1所示，该基于视线追踪的身份认证方法包括以下步骤：

在步骤S101中，采集包含目标用户的视频图像。

也就是说，如图2所示，当用户在使用时，获取包含用户的视频图像。

具体而言，本发明实施例可以获取包含用户脸部图像的设备可能是摄像头，由单个或多个摄像头获取的视频图像可以有单幅或者多幅，可以在不同角度拍摄得到，拍摄的时间可以相同也可以不同。

进一步地，本发明实施例可以根据视线追踪技术的不同，可以使用单个或多个图像传感器实时获取至少包含用户完整眼部的图像信息。由单个或多个图像传感器获取的图像信息可以在不同位置采集，采集的时间可以相同也可以不同。并且本发明实施例可以根据视线追踪技术的不同，在获取用户的视频图像时可以使用一个或多个光源，其中，光源可以为自然光源、红外光源或者任意频段的光源。

更进一步地，在用户使用时，本发明实施例可以根据视线追踪技术的不同，获取包含用户的视频图像的方式也不同，获取包含用户的视频图像的设备可以是摄像头、图像传感器、光源或者其他设备的任意组合形式，各个设备的数量和其在终端中的安装位置以及使用时的工作时间都根据视线追踪技术而定，本领域的技术人员可以根据实际情况进行设置，在此不做具体限定。

在步骤S102中，根据视频图像获取目标用户在空间中视线方向，并获取目标用户在交互屏幕上的注视点。

也就是说，如图2所示，本发明实施例可以根据视频图像计算出用户在空间中的视线方向以及用户在交互屏幕上的注视点。

进一步地，在本发明的一个实施例中，根据视频图像获取目标用户在空间中视线方向，并获取目标用户在交互屏幕上的注视点，进一步包括：对视频图像中包含人脸的区域进行分割，获取包含目标用户的脸部图像；对脸部图像进行处理，并通过视线追踪得到对应于视频图像当前时刻的视线方向；根据视线方向和目标用户与交互屏幕之间的相对空间位置，获取目标用户对应于视频图像当前时刻在交互屏幕上的注视点位置。

可以理解的是，本发明实施例对视频图像中包含人脸的区域进行分割，得到包含用户的脸部图像，再通过对脸部图像的进一步处理，并使用现有的视线追踪技术计算出对应于视频图像获取时刻的用户的视线方向，由用户的视线方向以及用户与交互屏幕之间的相对空间位置，计算出用户对应于视频图像获取时刻在交互屏幕上的注视点位置。其中，本发明实施例可以根据具体的视线追踪技术的不同，通过视频图像来计算用户视线方向的具体步骤以及该过程中产生的数据类型也有不同，本领域的技术人员可以根据具体情况进行设置，在此不做具体限制。

具体而言，对于使用3D头部模型等算法的视线追踪技术，在使用视线追踪技术计算出对应于视频图像获取时刻的用户的视线方向还包括对脸部图像进行进一步的分割，从而可以得到包含用户眼睛区域的眼部图像，然后结合视频图像、脸部图像和眼部图像进行建模，计算出对应于视频图像获取时刻的用户的视线方向。另外，对于使用机器学习等算法的视线追踪技术，不需要计算出对应于视频图像获取时刻的用户的视线方向，可以直接建立起视频图像、脸部图像和眼部图像三者的任意组合与用户对应于视频图像获取时刻在交互屏幕上的注视点位置之间的映射关系。

举例而言，当使用单个摄像头获取包含用户的单幅视频图像，并对单幅视频图像进行分割得到的脸部图像存在至少两个人脸时，选取最靠近摄像头的人脸作为用户的脸部图像；当使用单个摄像头获取包含用户的多幅视频图像或者使用多个摄像头获取包含用户的不同角度的多幅视频图像，并对多幅视频图像进行分割得到的脸部图像存在至少两个人脸时，先将各幅脸部图像中的人脸依照是否为同一对象进行匹配，得到对应于每一人脸的多幅脸部图像，然后选取平均最靠近摄像头的人脸作为用户的脸部图像。

在步骤S103中，根据目标用户在交互屏幕上的注视点得到注视点信息，并根据注视点信息提取身份认证口令。

也就是说，如图2所示，本发明实施例可以从用户在交互屏幕上的注视点信息中提取出用于身份认证的口令。

进一步地，在本发明的一个实施例中，根据目标用户在交互屏幕上的注视点得到注视点信息，并根据注视点信息提取身份认证口令，进一步包括：在交互屏幕上显示用于口令输入的交互界面，其中，交互界面包含可被选中的符号，每一符号占用交互界面中的任一区域；将注视点位置对应到交互界面上的符号，其中，当注视点位置落在交互界面上任一符号所占用的区域内，任一符号与注视点位置互相对应；当视线注视任一符号并且注视时间满足预设条件时，任一符号确定被选中；将所有被选中的符号组成符号串，并且将符号串作为身份认证口令。

可以理解的是，在交互屏幕上显示用于口令输入的交互界面，其中交互界面包含可被用户选中的符号，每一符号占用交互界面中的某一区域；将用户在交互屏幕上的注视点位置对应到交互界面上的符号，具体地，当用户在交互屏幕上的注视点位置落在交互界面上某一符号所占用的区域内，就把该符号与该注视点位置对应起来；当用户使用视线注视交互界面上的某一符号并且注视时间满足预设条件时，该符号即被选中；把所有被用户用视线选中的符号组成符号串，作为用户用于身份认证的口令。

举例而言，根据口令类型的不同，交互界面也不同，如图3、图4和图5所示所示。其中，如图3所示，实施例提供的一种基于视线追踪进行身份认证装置的字符型口令输入界面，包括：交互区域31，提示栏32，交互字符311，提示符321。交互区域31中包含可被用户选中的交互符号311，该交互符号的类型可以是数字、字母、标点或者其他符号的任意组合。符号的数目和排布方式可示字符型口令对应的符号集和交互界面的尺寸而定。提示栏32用于显示当前该字符型口令的输入状态。

其中，当用户与该基于视线追踪进行身份认证的装置进行交互的时候，用户使用视线注视交互区域上的某一交互符号，当注视时间满足预设条件时，该符号即被选中。同时提示栏32更新显示状态，用于提示用户该字符型口令的输入情况。在本发明实施例中，提示栏32中使用提示符321来显示口令的输入状态，按照符号输入的先后顺序，用于每成功选中一个交互符号，该提示栏中就增加显示一个提示符，直到口令长度达到要求。需要说明的是，用于身份认证的口令的类型与用户的预设口令的类型应保持一致。

另外，如图4所示，本发明实施例提供的一种基于视线追踪进行身份认证装置的图案型口令输入界面，包括：交互区域41，提示栏42，交互字符411，提示条421。交互区域41中包含可被用户选中的交互图像411，该交互图像的数目，排布方式和更新方式可示图案型口令对应的图案集和交互界面的尺寸而定。提示栏42用于显示当前该图案型口令的输入状态。

其中，当用户与该基于视线追踪进行身份认证的装置进行交互的时候，用户使用视线注视交互区域上的某一交互图像，当注视时间满足预设条件时，该图像即被选中。同时提示栏42中提示条421的显示状态进行更新，用于提示用户该图案型口令的输入情况，直到达到输入终止条件。需要说明的是，用于身份认证的口令的类型与用户的预设口令的类型应保持一致。

进一步地，如图5所示，本发明实施例提供的一种基于视线追踪进行身份认证装置的手势型口令输入界面,包括：交互区域51，未选中符号521，已选中符号522。交互区域51中包含且仅包含未选中符号521和已选中符号522，交互符号的数目，排布方式和更新方式可示手势型口令的具体设计和交互界面的尺寸而定。

其中，在本发明实施例中，将已选中符号和未选中符号进行区分，以提示用户某一交互符号是否被成功选中，当用户成功选中一个未选中符号时，该未选中符号即变为已选中符号。当用户与该基于视线追踪进行身份认证的装置进行交互的时候，用户使用视线注视交互区域上的某一交互符号，当注视时间满足预设条件时，该符号即被选中，并且某一符号一旦被选中，就不能再被重复选中。同时未选中符号521变为已选中符号522，用于提示用户该手势型口令的输入情况，直到达到输入终止条件。需要说明的是，用于身份认证的口令的类型与用户的预设口令的类型应保持一致。

具体而言，本发明实施例可以将用户在交互屏幕上的注视点位置对应到交互界面上的符号，当用户在交互屏幕上的注视点位置落在交互界面上某一符号所占用的区域内，就把该符号与该注视点位置对应起来。当用户使用视线注视交互界面上的某一符号并且注视时间满足预设条件时，该符号即被选中，预设条件的设定参见图6中步骤608所示防误选方法的实施步骤。并把所有被用户用视线选中的符号组成符号串，作为用户用于身份认证的口令。需要说明的是，用于身份认证的口令的类型与用户的预设口令的类型应保持一致。

可选地，当用户使用视线在进行口令输入时，若用于身份认证的口令长度达到用户预设的口令的长度，则终止用户使用视线进行输入的过程，并将与用户预设的口令长度相同的全部内容作为用户之后的身份认证的口令。进一步地，为了不泄露用户的口令长度信息，当用户使用视线在进行口令输入时，若用于身份认证的口令长度达到用户预设的口令的长度，允许用户使用视线继续进行输入，直至用户结束输入，将口令输入过程中用户输入的全部内容作为用户用于身份认证的口令。

在步骤S104中，判断身份认证口令与预设口令是否匹配。

也就是说，如图2所示，将用于身份认证的口令与用户预设的口令进行匹配。

具体而言，当使用字符型口令时，将用于身份认证的口令与用户预设的口令进行匹配的过程可以是明文匹配，也可以是经加密后的密文匹配或者经哈希处理后的字符串匹配；当使用图案口令时，可以直接对图案序列对应的编号数字进行匹配；当使用手势口令时，可以对不同位置的点出现的先后顺序进行匹配。

另外，当允许用户输入与用户预设的口令长度不同的口令时，匹配时先计算用于身份认证的口令的长度，并且当用于身份认证的口令的长度不等于用户预设的口令的长度时，直接返回错误匹配结果。

在步骤S105中，如果身份认证口令与预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作。

也就是说，如图2所示，本发明实施例可以根据用于身份认证的口令与用户预设的口令的匹配结果给出正确或者错误的提示，并发出下一动作的指令。

进一步地，在本发明的一个实施例中，如果身份认证口令与预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作，进一步包括：当匹配结果为正确时，发出正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中；当匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

可以理解的是，当匹配结果为正确时，给出正确提示，并发出身份认证已通过的指令给与用户已通过身份认证相关联的进程中；当匹配结果为错误时，给出错误提示，并发出身份认证未通过的指令给与用户未通过身份认证相关联的进程中。需要说明的是，下一动作的指令内容可以由操作系统或其他设备控制系统决定。

进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。

具体地，本发明实施例还包括一种基于视线追踪的口令输入过程的防误选方法，包括：无效图像数目计数器，用于记录用户扫视过程中产生无效视线时对应的图像数目；有效图像数目计数器，用于记录用户扫视过程中产生有效视线时对应的图像数目；无效图像数目阈值，用于控制用户扫视过程所消耗的时间；有效图像数目阈值，用于控制用户每次进行符号输入所消耗的时间；选中频率阈值，利用用户视线的统计信息来减少符号判断错误。

可选地，本发明实施例的基于视线追踪的口令输入过程的防误选方法包括：获取用户当前的视频图像，并使无效图像数目计数器的数值加1；检查无效图像数目计数器的数值是否达到无效图像数目阈值，若达到阈值，则将无效图像数目计数器的数值清零，并跳转到下一步，若未达到阈值，则仍返回第一步；获取用户当前的视频图像，使用现有的视频追踪技术计算用户在交互屏幕上的注视点，将注视点位置进行存储，并使有效图像数目计数器的数值加1；检查有效图像数目计数器的数值是否达到有效图像数目阈值，若达到阈值，则跳转到下一步，若未达到阈值，则仍返回第三步；统计存储的所有注视点位置所对应的符号出现的频数，计算每个符号的出现频率，并计算最大频率值；检查最大频率值是否达到选中频率阈值，若达到阈值，则将最大频率值对应的符号作为被用户选中的符号用于组成用于身份认证的口令，并将有效图像数目计数器清零，将存储的所有注视点位置删除，若未达到阈值，则返回第三步。

具体而言，如图6所示，本发明实施例提供的一种基于视线追踪的口令输入过程的防误选方法，这里涉及到两个计数器：1)无效图像数目计数器；2)有效图像数目计数器；以及三个阈值：1)无效图像数目阈值；2)有效图像数目阈值；3)选中频率阈值。具体包括以下步骤：

步骤601，获取用户当前的视频图像。

步骤602，并使无效图像数目计数器的数值加1。

需要说明的是，由于用户在使用视线进行第一个符号的输入以及用户完成一个符号的输入之后紧接着要进行下一个符号的输入时，需要先进行扫视来找到正确的符号，该方法默认该扫视过程中的用户视线对于用户接下来的符号输入是无效的，故将无效图像数目计数器的数值加1。

步骤603，检查无效图像数目计数器的数值是否达到无效图像数目阈值，若达到阈值，则执行步骤604；若未达到阈值，则仍返回步骤601。

需要说明的是，无效图像数目阈值的作用在于控制用户扫视过程所消耗的时间，可以根据系统运行的实际情况进行设定。

步骤604，将无效图像数目计数器的数值清零。

步骤605，获取用户当前的视频图像。

步骤606，使用现有的视频追踪技术计算用户在交互屏幕上的注视点。

步骤607，将注视点位置进行存储，并使有效图像数目计数器的数值加1。

在步骤605-607执行过程中，步骤601-603已经执行完毕，此时用户当前的视频图像为有效图像，可以使用现有的视频追踪技术来计算用户在交互屏幕上的注视点。

需要说明的是，为了节约运算资源并更好地控制上述用户在扫视过程中所消耗的时间，本发明实施例只对有效视频图像进行使用现有的视频追踪技术来计算用户在交互屏幕上的注视点的处理，而对无效视频图像不进行使用现有的视频追踪技术来计算用户在交互屏幕上的注视点的处理。

步骤608，检查有效图像数目计数器的数值是否达到有效图像数目阈值，若达到阈值，则执行步骤609；若未达到阈值，则仍返回步骤605；

由于在本发明实施例提出的基于视线追踪的身份认证方法中，当用户使用视线注视交互界面上的某一符号并且注视时间满足预设条件时，该符号即被选中，参见图2中的步骤203，有效图像数目阈值给出了上述注视时间的预设条件，即当用户使用视线注视交互界面上的某一符号并且有效图像数目计数器的数值是否达到有效图像数目阈值时，该符号即被选中。

需要说明的是，该有效图像数目阈值以及上述的无效图像数目阈值都是通过控制视频图像的帧数来控制时间的，具体实施时，还可以使用其它方式来控制时间，例如计数器等，本发明实施例对此不做限定。

步骤609，统计存储的所有注视点位置所对应的符号出现的频数，计算每个符号的出现频率，并计算最大频率值；

需要说明的是，为了减少符号判断错误，在本发明实施例提出的基于视线追踪的身份认证方法中使用了用户使用视线注视交互界面上的某一符号的统计信息来确定用户所要选中的符号。

步骤610，检查最大频率值是否达到选中频率阈值，若达到阈值，则执行步骤611；若未达到阈值，则返回步骤605。

步骤611，将最大频率值对应的符号作为被用户选中的符号用于组成用于身份认证的口令，并将有效图像数目计数器清零，将存储的所有注视点位置删除。

步骤612，输出符号判决结果。

需要说明的是，选中频率阈值是是为了保证被选中符号的频率不仅是最大的，而且具有合理性。该选中频率阈值可以根据系统具体的运行情况而定，本发明实施例对此不做限定。

在本发明的一个具体实施例中，如图7、图8和图9所示，本发明实施例提供的几种具有基于视线追踪对用户进行身份认证功能的装置示意图。

其中，如图7所示，本发明实施例提供的一种具有基于视线追踪对用户进行身份认证功能的装置示意图，该装置包括：机体7，摄像头8，该摄像头8安装在机体上，用于获取至少包含用户完整眼部的视频图像。

需要说明的是，基于视线追踪对用户进行身份认证功能的装置可以是手机、平板电脑、PC等终端，也可以是需要实现视线追踪功能的其他设备，本领域的技术人员可以根据实际情况进行设置，在此不做具体限制。

另外，如图8所示，本发明实施例提供的另一种具有基于视线追踪对用户进行身份认证功能的装置示意图，该装置包括：机体7，至少两个摄像头。该至少两个摄像头包括摄像头81和摄像头82。其中，摄像头81和摄像头82的类型和内部参数可以相同，也可以不同。根据视线追踪技术的不同，摄像头81和摄像头82的使用方式也不同。

可选地，对于需要利用双目立体视觉来实现视线追踪的技术，摄像头81和摄像头82的类型和内部参数相同，同时两个摄像头需要做同步处理；

进一步地，对于需要利用多个摄像头来实现视线追踪的技术，该基于视线追踪对用户进行身份认证的装置包含多个摄像头，各个摄像头的类型和内部参数可以按组划分，每组内的摄像头类型和内部参数都相同。

此外，如图9所示，本发明实施例提供的又一种具有基于视线追踪对用户进行身份认证功能的装置示意图，该装置包括：机体7，至少一个摄像头8，至少一个光源。该至少一个光源包括光源91，光源92。其中，根据视线追踪技术的不同，该至少一个光源的数目、类型及其在机体上的安装位置也有不同，本发明实施例对此不做限定。另外，该至少一个摄像头8包括至少一个用于采集光源所发出的光线的光感摄像头。光源发出的光线照射到用户的脸部，该光感摄像头具有与光源相匹配的光感应器，能够采集经用户脸部反射后的光线。

可选地，该至少一个摄像头8还包括至少一个用于获取至少包含用户完整眼部的视频图像的普通摄像头。由该普通摄像头采集到的视频图像可以与上述由光感摄像头采集到的光源的光线信息结合使用，共同完成视线追踪的功能。

综上所述，本发明实施例可以具有以下创新点：

(1)改善传统口令输入方式的安全性问题。如前文，对于传统的口令输入方式，攻击者通过肉眼或者远程摄像头就可观测到用户的整个口令输入过程，从而窃取用户口令。而本文提出的基于视线追踪的身份认证方法，通过改变用户与设备之间的交互方式，使得整个口令输入过程难以监测，或者即便被监测，其口令也难以被提取，即可以大大改善这个问题。

(2)消除口令输入时对手的依赖。本文提出的基于视线追踪的身份认证方法，可以完全在身份认证过程中完全避免对手的使用，包括手对鼠标、键盘、触摸屏等设备的操作，这样一方面可以提高口令输入过程的便捷性，另一方面也可在用户双手不便的情况下提供身份认证服务。

(3)保留口令输入的易用性。相较于基于生物特征识别的身份认证方式，如指纹识别、虹膜识别、声纹识别等，口令验证具有可修改、可更换、可选范围大等优点，在身份认证中使用广泛，而本文提出的基于视线追踪的身份认证方法仍然保留了口令验证方式，使得用户可以在不改变口令使用习惯的情况下完成身份认证。

综合来看，本发明实施例的方法可以增加用户使用口令的便捷程度，改善传统口令输入方式的安全性，具有较远的推广前景。

根据本发明实施例提出的基于视线追踪的身份认证方法，可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，不仅可以改善传统口令输入方式易被监测攻击的问题，而且可以通过消除口令输入时对手的依赖，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

其次参照附图描述根据本发明实施例提出的基于视线追踪的身份认证装置。

图10是本发明一个实施例的基于视线追踪的身份认证装置的结构示意图。

如图10所示，该基于视线追踪的身份认证装置10包括：图像获取模块101、视线追踪模块102、口令提取模块103和口令验证模块104。

其中，图像获取模块101用于采集包含目标用户的视频图像。视线追踪模块102用于根据视频图像获取目标用户在空间中视线方向，并获取目标用户在交互屏幕上的注视点。口令提取模块103用于根据目标用户在交互屏幕上的注视点得到注视点信息，并根据注视点信息提取身份认证口令。口令验证模块104用于判断身份认证口令与预设口令是否匹配，并且在身份认证口令与预设口令匹配时，发出正确提示，否则发出错误提示，并执行相应动作。本发明实施例的装置10可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

进一步地，在本发明的一个实施例中，视线追踪模块102包括：分割单元、处理单元和获取单元。

其中，分割单元用于对视频图像中包含人脸的区域进行分割，获取包含目标用户的脸部图像。处理单元用于对脸部图像进行处理，并通过视线追踪得到对应于视频图像当前时刻的视线方向。获取单元用于根据视线方向和目标用户与交互屏幕之间的相对空间位置，获取目标用户对应于视频图像当前时刻在交互屏幕上的注视点位置。

进一步地，在本发明的一个实施例中，口令提取模块103包括：显示单元、识别单元、判断单元、生成单元。

其中，显示单元用于在交互屏幕上显示用于口令输入的交互界面，其中，交互界面包含可被选中的符号，每一符号占用交互界面中的任一区域。识别单元用于将注视点位置对应到交互界面上的符号，其中，当注视点位置落在交互界面上任一符号所占用的区域内，任一符号与注视点位置互相对应。判断单元用于在视线注视任一符号并且注视时间满足预设条件时，任一符号确定被选中。生成单元用于将所有被选中的符号组成符号串，并且将符号串作为身份认证口令。

进一步地，在本发明的一个实施例中，口令验证模块104包括：第一发送单元和第二发送单元。

其中，第一发送单元用于在匹配结果为正确时，发出正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中。第二发送单元用于在匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：防误选模块。其中，防误选模块用于记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。

进一步地，在本发明的一个实施例中，如图10所示，本发明实施例的装置10还包括：口令预设模块105和信息存储模块106。

其中，口令预设模块105用于在用户使用口令之前进行口令预设，并通过用户的输入和确认得到一个预设的口令。信息存储模块106用于存储相关的信息。

需要说明的是，口令预设模块105可以是可选模块。用户的预设口令可以提前通过其他设备或系统以某种方法载入该基于视线追踪进行身份认证的装置，也可以通过用户自行设定的方法产生。对于用户自行设定产生预设口令的方法，口令预设模块提供给用户输入和确认口令的服务，并将此口令作为用户的预设口令。另外，信息存储模块106也可以是可选模块。当使用字符型口令时，信息存储模块所存储的口令信息可以为口令明文，也可以是经加密后的密文或者经哈希处理后的字符串；当使用图案口令时，信息存储模块所存储的口令信息可以是预设的图案序列对应的编号数字；当使用手势口令时，信息存储模块所存储的口令信息可以是不同位置的点出现的先后顺序信息。

进一步地，信息存储模块106可以存储多个用户的口令信息，并对不同的用户进行标记，还可以存储用户进行口令预设时对应的时间、地理位置、网络数据等相关信息，也可以存储用户每次进行口令输入时的结果和与其对应的时间、地理位置、网络数据等相关信息。

需要说明的是，前述对基于视线追踪的身份认证方法实施例的解释说明也适用于该实施例的基于视线追踪的身份认证装置，此处不再赘述。

根据本发明实施例提出的基于视线追踪的身份认证装置，可以使得用户借助视线与设备进行交互，同时设备可以按照已有的协议完成对用户的身份认证，不仅可以改善传统口令输入方式易被监测攻击的问题，而且可以通过消除口令输入时对手的依赖，从而有效提高口令输入的便捷性、安全性和实用性，简单易实现。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于视线追踪的身份认证方法，其特征在于，包括以下步骤：

采集包含目标用户的视频图像；

根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点；

根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令；

判断所述身份认证口令与预设口令是否匹配；以及

如果所述身份认证口令与所述预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作。

2.根据权利要求1所述的基于视线追踪的身份认证方法，其特征在于，所述根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点，进一步包括：

对所述视频图像中包含人脸的区域进行分割，获取包含所述目标用户的脸部图像；

对所述脸部图像进行处理，并通过视线追踪得到对应于所述视频图像当前时刻的所述视线方向；

根据所述视线方向和所述目标用户与所述交互屏幕之间的相对空间位置，获取所述目标用户对应于所述视频图像当前时刻在所述交互屏幕上的注视点位置。

3.根据权利要求2所述的基于视线追踪的身份认证方法，其特征在于，所述根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令，进一步包括：

在所述交互屏幕上显示用于口令输入的交互界面，其中，所述交互界面包含可被选中的符号，每一符号占用所述交互界面中的任一区域；

将所述注视点位置对应到所述交互界面上的符号，其中，当所述注视点位置落在所述交互界面上任一符号所占用的区域内，所述任一符号与所述注视点位置互相对应；

当视线注视所述任一符号并且注视时间满足预设条件时，所述任一符号确定被选中；

将所有被选中的符号组成符号串，并且将所述符号串作为所述身份认证口令。

4.根据权利要求1所述的基于视线追踪的身份认证方法，其特征在于，所述如果所述身份认证口令与所述预设口令匹配，则发出正确提示，否则发出错误提示，并执行相应动作，进一步包括：

当匹配结果为正确时，发出所述正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中；

当所述匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

5.根据权利要求1所述的基于视线追踪的身份认证方法，其特征在于，还包括：

记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。

6.一种基于视线追踪的身份认证装置，其特征在于，包括：

图像获取模块，用于采集包含目标用户的视频图像；

视线追踪模块，用于根据所述视频图像获取所述目标用户在空间中视线方向，并获取所述目标用户在交互屏幕上的注视点；

口令提取模块，用于根据所述目标用户在交互屏幕上的注视点得到注视点信息，并根据所述注视点信息提取身份认证口令；以及

口令验证模块，用于判断所述身份认证口令与预设口令是否匹配，并且在所述身份认证口令与所述预设口令匹配时，发出正确提示，否则发出错误提示，并执行相应动作。

7.根据权利要求6所述的基于视线追踪的身份认证装置，其特征在于，所述视线追踪模块包括：

分割单元，用于对所述视频图像中包含人脸的区域进行分割，获取包含所述目标用户的脸部图像；

处理单元，用于对所述脸部图像进行处理，并通过视线追踪得到对应于所述视频图像当前时刻的所述视线方向；

获取单元，用于根据所述视线方向和所述目标用户与所述交互屏幕之间的相对空间位置，获取所述目标用户对应于所述视频图像当前时刻在所述交互屏幕上的注视点位置。

8.根据权利要求7所述的基于视线追踪的身份认证装置，其特征在于，所述口令提取模块包括：

显示单元，用于在所述交互屏幕上显示用于口令输入的交互界面，其中，所述交互界面包含可被选中的符号，每一符号占用所述交互界面中的任一区域；

识别单元，用于将所述注视点位置对应到所述交互界面上的符号，其中，当所述注视点位置落在所述交互界面上任一符号所占用的区域内，所述任一符号与所述注视点位置互相对应；

判断单元，用于在视线注视所述任一符号并且注视时间满足预设条件时，所述任一符号确定被选中；

生成单元，用于将所有被选中的符号组成符号串，并且将所述符号串作为所述身份认证口令。

9.根据权利要求6所述的基于视线追踪的身份认证装置，其特征在于，所述口令验证模块包括：

第一发送单元，用于在匹配结果为正确时，发出所述正确提示，并发出身份认证通过指令至与目标用户已通过身份认证相关联的进程中；

第二发送单元，用于在所述匹配结果为错误时，发出错误提示，并发出身份认证未通过指令至与用户未通过身份认证相关联的进程中。

10.根据权利要求6所述的基于视线追踪的身份认证装置，其特征在于，还包括：

防误选模块，用于记录扫视过程中产生无效视线时对应的图像数目、扫视过程中产生有效视线时对应的图像数目，并且控制扫视过程所消耗的时间和每次进行符号输入所消耗的时间，以利用视线的统计信息来减少符号判断错误。