CN112232255A - 基于多模态数据的身份认证方法及设备 - Google Patents

Abstract

本发明提供一种基于多模态数据的身份认证方法及设备，所述方法包括：利用眼底相机采集用户的视网膜图像，以及其它生物特征信息；将所述视网膜图像与预设视网膜图像进行比对，并且将所述其它生物特征信息与相应的预设生物特征信进行比对，根据比对结果认证用户身份。

Description

基于多模态数据的身份认证方法及设备

技术领域

本发明涉及信息技术领域，具体涉及一种基于多模态数据的身份认证方法及设备。

背景技术

身份认证技术是在社会活动中认证一个人的身份的技术。身份认证技术可以基于信息秘密，比如密码；信任物体，比如身份证，或者生物特征比如指纹。在实际应用中，为了保证认证的安全性，可采用的生物特征包括指纹、虹膜、声纹、人脸特征等等。基于生物特征的验证方案基本上是利用图像比对技术对用户身份进行验证，比如比对人脸图像、指纹图像和虹膜图像等等。

上述生物特征都可以利用一般的电子设备进行采集，比如现有的智能手机即可采集上述全部生物特征，因此如人脸图像和指纹等特征都比较容易被伪造，在一些对安全性要求较高的场景中，采用上述生物特征进行身份验证无法满足对于安全性的需求。

发明内容

有鉴于此，本发明提供一种基于多模态数据的身份认证方法，包括：

利用眼底相机采集用户的视网膜图像，以及其它生物特征信息；

将所述视网膜图像与预设视网膜图像进行比对，并且将所述其它生物特征信息与相应的预设生物特征信进行比对，根据比对结果认证用户身份。

可选地，所述生物特征信息包括人脸图像、虹膜图像、用户对所述眼底相机的固视装置的注视动作、屈光度中的至少一种。

可选地，通过调整所述眼底相机的焦距依次采集人脸图像和/或虹膜图像，以及所述视网膜图像；

根据比对结果认证用户身份具体包括：

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，且所述人脸图像和/或虹膜图像与预设人脸图像和/或预设虹膜图像的相似度达到设定阈值时，判定用户身份与预设身份一致。

可选地，所述生物特征信息包括屈光度，利用眼底相机采集用户的视网膜图像时的焦距确定所述屈光度；

根据比对结果认证用户身份具体包括：

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，且所述屈光度与预设屈光度的相似度达到设定阈值时，判定用户身份与预设身份一致。

可选地，所述生物特征信息包括用户对所述眼底相机的固视装置的注视动作；利用眼底相机采集所述注视动作具体包括：

通过固视装置向用户呈现多个固定的指示方位；

检测用户注视所述指示方位的注视动作。

可选地，根据比对结果认证用户身份具体包括：

比对所述注视动作与预设注视动作是否一致；

当所述注视动作与预设注视动作一致时，判断所述视网膜图像与预设视网膜图像的相似度是否达到设定阈值；

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，判定用户身份与预设身份一致。

可选地，所述方法允许用户依次注视多个所述指示方位；检测用户注视所述指示方位的注视动作具体包括：

检测用户注视多个所述指示方位的注视顺序；

根据所述注视顺序生成注视轨迹。

可选地，在检测用户注视所述指示方位的注视动作的步骤中，根据所述视网膜图像识别用户注视的所述指示方位。

可选地，根据所述视网膜图像识别用户注视的所述指示方位具体包括：

在所述视网膜图像中识别预设目标；

根据所述预设目标在所述视网膜图像中的位置确定用户注视的所述指示方位。

可选地，所述预设目标为黄斑。

可选地，所述视网膜图像包括利用红外光源采集的视网膜图像以及利用白光光源采集的视网膜图像。

相应地，本发明提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述基于多模态数据的身份认证方法。

根据本发明提供的基于多模态数据的身份认证方法及设备，利用眼底相机采集多模态数据，其中视网膜生物特征的唯一性保证了视网膜可以作为身份认证的基础信息，同时视网膜图像具有不可改变性、不可替换性，采集视网膜图像的操作具有不可篡改性，由此保证了视网膜图像作为身份认证的安全性，在此基础上结合其它模态数据的采集和比对，进一步提升了身份认证的安全性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的身份认证信息生成方法的流程图；

图2为用户所能观测到的指示方位；

图3为用户转移注视位置所产生的轨迹示意图；

图4为本发明提供的基于注视动作的身份认证方法的流程图；

图5为黄斑与注视位置的对应关系示意图；

图6为本发明提供的基于多模态数据的身份认证方法的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种身份认证信息生成方法，该方法可以由设有存储器和处理器的一个或多个电子设备执行，具体可以是计算机和/或眼底相机。如图1所示，本方法包括如下步骤：

S1A，通过指示装置向用户呈现多个固定的指示方位。作为一种可选方案，指示装置可以是显示屏幕，向用户呈现一些图案作为可选的指示方位。具体来说，所显示的内容应当使用户清楚地辨别能够注视哪些位置或者看向哪些方向，这种方案可以使用户在一个距离较远的位置看到指示方位，对于硬件的要求和使用环境要求较低；作为另一种可选方案，指示装置可以是眼底相机的固视装置(固视灯)。本领域技术人员可以理解，现有的眼底相机普遍设有固视灯，被拍摄者可通过接目物镜观察到固视灯的光束，固视装置的光源通常有多个，在被拍摄者的视角看来，光源一般是亮点，多个亮点的位置不同，比如在视野范围的上、下、左、右四个位置。现有的用途是在拍摄眼底图像时，通过开启不同位置的固视灯光源来引导用户的视线，当用户看向不同的亮点时，眼球的角度不同，由此拍摄多种角度的眼底图像。

采用固视灯作为指示装置时，本方案同时开启多个光源，向用户呈现多个亮点。作为举例，图2示出了一个用户视角，在本例中视野中有9个亮点21，即9个指示方位，在实际应用中也可以设置更多或更少的指示方位。这种实施方式要求眼底相机的接目物镜对准被拍者的瞳孔并且达到合适的工作距离，只有被拍者本人能够看到这些指示方位。

S2A，检测用户注视指示方位的注视动作。具体地，用户可以任选注视哪个或哪些指示方位，以通过接目物镜呈现指示方位的情况为例，如图3所示，比如用户从左上的指示方位开始进行注视，图中有向连线22表示用户转移注视位置的轨迹，用户选择依次注视多个指示方位，这一系列注视过程将产生一个连续的注视轨迹。

实际应用中并不限于按照如图3所示的情形进行注视，本方案不限制用户必须向相邻的指示方位移动注视位置，比如用户第一个注视的是左上的指示方位，然后可以跳过中间的指示方位，转而注视右下的指示方位也是可行的。

另外，一种简单的注视动作也可以是用户只选择注视其中一个指示方位，对此可以要求用户先注视中央位置，然后转向其所选的某个指示位置，从中央到该指示位置也可以产生一个注视轨迹；或者，不要求用户在初始时注视任何位置，直接注视其所选的指示方位也是可行的，对此只需要识别用户注视了哪个指示方位。

通过不同的指示装置呈现指示方位，检测注视动作的方案不同。如果通过普通的显示屏幕呈现指示方位，则可以设置一台摄像机采集用户面部图像或者眼部图像，或者是智能手机的屏幕和前置摄像头，通过识别眼睛的图像即可确定注视动作；如果通过固视灯和接目物镜呈现指示方位，则利用眼底相机拍摄视网膜图像，通过识别视网膜图像可以确定注视动作。

S3A，根据注视动作生成身份信息。对于用户注视依次多个指示方位的情况，可根据注视轨迹确定用户注视指示方位的序列，具体可以是指示方位编号的序列，将该序列作为该用户的个人身份信息；对于用户只注视某一个指示方位的情况，可将其所注视的指示方位的编号作为该用户的个人身份信息。

上述实施例是采集用户个人身份信息的方案，将所采集到的身份信息存储在数据库中，当需要验证用户身份时，再次采集相应的信息与数据库中存储的信息进行比较来实现身份验证。下面提供一种基于注视动作的身份认证方法，该方法可以由设有存储器和处理器的一个或多个电子设备执行，具体可以是计算机和/或眼底相机。如图4所示，本方法包括如下步骤：

S1B，通过指示装置向用户呈现多个固定的指示方位；

S2B，检测用户注视指示方位的注视动作；

S3B，根据注视动作生成认证信息；

步骤S1B-S3B与上述实施例中的步骤S1A-S3A相似，此处不再展开介绍。

被采集过注视动作的用户应当知道自己所选择注视的指示方位，在进行验证时应当按照与采集过程中同样的方式注视一个或多个指示方位。在此将根据注视动作生成的信息称为用户提供的认证信息，可以是视指示方位的编号序列或者某一个指示方位的编号。

S4B，通过比对认证信息与预设身份信息认证用户身份，其中所述预设身份信息为预先采集的身份信息。在实际应用场景中，比如门禁系统，数据库可存储多个用户的身份信息，如果当前用户的注视动作与数据库中存储的某个注视动作一致，则当前用户通过验证(同时可结合其它验证方式一起使用)；本方案也可以应用于单人身份验证场景中，比如智能设备解锁系统，数据库中可以只存储一个用户的身份信息，如果当前用户的注视动作与数据库中存储的注视动作一致，则当前用户通过验证。

根据本发明实施例提供的身份认证方法，通过指示装置显示多个指示方位，使用户明确可选的注视位置，用户可选择注视一个或依次注视多个指示方位，对用户的注视动作进行检测，可得到用于表示用户身份的信息，根据注视动作得到的身份信息不容易伪造，数据在采集过程不容易更改，信息不容易被泄露，并且具有唯一性强的特点，由此为身份认证操作带来更好的安全性。

利用注视动作进行身份认证的方案可适用于对安全性要求非常高的场景，在这种场景中优选采用眼底相机采集注视动作。用户注视固视灯时的眼球动作比较小，且眼球与接目物镜的距离很近，更不容易泄露个人信息。并且在必要时还可以在眼底相机上设置封闭的眼罩，在采集过程中眼睛完全被封闭在眼罩中，使采集的过程更加安全，采集的数据不会被泄露。

眼底相机可通过红外照明光源进行照明，并连续采集眼底图像，也可以通过白光光源曝光拍摄更清晰的眼底视网膜照片。检测注视动作的过程可以在采集眼底图像的过程中同步地执行，也可以先采集一段连续的眼底图像，然后从中分析出注视动作。

考虑到用户可能从一个指示方位跳过相邻的指示方位，转而注视相隔较远的位置，这种跳跃注视的过程中，所产生的注视轨迹也将覆盖被跳过的指示方位，尤其是用户缓慢地转移注视位置时，识别到的注视轨迹不能准确地体现用户的实际意图。为了解决此问题，在检测用户注视指示方位的注视动作的步骤中，可以采用如下方式：

判断用户注视指示方位的持续时间是否达到时间阈值。具体地，当用户的注视位置固定住时进行计时，如果持续时间达到时间阈值时，判定产生相应的注视动作，是一个有效注视动作；如果持续时间未达到时间阈值，这表示用户可能是在转移注视位置时经过了当前位置，或者由于眼球不自主地运动而短暂注视了当前位置，均视为未产生相应的注视动作。

检测用户注视指示方位的注视动作具体包括：

采集视网膜图像，可以理解为在红外光源照明下采集一段眼底视网膜图像视频，也可以理解为利用白光光源曝光拍摄单张眼底视网膜照片，或者二者相结合。

根据视网膜图像识别用户注视的指示方位。在眼底相机与用户相对位置不变的情况下，用户注视不同的位置时眼球的角度不同，所采集的视网膜图像不同，根据视网膜图像所显示的影像特征可以识别出眼球转向哪个方向，由此可确定用户注视的指示方位。具体地，在采集时可以先通过红外照明持续采集眼底图像，结合上述优选方案判定是否产生有效的注视动作，当判定产生了注视动作时，使用白光光源曝光拍摄更清晰的视网膜照片，再根据此照片确定具体的注视位置，由此可以提高识别注视动作的准确性。

进一步地，根据视网膜图像识别用户注视的指示方位具体包括：

在视网膜图像中识别预设目标，具体可以是视盘、黄斑或者血管等。然后根据预设目标在视网膜图像中的位置确定用户注视的指示方位。因为人眼在注视固视灯时，固视灯的光束会落在黄斑上，本实施例优选采用黄斑作为识别目标。如图5所示，人眼注视不同的固视灯时，黄斑在图像传感器上的位置是不同的，通过黄斑在图像上的位置可以更容易且准确地识别出用户注视的固视灯是哪一个，为了说明视盘与注视位置的关系，在图5中左侧的指示方位图像中示出了指示方位的编号1-9，比如当用户注视2号指示方位时，黄斑23在眼底图像的下方中央位置。在视网膜图像中识别黄斑的方法有多种，比如可以利用机器视觉算法，根据图像特征定位黄斑位置，也可以参照中国专利申请文件CN108717696A提供的黄斑影像检测方法，利用神经网络算法检测黄斑位置。

本发明还提供了一种基于多模态数据的身份认证方法，该方法可以由设有存储器和处理器的一个或多个电子设备执行，具体可以是计算机和/或眼底相机。结合图5所示，本方法包括：

利用眼底相机采集用户的视网膜图像，以及其它生物特征信息。可选的生物特征信息包括人脸图像、虹膜图像、用户对眼底相机的固视装置的注视动作、屈光度。为了清楚地说明，图5示出同时利用所有可选信息的情况，在实际应用中管理者可以根据安全等级、使用效率等因素决定是否采集和对比所有特征信息。

视网膜图像可以是红外光源照明下采集的眼底视网膜图像、利用白光光源曝光拍摄的眼底视网膜照片中的一个或者全部。管理者也可以选择只采集和对比红外视网膜图像或者只采集和对比白光视网膜图像。

本方案中需要采集的图像和信息可以通过一台眼底相机完成采集。具体地，通过调整眼底相机的接目物镜与用户的距离以及焦距，可以采集到人脸图像、虹膜图像和视网膜图像。眼底相机采集视网膜图像的时候需要用户把眼睛放到眼底相机镜头前方的比较近的位置，在用户把眼睛靠近镜头的过程中，眼底相机可分阶段把光学系统的焦点调整到人脸、虹膜和视网膜上以实现多模态数据的采集。

关于注视动作的采集，可参考上述实施例所介绍的方案，此处不再赘述。

关于屈光度，眼底相机在拍摄视网膜图像的时候需要把光学焦面对焦到眼底视网膜，不同屈光度的眼底需要不同的光学对焦位置，因此通过对焦位置可以算出用户的屈光度。

将采集的生物特征信息与相应的预设生物特征信进行比对。针对人脸图像和虹膜图像可采用图像比对技术，数据库中预存有相应种类的图像，通过图像比对可计算出图像相似度。屈光度为数值，将当前采集的屈光度与数据库中预测的屈光度进行比较，比如可以使用屈光度绝对差等数据来计算相似度。

同时，还将采集的视网膜图像与预设视网膜图像进行比对，关于视网膜图像比对方案可参考中国专利文件CN110263755A公开的眼底图像识别方法，利用神经网络模型识别两个眼底图像的相似度，或直接得到是否属于同一人的结论。视网膜因为生长在眼球后部，所以伪造视网膜是非常困难的。视网膜图片采集必须通过复杂精密的眼底相机实现，而眼底相机的设计是基于人类眼球的生理结构和光学特性，因此很难用一只假眼来欺骗数据采集过程。另外视网膜图像的唯一性也非常强，即使是两个双胞胎的视网膜也是不同的。这些都是视网膜作为生物特征在身份认证中比指纹、虹膜、声纹、人脸等其它生物特性更可靠的原因。

根据上述比对结果认证用户身份。本方案对各种模态的数据进行综合判断得到认证结果，可以对每一种数据设定相似度阈值，如果所有对比相似度都超过阈值，才会判断成同一人，即通过验证。但其中注视动作是特例，如果当前采集的注视动作与预测的注视动作不匹配，则直接判定为未通过验证，不管其它种类的数据相识度是否超过阈值。

另外，本方案可以只对用户的单眼进行采集和比对，也可以对双眼进行采集和比对，管理者可以根据安全等级、使用效率等因素进行设置。

在实际的身份认证应用中，本方案还可以结合基于信任物体的认证方案一起使用，比如基于门禁卡或者身份证等等。具体来说，认证系统可以先读取卡片的信息，从数据库中查询此卡的持卡人预存的视网膜照片和其它生物特征信息，然后执行上述比对，由此只需要执行一对一的比对即可验证用户身份。如果不结合基于信任物体的认证方案，或者待认证人没有通过其它方式表明身份，则需要将待认证人的视网膜照片和其它生物特征信息与数据库里存储的所有用户的数据进行逐一对比，判断待认证人是否是数据库里的某一个人。

根据本发明实施例提供的基于多模态数据的身份认证方法，视网膜生物特征的唯一性保证了视网膜可以作为身份认证的基础信息，同时视网膜图像具有不可改变性、不可替换性，采集视网膜图像的操作具有不可篡改性，由此保证了视网膜图像作为身份认证的安全性，在此基础上结合多模态数据的采集和比对，进一步提升了身份认证的安全性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种基于多模态数据的身份认证方法，其特征在于，包括：

利用眼底相机采集用户的视网膜图像，以及其它生物特征信息；

将所述视网膜图像与预设视网膜图像进行比对，并且将所述其它生物特征信息与相应的预设生物特征信进行比对，根据比对结果认证用户身份。

2.根据权利要求1所述的方法，其特征在于，所述生物特征信息包括人脸图像、虹膜图像、用户对所述眼底相机的固视装置的注视动作、屈光度中的至少一种。

3.根据权利要求2所述的方法，其特征在于，通过调整所述眼底相机的焦距依次采集人脸图像和/或虹膜图像，以及所述视网膜图像；

根据比对结果认证用户身份具体包括：

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，且所述人脸图像和/或虹膜图像与预设人脸图像和/或预设虹膜图像的相似度达到设定阈值时，判定用户身份与预设身份一致。

4.根据权利要求2或3所述的方法，其特征在于，所述生物特征信息包括屈光度，利用眼底相机采集用户的视网膜图像时的焦距确定所述屈光度；

根据比对结果认证用户身份具体包括：

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，且所述屈光度与预设屈光度的相似度达到设定阈值时，判定用户身份与预设身份一致。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述生物特征信息包括用户对所述眼底相机的固视装置的注视动作；利用眼底相机采集所述注视动作具体包括：

通过固视装置向用户呈现多个固定的指示方位；

检测用户注视所述指示方位的注视动作。

6.根据权利要求5所述的方法，其特征在于，根据比对结果认证用户身份具体包括：

比对所述注视动作与预设注视动作是否一致；

当所述注视动作与预设注视动作一致时，判断所述视网膜图像与预设视网膜图像的相似度是否达到设定阈值；

当所述视网膜图像与预设视网膜图像的相似度达到设定阈值，判定用户身份与预设身份一致。

7.根据权利要求5或6所述的方法，其特征在于，所述方法允许用户依次注视多个所述指示方位；检测用户注视所述指示方位的注视动作具体包括：

检测用户注视多个所述指示方位的注视顺序；

根据所述注视顺序生成注视轨迹。

8.根据权利要求5或6所述的方法，其特征在于，在检测用户注视所述指示方位的注视动作的步骤中，根据所述视网膜图像识别用户注视的所述指示方位。

9.根据权利要求8所述的方法，其特征在于，根据所述视网膜图像识别用户注视的所述指示方位具体包括：

在所述视网膜图像中识别预设目标；

根据所述预设目标在所述视网膜图像中的位置确定用户注视的所述指示方位。

10.根据权利要求9所述的方法，其特征在于，所述预设目标为黄斑。

11.根据权利要求1或2所述的方法，其特征在于，所述视网膜图像包括利用红外光源采集的视网膜图像以及利用白光光源采集的视网膜图像。

12.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-11中任意一项所述的基于多模态数据的身份认证方法。

Images