CN117290834A - 一种基于虹膜识别来实现精准眼动追踪的多模态识别装置 - Google Patents

Abstract

本申请涉及一种基于虹膜识别来实现精准眼动追踪的多模态识别装置，利用虹膜识别原理应用于身份验证，调取对应人员的眼动追踪的校准数据，该装置包括识别单元、摄像头，识别单元存储有若干个虹膜特征，基于虹膜识别原理进行抓拍瞳孔与虹膜的色差来定位瞳孔位置，提升眼动追踪的精准度，对用户的眼球运动实时追踪，同时对该用户的虹膜特征进行拍摄，拍摄的虹膜特征传送至识别单元，识别单元判断拍摄的虹膜特征与其存储的虹膜特征是否匹配，提高了身份认证的安全性及调取对应人员的眼动追踪的校准数据，摄像头实时追踪用户的眼球运动并拍摄虹膜特征，虹膜特征传送至识别单元进行匹配判断，使得识别过程在较短时间内完成，从而提供了快速的身份验证。

Description

一种基于虹膜识别来实现精准眼动追踪的多模态识别装置

技术领域

本申请涉及一种识别技术领域，尤其涉及一种基于虹膜识别来实现精准眼动追踪的多模态识别装置。

背景技术

识别装置是一种应用广泛的安全控制系统，适用于各种场景，如办公室、学校、医院和住宅等。其主要功能是通过身份验证，控制和管理人员的访问和操作。

目前市场上存在多种识别装置，如指纹识别、声音识别、人脸识别等。指纹识别通过采集和比对人体指纹特征进行身份验证；声音识别则根据声音特征进行身份验证；人脸识别通过采集和比对人脸的特征信息进行身份验证。

现有的识别装置仍然存在一些共同的缺点。首先，在准确性和安全性方面，指纹、声音等生物特征存在被模仿、复制或欺骗情况发生，还可能受到环境、攻击手段或伪造的影响，如指纹识别时，指纹湿润、受伤、被模仿、复制或提取等；声音识别时，受环境噪声的干扰导致识别失败或误识别，同时声音可以被录制和模仿，而人脸识别可能受到照片、视频或三维模型等的攻击，存在被欺骗的风险。上述解锁方式均存在一定的安全风险。

因此，有必要开发一种基于虹膜识别来实现精准眼动追踪的多模态识别装置，通过结合眼球运动的信息和虹膜的特征，同时实现眼动追踪和虹膜识别，以提高现有的识别系统的准确性、安全性以及便捷性。

发明内容

本申请的目的是克服现有技术中的不足之处，提出一种基于虹膜识别来实现精准眼动追踪的多模态识别装置。

本申请通过以下技术方案实现的：

本申请提出一种基于虹膜识别来实现精准眼动追踪的多模态识别装置，应用于身份验证，包括识别单元、摄像头，所述识别单元存储有若干个虹膜特征；所述摄像头与所述识别单元电连接，对用户的眼球运动实时追踪，同时对该用户的虹膜特征进行拍摄，拍摄的虹膜特征传送至所述识别单元，所述识别单元判断拍摄的虹膜特征与其存储的虹膜特征是否匹配。

在本申请的一实施例中，所述摄像头具有追踪单元、拍摄单元，所述追踪单元对用户的瞳孔运动实时追踪，同时所述拍摄单元对该用户的虹膜特征进行拍摄。

在本申请的一实施例中，所述多模态识别装置还包括测距装置、红外灯装置，所述测距装置与所述识别单元电连接，可实时测量用户与所述测距装置之间的距离，所述测距装置和所述摄像头均面向用户，所述摄像头根据所述测距装置测量的距离调整焦点；所述红外灯装置与所述识别单元电连接，当所述红外灯装置照亮用户的瞳孔和虹膜时，所述摄像头捕捉到瞳孔的反射光和拍摄虹膜特征。

在本申请的一实施例中，每一个所述虹膜特征均为虹膜纹理、虹膜血管分布、虹膜形状、虹膜颜色中的一个或多个相结合；所述识别单元包括虹膜数据库、计算模块，所述虹膜数据库存储有若干个虹膜特征；所述计算模块用于判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征是否匹配；所述计算模块通过弹性匹配来判断所述摄像头拍摄的所述虹膜纹理、所述虹膜血管分布、所述虹膜形状、所述虹膜颜色中的一个或多个相结合与所述虹膜数据库存储的虹膜特征是否匹配，以允许所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征具有一定程度的差异。

在本申请的一实施例中，当所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征匹配时，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

在本申请的一实施例中，当所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征匹配，且所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征具有一定程度的差异时，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

在本申请的一实施例中，所述计算模块通过弹性匹配来判断所述摄像头拍摄的虹膜血管分布和虹膜形状相结合与所述虹膜数据库存储的虹膜特征是否匹配时，区分虹膜与瞳孔的位置，定义虹膜的大小和形状，提取出虹膜的内轮廓和外轮廓，计算虹膜的内轮廓、外轮廓特征；计算虹膜内轮廓和外轮廓之间的虹膜血管分布，将虹膜内轮廓和外轮廓之间的虹膜血管分布提取出来，计算虹膜血管分布的血管的长度、分支形状；根据虹膜的内轮廓、外轮廓的形状特征，以及虹膜内轮廓和外轮廓之间的虹膜血管分布的血管的长度、分支形状，以判断所述摄像头拍摄的虹膜血管分布和虹膜形状相结合与所述虹膜数据库存储的虹膜特征是否匹配。

在本申请的一实施例中，当所述计算模块通过弹性匹配来判断所述摄像头拍摄的所述虹膜纹理、所述虹膜形状以及所述虹膜颜色中的一个或多个相结合与所述虹膜数据库存储的虹膜特征相匹配，且所述虹膜血管分布与所述虹膜数据库存储的虹膜特征不匹配时，判断所述摄像头拍摄的虹膜血管分布相对于虹膜数据库中的虹膜特征的区别，如果所述摄像头拍摄的虹膜血管分布的血管相对于虹膜数据库中的虹膜特征更加靠近或接触虹膜的内轮廓，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

在本申请的一实施例中，所述摄像头位于用户眼部下方，且所述摄像头向上倾斜地朝向用户眼部。

在本申请的一实施例中，所述多模态识别装置还包括壳体、显示屏，所述显示屏与所述识别单元电连接，显示所述摄像头拍摄的画面，当用户视线垂直于显示屏的平面时，所述摄像头倾斜向上地朝向用户眼部；所述壳体具有第一面和第二面，所述第一面与所述第二面相交，且所述第一面与所述第二面之间的夹角为90°～ 150°，所述显示屏设于所述第一面上，所述摄像头、所述测距装置、所述红外灯装置均设于所述第二面上；所述摄像头、所述测距装置、所述红外灯装置均倾斜向上的朝向用户的眼部。

与现有技术相比，本申请的有益效果是：

1.多模态识别装置结合了虹膜识别和眼动追踪的多种模态，通过结合眼球运动的信息和虹膜的特征，实现多模态识别及追踪交互。摄像头对用户眼球运动的追踪，同时对虹膜特征的拍摄，能够准确地获取虹膜的特征信息，并与预先存储在识别单元中的虹膜特征进行匹配，同时调取眼动校准数据进行匹配，实现快速眼动追踪。由于虹膜特征具有较高的防伪造性，难以被模仿或复制，这种特性增强了多模态识别装置对欺骗和伪造的抵抗能力，提高了身份认证的安全性及调取对应人员的眼动追踪的校准数据；虹膜特征具有高度的个体差异性和稳定性，这种识别方式具有较高的准确性。摄像头实时追踪用户的眼球运动并拍摄虹膜特征，虹膜特征传送至识别单元进行匹配判断，使得识别过程可以在较短的时间内完成，提供了快速的身份验证体验，以达到使用的便捷性。

2.测距装置能够实时测量用户与多模态识别装置之间的距离。通过测量距离，可以自动调整摄像头的焦距和焦点，确保拍摄到的虹膜图像清晰可见，有助于提高虹膜特征的拍摄质量和准确性。

3.为了提高识别的鲁棒性和准确性，计算模块使用弹性匹配方法来判断摄像头拍摄的虹膜特征与虹膜数据库中存储的虹膜特征是否匹配。这种弹性匹配方法允许计算模块在判断匹配时考虑虹膜纹理、虹膜血管分布、虹膜形状和虹膜颜色中的一个或多个相结合，并容忍一定程度的差异。通过该方法判断，系统可以提高对虹膜识别的准确性和鲁棒性。不仅可以通过虹膜纹理来进行匹配，还可以结合虹膜血管分布、虹膜形状和虹膜颜色来进行综合分析。这种多模态的虹膜识别方法可以减少因单一特征受到光照变化、角度变化等因素的影响而导致的误判情况，提高了系统的可靠性。

4.摄像头第一次采集虹膜及眼动校准数据后，将虹膜保存在虹膜数据库中，有利于下一次直接虹膜认证后调取虹膜数据库及对应的眼动校准数据，当计算模块判断摄像头拍摄的虹膜特征与虹膜数据库中存储的虹膜特征匹配时，将摄像头拍摄的虹膜特征传送至虹膜数据库中，以不断更新和丰富数据库。通过将摄像头拍摄的虹膜特征传送至虹膜数据库，使得虹膜数据库能够实时更新数据库中的虹膜特征信息。随着越来越多的用户虹膜特征被添加到数据库中，系统的识别能力将得到增强。新的虹膜特征可以与已有的虹膜特征进行比对和匹配，从而提供更准确的识别结果。使得多模态识别装置在使用过程中不断地提高虹膜识别系统的准确性和适应性。

5.当计算模块通过弹性匹配判断摄像头拍摄的虹膜特征与虹膜数据库中存储的虹膜特征匹配，并且二者之间具有一定程度的差异时，将摄像头拍摄的虹膜特征传送至虹膜数据库中，更新虹膜数据库中的虹膜特征，以提高系统的识别鲁棒性和适应性。通过将摄像头拍摄的虹膜特征传送至虹膜数据库，系统可以实时更新数据库中的虹膜特征信息，即使在虹膜特征存在一定程度差异的情况下，仍将其添加到数据库中。这样做的效果是提高虹膜识别系统的容错能力和适应性。当摄像头拍摄的虹膜特征与数据库中的特征存在差异时，如虹膜特征可能会因为年龄、疾病、手术等因素而发生轻微变化，通过将最新的虹膜特征添加到数据库中，系统可以更好地适应用户虹膜特征的变化，并保持较高的识别准确性。

6.每一个虹膜特征均为虹膜纹理、虹膜血管分布、虹膜形状、虹膜颜色中的一个或多个相结合，计算模块通过弹性匹配来判断摄像头拍摄的虹膜纹理、虹膜血管分布、虹膜形状、虹膜颜色中的一个或多个相结合与虹膜数据库存储的虹膜特征是否匹配，以允许计算模块判断摄像头拍摄的虹膜特征与虹膜数据库存储的虹膜特征具有一定程度的差异。在虹膜识别的弹性匹配中，计算模块通过弹性匹配判断摄像头拍摄的虹膜血管分布和虹膜形状相结合与虹膜数据库存储的虹膜特征是否匹配时，区分虹膜与瞳孔的位置，计算虹膜的大小和形状，提取出虹膜的内轮廓和外轮廓，计算虹膜的内轮廓、外轮廓特征；计算虹膜内轮廓和外轮廓之间的虹膜血管分布，将虹膜内轮廓和外轮廓之间的虹膜血管分布提取出来，计算虹膜血管分布的血管的长度、分支形状特征；根据虹膜的内轮廓、外轮廓形状特征，以及虹膜轮廓内的虹膜血管分布的血管的长度、分支形状特征，判断摄像头拍摄的虹膜血管分布和虹膜形状相结合与虹膜数据库存储的虹膜特征是否匹配。如此，系统可以更好地适应用户虹膜特征的变化，并保持较高的识别准确性。

7.当计算模块通过弹性匹配来判断摄像头拍摄的虹膜纹理、虹膜形状以及虹膜颜色中的一个或多个相结合与虹膜数据库存储的虹膜特征匹配，且虹膜血管与虹膜数据库存储的虹膜特征有差异时，判断摄像头拍摄的虹膜血管的分布相对于虹膜数据库中的虹膜特征的区别，如果摄像头拍摄的虹膜血管分布的血管相对于虹膜数据库中的虹膜特征更加靠近或接触虹膜的内轮廓，将摄像头拍摄的虹膜特征传送至虹膜数据库中，并且，计算模块通过弹性匹配来判断摄像头拍摄的虹膜特征与虹膜数据库存储的虹膜特征是相匹配的。虹膜形状不变，而虹膜血管分布有变化，虹膜血管分布的血管靠近或接触虹膜的内轮廓，将摄像头拍摄的虹膜血管的分布靠近或接触虹膜的内轮廓的虹膜特征传送至虹膜数据库中，能够更好地适应用户虹膜特征的变化，并保持较高的识别准确性，提高虹膜识别系统的容错能力和适应性。此外，计算模块通过弹性匹配来判断摄像头拍摄的虹膜特征与虹膜数据库存储的虹膜特征是相匹配的，使系统保持较高的识别准确性。

8.摄像头位于用户眼部下方并向上倾斜地朝向用户眼部，以避开眼睫毛的干扰。这种布局有助于避免眼睫毛遮挡造成的误判、提高眼动追踪和虹膜识别的准确性。

9.显示屏用于显示摄像头拍摄的画面，摄像头沿倾斜向上的方向对用户的眼球运动进行实时追踪。当用户通过眼部观察显示屏时，用户能够直接注视显示屏，使得用户视线垂直于显示屏的平面，摄像头位于用户眼部下方并向上倾斜地朝向用户眼部，以避开眼睫毛的干扰，确保摄像头能够清晰地观察到眼球运动和虹膜特征，摄像头能够更准确地捕捉到用户的眼球运动和虹膜特征。这有助于提高虹膜识别系统的准确性和稳定性，并提供更高水平的安全性和身份验证能力。

10.通过设置第一面与第二面之间的夹角范围为90°至150°，显示屏被放置在第一面上，即与用户的视线直接对准，这样的设计使得用户能够直接注视显示屏。摄像头、测距装置和红外灯装置安装在第二面上，可以实现摄像头、测距装置和红外灯装置倾斜向上朝向用户的眼部。这样设计可以优化视角，使得摄像头避开眼睛上方的眼睫毛，从而使得这些设备能够更好地捕捉用户眼部的信息。同时，设置夹角的范围可以根据具体需求进行调整，以实现最佳的视野覆盖和准确性。从而提供更准确的眼动追踪和虹膜识别数据。

11.通过将两个红外灯装置向上倾斜地朝向用户眼部，且朝向摄像头和测距装置之间的中间位置倾斜，可以实现均衡的照明效果。红外灯装置产生的红外光可以照亮用户的眼部，使得摄像头能够更准确地捕捉到眼球和虹膜的特征。通过将两个红外灯装置分别朝向中间位置，可以确保照明光线均匀分布，并减少可能的阴影和光线不均的情况。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的基于虹膜识别来实现精准眼动追踪的多模态识别装置主视图；

图2为本申请提供的基于虹膜识别来实现精准眼动追踪的多模态识别装置侧视图；

图3为本申请提供的基于虹膜识别来实现精准眼动追踪的多模态识别装置侧视图；

图4为本申请提供的基于虹膜识别来实现精准眼动追踪的多模态识别装置立体图（壳体部分隐藏）；

图5为本申请提供的基于虹膜识别来实现精准眼动追踪的多模态识别装置主视图（壳体部分隐藏）；

图6为图3的P-P部的剖视图；

图7为本申请提供的虹膜特征的框架图；

图8为虹膜图像示意图。

附图标记说明：

100、基于虹膜识别来实现精准眼动追踪的多模态识别装置；110、识别单元；120、摄像头；130、测距装置；140、红外灯装置；150、显示屏；160、壳体；161、第一面；162、第二面；20、虹膜；200、虹膜特征；210、虹膜纹理；220、虹膜血管分布；230、虹膜形状；240、虹膜颜色；30、瞳孔。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当元件被称为“固定于”或“设置于”另一个部件上，它可以直接在另一个部件上或者间接设置在另一个部件上；当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或间接连接至另一个部件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。

本申请提出一种基于虹膜识别来实现精准眼动追踪的多模态识别装置，应用于身份验证，包括：

识别单元，存储有若干个虹膜特征；

摄像头，与所述识别单元电连接，对用户的眼球运动实时追踪，同时对该用户的虹膜特征进行拍摄，拍摄的虹膜特征传送至所述识别单元，所述识别单元判断拍摄的虹膜特征与其存储的虹膜特征是否匹配。

请参考图1至图8，在一实施例中，基于虹膜识别来实现精准眼动追踪的多模态识别装置100，利用虹膜识别原理应用于身份验证，调取对应人员的眼动追踪的校准数据，该装置包括识别单元110、摄像头120，识别单元110存储有若干个虹膜特征200，摄像头120与识别单元110电连接，对用户的眼球运动实时追踪，同时对该用户的虹膜特征200进行拍摄，拍摄的虹膜特征200传送至识别单元110，识别单元110判断拍摄的虹膜特征200与其存储的虹膜特征200是否匹配。具体的，多模态识别装置结合了虹膜识别和眼动追踪的多种模态，通过结合眼球运动的信息和虹膜的特征，实现多模态识别及追踪交互。摄像头120对用户眼球运动的追踪，同时对虹膜特征200的拍摄，能够准确地获取虹膜的特征信息，并与预先存储在识别单元110中的虹膜特征200进行匹配，同时调取眼动校准数据进行匹配，实现快速眼动追踪。由于虹膜特征200具有较高的防伪造性，难以被模仿或复制，这种特性增强了多模态识别装置对欺骗和伪造的抵抗能力，提高了身份认证的安全性及调取对应人员的眼动追踪的校准数据；虹膜具有高度的个体差异性和稳定性，这种识别方式具有较高的准确性。摄像头120实时追踪用户的眼球运动并拍摄虹膜特征200，虹膜特征200传送至识别单元110进行匹配判断。这使得识别过程可以在较短的时间内完成，提供了快速的身份验证体验，以达到使用的便捷性。此外，使用基于虹膜识别的眼动追踪，在眼动追踪时可以同时进行虹膜识别来匹配身份，调取在数据库存储的眼动校准数据，即可实现无需眼动校准的快速及精准地眼动追踪。

综上，基于虹膜识别来实现精准眼动追踪的多模态识别装置100通过对用户眼球运动的实时追踪，使得摄像头120能够同时对虹膜特征200的拍摄，用户的虹膜特征200被用作生物特征来识别和验证其身份，识别单元110分析用户的虹膜特征200以及眼球运动的信息，实现了高准确性的身份验证。它具有较强的抗伪造能力和实时性，提供了更安全、便捷和可靠的识别系统解决方案。

请参考图8，在一实施例中，摄像头120具有追踪单元、拍摄单元，追踪单元对用户的瞳孔30运动实时追踪，同时拍摄单元对该用户的虹膜特征200进行拍摄。具体的，基于虹膜识别原理进行抓拍瞳孔30与虹膜20的色差来定位瞳孔30位置，提升眼动追踪的精准度，摄像头120的追踪单元能够实时追踪用户的瞳孔30运动。通过分析瞳孔30的位置和运动轨迹，可以获取用户的眼动信息，包括注视点、注视持续时间、眼球运动速度等，实现眼动追踪。摄像头120的拍摄单元用于对用户的虹膜特征200进行拍摄。在追踪到用户的瞳孔30位置后，拍摄单元能够精确地对准用户的虹膜，并拍摄高质量的虹膜图像。通过将眼动追踪和虹膜拍摄两种模态的信息相结合，获取用户的瞳孔30运动信息和虹膜特征200，可以实现更精确和可靠的身份验证。通过瞳孔30实现眼动追踪可以提供更丰富的信息，例如用户的注意力焦点和视线轨迹。结合虹膜拍摄的特征，可以增强识别系统的准确性和鲁棒性，降低误识别率。摄像头120实时追踪用户的瞳孔30运动并拍摄虹膜特征200，识别过程快速完成。这使得识别过程可以在较短的时间内完成，提供了快速的身份验证体验，以达到使用的便捷性。用户不需要额外操作，只需注视摄像头120即可进行身份验证，提供了便捷的使用体验。

请参考图4和图8，在一实施例中，多模态识别装置还包括测距装置130、红外灯装置140，测距装置130与识别单元110电连接，可实时测量用户与测距装置130之间的距离，测距装置130和摄像头120均面向用户，摄像头120根据测距装置130测量的距离调整焦点，红外灯装置140与识别单元110电连接，当红外灯装置140照亮用户的瞳孔30和虹膜20时，摄像头120捕捉到瞳孔30的反射光和拍摄虹膜特征200。具体的，测距装置130优选为TOF传感器，TOF为（time of fight）技术的缩写，测距装置130能够实时测量用户与多模态识别装置之间的距离。通过测量距离，可以自动调整摄像头120的焦距和焦点，确保拍摄到的虹膜图像清晰可见。这有助于提高虹膜特征200的拍摄质量和准确性。根据测距装置130测量的距离，使得摄像头120能够自动调整焦点，从而使得拍摄到的瞳孔30和虹膜图像清晰度最佳。这样可以确保虹膜特征200的精确捕捉，提高识别系统的准确性。红外灯装置140与识别单元110电连接，能够照亮用户的瞳孔30和虹膜20。在红外光照射下，瞳孔30和虹膜20会反射出光线，摄像头120能够捕捉到这些反射光线并拍摄虹膜特征200。红外照明提供了足够的光线条件，使得虹膜图像的质量更高，有助于提高识别的准确性和鲁棒性。

综上，多模态识别装置中的测距装置130和红外灯装置140为技术方案提供了额外的功能。通过实时测距和自动对焦，摄像头120可以适应不同距离的用户并确保清晰拍摄虹膜图像。同时，红外照明提供了适当的光线条件，以捕捉用户瞳孔30和虹膜20的反射光线。这些功能共同作用，提高了虹膜识别的质量和可靠性，增强了多模态识别装置的性能和效果。

请参考图5，在一实施例中，红外灯装置140包括了红外灯和套设在红外灯上的聚光灯杯。具体的，聚光灯杯能够增强反射光，红外灯照射到物体表面时，会产生反射光。聚光灯杯的设计可以增强反射光的聚焦效果，使得红外灯照亮的区域中的反射光更加强烈。这有助于提高摄像头120对瞳孔30和虹膜反射光的捕捉能力，进一步增强虹膜特征200的拍摄质量。此外，聚光灯杯可以通过调整其形状和角度，控制红外灯的照射角度。这样可以更准确地照射到目标区域，避免光线的扩散和浪费，提高照射效果。

请参考图7，在一实施例中，摄像头120第一次采集虹膜及眼动校准数据后，保存虹膜及眼动数据库，有利于下一次直接虹膜认证后调取虹膜数据库及对应的眼动校准数据，每一个虹膜特征200均为虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合；识别单元110包括虹膜数据库、计算模块，虹膜数据库存储有若干个虹膜特征200；计算模块用于判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200是否匹配；计算模块通过弹性匹配来判断摄像头120拍摄的虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合与虹膜数据库存储的虹膜特征200是否匹配，以允许计算模块判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200具有一定程度的差异。具体的，识别单元110包括虹膜数据库和计算模块，其中虹膜数据库存储了多个虹膜特征200，而计算模块用于判断摄像头120拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200是否匹配。为了提高识别的鲁棒性和准确性，计算模块使用弹性匹配方法来判断摄像头120拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200是否匹配。这种弹性匹配方法允许计算模块在判断匹配时考虑虹膜纹理210、虹膜血管分布220、虹膜形状230和虹膜颜色240中的一个或多个相结合，并容忍一定程度的差异。通过将多个虹膜特征200相结合进行匹配判断，系统可以提高对虹膜识别的准确性和鲁棒性。不仅可以通过纹理特征来进行匹配，还可以结合血管分布、形状和颜色等特征进行综合分析。这种多模态的虹膜识别方法可以减少因单一特征受到光照变化、角度变化、年龄、疾病、手术等等因素的影响而导致的误判情况，提高了系统的可靠性。

需要理解的是，虹膜是人眼的一部分，它是位于眼球前部的有色环形结构。它具有独特的虹膜纹理210、虹膜血管分布220、虹膜形状230和虹膜颜色240。虹膜纹理210是指虹膜表面的纹理图案，每个人的虹膜纹理210都是独一无二的，就像指纹一样，这使得虹膜20成为一种用于身份识别的生物特征；虹膜血管分布220是指虹膜中血管的长度、分支的分布情况，这些血管负责为虹膜供氧和营养，并帮助调节眼压；虹膜形状230是指虹膜的外观轮廓，虹膜通常呈现出一个圆形或椭圆形的形状，但也有一些人的虹膜形状230可能稍有变化；虹膜颜色240是指虹膜的色彩，虹膜可以呈现出多种颜色，包括棕色、蓝色、绿色和灰色等，当然，颜色少变的群体，例如亚洲人群，虹膜颜色240的变异不如纹理那么显著。在这种情况下，虹膜纹理210和虹膜血管分布220可以被赋予更高的权重。以上这些特征可以通过虹膜识别技术进行分析和识别，用于身份验证等领域。

综上，通过采用多个虹膜特征200的组合以及弹性匹配方法，弹性匹配方法允许计算模块在判断匹配时容忍一定程度的差异，提高了识别单元110对拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200是否匹配的鲁棒性。这样可以提高虹膜识别的准确性和可靠性，增强了系统在实际应用中的性能表现。

请参考图3和图4，在一实施例中，当计算模块判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200匹配时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中。具体的，当计算模块判断摄像头120拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200匹配时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中，以不断更新和丰富数据库。通过将摄像头120拍摄的虹膜特征200传送至虹膜数据库，使得虹膜数据库能够实时更新数据库中的虹膜特征200信息。随着越来越多的用户虹膜特征200被添加到数据库中，系统的识别能力将得到增强。新的虹膜特征200可以与已有的虹膜特征200进行比对和匹配，从而提供更准确的识别结果。使得多模态识别装置在使用过程中不断地提高虹膜识别系统的准确性和适应性。

请参考图3和图4，在一实施例中，当计算模块判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200匹配，且摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200具有一定程度的差异时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中。具体的，每一个虹膜特征200均为虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合，弹性匹配方法允许计算模块在做判断是否匹配时考虑虹膜纹理210、虹膜血管分布220、虹膜形状230和虹膜颜色240中的一个或多个相结合，并容忍一定程度的差异。当计算模块通过弹性匹配判断摄像头120拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200匹配，并且二者之间具有一定程度的差异时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中，更新虹膜数据库中的虹膜特征200，以提高系统的识别鲁棒性和适应性。通过将摄像头120拍摄的虹膜特征200传送至虹膜数据库，系统可以实时更新数据库中的虹膜特征200信息，即使在虹膜特征200存在一定程度差异的情况下，仍将其添加到数据库中，且最终判断摄像头120拍摄的虹膜特征200与虹膜数据库中存储的虹膜特征200是匹配的。这样做的效果是提高虹膜识别系统的容错能力和适应性。当摄像头120拍摄的虹膜特征200与数据库中的特征存在差异时，这可能是由于多种因素引起的，如光照条件的变化、眼球运动的不确定性或其他环境因素。通过接受这些差异特征并将其添加到数据库中，系统可以更好地适应各种实际应用场景中的变化。此外，更新虹膜数据库还可以应对用户虹膜特征200的变化，虹膜特征200可能会因为年龄、疾病、手术等因素而发生轻微变化，通过将最新的虹膜特征200添加到数据库中，系统可以更好地适应用户虹膜特征200的变化，并保持较高的识别准确性。

综上，更新虹膜数据库有助于提高虹膜识别系统的鲁棒性。由于个体之间虹膜特征200存在差异，通过添加具有一定差异的虹膜特征200，系统可以更好地处理不同个体之间的差异，提高虹膜识别的准确性和可靠性。主要作用是在虹膜特征200匹配的同时，接受具有一定程度差异的虹膜特征200，并将其添加到虹膜数据库中，以应对虹膜特征200可能会因为年龄、疾病、手术等因素而发生的轻微变化，从而提高虹膜识别系统的识别鲁棒性、适应性和容错能力。

在一实施例中，计算模块通过弹性匹配判断摄像头120拍摄的虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合与虹膜数据库存储的虹膜特征是否匹配，虹膜特征200为特征向量或特征码，摄像头120拍摄的虹膜特征向量为A，虹膜数据库存储的虹膜特征向量为B，摄像头120拍摄的虹膜特征和虹膜数据库存储的虹膜特征的长度均为N，表示特征向量中的元素索引为i，计算A与B向量之间的差异，并与预定义的阈值比较来确定它们是否匹配，计算其差异值D(i) = [A(i) - B(i)]，将所有差异值相加得到总差异值D_total =ΣD(i)，其中i范围从1到N；将总差异值D_total与预定义的阈值进行比较，当D_total小于阈值时，则认为特征向量A和B 匹配，即可判定为同一用户；当D_total大于或等于阈值时，则认为特征向量A和B不匹配，判定为不同用户。具体的，每一个虹膜特征200均为虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合，计算模块通过弹性匹配来判断摄像头120拍摄的虹膜纹理210、虹膜血管分布220、虹膜形状230、虹膜颜色240中的一个或多个相结合与虹膜数据库存储的虹膜特征200是否匹配，以允许计算模块判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200具有一定程度的差异。在虹膜识别的弹性匹配中，预定义的阈值是一个设定的数值，用于界定虹膜特征之间差异的可接受程度。

弹性匹配方法用于比较和匹配虹膜特征200的算法，其目的是在一定程度上容忍虹膜特征200之间的差异。计算模块通过弹性匹配来来判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200是否匹配，虹膜特征200通常表示为特征向量或特征码，摄像头120拍摄的虹膜特征200向量为A，虹膜数据库存储的虹膜特征200向量为B，它们的长度均为N，通过计算A与B向量之间的差异，并与预定义的阈值进行比较来确定它们是否匹配，对于每个特征向量元素，计算其差异值D(i) = [A(i) - B(i)]，其中i表示特征向量中的元素索引。接着再计算总差异，将所有差异值相加得到总差异值D_total=ΣD(i)，其中i范围从1到N。将总差异值D_total 与预定义的阈值进行比较。如果D_total小于阈值，则认为特征向量A和B匹配，即可判定为同一用户。如果D_total大于或等于阈值，则认为特征向量A和B不匹配，即可判定为不同用户。

虹膜特征200向量的构建包括：虹膜纹理210通过高斯滤波器和Gabor滤波器结合的方法提取虹膜的纹理信息，虹膜血管分布220采用图像分割和边缘检测技术分析血管的分布特点，虹膜形状230通过几何描述子和边缘检测技术获取虹膜的几何形状，虹膜颜色240通过色彩空间转换和直方图分析来描述虹膜的颜色特性。

请参考图8，在一实施例中，计算模块通过弹性匹配判断摄像头120拍摄的虹膜血管分布220和虹膜形状230相结合与虹膜数据库存储的虹膜特征200是否匹配时，区分虹膜20与瞳孔30的位置，计算虹膜20的大小和形状，提取出虹膜的内轮廓和外轮廓，计算虹膜的内轮廓、外轮廓特征；计算虹膜20内轮廓和外轮廓之间的虹膜血管分布220，将虹膜内轮廓和外轮廓之间的虹膜血管分布220提取出来，计算虹膜血管分布220的血管的长度、分支形状；根据摄像头120拍摄的虹膜20的内轮廓、外轮廓的形状特征，以及虹膜20内轮廓和外轮廓之间的虹膜血管分布的血管的长度、分支形状，以判断摄像头120拍摄的虹膜血管分布220和虹膜形状230相结合与虹膜数据库存储的虹膜特征是否匹配。

步骤1：对于虹膜形状230，虹膜20围绕着瞳孔30，使用边缘检测算法区分虹膜与瞳孔30的位置，同时提取出虹膜20的轮廓，定义虹膜20的大小和形状。虹膜20的轮廓分为内轮廓和外轮廓，计算虹膜的内轮廓、外轮廓形状特征。

步骤2：对于虹膜血管分布220，计算虹膜20内轮廓和外轮廓之间的血管区域，即虹膜血管分布220区域，使用图像分割算法将虹膜内轮廓和外轮廓之间的血管区域提取出来，计算血管的长度、分支形状特征。根据虹膜20的内轮廓、外轮廓形状特征，以及虹膜20轮廓内的血管的长度、分支形状特征，判断摄像头120拍摄的虹膜血管分布220和虹膜形状230相结合与虹膜数据库存储的虹膜特征200是否匹配。

在一实施例中，当虹膜形状230与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管与虹膜数据库存储的虹膜特征200有差异时，判断虹膜血管是否靠近或接触虹膜的内轮廓，如果虹膜血管靠近或接触虹膜的内轮廓，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中。具体的，当虹膜形状230与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管的分布相对于虹膜数据库中的虹膜特征200更加靠近或接触虹膜的内轮廓时，将最新的虹膜特征200添加到数据库中，并且，计算模块通过弹性匹配来判断摄像头120拍摄的虹膜特征与虹膜数据库存储的虹膜特征是相匹配的。如此，系统可以更好地适应用户虹膜特征200的变化，并保持较高的识别准确性。虹膜形状230不变，而虹膜血管分布220有变化，虹膜血管的分布靠近或接触虹膜的内轮廓，通常是虹膜炎引起的，因此，不能因虹膜血管有区别便判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200为不匹配。此外，将带有虹膜炎的虹膜特征200传送至虹膜数据库中，更好地适应用户虹膜特征200的变化，并保持较高的识别准确性，提高虹膜识别系统的容错能力和适应性。

需要注意的是，对于人类的虹膜来说，虹膜血管分布220主要在虹膜的浅层和中层，虹膜血管不与虹膜的外围轮廓接触。虹膜血管是虹膜内部的微小血管网络，而虹膜20的外围轮廓，即虹膜20与角膜或巩膜之间的边界，是不含这些血管的。因此，虹膜血管分布220不会因特定的健康或病理状态下与虹膜20的外围轮廓接触。

虹膜20的内围轮廓，即虹膜20与瞳孔30之间的边界，在大多数情况下，虹膜血管通常不会与虹膜的内围轮廓接触，即虹膜血管不会直接与瞳孔30的边界接触。但是，它们可能会特定的健康或病理状态下，非常靠近甚至接触瞳孔30的边界，如虹膜炎或其他眼部疾病，虹膜的血管可能会因炎症或增生而扩张，并靠近甚至触及虹膜内围轮廓，即虹膜与瞳孔30之间的边界处。

在一实施例中，当虹膜形状230与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管分布220和虹膜颜色240与虹膜数据库存储的虹膜特征200有区别时，判断虹膜血管分布220的血管是否靠近或接触虹膜的内轮廓，以及判断虹膜颜色240是否显得更加红润，如果血管靠近或接触虹膜的内轮廓，且虹膜颜色240显得更加红润时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中。具体的，当虹膜形状230与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管分布220的血管相对于虹膜数据库中的虹膜特征200更加靠近或接触虹膜的内轮廓，以及虹膜颜色240相对于虹膜数据库中的虹膜特征200显得更加红润时，将最新的虹膜特征200添加到数据库中，并且，计算模块通过弹性匹配来判断摄像头120拍摄的虹膜特征与虹膜数据库存储的虹膜特征是相匹配的。如此，系统可以更好地适应用户虹膜特征200的变化，并保持较高的识别准确性。虹膜形状230不变，而虹膜血管分布220和虹膜颜色240有变化，虹膜血管分布220的血管靠近或接触虹膜的内轮廓，同时虹膜颜色240显得更加红润时，通常是虹膜炎或其他眼部疾病引起的，因此，不能因虹膜血管分布220与虹膜数据库中的虹膜特征有区别，便判断摄像头120拍摄的虹膜特征200与虹膜数据库存储的虹膜特征200为不匹配。此外，将带有虹膜炎的虹膜特征200传送至虹膜数据库中，能够更好地适应用户虹膜特征200的变化，并保持较高的识别准确性，提高虹膜识别系统的容错能力和适应性。

在一实施例中，当虹膜纹理210和虹膜形状230相结合与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管和/或虹膜颜色240与虹膜数据库存储的虹膜特征200有区别时，判断虹膜血管分布220的血管是否靠近或接触虹膜的内轮廓，以及判断虹膜颜色240是否显得更加红润，如果虹膜血管分布220的血管靠近或接触虹膜的内轮廓，且虹膜颜色240显得更加红润时，将摄像头120拍摄的虹膜特征200传送至虹膜数据库中。具体的，当虹膜纹理210、虹膜形状230与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管分布220的血管相对于虹膜数据库中的虹膜特征200更加靠近或接触虹膜的内轮廓，以及虹膜颜色240相对于虹膜数据库中的虹膜特征200显得更加红润时，将最新的虹膜特征200添加到数据库中。虹膜纹理210和虹膜形状230相结合与虹膜数据库存储的虹膜特征200能够匹配，可以提高控制匹配的严格程度。

在一实施例中，当计算模块通过弹性匹配来判断摄像头120拍摄的虹膜纹理210、虹膜形状230以及虹膜颜色240中的一个或多个相结合与虹膜数据库存储的虹膜特征200相匹配，虹膜血管分布220与虹膜数据库存储的虹膜特征200有差异时，判断摄像头120拍摄的虹膜血管分布220相对于虹膜数据库中的虹膜特征200的区别，如果摄像头120拍摄的虹膜血管分布220的血管相对于虹膜数据库中的虹膜特征更加靠近或接触虹膜的内轮廓，将摄像头120拍摄的虹膜特征传送至虹膜数据库中，并且，计算模块通过弹性匹配来判断摄像头120拍摄的虹膜特征与虹膜数据库存储的虹膜特征是相匹配的。具体的，当虹膜纹理210、虹膜形状230以及虹膜颜色240相结合与虹膜数据库存储的虹膜特征200能够匹配，而虹膜血管分布220相对于虹膜数据库中的虹膜特征200更加靠近或接触虹膜20的内轮廓，将最新的虹膜特征200添加到数据库中。此外，通过虹膜纹理210、虹膜血管分布220、虹膜形状230以及虹膜颜色240相结合来判断是否与虹膜数据库存储的虹膜特征200相匹配，可以提高控制匹配的严格程度。

需要说明的是，通过调整预定义的阈值，可以灵活地控制匹配的严格程度。较高的阈值可能允许更大的差异，从而提供更强的鲁棒性，而较低的阈值会导致更严格的匹配标准，可能提高准确性但降低鲁棒性。

请参考图2至图4，在一实施例中，摄像头120位于用户眼部下方，且摄像头120向上倾斜地朝向用户眼部。具体的，摄像头120位于用户眼部下方，向上倾斜地朝向用户眼部，以便避开用户的眼睫毛。

需要理解的是，用户的眼睫毛大多位于眼睛上方，尤其是眼睛上方的眼睫毛，如果摄像头120位于眼睛上方或水平位置，眼睫毛容易遮挡用户的瞳孔30和虹膜，影响眼动追踪和虹膜特征200的准确性。因此，眼睛上方的眼睫毛的存在可能导致眼动追踪和虹膜识别系统误判或识别错误。

而在本申请中，通过将摄像头120放置在用户眼部下方并向上倾斜，可以避开眼睫毛的干扰，确保摄像头120能够清晰地观察到眼球运动和虹膜特征200。在眼睛下方的眼睫毛较短，因此，摄像头120向上倾斜地朝向用户眼部，眼睛下方的眼睫毛不会影响到摄像头120对用户的瞳孔30运动实时追踪，也不会影响对该用户的虹膜特征200进行拍摄。通过避开眼睫毛的遮挡，摄像头120能够更准确地捕捉到用户的眼球运动和虹膜特征200，提高系统的准确性和可靠性。

综上，摄像头120位于用户眼部下方并向上倾斜地朝向用户眼部，以避开眼睫毛的干扰。这种布局有助于避免眼睫毛遮挡造成的误判、提高眼动追踪和虹膜识别的准确性。

请参考图2至图4，在一实施例中，多模态识别装置还包括显示屏150，显示屏150与识别单元110电连接，显示摄像头120拍摄的画面，当用户视线垂直于显示屏150的平面时，摄像头120倾斜向上地朝向用户眼部。具体的，用户通过眼部观察显示屏150时，使得用户视线垂直于显示屏150的平面，即用户的眼睛正对显示屏150，并且倾斜摄像头120朝向用户眼部。如此，用户能够直接注视显示屏150，摄像头120位于用户眼部下方并向上倾斜地朝向用户眼部，以避开眼睫毛的干扰，确保摄像头120能够清晰地观察到眼球运动和虹膜特征200，摄像头120能够更准确地捕捉到用户的眼球运动和虹膜特征200，提高多模态识别装置的准确性和可靠性。

在实际使用中，摄像头120沿倾斜向上的方向对用户的眼球运动进行实时追踪。当用户通过眼部观察显示屏150时，摄像头120能够准确地捕捉到眼球的运动轨迹和变化。这种实时追踪的功能可以用于眼动研究、用户交互和用户行为分析等领域，为相关应用提供准确的数据支持。由于摄像头120位置与用户眼部的相对位置优化，可以更容易地拍摄到清晰的虹膜图像。这有助于提高虹膜识别系统的准确性和稳定性，并提供更高水平的安全性和身份验证能力。

此外，用户通过眼部观察显示屏150时，不需要特意调整头部姿势或眼球角度，而是自然地使视线垂直于显示屏150的平面。这种布局使用户能够更加轻松自如地使用多模态识别装置，提供更好的使用体验和舒适度。

请参考图2至图4，在一实施例中，多模态识别装置还包括壳体160，壳体160具有第一面161和第二面162，第一面161与第二面162相交，且第一面161与第二面162之间的夹角为90°～ 150°，显示屏150设于第一面161上，摄像头120、测距装置130、红外灯装置140均设于第二面162上；摄像头120、测距装置130、红外灯装置140均倾斜向上的朝向用户的眼部。具体的，壳体160具有第一面161和第二面162，它们相交并形成一个夹角，夹角的范围是90°至150°之间。通过设置夹角范围为90°至150°，可以实现摄像头120、测距装置130和红外灯装置140倾斜向上朝向用户的眼部。这样设计可以优化视角，使得摄像头120避开眼睛上方的眼睫毛，从而使得这些设备能够更好地捕捉用户眼部的信息。同时，设置夹角的范围可以根据具体需求进行调整，以实现最佳的视野覆盖和准确性。显示屏150被放置在第一面161上，即与用户的视线直接对准。这样的设计使得用户能够直接注视显示屏150，从而提供更准确的眼动追踪和虹膜识别数据。此外，显示屏150的位置在壳体160的第一面161上也有利于用户的舒适度和使用体验。摄像头120、测距装置130和红外灯装置140都被放置在壳体160的第二面162上，并且倾斜向上朝向用户的眼部。这种布局使得这些设备能够更好地捕捉瞳孔30运动和虹膜特征200。此外，将这些设备集中在第二面162上还可以方便设备的安装和调整，同时提供一个整洁和紧凑的外观。

综上，该技术方案中的壳体160设计，夹角的设置以及设备的布局优化了多模态识别装置的功能和效果。使得摄像头120拍摄虹膜时能够避开眼睫毛，为摄像头120提供了更好的视角优化，使设备能够更准确地捕捉用户眼部的信息。同时，显示屏150的位置和设备的布局也有助于提高用户的舒适度和使用体验。

请参考图2至图4，在一实施例中，第一面161与第二面162之间的夹角为135°。具体的，将第一面161与第二面162之间的夹角设置为135°可以提供更好的视觉体验和舒适度。这个夹角的选择使得显示屏150（位于第一面161）与用户的视线形成适当的倾斜，以便用户能够更自然地观察和注视显示屏150上的内容。这有助于减少眼睛疲劳和不适感，使用户在使用多模态识别装置时感到更加舒适。此外，进一步提高了眼球运动的追踪准确性和虹膜特征200的捕捉质量。摄像头120可以更准确地捕捉到眼部运动和虹膜特征200，进而提高多模态识别的精度和可靠性。

针对第一面161与第二面162之间的夹角设置为不同的角度在使用时对用户产生的影响进行实验，得到以下数据：

请参考图1，在一实施例中，红外灯装置140有两个，摄像头120、测距装置130均位于两个红外灯装置140的中间，两个红外灯装置140朝向其中间位置倾斜。具体的，摄像头120和测距装置130位于这两个红外灯装置140的中间，并且两个红外灯装置140朝向这个中间位置倾斜。通过将两个红外灯装置140朝向摄像头120和测距装置130之间的中间位置倾斜，可以实现均衡的照明效果。红外灯装置140产生的红外光可以照亮用户的眼部，使得摄像头120能够更准确地捕捉到眼球和虹膜的特征。通过将两个红外灯装置140分别朝向中间位置，可以确保照明光线均匀分布，并减少可能的阴影和光线不均的情况。

此外，将摄像头120和测距装置130放置在两个红外灯装置140的中间位置，可以确保这些装置能够充分接收到红外光的反射，可以增加摄像头120对眼球运动的准确追踪能力，并且测距装置130能够准确测量用户与设备之间的距离。通过优化红外灯和设备的相对位置，可以提高虹膜特征200的采集质量，从而提高多模态识别的准确性和鲁棒性。

综上，两个红外灯装置140的中间，且朝向其中间位置倾斜具有重要作用。它提供了均衡的照明瞳孔30和虹膜的效果，确保摄像头120能够准确捕捉到眼球和虹膜的特征。同时，将摄像头120和测距装置130放置在两个红外灯装置140的中间位置，可以提高数据采集的质量和准确性，从而提升多模态识别系统的性能。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其他实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相匹配的最宽的范围。

Claims (10)

1.一种基于虹膜识别来实现精准眼动追踪的多模态识别装置，应用于身份验证，其特征在于，包括：

识别单元，存储有若干个虹膜特征；

摄像头，与所述识别单元电连接，对用户的眼球运动实时追踪，同时对该用户的虹膜特征进行拍摄，拍摄的虹膜特征传送至所述识别单元，所述识别单元判断拍摄的虹膜特征与其存储的虹膜特征是否匹配。

2.如权利要求1所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，所述摄像头具有追踪单元、拍摄单元，所述追踪单元对用户的瞳孔运动实时追踪，同时所述拍摄单元对该用户的虹膜特征进行拍摄。

3.如权利要求2所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，所述多模态识别装置还包括：

测距装置，与所述识别单元电连接，可实时测量用户与所述测距装置之间的距离，所述测距装置和所述摄像头均面向用户，所述摄像头根据所述测距装置测量的距离调整焦点；

红外灯装置，与所述识别单元电连接，当所述红外灯装置照亮用户的瞳孔和虹膜时，所述摄像头捕捉到瞳孔的反射光和拍摄虹膜特征。

4.如权利要求1所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，每一个所述虹膜特征均为虹膜纹理、虹膜血管分布、虹膜形状、虹膜颜色中的一个或多个相结合；所述识别单元包括：

虹膜数据库，存储有若干个虹膜特征；

计算模块，用于判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征是否匹配；

所述计算模块通过弹性匹配来判断所述摄像头拍摄的所述虹膜纹理、所述虹膜血管分布、所述虹膜形状、所述虹膜颜色中的一个或多个相结合与所述虹膜数据库存储的虹膜特征是否匹配，以允许所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征具有一定程度的差异。

5.如权利要求4所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，当所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征匹配时，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

6.如权利要求5所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，当所述计算模块判断所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征匹配，且所述摄像头拍摄的虹膜特征与所述虹膜数据库存储的虹膜特征具有一定程度的差异时，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

7.如权利要求6所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，所述计算模块通过弹性匹配来判断所述摄像头拍摄的虹膜血管分布和虹膜形状相结合与所述虹膜数据库存储的虹膜特征是否匹配时，区分虹膜与瞳孔的位置，计算虹膜的大小和形状，提取出虹膜的内轮廓和外轮廓，计算虹膜的内轮廓、外轮廓特征；

计算虹膜内轮廓和外轮廓之间的虹膜血管分布，将虹膜内轮廓和外轮廓之间的虹膜血管分布提取出来，计算虹膜血管分布的血管的长度、分支形状；

根据所述摄像头拍摄的虹膜的内轮廓、外轮廓的形状特征，以及虹膜内轮廓和外轮廓之间的虹膜血管分布的血管的长度、分支形状，以判断所述摄像头拍摄的虹膜血管分布和虹膜形状相结合与所述虹膜数据库存储的虹膜特征是否匹配。

8.如权利要求7所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，当所述计算模块通过弹性匹配来判断所述摄像头拍摄的所述虹膜纹理、所述虹膜形状以及所述虹膜颜色中的一个或多个相结合与所述虹膜数据库存储的虹膜特征相匹配，且所述虹膜血管分布与所述虹膜数据库存储的虹膜特征有差异时，判断所述摄像头拍摄的虹膜血管分布相对于虹膜数据库中的虹膜特征的区别，如果所述摄像头拍摄的虹膜血管分布的血管相对于虹膜数据库中的虹膜特征更加靠近或接触虹膜的内轮廓，将所述摄像头拍摄的虹膜特征传送至所述虹膜数据库中。

9.如权利要求3所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，所述摄像头位于用户眼部下方，且所述摄像头向上倾斜地朝向用户眼部。

10.如权利要求9所述的基于虹膜识别来实现精准眼动追踪的多模态识别装置，其特征在于，所述多模态识别装置还包括：

显示屏，与所述识别单元电连接，显示所述摄像头拍摄的画面，当用户视线垂直于显示屏的平面时，所述摄像头倾斜向上地朝向用户眼部；

壳体，具有第一面和第二面，所述第一面与所述第二面相交，且所述第一面与所述第二面之间的夹角为90°～ 150°，所述显示屏设于所述第一面上，所述摄像头、所述测距装置、所述红外灯装置均设于所述第二面上；

所述摄像头、所述测距装置、所述红外灯装置均倾斜向上的朝向用户的眼部。