CN108629293A - 一种具有反馈机制的自适应近红外虹膜图像采集方法 - Google Patents

Abstract

本发明公开了一种具有反馈机制的自适应近红外虹膜图像采集方法，利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，再通过图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析对采集的虹膜图像进行质量分析完成采集。本发明通过图像实时评估的方法，对图像采集进行反馈处理，提高虹膜识别精度，从而获得更清晰的近红外虹膜图像。

Description

一种具有反馈机制的自适应近红外虹膜图像采集方法

技术领域

本发明属于虹膜识别技术领域，具体涉及一种具有反馈机制的自适应近红外虹膜图像采集方法。

背景技术

随着科学技术的飞速发展，人们不再简单的从姓名、年龄、证件、签名等信息来识别不同的个体，而是基于人脸、指纹、声音等生物特征来识别，尤其是作为目前生物特征识别中精确度最高、防伪性最好、稳定性最佳、安全性仅次于DNA检测的虹膜识别技术，被广泛应用于银行、电子商务、安全防护、智能支付等方面。然而，即使现在的虹膜图像采集已有了质的飞跃，但基于便捷化、智能化、快速化的虹膜图像采集方法，人们研究的深度和广度仍有迫切需求。

近年来随着移动互联网技术的不断发展和智能手机的普及，越来越多的人开始享受智能手机在日常办公、网上交易、商务交流等方面带来的便利。据工信部调查统计，2017年移动电话用户已达14.03亿户，其中移动4G用户总数达到9.46亿户，用户市场巨大市场。如果将以往需要配备完整的电脑机组，并在定点拍照虹膜图像采集工作改由人们日常都随身携带的智能手机组合到一起，不仅灵巧美观携带方便，而且处理速度迅捷。

现在对于虹膜图像的采集时，由于为了保证采集效果，一般采集过程中需要带有闪光效果，这就导致在采集过程中容易对人眼造成不可逆的伤害。但如果利用红外传感器进行采集，它不受外在光线强弱、距离等因素的影响，图像采集比较稳定，且光源发光强度低，能有效减少由于光照强度大给被采集者带来的眼部不适感，不易造成人眼伤害。

智能手机虹膜图像采集质量对于虹膜预处理和识别精度有较大的影响。现有的采集方式缺少反馈机制，在不同光照度下也能保证清晰度。采用基于智能手机芯片内置GPU的虹膜图像实时评估技术，可以剔除眨眼的图像，给出评价指标，并反馈调节红外摄像头，从而获得更清晰的近红外虹膜图像，提高虹膜识别精度。由于是使用手机进行虹膜检测，相对于传统的虹膜检测装置自由度较高，如图3所示。

目前虹膜图像采集装置普遍采用了定焦点、小光圈的镜头，同时在采集过程中由于受到采集的手法娴熟技巧、采集地点的采光优劣等因素，导致采集到的虹膜图像质量不理想，一旦数据采集不正确，需要人工进行二次采集，费时费力。如果采集系统中具有反馈机制，根据对相关指标进行分析，使其在采集过程中可以对虹膜图像的实时情况进行了解，使摄像头可以完成自动对焦过程，直至拍摄出合格图像为止。

随着科技的发展，手机GPU的诞生，是移动市场的一次大革命。GPU(图形处理器)是近几年发展起来的大规模并行计算处理器，在计算机显卡上的应用已经非常广泛。由于CPU是通用的数据处理器，在处理数值计算时虽然很快，但对于需要浮点运算、并行计算等部分计算方面，GPU在处理图像时的工作效率远高于CPU，大约可提供数十倍乃至于上百倍于CPU的性能。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种具有反馈机制的自适应近红外虹膜图像采集方法，以提高虹膜识别精度。

本发明采用以下技术方案：

一种具有反馈机制的自适应近红外虹膜图像采集方法，利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，再通过图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析对采集的虹膜图像进行质量分析完成采集，具体步骤如下：

S1、虹膜采集近红外成像模组根据接收到的虹膜采集命令，准备采集；

S2、根据接收到的虹膜定位判断信息，判断虹膜位置是否合适；

S3、图像处理单元根据接收到的光照强度判断信息，根据虹膜图像直方图的灰度值判断光照强度是否合适；

S4、图像处理单元根据接收到的眨眼判断信息，统计虹膜图像直方图像中10～30灰度值的像素和判断拍照时是否眨眼；

S5、图像处理单元根据接收到的虹膜拍摄命令，获取第一组虹膜图像，利用空间频率总体活跃程度判断虹膜图像是否清晰，如果不清晰则返回步骤S1重新开始；

S6、当确定当前虹膜图像符合设定要求时提取当前虹膜存储，并结束当前采集。

具体的，虹膜采集近红外成像模组包括照明光源和虹膜识别成像组光学部件，虹膜识别成像组光学部件包括用于成像波长过滤的前置近红外光学带通滤光器、用于对近红外光学滤光器过滤后的成像波长光线进行聚焦的光学成像透镜以及用于对通过光学成像透镜聚焦的成像波长光线进行成像并输出的图像成像传感器。

进一步的，虹膜采集近红外成像模组采用的近红外短波为780～1100nm。

具体的，图像处理单元包括ARM处理器和GPU处理器，ARM处理器对图像处理进程进行调度，GPU处理器用于对图像进行并行处理，ARM处理器和GPU处理器通过图像缓存单元进行数据交互；图像处理单元将处理后的图像数据经过图像输出单元向外输出。

具体的，步骤S2中，利用手机自带前后摄像头，在手机APP中设定一个类似于人类眼部和虹膜位置的椭圆/圆形采集框，引导被采集者将眼部区域置于红色椭圆/圆形采集框内，前后移动手机，利用手机自带图像自动变焦功能进行定位，使虹膜贴近屏幕上设定的采集框内。

具体的，步骤S3中，按照灰度值0～85、86～170、171～255将直方图划分为3个区域，分别计算3个区域中像素所占比例r₁、r₂、r₃来判断图像的明暗度并剔除眨眼图像，设置阈值 T₁、T₂、T₃，当r₁>T₁、r₂<T₂或者r₃>T₃时，判断图像不合格。

进一步的，3个区域中像素所占比例r₁、r₂、r₃如下：

其中，p_t为整幅图像的像素和，P_b为灰度值介于0和85之间的像素和，P_g为灰度值介于 85和170之间的像素和，P_w为灰度值介于171和255之间的像素和。

具体的，步骤S4中，统计虹膜图像直方图像中10～30灰度值的像素和S，如果S小于设定阈值，则认为该图像受到眨眼影响，判定图像质量不合格；

如果图像被眼皮覆盖绝大部分，但是没有完全覆盖瞳孔区域，利用瞳孔在水平方向上的半径r_PL和垂直方向上的半径r_PV长度之比判断图像是否存在眨眼现象，如果检测到r_PL/r_PV＞1.2，则认为存在眨眼现象，判定图像质量不合格。

具体的，步骤S5中，基于空间频率判断图像清晰度，其中，RF和CF分别为行频率和列频率，当SF越明显，即图像的层次越分明，值越高；当SF的各项越接近时，即图像模糊时，其值越低。

进一步的，行频率RF和列频率CF具体如下：

其中，F(i,j)是图像的像素，m×n是图像的大小。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种具有反馈机制的自适应近红外虹膜图像采集方法，利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，再通过图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析对采集的虹膜图像进行质量分析完成采集，设计了虹膜图像采集反馈机制，使得到的虹膜图像更清晰，精确度更高；采用GPU图形处理器，使得图像处理更快，更精准，从而保证虹膜图像的效果，综合了图像处理、计算机视觉、机电控制和自适应控制等技术，应用于基于虹膜识别方向的生物特征识别领域。

进一步的，虹膜采集近红外成像模组采用照明光源和虹膜识别成像组光学部件组成，这样设置的好处是采集虹膜时利用普通照明光源和红外滤光片用于人为产生红外辐射，产生人眼看不见而普通摄像机能捕捉到的红外光，使虹膜采集到不受环境光影响的、高质量的图像。

进一步的，近红外短波采用780～1100nm，这样设置目的是由于可见光照射时会刺激人眼导致瞳孔不时的收缩、变大，给采集增加困难，波长大于780nm的光是红外光，对于人眼是不可见的，对人眼的刺激很小，不适感相比相同强度的可见光要小很多，且虹膜对各波段光的反射透射率中采用900nm波段以上的红外光效果最好。

进一步的，利用手机自带前后摄像头及自动变焦功能进行定位，这样设置有以下两个优点：一是使用手机自带摄像头可以减少硬件的投入，减少成本；二是现有手机拍照中均有自动对焦功能，可以帮助使用者增加定位准确性。

进一步的，利用虹膜图像的直方图的灰度值这一方法不仅可以提高虹膜图像光照强度和取景眨眼判断的精度，还可以缩短过程计算的运算时间。

进一步的，由于瞳孔的灰度值很低，大约为20，合格图像中的瞳孔如果没有被遮挡，那么在直方图中0～50范围内则表现为一个尖峰，而眨眼图像中瞳孔被遮挡，在直方图中0～50 范围内则没有尖峰，因此统计虹膜图像直方图像中10～30灰度值的像素可以快速判定图像质量。

进一步的，空间频率是图像的空间属性，它反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大图像越活跃、越清晰，因此使用空间频率分析法来判断图像清晰度更为精准和有效。

综上所述，本发明通过图像实时评估的方法，对图像采集进行反馈处理，提高虹膜识别精度，从而获得更清晰的近红外虹膜图像。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明虹膜采集示意图；

图2为手机内置CPU，ARM，GPU等芯片关系示意图；

图3为虹膜图像采集系统流程图；

图4为智能手机图像采集界面图；

图5为本发明虹膜采集方法的流程图；

图6为本发明图像定位示意图。

具体实施方式

虹膜图像采集是利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，以备后续处理使用；虹膜图像质量分析包括图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析等。

本发明提供了一种具有反馈机制的自适应近红外虹膜图像采集方法，综合了红外图像采集、GPU图像处理、评估，摄像头自动控制等技术，应用于生物特征领域的虹膜采集、识别方向，通过在手机硬件中采用GPU来处理图像数据，充分利用GPU的通用计算能力，将CPU 从图像处理的繁重计算中解放出来，专心于数据通信及数据安全的处理，提高图像处理系统效率和准度，保证图像采集的效率。

请参阅图1和图2，一种虹膜图像识别采集系统，包括：近红外虹膜图像采集、图像质量分析系统、智能手机芯片内置GPU、以及图像采集APP软件。

在智能手机中安装红外滤光片用于人为产生红外辐射，产生人眼看不见而普通摄像机能捕捉到的红外光，辐射“照明”景物和环境，利用普通低照度CCD黑白摄像机或使用“白天彩色夜间自动变黑白”的摄像机或“红外低照度彩色摄像机”去感受周围环境反射回来的红外光，从而实现红外图像采集功能。

红外摄像头分为近红外和远红外，本发明采用近红外线即短波红外线，波长较短且穿入人体组织较深。近红外能为虹膜识别提供不受环境光影响的、高质量的图像采集，所谓的高质量包括：图像亮度合适、均匀、对比度合适、不存在过度曝光等。

请参阅图4，图像质量分析系统包括图像定位、光照强度分析、取景虹膜眨眼分析和虹膜图像清晰度分析。

其中，在智能手机APP中设定一个采集框，前后移动手机使虹膜落入图像采集框后进行手机图像自动定位；

光照强度辨析是根据虹膜图像直方图的灰度值来判断图像的明暗度；

取景虹膜眨眼分析是统计整幅图像10～30灰度值的像素和来判断图像是否存在眨眼现象；

虹膜图像清晰度分析是利用空间频率总体活跃程度来判别图像清晰度。

请参阅图2，智能手机芯片内置GPU，包含了图形处理所必须的所有元件，GPU和CPU之间通过ARM内存进行数据交换。ARM处理器对图像处理进程进行调度，GPU处理器对图像进行并行处理，ARM处理器和GPU处理器通过图像缓存单元进行数据交互；图像处理单元将处理后的图像数据经过所述图像输出单元向外输出。

请参阅图5，本发明一种具有反馈机制的自适应近红外虹膜图像采集方法，包括虹膜图像采集和虹膜图像质量分析，利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，通过图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析对采集的虹膜图像进行质量分析，具体步骤如下：

S1、根据接收到的虹膜采集命令，准备采集；

S2、根据接收到的虹膜定位判断信息，判断虹膜位置是否合适；

S3、根据接收到的光照强度判断信息，判断光照强度是否合适；

S4、根据接收到的眨眼判断信息，判断拍照时是否眨眼(遮挡)；

S5、根据接收到的虹膜拍摄命令，获取第一组虹膜图像，判断虹膜图像是否清晰，如果不清晰则返回步骤S1重新开始；

S6、当确定当前虹膜图像符合设定要求时提取当前虹膜存储，并结束当前采集。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种可以应用于智能手机上，带有反馈机制的自适应红外虹膜图像采集方法，以提高虹膜识别精度，该采集方法基于以下系统：虹膜采集近红外成像模组、图像采集单元、图像处理单元、图像缓存单元、虹膜评价反馈机制和图像输出，以下是对系统中各部分的详细说明：

虹膜采集近红外成像模组由照明光源和虹膜识别成像组光学部件构成；

光学部件包括进行成像波长过滤的前置近红外光学带通滤光器(片)、对近红外光学滤光器过滤后的成像波长光线进行聚焦的光学成像透镜，对通过光学成像透镜聚焦的成像波长光线成像的图像成像传感器，用于物理成像并输出近红外虹膜图像，其中近红外波长取近红外短波 780～1100nm。

图像采集单元、图像处理单元、图像缓存单元至少包括：ARM处理器和GPU处理器，ARM 处理器对图像处理进程进行调度，GPU处理器对图像进行并行处理，ARM处理器和GPU处理器通过图像缓存单元进行数据交互；图像处理单元将处理后的图像数据经过图像输出单元向外输出。

虹膜图像质量分析评价系统主要包括图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析。

图像定位是利用手机自带前后摄像头，在手机APP中设定一个类似于人类眼部和虹膜位置的椭圆/圆形采集框，引导被采集者将眼部区域置于红色椭圆/圆形采集框内，前后移动手机，利用手机自带图像自动变焦功能进行定位，使虹膜尽量贴近屏幕上设定的采集框内，如图6 所示。

光照强度辨析是根据虹膜图像的直方图的灰度值，按照灰度值0～85、86～170、171～255 将直方图划分为3个区域，分别计算这3个区域中像素所占比例来判断图像的明暗度，这3 个比值记为r₁、r₂、r₃：

其中p_t为整幅图像的像素和，P_b为灰度值介于0和85之间的像素和，P_g为灰度值介于 85和170之间的像素和，P_w为灰度值介于171和255之间的像素和。视觉上灰度适中的虹膜图像，r₁和r₃较小，r₂较大；当r₁或者r₃很大时，虹膜纹理几乎不可见。设置适当的阈值T₁、T₂、T₃，当r₁>T₁、r₂<T₂或者r₃>T₃时，判断图像不合格。

取景虹膜眨眼分析

由于瞳孔的灰度值很低，大约为20，合格图像中的瞳孔如果没有被遮挡，那么在直方图中0～50范围内则表现为一个尖峰，而眨眼图像中瞳孔被遮挡，在直方图中0～50范围内则没有尖峰。

统计整幅图像的10～30的灰度值的像素和，记为S；如果S小于某一阈值，则认为该图像受到眨眼影响，判定图像质量不合格。

分别统计灰度值为0～85、86～170、171～255三个范围的像素和，其中眨眼图像的r₂值相对较大，r₁、r₃值相对较小，因此可以在检测图像亮度这一步骤中根据r₁、r₂、r₃的值剔除部分眨眼图像。

如果图像被眼皮覆盖了绝大部分，但是没有完全覆盖瞳孔区域，那么利用瞳孔在水平方向上的半径r_PL和垂直方向上的半径r_PV长度之比可以判断图像是否存在眨眼现象。

如果检测到r_PL/r_PV＞1.2(此处不严格认为大于1就有眨眼现象存在，因为瞳孔非常近似一个圆.但不是绝对圆)，则认为眨眼现象存在，即该幅图像没有达到所要求的图像质量，则判定其不合格。

基于虹膜图像清晰度分析是基于空间频率(Spatial Frequency简写SF)对图像清晰度的影响。空间频率反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大图像越活跃、越清晰。

空间频率的定义如下：

RF和CF分别为行频率和列频率，具体计算如下：

其中，F(i,j)是图像的像素，m×n是图像的大小，当SF越明显，即图像的层次越分明，值越高；当SF的各项越接近时，即图像模糊时，其值越低。因此，采集到的图像越接近齐焦点的值越大，在齐焦点处达到最大值。

随着图像逐渐清晰，SF值逐渐增大，即图像的清晰度越高，选用3个值中最大的那个即最清晰。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，利用手机将动态的人眼虹膜拍摄并存储成的虹膜图像，再通过图像定位、光照强度分析、取景虹膜眨眼分析、虹膜图像清晰度分析对采集的虹膜图像进行质量分析完成采集，具体步骤如下：

S1、虹膜采集近红外成像模组根据接收到的虹膜采集命令，准备采集；

S2、根据接收到的虹膜定位判断信息，判断虹膜位置是否合适；

S3、图像处理单元根据接收到的光照强度判断信息，根据虹膜图像直方图的灰度值判断光照强度是否合适；

S4、图像处理单元根据接收到的眨眼判断信息，统计虹膜图像直方图像中10～30灰度值的像素和判断拍照时是否眨眼；

S5、图像处理单元根据接收到的虹膜拍摄命令，获取第一组虹膜图像，利用空间频率总体活跃程度判断虹膜图像是否清晰，如果不清晰则返回步骤S1重新开始；

S6、当确定当前虹膜图像符合设定要求时提取当前虹膜存储，并结束当前采集。

2.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，虹膜采集近红外成像模组包括照明光源和虹膜识别成像组光学部件，虹膜识别成像组光学部件包括用于成像波长过滤的前置近红外光学带通滤光器、用于对近红外光学滤光器过滤后的成像波长光线进行聚焦的光学成像透镜以及用于对通过光学成像透镜聚焦的成像波长光线进行成像并输出的图像成像传感器。

3.根据权利要求1或2所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，虹膜采集近红外成像模组采用的近红外短波为780～1100nm。

4.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，图像处理单元包括ARM处理器和GPU处理器，ARM处理器对图像处理进程进行调度，GPU处理器用于对图像进行并行处理，ARM处理器和GPU处理器通过图像缓存单元进行数据交互；图像处理单元将处理后的图像数据经过图像输出单元向外输出。

5.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，步骤S2中，利用手机自带前后摄像头，在手机APP中设定一个类似于人类眼部和虹膜位置的椭圆/圆形采集框，引导被采集者将眼部区域置于红色椭圆/圆形采集框内，前后移动手机，利用手机自带图像自动变焦功能进行定位，使虹膜贴近屏幕上设定的采集框内。

6.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，步骤S3中，按照灰度值0～85、86～170、171～255将直方图划分为3个区域，分别计算3个区域中像素所占比例r₁、r₂、r₃来判断图像的明暗度并剔除眨眼图像，设置阈值T₁、T₂、T₃，当r₁>T₁、r₂<T₂或者r₃>T₃时，判断图像不合格。

7.根据权利要求6所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，3个区域中像素所占比例r₁、r₂、r₃如下：

其中，p_t为整幅图像的像素和，P_b为灰度值介于0和85之间的像素和，P_g为灰度值介于85和170之间的像素和，P_w为灰度值介于171和255之间的像素和。

8.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，步骤S4中，统计虹膜图像直方图像中10～30灰度值的像素和S，如果S小于设定阈值，则认为该图像受到眨眼影响，判定图像质量不合格；

如果图像被眼皮覆盖绝大部分，但是没有完全覆盖瞳孔区域，利用瞳孔在水平方向上的半径r_PL和垂直方向上的半径r_PV长度之比判断图像是否存在眨眼现象，如果检测到r_PL/r_PV＞1.2，则认为存在眨眼现象，判定图像质量不合格。

9.根据权利要求1所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，步骤S5中，基于空间频率判断图像清晰度，其中，RF和CF分别为行频率和列频率，当SF越明显，即图像的层次越分明，值越高；当SF的各项越接近时，即图像模糊时，其值越低。

10.根据权利要求9所述的一种具有反馈机制的自适应近红外虹膜图像采集方法，其特征在于，行频率RF和列频率CF具体如下：

其中，F(i,j)是图像的像素，m×n是图像的大小。