CN102855476A - 单图像传感器自适应双眼虹膜同步采集系统 - Google Patents

Abstract

本发明涉及一种基于单摄像头的双眼虹膜图像采集方法及装置，其采用单个摄像头实现双眼区域图像的采集，利用形态学和角点检测的算法实时检测人眼的反射亮斑和眼角的位置，从而实现双瞳的实时定位，利用所测量的瞳孔间距实时计算人与镜头之间的物距，作为闭环控制系统的反馈信号给步进电机以驱动光学镜头的前后移动从而达到自适应聚焦，得到清晰的双眼虹膜图像，将双眼虹膜图像实时裁剪为左右眼高清虹膜图像，经过预处理等后续算法，实时地完成双眼虹膜识别。所述方法和设备能够有效地降低产品硬件成本，降低设备的电路设计复杂度，减小终端体积，加快虹膜注册和认证速度。

Description

单图像传感器自适应双眼虹膜同步采集系统

技术领域

本发明涉及虹膜识别领域和光机电一体化领域，特别涉及用于双眼虹膜同步自适应识别的传感器，以及基于角点检测的双眼定位算法以及测量瞳距的自动聚焦控制，该系统适用于双眼虹膜图像采集与识别的设备。

背景技术

虹膜识别是一种高精度、非侵犯性、简便易用的生物特征识别身份认证技术，被认为是最有前途的生物特征识别身份认证技术之一，有非常广阔的市场应用前景。

目前，国内外的双眼虹膜识别终端普遍都是通过两只虹膜摄像头分别采集人眼图像，意味着要使用两只高成本的虹膜摄像头(图像传感器+光学镜头)，电路结构复杂，终端体积庞大，这也是目前双眼虹膜采集设备成本长期居高不下的主要原因；同时左右眼切换(异步)采集，流程复杂，用户体验性差。同时，为采集高清无损的虹膜图像，被识别者的位置应处于镜头的景深范围，这需要通过调焦来实现。虹膜摄像头一般为两种：一种是定焦式，超声波或红外光将测距信号反馈给处理器，通过指示灯提示用户靠近或远离，这也是目前市场上普遍采用的调焦方式之一；另外一种是自动聚焦式，根据实时测量物距信号反馈给闭环控制模块，驱动电机控制镜头移动实现自动聚焦。对于前者，用户的舒适性要求不易满足；而后者的某些算法导致摄像头在聚焦位置附近震荡，影响对焦速度。

近年来对虹膜识别技术的改进涉及摄像头、接口、聚焦方式等多个方面，但往往只关注某一点，不能有效解决现存的技术问题。公开号为CN101877061A的中国发明专利申请公开了一种基于单摄像头的双眼虹膜图像采集方法及装置，其中左、右眼虹膜注册时需通过管理员选择次序，对左边和右边两步依次完成采集；LED三色灯要与眉心正下方对准；使用红外测距模块实现测距功能。左右分别采集显著影响识别速度，而测1距需依赖外部测距硬件模块，成本较高。公告号为CN 201489550 U的中国实用新型专利公开了一种单USB接口的双眼虹膜图像获取及处理设备，其通过一个USB接口与计算机连接实现图像实时并行获取及前期处理；该发明对于如何使用整幅双眼图像进行虹膜识别，未具体公开，概念模糊。公开号为CN 101770573 A的中国发明专利申请公开了一种用于虹膜识别的自动聚焦虹膜图像成像装置及其控制方法，其用单个摄像头捕捉整个面部细节图像，进行双眼虹膜识别；使用查表法得到聚焦位置，并通过驱动板的液态光学透镜改变介质上电压的电荷张力使液态介质的界面形变，获得不同光学屈光度来实现聚焦位置调节。对于大口径成像装置，液态光学透镜的材质稳定性较差，变形控制难度较大。公开号为CN101021901 A的中国发明专利申请公开了一种双眼虹膜的采集方法和装置，其采用左右两个摄像头采集双眼虹膜，采用红外测距进行调焦提示来采集清晰图像，因而成本也很高。

发明内容

本发明旨在从根本上解决目前市场上双眼虹膜采集设备成本高、体积大、使用流程复杂等技术问题。基于此，本发明采用单个摄像头同时采集双眼图像，解决了大视野中对感兴趣的人眼区域的自动定位和裁剪的问题，通过测量图像瞳距计算物距来实现自动对焦控制，实现了低成本、自适应双眼虹膜的采集。本发明对左右眼图像进行同步实时处理，双眼采集过程一步完成，降低了使用流程的复杂度，使虹膜注册和识别速度加快，大大提高了产品的性价比。

具体而言，本发明一方面涉及一种单摄像头双眼虹膜图像采集方法，其特征在于包括如下步骤：

双眼成像：采用对近红外光源敏感的单个图像传感器和与之配套的单个光学镜头，对人的双眼区域同时成像；

瞳孔定位：采用形态学和角点检测方法的算法实时检测人眼的反射亮斑和眼角的位置，从而实现在成像图像上进行双瞳的实时查找和实时定位；

图像裁剪和虹膜识别：将所述成像图像实时裁剪为左右眼高清虹膜图像，经过预处理等后续算法，实时完成双眼虹膜识别。

优选地，在裁剪和虹膜识别步骤之前还包括自适应聚焦步骤：

计算成像图像上的瞳距，通过特定的数学模型实时计算人与光学镜头之间的物距，作为闭环控制系统的反馈信号送至步进电机，以驱动光学镜头的前后移动达到自适应聚焦，得到清晰的双眼虹膜图像；而所述图像裁剪和虹膜识别步骤针对所得到的清晰的双眼虹膜图像进行。

本发明另一方面涉及单摄像头双眼虹膜图像采集装置，包括单目双眼虹膜摄像头和数据采集系统。

优选地，所述单目双眼虹膜摄像头包括镀膜自动聚焦光学镜头、图像传感器、紧贴在所述光学镜头外侧的冷光镜、红外灯、固定在红外灯外侧的滤光片、数据传输接口和指示灯。

优选地，所述镀膜自动聚焦光学镜头包括镜头安装座、镜头组、导向杆、微型步进电机及丝杠、丝杠螺母、电机安装座、限位开关、限位开关安装座，其中丝杠螺母把步进电机的旋转运动转化为直线运动，以带动镜头组移动在两个导向杆的导向下双向移动以调焦；光电限位开关控制镜头组的极限行程；电机安装座和限位开关安装座用以安装步进电机及限位开关板。

优选地，所述数据采集系统由两个主要部分组成，一个主要部分是由CMOS传感器、USB接口芯片、I2C接口存储器和语音驱动器构成的USB接口及语音提示装置，其中USB接口芯片与CMOS传感器、语音驱动器、存储器之间通过I2C总线接口；另一个主要部分是由控制CPU构成的步进电机驱动控制和LED灯驱动控制，其中控制CPU与步进电机驱动器、LED驱动器通过I/O口接口连接。

本发明通过使用其横向分辨率足够对双眼同时清晰成像的单个图像传感器，选取视场角和景深合适的光学镜头，在双眼图像中进行单眼区域的定位和裁剪，即可完成左右眼同步采集与识别的虹膜图像智能分析，通过软件算法测距，减免使用外部主动测距模块，从而有效降低产品硬件成本，降低双眼虹膜采集设备的电路设计复杂度，减小终端体积，加快虹膜注册和认证速度。

附图说明

图1为单目双眼虹膜摄像头正面结构图。

图2为单目双眼虹膜采集系统框图。

图3为光学成像模型示意图。

图4为角点检测算法流程图。

图5为自动对焦镜头结构框图。

图6为USB数据采集系统技术方案框图。

具体实施方式

图1是单目双眼虹膜摄像头正面结构图，包括：1-镀膜自动聚焦光学镜头，2-百万像素图像传感器(CMOS或CCD)，3-中心波长850nm的红外灯，4-紧贴在镜头外侧截止波长750nm的冷光镜(透过近红外光线，反射可见光线；拍摄时引导用户将眼睛区域对准镜头)，5-固定在红外灯外侧截止波长750nm的滤光片(透过近红外光线，吸收可见光线)，6-数据传输接口(USB或网口)及7-指示灯。

图像传感器2选型的细节：所成像的双眼图像经过瞳孔定位并裁剪后的单眼图像须符合国际虹膜图像标准(ISO/IEC 19794)，其横向分辨率满足能分割出虹膜国际标准的左右眼虹膜图像(640x480)的最小尺寸。在拍摄时帧速满足虹膜采集实时性。

我们采用的光学镜头1的物距在300～700mm范围可调，景深最高可达100mm。光学镜头视场角θ与物距u的关系为：

$\mathrm{tg}(\mathrm{\θ}/2)=\frac{L/2}{u}$

其中，L为人双眼宽度。

图2是单目双眼虹膜采集系统框图。参见图1，进行虹膜采集时，用户站在镜头1前任一位置，在水平的冷光镜4中调整左眼和右眼位置，即在冷光镜4中央看到自己鼻梁以对准，CMOS传感器2将每帧图像通过数据传输接口(USB或网口)6传送给处理器，对整幅图像进行角点检测，定位瞳孔中心的坐标。算法实时测出每一帧图像的瞳距，反馈相应的物距信号给步进电机，驱动镜头移动使用户双眼成像在最佳聚焦像平面。最后以瞳孔定位的坐标为中心点，分别裁剪出640*480大小的左右眼图像，存入图像缓存用于虹膜图像处理与识别。

图3是为光学成像模型示意图。瞳孔测距原理：人类瞳孔的中心距离都是可测的，经过我们的反复测试，这个中心距离对每个人自身来说是个固定值，即使不同性别不同种族，瞳距也在特定的范围45～80mm之内。瞳距在镜头中的成像随着人与镜头的物距而改变，呈现反相关的关系(参见图3)。图中O为成像镜，人离镜头越近，瞳距值越大，反之，则瞳距值越小。

$\frac{D_p}{S}=\frac{u}{v}\⇒u=\frac{v\·D_p}{S}$

S＝k×μ

其中，u为物距，v为像距，D_p为人类标准瞳距值，S为传感器靶面上双瞳所成像的水平距离；μ为传感器靶面的像元尺寸，k为角点检测方法计算的双瞳中心差距的像素数。物距u可用k表示为：

$u=f\left(k\right)=\frac{v\·D_p}{\mathrm{k\μ}}---\left(1\right)$

为此，我们根据瞳距与物距之间的一一对应关系，通过形态学和角点检测定位双瞳位置后得到两个瞳孔的近似中心坐标，计算出双瞳中心坐标的欧式距离，利用公式(1)的数学模型可计算出光电系统成像所对应的物距。成像清晰时的物距范围由光学镜头的景深确定，已知的：[u_min，u_max]。

本发明系统采用软件测距式自适应调焦：当实时计算的物距小于u_min时，表明人与镜头太近，电机驱动镜头移动增大物距；当实时计算的物距大于u_max时，表明人与镜头太远，电机驱动镜头移动减小物距。系统通过上述闭环系统，从而实现自动聚焦的双眼虹膜采集，不需要用户参与，给用户带来更快捷和更智能的全新体验。

图4是角点检测算法流程图。由于采集的双眼图像，不但包含了我们感兴趣的人眼区域，也包含着大量与虹膜无关的图像信息(占图像总信息量的80％)，因此，为保证图像的传输速率，有必要在整幅图像中定位双眼并裁剪出符合ISO/IEC 19794虹膜国际标准的左右眼虹膜图像。如果某一点向任一方向微小偏移都会引起灰度的很大变化，则该点为角点。瞳孔的灰度特征非常显著，再结合瞳孔内光斑的特征以及光斑边缘急剧变化的梯度值，选用角点检测方法进行瞳孔跟踪与定位是可行的。双眼虹膜图像角点检测算法步骤如下：

Step1.对图像进行金字塔向下采样，以加快计算速度。

Step2.对图像中每个像素点计算矩阵：

$M=\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$

其中，I_x，I_y，I_xI_y分别为像素点I(x，y)在x、y方向的偏导和二阶混合偏导。

Step3.对梯度矩阵做光滑滤波。对每个像素点的矩阵M，在邻域b×b上取平均值：

$\stackrel{\&OverBar;}{M}=\left[\begin{array}{cc}<I_x^2>& <I_x{I}_y>\\ <I_x{I}_y>& <I_y^2>\end{array}\right]$

Step4.对每个像素点，由计算角点判别式的值：

$\left(\stackrel{\&OverBar;}{M}\right)-\mathrm{kT}{r}^2\left(\stackrel{\&OverBar;}{M}\right)$

Step5.搜索感兴趣的R值，对应的坐标即为瞳孔中心光斑对应位置。

图5是自动对焦镜头结构框图。自动对焦镜头可以实现300～700mm距离范围内的人眼拍摄，自适应地捕捉最清晰的人眼双目图像。其主要由镜头安装座11、镜头组12、导向杆13、微型步进电机及丝杠14、丝杠螺母15、电机安装座16、限位开关17、限位开关安装座18等组成。

工作原理：镜头组12可以在两个导杆13的导向下双向移动以调焦；光电限位开关17控制镜头组12的极限行程；丝杠螺母15把步进电机14的旋转运动转化为直线运动，以带动镜头组12移动；电机安装座16和限位开关安装座18用以安装步进电机14及限位开关板22等。

图6是数据采集系统技术方案框图。数据采集系统由两个主要部分组成：

一个主要部分是CMOS传感器、USB接口芯片、I2C接口存储器、语音驱动器Speaker Driver构成的USB接口及语音提示。USB接口芯片与CMOS传感器、语音驱动器Speaker Drive、存储器EEPROM之间通过I2C总线接口。

另一个主要部分是由控制CPU构成的步进电机驱动控制、LED灯驱动控制等。控制CPU与步进电机驱动器、LED驱动器通过I/O口接口连接。

人眼被拍摄时，数据采集系统将传感器记录的双眼虹膜图像传送给CPU，软件算法根据双瞳定位后的坐标测量瞳距并实时地计算物距，并判断当前物距是否满足景深要求，CPU将判断结果发送给步进电机驱动器，前后移动镜头使人眼获得清晰成像。并发送信号给CPU，驱动语音接口及LED指示灯告知用户，当前距离远或近。当物距符合清晰拍摄的要求时，图像传感器把图像信号通过数据接口芯片传到CPU，供软件分析处理、数据库存储及比对、与门禁控制器通信等。角点定位算法对每帧图像进行双瞳定位，即检测到图像中有虹膜结构才会抓拍成功；然后对裁剪出的左右眼图像分别进行质量评估，符合国际虹膜标准的图像才会生成虹膜模板。

本发明主要设计了适合于民用的低成本双眼虹膜采集设备，采用单摄像头并省去测距模块以降低硬件成本和结构复杂度，在此基础上设计的双瞳定位还可以实现对感兴趣区域(左右眼)的实时裁剪和实时预测物距等功能，达到对双眼虹膜图像智能分析处理的目的。整个系统结构简单，体积小，成本低，并且可以应用于除虹膜识别以外的双物体成像、定位和闭环控制自适应成像领域，应用范围广。

Claims (10)

1.单个摄像头双眼虹膜图像采集方法，其特征在于包括如下步骤：

双眼成像：采用对近红外光源敏感的单个图像传感器和与之配套的单个光学镜头，对人的双眼区域同时成像；

瞳孔定位：采用形态学和角点检测方法的算法实时检测人眼的反射亮斑和眼角的位置，从而实现在成像图像上进行双瞳的实时查找和实时定位；

图像裁剪和虹膜识别：将所述成像图像实时裁剪为左右眼高清虹膜图像，经后续算法，实时完成双眼虹膜识别。

2.如权利要求1所述的单摄像头双眼虹膜图像采集方法，其中在所述图像裁剪和虹膜识别步骤之前还包括自适应聚焦步骤：

计算成像图像上的瞳距，通过特定的数学模型实时计算人与镜头之间的物距，作为闭环控制系统的反馈信号送至步进电机，以驱动光学镜头的前后移动达到自适应聚焦，得到清晰的双眼虹膜图像；

而所述图像裁剪和虹膜识别步骤针对所得到的清晰的双眼虹膜图像进行。

3.如权利要求2所述的单摄像头双眼虹膜图像采集方法，其中所述数学模型为：

$u=f\left(k\right)=\frac{v\&CenterDot;D_p}{\mathrm{k\&mu;}}$

其中，u为物距，v为像距，D_p为人类瞳距值，μ为传感器靶面的像元尺寸，k为角点检测方法计算的双瞳中心差距的像素数。

4.如权利要求1至3中任一项所述的单摄像头双眼虹膜图像采集方法，其中所述瞳孔定位步骤包括如下步骤：

步骤1.对图像进行金字塔向下采样，以加快计算速度；

步骤2.对图像中每个像素点计算矩阵：

$M=\left[\begin{array}{cc}{I_x}^2& I_x{I}_y\\ I_x{I}_y& {I_y}^2\end{array}\right]$

其中，I_x，I_y，I_x I_y分别为像素点I(x，y)在x、y方向的偏导和二阶混合偏导；

步骤3.对梯度矩阵做光滑滤波。对每个像素点的矩阵M，在邻域b×b上取平均值：

$\stackrel{\&OverBar;}{M}=\left[\begin{array}{cc}<I_x^2>& <I_x{I}_y>\\ <I_x{I}_y>& <I_y^2>\end{array}\right]$

步骤4.对每个像素点，由计算角点判别式的值：

$R=\mathrm{Det}\left(\stackrel{\&OverBar;}{M}\right)-\mathrm{kT}{r}^2\left(\stackrel{\&OverBar;}{M}\right)$

步骤5.搜索感兴趣的R值，对应的坐标即为瞳孔中心光斑对应位置。

5.如权利要求2或3所述的单摄像头双眼虹膜图像采集方法，其中所述自适应聚焦步骤具体包括如下步骤：

数据采集系统将图像传感器记录的双眼虹膜图像传送给CPU；

软件算法根据双瞳定位后的坐标测量瞳距并实时计算物距；

判断当前物距是否满足景深要求，若否，则CPU将判断结果发送给步进电机驱动器，前后移动镜头使人眼获得清晰成像，并驱动语音接口及LED指示灯告知用户，当前距离远或近；若是，则进行图像裁剪和虹膜识别步骤。

6.实现如权利要求1至5中任一项所述的单摄像头双眼虹膜图像采集方法的单摄像头双眼虹膜图像采集装置，其特征在于包括单目双眼虹膜摄像头和数据采集系统。

7.如权利要求6所述的单摄像头双眼虹膜图像采集装置，其特征在于：所述单目双眼虹膜摄像头包括镀膜自动聚焦光学镜头(1)、图像传感器(2)、紧贴在所述光学镜头(1)外侧的冷光镜(4)、红外灯(3)、固定在红外灯外侧的滤光片(5)、数据传输接口(6)和指示灯(7)。

8.如权利要求6或7所述的单摄像头双眼虹膜图像采集装置，其中所述镀膜自动聚焦光学镜头(1)包括镜头安装座(11)、镜头组(12)、导向杆(13)、微型步进电机及丝杠(14)、丝杠螺母(15)、电机安装座(16)、光电限位开关(17)、限位开关安装座(18)，其中丝杠螺母(15)把步进电机(14)的旋转运动转化为直线运动，以带动镜头组(12)在两个导向杆(13)的导向下双向移动以调焦；光电限位开关(17)控制镜头组(12)的极限行程；电机安装座(16)和限位开关安装座(18)用以安装步进电机(14)及限位开关板(22)。

9.如权利要求6或7所述的单摄像头双眼虹膜图像采集装置，其中所述数据采集系统由两个主要部分组成，一个主要部分是由CMOS传感器、USB接口芯片、I2C接口存储器和语音驱动器构成的USB接口及语音提示装置，其中USB接口芯片与CMOS传感器、语音驱动器、存储器之间通过I2C总线接口；另一个主要部分是由控制CPU构成的步进电机驱动控制和LED灯驱动控制装置，其中控制CPU与步进电机驱动器、LED驱动器通过I/O口接口连接。

10.如权利要求7所述的单摄像头双眼虹膜图像采集装置，其中所述红外灯(3)的中心波长为850nm，所述滤光片(5)的截止波长为750nm。

Images