CN110929570B - 虹膜快速定位装置及其定位方法 - Google Patents
虹膜快速定位装置及其定位方法 Download PDFInfo
- Publication number
- CN110929570B CN110929570B CN201910990913.5A CN201910990913A CN110929570B CN 110929570 B CN110929570 B CN 110929570B CN 201910990913 A CN201910990913 A CN 201910990913A CN 110929570 B CN110929570 B CN 110929570B
- Authority
- CN
- China
- Prior art keywords
- iris
- image
- pupil
- eyeball
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 210000001747 pupil Anatomy 0.000 claims abstract description 135
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 125
- 210000001508 eye Anatomy 0.000 claims abstract description 90
- 238000001514 detection method Methods 0.000 claims description 41
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000000877 morphologic effect Effects 0.000 claims description 14
- 238000007621 cluster analysis Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 210000003786 sclera Anatomy 0.000 claims description 11
- 238000003706 image smoothing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 4
- 241001270131 Agaricus moelleri Species 0.000 abstract 1
- 210000000744 eyelid Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 210000000720 eyelash Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供的虹膜快速定位装置及其定位方法,包括发光单元、影像摄取模块和控制与处理模块,该发光单元用于提供至少一道入射光至一眼球,影像摄取模块用于从该眼球摄取一含有虹膜图像及具有原始灰度的眼球影像,该控制与处理模块用于接收所述影像摄取模块的至少一帧眼球影像、并从眼球影像中检测出眼睛图像候选区域,并且通过该眼球影像的眼睛图像候选区域中检测出瞳孔候选区域,并根据瞳孔候选区域拟定出瞳孔区域来标画出虹膜内边界,并根据虹膜内边界和瞳孔区域来获得复数个虹膜外边界来标画出虹膜外边界;通过该装置及对应的定位方法,仅需花0.06秒即可在一张包含眼睛影像的图片之中找出虹膜区域,且准确率高达95%。
Description
【技术领域】
本发明涉及生物特征辨识技术,尤其是一种利用深度学习的虹膜快速定位装置及其定位方法。
【背景技术】
生物辨识技术(Biometric identification)指的是利用人体的生理特征与/或行为特征来达到身份辨识之目的;其中,生理特征包括指纹、掌纹、声音、静脉分布、虹膜、视网膜、与脸部特征等生理特征,而行为特征则包括步态、签名等行为特征,这些特征因人而异、携带方便并且具有相当的稳定性。就错误接收率与错误拒绝率方面来看,虹膜辨识是最理想的生物辨识方式,原因在于虹膜纹理是由独立的生物个体所携带、具独特性、不会遗失、且难以复制。即使是一对双胞胎,其仍为两个独立的生物个体,所以其虹膜纹理也不会相同。另一方面,相较于脸部具有80个特征点以及指纹具有20~40个特征点,具有多达244个特征点的虹膜,其应用于生物特征辨识之上必然显示出最高的生物辨识准确性及最安全性,已经在信息安全、金融交易、社会安全、医疗卫生等领域获得了广泛应用。
美国专利公开号“US2015/0131051A1”公开了发明名称为“一种虹膜辨识装置及方法”的专利,如图1中虹膜辨识装置的架构图所示,包括电子装置1’(具体为一手机)中内安装有虹膜辨识软件,用以控制该电子装置1’所具有的一发光单元12’提供一红外光至一生物个体的眼睛2’;接着,该虹膜辨识软件又控制该电子装置1’所具有的一影像摄取模块11’进行眼睛2’的影像之摄取。如图1中的虚线方框所示,眼睛2’的虹膜21’在红外光的照射下会显示至少一亮点G’,且虹膜辨识软件透过辨识该亮点的方式定义一检视区域M’;最终,虹膜辨识软件将该检视区域M’与其邻近区域进行灰度值比对处理,之后找出瞳孔22’位置。其中,图1中,标号23’为眼睫毛,标号24’为眼睑。
但是,现有的虹膜辨识方法,无法快速、有效率地根据检测虹膜所在区域来定位瞳孔,虹膜的边界定位存在以下难点:1、光线的影响,例如眼睛上出现反光区域;2、遮挡,虹膜的外边界会受到眼睫毛、眼睑与反光点的遮挡,眼睛几乎闭合,此时虹膜辨识软件根本难以快速地辨识其侦测到的亮点是由虹膜反射而出的,抑或根本是噪声反光点;3、虹膜自身灰度不均匀,尤其是虹膜靠近瞳孔部分细节比较丰富,因此虹膜图像质量大为降低,这为虹膜边界的准确定位带来了很大困难。为此,人们提出了不同的方法。例如,等的均值模糊聚类、Pundlik等图割法、He等提出了弦长均衡方法方法、Jarjes等的snake模型和角积分投影法。但是,这些算法普遍计算量很大,占用内存多,定位准确率不高。由此可知,现有的虹膜辨识方法与装置仍存在着较大的改善空间。
【发明内容】
本发明提供一种能够快速实现内、外边界的准确定位,并在一定程度上抑制了边缘毛刺点和部分睫毛点、眼睑的影响,速度快、定位准确率高的虹膜快速定位装置及其定位方法。
为达到上述明目的,采用的技术方案如下:
虹膜快速定位装置,包括发光单元、影像摄取模块和控制与处理模块,
所述发光单元,用于提供至少一道入射光至一眼球,以在该眼球上形成至少一个亮点,而该至少一个亮点位于该眼球的瞳孔附近;
所述影像摄取模块,用于从该眼球摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括至少一个亮点的影像和所述瞳孔的影像,该眼球影像中所述瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值;
所述控制与处理模块,用于接收所述影像摄取模块的至少一帧眼球影像、并从眼球影像中检测出眼睛图像候选区域,并且通过该眼球影像的眼睛图像候选区域中检测出瞳孔候选区域,并根据瞳孔候选区域拟定出瞳孔区域来标画出虹膜内边界,并根据虹膜内边界和瞳孔区域来获得复数个虹膜外边界来标画出虹膜外边界。
进一步地,所述发光单元包括至少一个红外光源和至少一个分光元件,每个红外光源的红外光线对应一个分光元件、并通过分光元件形成入射至眼球的红外入射光。
进一步地,所述控制与处理模块包括核心控制单元、眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元,
所述核心控制单元分别与发光单元、影像摄取模块信号连接,并控制发光单元形成入射至眼球的入射光和控制影像摄取模块从眼球中摄取多个的眼球影像;
所述核心控制单元还分别与眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元信号连接,并依次控制眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元将产生的检测结果由眼睛图像检测单元、虹膜内边界估测单元至虹膜外边界估测单元逐级向下传递反馈;
所述眼睛图像检测单元,用于接收所述影像摄取模块的至少一帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域;
所述虹膜内边界估测单元,根据瞳孔候选区域依序地执行群集分析处理、空白区块填补处理和形态学开运算处理拟定出瞳孔区域,根据瞳孔区域由数学运算求得区域中心点、并查寻像素值来标画出虹膜内边界;
所述虹膜外边界估测单元,根据虹膜内边界和瞳孔区域在对应巩膜区域上标画复数条径向路径、并于每一条径向路径中所有像素值中挑出最大像素梯度点、获得复数个虹膜外边界点集合来标画出虹膜外边界。
进一步地,所述控制与处理模块还包括与核心控制单元信号连接用于分别存储所述影像摄取模块摄取的眼球影像、眼睛图像检测单元检测的瞳孔候选区域、虹膜内边界估测单元标画的虹膜内边界和虹膜外边界估测单元标画的虹膜外边界信息的资料存储单元。
进一步地,所述眼睛图像检测单元包括机器学习分类器和概率模型应用器,所述机器学习分类器接收所述影像摄取模块的至少一帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,所述概率模型应用器通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域。
进一步地,所述虹膜内边界估测单元包括影像平滑化单元和虹膜内边界建立单元,所述影像平滑化单元依序地对所述眼睛图像检测单元中概率模型应用器输出的瞳孔候选区域执行群集分析处理、空白区块填补处理和形态学开运算处理、精准地确认出瞳孔区域,所述虹膜内边界建立单元根据瞳孔区域由数学运算求得区域中心点、并在瞳孔区域的中心处沿水平与垂直方向查寻像素值、记录下左边界点、右边界点及下边界点来标画出虹膜内边界。
进一步地,所述虹膜外边界估测单元包括径向路径产生单元、像素强度记录单元和虹膜外边界建立单元,所述径向路径产生单元在虹膜内边界和瞳孔区域上标画出复数条径向路径,各条径向路径均起始于所述虹膜内边界并终止于所述眼睛图像候选区的巩膜区域上;所述像素强度记录单元沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度点;所述虹膜外边界建立单元以复数个所述最大像素梯度点所组成的边界点集合中选出至少一错误点、并以至少一参考点取代所述至少一错误点,最终获得复数个虹膜外边界点,并基于所述复数个虹膜外边界点在所述瞳孔区域上标画出虹膜外边界。
虹膜快速定位装置的定位方法,该虹膜快速定位装置包括发光单元、影像摄取模块和控制与处理模块,所述控制与处理模块还包括眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元;包括以下步骤:
S1、控制至少一个发光单元分别发出一道红外入射光照射到至少一个眼球,以在该眼球上形成至少一个亮点,而该至少一个亮点位于该眼球的瞳孔附近;
S2、控制至少一个影像摄取模块,在该至少一个眼球受到该红外入射光照射的情况下,从该眼球摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括至少一个亮点的影像和所述瞳孔的影像,该眼球影像中所述瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值;
S3、控制所述控制与处理模块自所述至少一个影像摄取模块中,接收至少一帧眼球影像;
S4、通过所述眼睛图像检测单元自该帧眼球影像中,检测出眼球图像候选区域;
S5、通过所述虹膜内边界估测单元,对所述眼球图像候选区域执行虹膜内边界估测处理,标画出虹膜内边界;
S6、通过所述虹膜外边界估测单元,对所述眼球图像候选区域执行虹膜外边界估测处理,标画虹膜外边界。
进一步地,所述步骤S4、步骤S5和步骤S6中,还包括:
步骤S4中,所述眼睛图像检测单元通过卷积神经网络算法,从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域;
步骤S5中,所述虹膜内边界估测单元根据瞳孔候选区域依序地执行群集分析处理、空白区块填补处理和形态学开运算处理,拟定出瞳孔区域,并根据瞳孔区域由数学运算求得区域中心点,查寻像素值来标画出虹膜内边界;
步骤S6中,所述虹膜外边界估测单元根据虹膜内边界和瞳孔区域,在对应巩膜区域上标画复数条径向路径,并于每一条径向路径中所有像素值中挑出最大像素梯度点,获得复数个虹膜外边界点集合来标画出虹膜外边界。
进一步地,所述步骤S4中,采用机器学习分类器接收所述影像摄取模块的至少一帧眼球影像,并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并采用概率模型应用器通过高斯概率密度函数、对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域。
进一步地,所述步骤S5中,采用影像平滑化单元依序地对所述眼睛图像检测单元中概率模型应用器输出的瞳孔候选区域,执行群集分析处理、空白区块填补处理和形态学开运算处理,精准地确认出瞳孔区域;进一步地采用虹膜内边界建立单元,并根据瞳孔区域由数学运算求得区域中心点,在瞳孔区域的中心处沿水平与垂直方向查寻像素值,记录下左边界点、右边界点及下边界点,标画出虹膜内边界。
进一步地,所述步骤S6中,采用径向路径产生单元在虹膜内边界和瞳孔区域上标画出复数条径向路径,各条径向路径均起始于所述虹膜内边界并终止于所述眼睛图像候选区的巩膜区域上;进一步地,采用像素强度记录单元沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度点;进一步地,采用虹膜外边界建立单元以复数个所述最大像素梯度点所组成的边界点集合中,选出至少一错误点、并以至少一参考点取代所述至少一错误点,最终获得复数个虹膜外边界点,并基于所述复数个虹膜外边界点在所述瞳孔区域上标画出虹膜外边界。
进一步地,所述步骤S5中,在上边界点到中心点的距离的一半处再执行一次水平方向上的像素查寻,记录下两个边界点用于虹膜内边界的标画。
本发明的优点:
本发明通过获取含有虹膜图像及具有原始灰度的眼球影像;对眼球影像进行光斑检测,通过卷积神经网络算法,从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域,根据瞳孔候选区域拟定出瞳孔区域来标画出虹膜内边界;然后,基于灰度渐变以及梯度一致性特征,获取虹膜的外边界,对虹膜的内边界以及外边界进行拟合,以完成对虹膜的定位。
该虹膜快速定位装置及其定位方法,能够快速准确地实现内、外边界的准确定位,有效地解决了虹膜定位速度慢,并在一定程度上抑制了边缘毛刺点和部分睫毛点、眼睑的影响,有效解决非理想虹膜图像定位精度低的问题,为后续的特征匹配提供快速准确的虹膜定位结果,且通过实验数据证明,仅需花0.06秒即可在一张包含眼球影像的图片之中找出虹膜区域,准确率高达95%。
【附图说明】
图1是现有技术中虹膜辨识装置的结构示意图;
图2是本发明中虹膜快速定位装置的结构示意图;
图3是本发明中虹膜快速定位装置的系统原理示意图;
图4是本发明中虹膜定位方法的流程示意图;
图5是本发明中眼睛图像检测单元、虹膜内边界估测单元与虹膜外边界估测单元的内部结构关系示意图;
图6是本发明中机器学习分类器所检出的眼睛图像候选区域的多张输出图片;
图7是本发明中虹膜内边界的标画过程示意图;
图8是本发明中虹膜外边界的标画过程示意图。
【具体实施方式】
如图2和图3所示,该虹膜快速定位装置1包括发光单元11、影像摄取模块12和控制与处理模块(具体为笔记本电脑)13,本实施例中,该发光单元11提供一道入射光至一个眼球2,以在该眼球2上形成一个亮点,该一个亮点位于该眼球2的瞳孔附近;该影像摄取模块12从该眼球2摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括一个亮点的影像和瞳孔的影像,该眼球影像中瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值;以8位元256色灰度值为例灰度值有纯黑至灰最后到纯白的变化被量化为256个颜色,灰度值的范围为0至255。需要进一步说明的是,亮点的灰度值大多接近或等于255,而瞳孔的灰度值相对于亮点的灰度值则叫接近于0。通过眼球影像的灰度值分布,可以得知在所有像素中灰度值接近最大值的像素分布的位置、形状以及范围大小,进而推算出对应眼球影像中亮点位置的像素所分布的位置。选取适当的临界灰度值,眼球影像中瞳孔的灰度值小于该临界灰度值,眼球影像中亮点的灰度值大于该临界灰度值
需要进一步地说明的是,入射光为不可见光,例如红外光或近红外光,而且,由于眼球虹膜结构外层覆盖的角膜为光滑曲面,因此,每一个方向的入射光皆能在角膜上面与发光单元11的光路径上形成反光亮点,因此,一个入射光可以在眼球2上形成一个以上的亮点。该实施例中,发光单元11包括一个红外光源(图中未示)和一个分光元件(图中未示),每个红外光源的红外光线对应一个分光元件、并通过分光元件形成入射至眼球2的红外入射光。
如图2、图3和图8所示,该控制与处理模块13接收影像摄取模块12的多帧眼球影像、并从筛选的眼球影像中检测出眼睛图像候选区域,并且通过该眼球影像的眼睛图像候选区域中检测出瞳孔候选区域,并根据瞳孔候选区域拟定出瞳孔区域来标画出虹膜内边界3,并根据虹膜内边界3和瞳孔区域来获得复数个虹膜外边界点来标画出虹膜外边界4。
如图2和图3所示,该控制与处理模块13包括核心控制单元130、眼睛图像检测单元131、虹膜内边界估测单元132、虹膜外边界估测单元133和资料存储单元134,该核心控制单元130分别与发光单元11、影像摄取模块12信号连接,并控制发光单元11形成入射至眼球2的入射光和控制影像摄取模块12从眼球2中摄取多个的眼球影像;该核心控制单元130还分别与眼睛图像检测单元131、虹膜内边界估测单元132和虹膜外边界估测单元133信号连接,并依次控制眼睛图像检测单元131、虹膜内边界估测单元132和虹膜外边界估测单元133将产生的检测结果由眼睛图像检测单元131、虹膜内边界估测单元132至虹膜外边界估测单元133逐级向下传递反馈。
继续如图2、图3和图8所示,该眼睛图像检测单元131用于接收影像摄取模块12的多帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域;该虹膜内边界估测单元132根据瞳孔候选区域依序地执行群集分析处理、空白区块填补处理和形态学开运算处理拟定出瞳孔区域,根据瞳孔区域由数学运算求得区域中心点、并查寻像素值来标画出虹膜内边界3;该虹膜外边界估测单元133根据虹膜内边界3和瞳孔区域在对应巩膜区域上标画复数条径向路径30、并于每一条径向路径中所有像素值中挑出最大像素梯度点、获得复数个虹膜外边界点集合来标画出虹膜外边界4。该资料存储单元134与核心控制单元130信号连接用于分别存储影像摄取模块12摄取的眼球影像、眼睛图像检测单元131检测的瞳孔候选区域、虹膜内边界估测单元132标画的虹膜内边界3和虹膜外边界估测单元133标画的虹膜外边界。
如图5所示,该眼睛图像检测单元131包括机器学习分类器1311和概率模型应用器1312,该机器学习分类器1311接收影像摄取模块12的多帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,该概率模型应用器1312通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域。
如图5和图7所示,该虹膜内边界估测单元132包括影像平滑化单元1321和虹膜内边界建立单元1322,该影像平滑化单元1321依序地对眼睛图像检测单元131中概率模型应用器1312输出的瞳孔候选区域执行群集分析处理、空白区块填补处理和形态学开运算处理、精准地确认出瞳孔区域,虹膜内边界建立单元1322根据瞳孔区域由数学运算求得区域中心点、并在瞳孔区域的中心处沿水平与垂直方向查寻像素值、记录下左边界点、右边界点及下边界点来标画出虹膜内边界3。其中,如图7中c列图所示,由于上边界点有很大的机率被上眼睑所遮挡,故在执行像素值之时并不纪录上边界点,进而在上边界点到中心点的距离的一半处再执行一次水平方向上的像素查寻,记录下两个边界点用于虹膜内边界3的标画。
如图5和图8所示,该虹膜外边界估测单元133包括径向路径产生单元1331、像素强度记录单元1332和虹膜外边界建立单元1333,该径向路径产生单元1331在虹膜内边界3和瞳孔区域上标画出复数条径向路径30,各条径向路径30均起始于虹膜内边界3并终止于眼睛图像候选区的巩膜区域上;该像素强度记录单元1332沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度点;该虹膜外边界建立单元1333以复数个最大像素梯度点所组成的边界点集合中选出至少一错误点、并以一个参考点取代一个错误点,最终获得复数个虹膜外边界点,并基于复数个虹膜外边界点在瞳孔区域上标画出虹膜外边界4。
该虹膜快速定位装置的定位方法,如图2至图8所示,包括以下步骤:
S1、控制一个发光单元11分别发出一道红外入射光照射到一个眼球2,以在该眼球2上形成一个亮点,而该一个亮点位于该眼球2的瞳孔附近。
S2、控制一个影像摄取模块12,在该至少一个眼球2受到该红外入射光照射的情况下,从该眼球2摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括一个亮点的影像和瞳孔的影像,该眼球影像中所述瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值。
S3、控制控制与处理模块13自一个影像摄取模块12中,接收多帧眼球影像。
S4、通过眼睛图像检测单元131自该帧眼球影像中,采用机器学习分类器1311接收影像摄取模块12的多帧眼球影像,并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并采用概率模型应用器1312通过高斯概率密度函数、对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域;如图3至图5所示,该实施例中,该机器学习分类器1311利用机器学习(machine learning)算法自该影像帧中检测出一个眼睛图像候选区域,其中,卷积神经网路算法可为下列任一者:全卷积网络算法(Fully convolutionalneural network,FCN)、基于区域的卷积网络算法(Region-based convolutional neuralnetwork,R-CNN)、快速的基于区域的卷积网络算法(Fast region-based convolutionalneural network,fast R-CNN)、或更加快速的基于区域的卷积网络算法(Faster region-based convolutional neural network,fasterR-CNN)、使用屏蔽的基于区域的卷积网络算法(Mask R-CNN)、实时物体检测算法YOLOv1、物体检测算法YOLOv2、物体检测算法YOLOv3、实时物体检测框架演算法(Single-shot multiBox detector,SSD)。
而且,YOLO(You Only Look Once)为是一种实时物体检测法,在2016年被提出,为能够与RCNN系列并驾齐驱的算法。举例而言,每个人可以基于faster R-CNN设计出六层结构的卷积神经网络,且第一层使用64个大小为5×5×1的卷积核(convolution kernel)对灰阶输入图像(即一帧眼球影像)进行步距为1的像素采样处理。其中,5×5表示为分辨率,且1表示为单通道。接着,对输出图片执行线性整流(Linear rectification)与局部响应正规化(Local response normalization)处理。正规化后的输出值会作为最大池化单元的输入,进而以大小为2×2的池化核(Pooling kernel)对输入值进行步距为2的最大池化处理。另一方面,第二层、第三层、与第四层系依序地使用64个大小为3×3×64的卷积核对第一层输出的图片进行卷积处理。之后,输出图片再被送至第五层,以接着进行RoI池化处理,进而于特征图之中取出维度为1024的特征向量,最后将输出值再送入第六层的全连接层(Fullyconnected layer)。简单地说,执行该步骤S4时,该眼睛图像检测单元131会先启用其内部的机器学习分类器1311,进以利用卷积神经网络(Convolutional neural network,CNN)算法自该帧眼球影像中检测出眼睛图像候选区域。接着,该眼睛图像检测单元131会继续启用其内部的概率模型应用器1312,进以使用高斯概率密度函数(Gaussian mixture model,GMM)对该眼睛图像候选区域进行像素级的瞳孔区域预测处理,进而在该眼睛图像候选区上检测出瞳孔候选区域。在某些特殊情况下,概率模型应用器1312自图片中检出的瞳孔候选区域可能会同时包含瞳孔、睫毛、眼睑、与噪声点。为了正确地检测出图片中的瞳孔区域(即虹膜内边界3),如图3、图4与图5所示,本实施例接着执行步骤S5:以该虹膜内边界估测单元132对该眼睛图像候选区域执行一虹膜内边界3估测处理。
S5、通过虹膜内边界估测单元132,采用影像平滑化单元1321依序地对所述眼睛图像检测单元131中概率模型应用器1312输出的瞳孔候选区域,执行群集分析处理、空白区块填补处理和形态学开运算(morphological opening operator)处理,精准地确认出瞳孔区域;其中,该实施例中,该群集分析处理使用K-近邻算法而完成,且该形态学开运算处理是利用大小为4的结构化方形元素对整个该瞳孔候选区域执行形态学开运算而完成;如图6中多张图片的显示,图6中a列包含3张图片,为机器学习分类器1311所检出的眼睛图像候选区域的输出图片;并且,以概率模型应用器1312对眼睛图像候选区域进行像素级的瞳孔区域预测处理之后,通过图6中b列所包含的3张图片可以发现,部分的瞳孔候选区域可能会同时包含瞳孔、睫毛、眼睑。因此,利用影像平滑化单元1321序地对该瞳孔候选区域执行群集分析处理、空白区块填补处理、与形态学开运算处理后,通过图6中c列所包含的3张图片可以清楚知道,每张眼睛图像候选区域之中的瞳孔候选区域皆被精准地确认为瞳孔区域。然后,进一步地采用虹膜内边界建立单元1322,并根据瞳孔区域由数学运算求得区域中心点,在瞳孔区域的中心处沿水平与垂直方向查寻像素值,记录下左边界点、右边界点及下边界点,标画出虹膜内边界3;具体实施过程中,如图7的a列所示,当瞳孔区域被拟定后,其区域中心点可由简单数学运算求得;接着,如图7的b列所示,在瞳孔区域的中心处沿水平与垂直方向上查寻像素值,记录下左边界点、右边界点及下边界点这3点像素值。同时,由于上边界点有很大的机率被上眼睑所遮挡,故在执行像素值之时并不纪录上边界点,因而,如图7的c列所示,在上边界点到中心点的距离的一半处再执行一次水平方向上的像素查寻,记录下两个边界点用于虹膜内边界3的标画。
S6、通过虹膜外边界估测单元133,如图8的a图至e图所示,采用径向路径产生单元1331在虹膜内边界3和瞳孔区域上标画出复数条径向路径30(Radial path),各条径向路径30均起始于所述虹膜内边界3并终止于眼睛图像候选区的巩膜区域上;接着,如图8中e图所示,采用像素强度记录单元1332沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度(Maximization of the intensity gradient)点;最后,如图8中f图所示,采用虹膜外边界建立单元1333以复数个最大像素梯度点所组成的边界点集合中,选出一错误点、并以一参考点取代一错误点,最终获得复数个虹膜外边界点,并基于复数个虹膜外边界点在瞳孔区域上标画出虹膜外边界。
通过该定位方法,对眼球影像图片之中的虹膜区域进行定位,得到如表1所示的实验数据。
表1
由表1中的实验数据可知,仅需花0.06秒,即可在一张包含眼球影像的图片之中找出虹膜区域,准确率高达95%。
以上所述实施例只是为本发明的较佳实施例,并非以此限制本发明的实施范围;除了具体实施例中列举的情况外,凡依本发明之构造及原理所作的等效变化,均应涵盖于本发明的保护范围内。
Claims (11)
1.虹膜快速定位装置,包括发光单元、影像摄取模块和控制与处理模块,其特征在于:
所述发光单元,用于提供至少一道入射光至一眼球,以在该眼球上形成至少一个亮点,而该至少一个亮点位于该眼球的瞳孔附近;
所述影像摄取模块,用于从该眼球摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括至少一个亮点的影像和所述瞳孔的影像,该眼球影像中所述瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值;
所述控制与处理模块,用于接收所述影像摄取模块的至少一帧眼球影像、并从眼球影像中检测出眼睛图像候选区域,并且通过该眼球影像的眼睛图像候选区域中检测出瞳孔候选区域,并根据瞳孔候选区域拟定出瞳孔区域来标画出虹膜内边界,并根据虹膜内边界和瞳孔区域来获得复数个虹膜外边界点来标画出虹膜外边界;
所述控制与处理模块包括核心控制单元、眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元,
所述核心控制单元分别与发光单元、影像摄取模块信号连接,并控制发光单元形成入射至眼球的入射光和控制影像摄取模块从眼球中摄取多个的眼球影像;
所述核心控制单元还分别与眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元信号连接,并依次控制眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元将产生的检测结果由眼睛图像检测单元、虹膜内边界估测单元至虹膜外边界估测单元逐级向下传递反馈;
所述眼睛图像检测单元,用于接收所述影像摄取模块的至少一帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域;
所述虹膜内边界估测单元,根据瞳孔候选区域依序地执行群集分析处理、空白区块填补处理和形态学开运算处理拟定出瞳孔区域,根据瞳孔区域由数学运算求得区域中心点、并查寻像素值来标画出虹膜内边界;
所述虹膜外边界估测单元,根据虹膜内边界和瞳孔区域在对应巩膜区域上标画复数条径向路径、并于每一条径向路径中所有像素值中挑出最大像素梯度点、获得复数个虹膜外边界点集合来标画出虹膜外边界。
2.根据权利要求1所述的虹膜快速定位装置,其特征在于,所述发光单元包括至少一个红外光源和至少一个分光元件,每个红外光源的红外光线对应一个分光元件、并通过分光元件形成入射至眼球的红外入射光。
3.根据权利要求1所述的虹膜快速定位装置,其特征在于,所述控制与处理模块还包括与核心控制单元信号连接用于分别存储所述影像摄取模块摄取的眼球影像、眼睛图像检测单元检测的瞳孔候选区域、虹膜内边界估测单元标画的虹膜内边界和虹膜外边界估测单元标画的虹膜外边界信息的资料存储单元。
4.根据权利要求1所述的虹膜快速定位装置,其特征在于,所述眼睛图像检测单元包括机器学习分类器和概率模型应用器,所述机器学习分类器接收所述影像摄取模块的至少一帧眼球影像、并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,所述概率模型应用器通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理、并检测出瞳孔候选区域。
5.根据权利要求1所述的虹膜快速定位装置,其特征在于,所述虹膜内边界估测单元包括影像平滑化单元和虹膜内边界建立单元,所述影像平滑化单元依序地对所述眼睛图像检测单元中概率模型应用器输出的瞳孔候选区域执行群集分析处理、空白区块填补处理和形态学开运算处理、精准地确认出瞳孔区域,所述虹膜内边界建立单元根据瞳孔区域由数学运算求得区域中心点、并在瞳孔区域的中心处沿水平与垂直方向查寻像素值、记录下左边界点、右边界点及下边界点来标画出虹膜内边界。
6.根据权利要求1所述的虹膜快速定位装置,其特征在于,所述虹膜外边界估测单元包括径向路径产生单元、像素强度记录单元和虹膜外边界建立单元,所述径向路径产生单元在虹膜内边界和瞳孔区域上标画出复数条径向路径,各条径向路径均起始于所述虹膜内边界并终止于所述眼睛图像候选区的巩膜区域上;所述像素强度记录单元沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度点;所述虹膜外边界建立单元以复数个所述最大像素梯度点所组成的边界点集合中选出至少一错误点、并以至少一参考点取代所述至少一错误点,最终获得复数个虹膜外边界点,并基于所述复数个虹膜外边界点在所述瞳孔区域上标画出虹膜外边界。
7.虹膜快速定位装置的定位方法,其特征在于,根据权利要求1~6任意一项所述的虹膜快速定位装置包括发光单元、影像摄取模块和控制与处理模块,所述控制与处理模块还包括眼睛图像检测单元、虹膜内边界估测单元和虹膜外边界估测单元;包括以下步骤:
S1、控制至少一个发光单元分别发出一道红外入射光照射到至少一个眼球,以在该眼球上形成至少一个亮点,而该至少一个亮点位于该眼球的瞳孔附近;
S2、控制至少一个影像摄取模块,在该至少一个眼球受到该红外入射光照射的情况下,从该眼球摄取一含有虹膜图像及具有原始灰度的眼球影像,该眼球影像包括至少一个亮点的影像和所述瞳孔的影像,该眼球影像中所述瞳孔的灰度值小于一临界灰度值,而该眼球影像中的所述亮点的灰度值大于所述临界灰度值;
S3、控制所述控制与处理模块自所述至少一个影像摄取模块中,接收至少一帧眼球影像;
S4、通过所述眼睛图像检测单元自该帧眼球影像中,检测出眼球图像候选区域;
S5、通过所述虹膜内边界估测单元,对所述眼球图像候选区域执行虹膜内边界估测处理,标画出虹膜内边界;
S6、通过所述虹膜外边界估测单元,对所述眼球图像候选区域执行虹膜外边界估测处理,标画虹膜外边界;
所述步骤S4、步骤S5和步骤S6中,还包括:
步骤S4中,所述眼睛图像检测单元通过卷积神经网络算法,从眼球影像中检测出眼睛图像候选区域,并且通过高斯概率密度函数对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域;
步骤S5中,所述虹膜内边界估测单元根据瞳孔候选区域依序地执行群集分析处理、空白区块填补处理和形态学开运算处理,拟定出瞳孔区域,并根据瞳孔区域由数学运算求得区域中心点,查寻像素值来标画出虹膜内边界;
步骤S6中,所述虹膜外边界估测单元根据虹膜内边界和瞳孔区域,在对应巩膜区域上标画复数条径向路径,并于每一条径向路径中所有像素值中挑出最大像素梯度点,获得复数个虹膜外边界点集合来标画出虹膜外边界。
8.根据权利要求7所述的虹膜快速定位装置的定位方法,其特征在于,所述步骤S4中,采用机器学习分类器接收所述影像摄取模块的至少一帧眼球影像,并通过卷积神经网络算法从眼球影像中检测出眼睛图像候选区域,并采用概率模型应用器通过高斯概率密度函数、对眼睛图像候选区域进行像素级的瞳孔预处理,检测出瞳孔候选区域。
9.根据权利要求7所述的虹膜快速定位装置的定位方法,其特征在于,所述步骤S5中,采用影像平滑化单元依序地对所述眼睛图像检测单元中概率模型应用器输出的瞳孔候选区域,执行群集分析处理、空白区块填补处理和形态学开运算处理,精准地确认出瞳孔区域;进一步地采用虹膜内边界建立单元,并根据瞳孔区域由数学运算求得区域中心点,在瞳孔区域的中心处沿水平与垂直方向查寻像素值,记录下左边界点、右边界点及下边界点,标画出虹膜内边界。
10.根据权利要求7所述的虹膜快速定位装置的定位方法,其特征在于,所述步骤S6中,采用径向路径产生单元在虹膜内边界和瞳孔区域上标画出复数条径向路径,各条径向路径均起始于所述虹膜内边界并终止于所述眼睛图像候选区的巩膜区域上;进一步地,采用像素强度记录单元沿着每一条径向路径记录所有像素值,并于每一条径向路径上各挑出最大像素梯度点;进一步地,采用虹膜外边界建立单元以复数个所述最大像素梯度点所组成的边界点集合中,选出至少一错误点、并以至少一参考点取代所述至少一错误点,最终获得复数个虹膜外边界点,并基于所述复数个虹膜外边界点在所述瞳孔区域上标画出虹膜外边界。
11.根据权利要求9所述的虹膜快速定位装置的定位方法,其特征在于,所述步骤S5中,在上边界点到中心点的距离的一半处再执行一次水平方向上的像素查寻,记录下两个边界点用于虹膜内边界的标画。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910990913.5A CN110929570B (zh) | 2019-10-17 | 2019-10-17 | 虹膜快速定位装置及其定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910990913.5A CN110929570B (zh) | 2019-10-17 | 2019-10-17 | 虹膜快速定位装置及其定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110929570A CN110929570A (zh) | 2020-03-27 |
CN110929570B true CN110929570B (zh) | 2024-03-29 |
Family
ID=69849088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910990913.5A Active CN110929570B (zh) | 2019-10-17 | 2019-10-17 | 虹膜快速定位装置及其定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110929570B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113095182A (zh) * | 2021-03-31 | 2021-07-09 | 广东奥珀智慧家居股份有限公司 | 一种人眼图像的虹膜特征提取方法及系统 |
CN113190117B (zh) * | 2021-04-29 | 2023-02-03 | 南昌虚拟现实研究院股份有限公司 | 瞳孔、光斑定位方法、数据计算方法及相关装置 |
US20230168735A1 (en) * | 2021-11-29 | 2023-06-01 | Soumil Chugh | Methods and devices for gaze estimation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104268527A (zh) * | 2014-09-26 | 2015-01-07 | 北京无线电计量测试研究所 | 一种基于径向梯度检测的虹膜定位方法 |
CN104657702A (zh) * | 2013-11-25 | 2015-05-27 | 原相科技股份有限公司 | 眼球侦测装置、瞳孔侦测方法与虹膜辨识方法 |
CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI533224B (zh) * | 2013-11-14 | 2016-05-11 | 原相科技股份有限公司 | 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法 |
KR20180053108A (ko) * | 2016-11-11 | 2018-05-21 | 삼성전자주식회사 | 홍채 영역 추출 방법 및 장치 |
-
2019
- 2019-10-17 CN CN201910990913.5A patent/CN110929570B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104657702A (zh) * | 2013-11-25 | 2015-05-27 | 原相科技股份有限公司 | 眼球侦测装置、瞳孔侦测方法与虹膜辨识方法 |
CN104268527A (zh) * | 2014-09-26 | 2015-01-07 | 北京无线电计量测试研究所 | 一种基于径向梯度检测的虹膜定位方法 |
CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110929570A (zh) | 2020-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI754806B (zh) | 利用深度學習定位虹膜之裝置與方法 | |
CN107438854B (zh) | 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法 | |
Burge et al. | Ear biometrics | |
US8498454B2 (en) | Optimal subspaces for face recognition | |
US11449590B2 (en) | Device and method for user authentication on basis of iris recognition | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
CN110929570B (zh) | 虹膜快速定位装置及其定位方法 | |
US20060222212A1 (en) | One-dimensional iris signature generation system and method | |
Abiyev et al. | Personal iris recognition using neural network | |
KR20050025927A (ko) | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 | |
CN109325462A (zh) | 基于虹膜的人脸识别活体检测方法及装置 | |
CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
CN106599785A (zh) | 人体3d特征身份信息库的建立方法及设备 | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
Nurhudatiana et al. | On criminal identification in color skin images using skin marks (RPPVSM) and fusion with inferred vein patterns | |
Trokielewicz et al. | Perception of image features in post-mortem iris recognition: Humans vs machines | |
Hassan et al. | SIPFormer: Segmentation of multiocular biometric traits with transformers | |
CN113920591A (zh) | 基于多模态生物特征识别的中远距离身份认证方法及装置 | |
Ding et al. | End-to-end surface and internal fingerprint reconstruction from optical coherence tomography based on contour regression | |
CN113033387A (zh) | 一种自动识别老年人慢性疼痛程度的智能评估方法及系统 | |
Latha et al. | A novel method for person authentication using retinal images | |
Pathak et al. | Entropy based CNN for segmentation of noisy color eye images using color, texture and brightness contour features | |
CN112183215A (zh) | 一种结合多特征级联svm与人眼模板的人眼定位方法及系统 | |
Zhou et al. | Eye localization based on face alignment | |
Rajabhushanam et al. | IRIS recognition using hough transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |