CN112906431B - 一种虹膜图像分割方法、装置、电子设备及存储介质 - Google Patents
一种虹膜图像分割方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112906431B CN112906431B CN201911146452.XA CN201911146452A CN112906431B CN 112906431 B CN112906431 B CN 112906431B CN 201911146452 A CN201911146452 A CN 201911146452A CN 112906431 B CN112906431 B CN 112906431B
- Authority
- CN
- China
- Prior art keywords
- iris
- boundary
- shape
- eyelid
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 135
- 238000003709 image segmentation Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 135
- 210000000744 eyelid Anatomy 0.000 claims abstract description 81
- 210000001747 pupil Anatomy 0.000 claims abstract description 70
- 210000000720 eyelash Anatomy 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 5
- 238000007796 conventional method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 210000000554 iris Anatomy 0.000 description 290
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种虹膜图像分割方法、装置、电子设备及存储介质,属于生物特征识别技术领域,所述方法包括:对虹膜图像进行检测,得到包含虹膜区域的检测结果框;基于检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;根据虹膜内外边界近似同心的特点,确定瞳孔边界,完成瞳孔粗定位;检测光斑噪声和睫毛噪声,得到噪声模板;利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。本发明实施例采用由粗到精的策略,能够提高虹膜图像分割算法的抗干扰能力和计算效率,快速有效的分割出虹膜纹理区域。
Description
技术领域
本发明涉及生物特征识别技术领域,特别涉及一种虹膜图像分割方法、装置、电子设备及存储介质。
背景技术
虹膜识别技术凭借着在稳定性、唯一性以及安全性等方面的优势,在众多的生物特征中具有明显的优势。虹膜识别过程一般可以分为虹膜图像采集、虹膜图像分割、虹膜特征提取和虹膜特征识别,其中虹膜图像分割是在采集到的虹膜图像中分割出有效的虹膜纹理区域(包括虹膜内外边界定位、眼睑定位、噪声检测等),它是虹膜识别中至关重要的一步,虹膜图像分割效果的好坏,直接影响到虹膜识别的稳定性。
当前的虹膜图像分割方法,主要可以分为两类:基于微积分检测算子的方法、基于边缘检测和霍夫变换的方法。
(1)基于微积分检测算子的方法
微积分检测算子是Daugman在1993年提出的用于虹膜定位的方法。该方法主要是利用一个圆形边界检测器,在原图上分别搜索瞳孔边界和虹膜外边界。微积分检测算子的公式为:
其中,I(x,y)表示虹膜图像,Gσ(r)表示方差为σ的高斯滤波器,(x0,y0)表示圆心坐标,r表示半径。
圆形微积分检测算子,采用策略就是寻找沿着半径方向圆周灰度变化最大时的圆心、半径参数。微积分检测算子被广泛用于现在的商业算法中。Daugman也将微积分检测算子用于眼睑边界检测。将公式中的圆形积分路径替换为一个圆弧线段,结合样条插值的方法分别寻找上下眼睑边界。
(2)基于边缘检测和霍夫变换的方法
Wildes等人提出了边缘检测和霍夫变换相结合的方法进行虹膜图像定位,这也是当前的一种常见方法。该方法主要包含两个步骤:
a)利用边缘检测算子检测图像边界。常见的检测算子有sobel算子、canny算子等。
b)在检测到的边界像素点的基础上,利用霍夫变换估计圆形边界参数。
通常,在对图像进行边界检测前,对图像进行Gauss平滑,抑制图像中的噪声,突出有效边界。同时,这种结合了霍夫变换的方法,对噪声干扰有很好的鲁棒性。这种方法同样可以用作眼睑检测,将圆形霍夫变换替换为抛物线的霍夫变换,可以在图中寻找近似为抛物线的上下眼睑边界。
上述两种方法对于理想虹膜图像都能够取得很好的分割效果,但是对于低质量虹膜图像定位效果会明显下降。例如,当图像中存在大光斑干扰时,微积分检测算子的定位会出现明显的偏差;而当图像中有眼镜框等干扰时,边缘检测和霍夫变换相结合的方法容易出现定位错误的情况。
另外,从微积分检测算子的公式中可以看出,微积分检测算子需要在一个三维空间中搜索参数,算法计算速度较慢。同样,边缘检测和霍夫变换相结合的方法,也需要在一个三维空间中搜索参数和投票,需要较大的计算开销和空间开销。
发明内容
为解决上述技术问题,本发明实施例提供一种虹膜图像分割方法、装置、电子设备及存储介质,以提高虹膜图像分割算法的抗干扰能力和计算效率,快速有效的分割出虹膜纹理区域。
本发明实施例提供技术方案如下:
一方面,提供一种虹膜图像分割方法,包括:
对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。
在本发明一些实施例中,所述基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界,包括:
采用学习的方法得到回归函数以回归特征点位置,采用加权最小二乘法进行拟合。
在本发明一些实施例中,所述根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位,包括:
以虹膜外边界圆心为中心,在极坐标系下展开虹膜图像;
计算虹膜展开图像上的竖直方向梯度;
根据竖直方向梯度变化情况,确定瞳孔半径。
在本发明一些实施例中,所述检测光斑噪声,包括:
在虹膜图像中,利用光斑灰度阈值确定出光斑。
在本发明一些实施例中,所述光斑灰度阈值为:
Tl=p·mean(Icroi)+(1-p)·max(Icroi)
其中,p为阈值中虹膜区域灰度均值权重,p∈(0,1),Icroi为虹膜区域,mean为对区域灰度求均值,max为对区域灰度求最大值。
在本发明一些实施例中,所述检测睫毛噪声,包括:
将去除光斑噪声后的虹膜区域划分为无睫毛区域和候选睫毛区域;
利用无睫毛区域像素值,估算灰度正态分布参数;
利用所述灰度正态分布参数,设置睫毛灰度阈值,在候选睫毛区域中,检测睫毛噪声。
在本发明一些实施例中,所述传统方法包括基于微积分检测算子的方法、基于边缘检测和霍夫变换相结合的方法。
另一方面,提供一种虹膜图像分割装置,包括:
虹膜检测模块,用于对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
虹膜形状回归模块,用于基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
瞳孔粗定位模块,用于根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
噪声检测模块,用于利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
虹膜精定位模块,用于基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。
在本发明一些实施例中,所述虹膜形状回归模块中,采用学习的方法确定回归函数以回归特征点位置,采用加权最小二乘法进行拟合。
在本发明一些实施例中,所述瞳孔粗定位模块,包括:
展开子模块,用于以虹膜外边界圆心为中心,在极坐标系下展开虹膜图像;
计算子模块,用于计算虹膜展开图像上的竖直方向梯度;
确定子模块,用于根据竖直方向梯度变化情况,确定瞳孔半径。
在本发明一些实施例中,所述噪声检测模块,包括:
光斑检测子模块,用于在虹膜图像中,利用光斑灰度阈值确定出光斑。
在本发明一些实施例中,所述光斑灰度阈值为:
Tl=p·mean(Icroi)+(1-p)·max(Icroi)
其中,p为阈值中虹膜区域灰度均值权重,p∈(0,1),Icroi为虹膜区域,mean为对区域灰度求均值,max为对区域灰度求最大值。
在本发明一些实施例中,所述噪声检测模块,包括:
划分子模块,用于将去除光斑噪声后的虹膜区域划分为无睫毛区域和候选睫毛区域;
估算子模块,用于利用无睫毛区域像素值,估算灰度正态分布参数;
检测子模块,用于利用所述灰度正态分布参数,设置睫毛灰度阈值,在候选睫毛区域中,检测睫毛噪声。
在本发明一些实施例中,所述传统方法包括基于微积分检测算子的方法、基于边缘检测和霍夫变换相结合的方法。
再一方面,提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行上述任一所述的方法。
又一方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一所述的方法。
本发明实施例具有以下有益效果:
本发明实施例提供的虹膜图像分割方法、装置、电子设备及存储介质,首先对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框,之后基于检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界,接着根据虹膜内外边界近似同心的特点,基于虹膜外边界,确定瞳孔边界,完成瞳孔粗定位,然后利用眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板,最后基于眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。这样,结合机器学习技术,采用由粗到精的策略,能够提高虹膜图像分割算法的抗干扰能力和计算效率,快速有效的分割出虹膜纹理区域。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的虹膜图像分割方法一个实施例的流程示意图;
图2为图1所示方法实施例中步骤101虹膜检测示意图;
图3为图1所示方法实施例中步骤102虹膜形状回归示意图,其中(a)为虹膜初始形状图,(b)为迭代过程虹膜中间形状图,(c)为迭代完成后虹膜最终形状图,(d)为利用特征点拟合得到眼睑边界和虹膜外边界示意图;
图4为图1所示方法实施例中步骤103瞳孔粗定位示意图,其中(a)为虹膜外边界和眼睑噪声模板示意图,(b)为瞳孔边界附近极坐标展开示意图,(c)为竖直方向梯度检测示意图,(d)为极坐标系下瞳孔边界检测结果,(e)为原图上瞳孔粗定位结果;
图5为图1所示方法实施例中步骤104光斑噪声检测结果示意图;
图6为图1所示方法实施例中步骤104睫毛噪声检测示意图,其中(a)为虹膜区域划分示意图,(b)为睫毛噪声检测结果示意图;
图7为采用图1所示方法实施例精定位后虹膜图像分割结果示意图;
图8为本发明的虹膜图像分割方法另一实施例采用的基于Haar特征的Adaboost算法中部分类Haar特征示意图;
图9为本发明的虹膜图像分割装置一个实施例的结构示意图;
图10为本发明的电子设备一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后......)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
发明人在研究过程中发现,当前的算法通常会在采集到的整张图像上搜索虹膜边界参数,这不仅降低了算法的计算效率,过多的无效区域也会引入更多的噪声,降低算法的计算效果。本发明在寻找虹膜边界前,进行了虹膜检测,得到一个包含虹膜的尽可能小的有效区域,从而提高了算法的计算速度并降低了噪声的干扰。
现有的虹膜图像分割方法多是基于传统的图像处理技术,这就导致算法的抗噪声干扰能力比较差。本发明利用学习的方法,在虹膜检测结果框的基础上定位虹膜形状特征点坐标。这一方法减少了大量的参数搜索运算,同时,基于特征点定位的方法也能够有效降低光斑、睫毛、眼镜框等噪声干扰,从而提高了虹膜图像分割算法速度和精度。下面对本发明实施例进行详细说明。
一方面,本发明实施例提供一种虹膜图像分割方法,如图1所示,该虹膜图像分割算法采用由粗到精的策略,在保证定位效率的前提下,提高了定位的准确性,该方法包括:
步骤101:对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
为分割出有效的虹膜(纹理)区域,本步骤首先对传入的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜(区域)的检测结果框,其中,虹膜检测算法可以采用本领域各种常规算法,具体可以选择基于boost方法的检测方法,如基于Haar特征的Adaboost方法、Pico(Pixel Intensity Comparison-based Object detection)检测方法等;也可以采用基于深度学习的检测方法,如SSD(Single Shot MultiBox Detector)方法、R-CNN(Regionwith CNN features)方法等。通过训练一个虹膜检测模型,据此检测到一个包含虹膜的检测结果框,该检测结果框可以为各种形状,如方形、圆形等。
在图2所示实施例中,虹膜检测结果框为正方形区域,其尺度DI满足DI=kdiris,其中diris为虹膜直径、k为尺度缩放因子,图2中实线方框即为实际所采用的虹膜检测结果框,虚线方框为k=1时的虹膜检测结果框。这样做的原因是为了提高虹膜检测的准确性。不妨假设经过检测后得到的虹膜检测结果框为[xl,yu,xr,yd],其中xl,yu表示正方形左上点的横纵坐标,xr,yd表示正方形右下点的横纵坐标,显然通过这四个参数确定了正方形的位置,且有DI=yu-yd=xr-xl。
本步骤通过对虹膜图像进行处理,得到一个与虹膜外边界尺度正相关的检测结果框,从而有效地减小了进行虹膜图像分割的候选区域,提高了分割流程的计算速度,同时通过排除无效区域,提高了算法的鲁棒性。
步骤102:基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
本步骤基于虹膜检测结果框,进行虹膜形状特征点定位,并利用特征点拟合,实现眼睑边界和虹膜外边界的粗定位,这是本发明的创新点之一,这是首次将这种方式应用到虹膜分割。
为避免传统方法应对噪声干扰等方面的不足,本发明实施例利用一组形状特征点表示虹膜形状。采用基于学习的方法进行特征点回归,能有效降低光斑噪声、睫毛噪声以及眼镜框等对虹膜分割的干扰,而简单的特征点回归策略,能够保证很高的计算效率。为确保特征点回归的稳定性和有效性,本发明实施例可以采用加权最小二乘拟合策略。
本步骤中,对于特征点定位,可以采用本领域各种常规算法,具体可以利用基于回归的SDM(Supervised Descent Method)方法、LBF(Local Binary Features)方法等;也可以采用利用卷积神经网络的DCNN(Deep Convolutional Network)方法等。
本发明利用一组位于虹膜外边界和眼睑边界上的特征点表示虹膜形状,一组示例如图3所示。基于之前的虹膜检测结果框,通过形状回归技术,在逐步迭代后确定虹膜形状参数。具体说明如下:
假设虹膜形状的向量形式表示为:S=[x1,y1,…xk,yk],其中[xi,yi]是第i(i=1,2,…,k)个特征点的坐标。根据虹膜检测结果框,能够为虹膜赋予一组初始形状S0,如图3(a)所示。给定归一化后的虹膜形状SN,利用检测结果框尺度因子DI缩放到当前虹膜大小,之后利用检测结果框中心进行对齐,形状公式可以表示为:
S0=DI·SN+[xc,yc,…,xc,yc] (2)
其中,[xc,yc]表示检测结果框的中心坐标,即公式中中心坐标xc,yc重复k次以保证向量长度一致;SN为检测结果框归一化后的虹膜形状。
归一化形状SN可以利用公式(3)通过任意已知的标记虹膜形状得到(图3(a)初始化采用方式),也可以根据公式(4)利用虹膜样本的平均形状得到。
于是根据特征点回归策略,通过对当前虹膜形状反复迭代的方式预测虹膜准确形状,如公式(5)所示:
St=St-1+F(Φ(St-1)),t=1,2,… (5)
其中F(Φ(St-1))表示通过当前形状预测的虹膜形状增量ΔSt。
在形状增量的计算过程中,Φ(St-1)表示根据前一步形状,利用特征提取函数Φ提取出的特征φt-1,函数F(φt-1)表示根据形状特征预测的形状增量。图3(a)~(c)给出了从初始化到逐步回归的示意图。
首先对于特征提取函数φ,可以通过两种策略:1)利用人工设计的特征,例如HOG特征、SIFT特征等;2)根据图像学习到特征,包括利用卷积神经网络、随机森林等学习到一组能够用于回归的形状特征。
对于虹膜形状回归函数F,通常需要预先设置其形式,最常见的是将其设置为线性回归函数,如公式(6)所示。计算过程中需要将每一个特征点提取的特征展开为长度为n的向量,再拼接所有特征点特征得到一个长度为nk的向量作为形状特征;通过训练确定权重矩阵W和偏置b。
ΔSt=Wφt-1+b (6)
经过反复多次迭代之后得到如图3(c)所示的虹膜形状,利用特征点通过多项式拟合能够得到眼睑抛物线边界和虹膜外边界如图3(d)所示。为降低偏离边界特征点对回归过程的影响,可以使用加权最小二乘法进行拟合,为偏离的特征点设置一个比较小的权重。
对于眼睑抛物线边界,对上下眼睑分别计算,目标函数如公式(7)所示,通过最小化目标函数,得到最优边界参数。
其中表示抛物线方程预测的纵坐标;(xi,yi)表示特征点坐标;ke表示上眼睑或下眼睑特征点数量。
对于虹膜外边界,利用特征点拟合圆形边界。圆形边界方程如公式(8)所示:
(x-xo)2+(y-yo)2=r2 (8)
其中(xo,yo)表示圆心,r为圆形半径。
于是目标函数如公式(9)所示:
其中表示特征点(xi,yi)到圆心的距离;kl表示虹膜外边界特征点数量。
上述目标函数,均难以直接求解,通常需要设置合适的步长,对候选参数范围进行遍历。于是不妨假设上眼睑边界参数为(au,bu,cu),下眼睑边界参数为(ad,bd,cd),虹膜外边界参数为(xc-o,yc-o,rc-i)。
步骤103:根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
本步骤中,在上一步骤完成虹膜形状特征点回归之后,根据虹膜内外边界近似同心的特点,假设虹膜外边界圆心为瞳孔圆心,之后估计瞳孔半径。作为一种可选的实施例,本步骤103可以包括:
步骤1031:以虹膜外边界圆心为中心,在极坐标系下展开虹膜图像;
本步骤中,为提高精度,可以预先根据上下眼睑抛物线边界确定眼睑噪声模板,如图4(a)所示。之后,在极坐标系下的虹膜展开图像上估计瞳孔边界,展开图像如图4(b)所示,虹膜边界在展开图像上近似为一条直线,确定这条直线的位置就能确定瞳孔半径。具体的,以虹膜外边界圆心为中心,可以选择半径范围[rp-min,rp-max],选择角度范围[0,2π]分别对噪声图像和原图进行展开。通常选择的半径最小值和最大值都是虹膜外圆半径的一个比例,即rp-min=kminrc-i,rp-max=kmaxrc-i。
步骤1032:计算虹膜展开图像上的竖直方向梯度;
本步骤中,具体的,利用竖直方向梯度算子计算竖直方向梯度,可以采用图像处理过程中经常采用的边界检测算子,包括Sobel算子、Prewitt算子等。另外,根据噪声模板仅仅保留非噪声像素点梯度并且仅保留梯度值大于0的像素点,结果如图4(c)所示。
步骤1033:根据竖直方向梯度变化情况,确定瞳孔半径。
本步骤中,具体的,可以统计每一行梯度值,保存行梯度和最大值所在的行,则瞳孔粗定位半径值为:rc-p=dmaxG+rp-min,相应的瞳孔边界参数为(xc-o,yc-o,rc-p),如图4(d)所示。
通过上述步骤1031-1033,本发明实施例基于虹膜外边界的粗定位结果,提出了一种简单快速的瞳孔边界粗定位策略,通过简单梯度运算,在极坐标系中快速的寻找到瞳孔粗边界。
步骤104:利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
通过上述步骤101-103获得的眼睑边界和虹膜内外粗定位边界,能够得到一个对虹膜区域的粗分割,如图4(e)所示,不妨假设分割出的虹膜区域为Icroi。为确保虹膜边界精定位效果以及避免噪声对虹膜识别的干扰,需要进一步检测除眼睑外的其他噪声,特别是光斑噪声和睫毛噪声。
在虹膜图像中,光斑噪声的灰度值通常大于周围像素的灰度值,于是能够用一个简单的灰度阈值分割图像光斑,如图5所示,光斑检测阈值(即光斑灰度阈值)可以为:
Tl=p·mean(Icroi)+(1-p)·max(Icroi) (10)
其中,p为阈值中虹膜区域灰度均值权重,p∈(0,1),Icroi为虹膜区域,mean为对区域灰度求均值,max为对区域灰度求最大值。图5中按照该原理同样检测出了瞳孔和眼白处的光斑。
在完成光斑噪声检测之后,需要进一步检测睫毛噪声。类似的,睫毛区域的像素灰度值要小于虹膜区域的像素灰度值,通过灰度阈值能够完成睫毛噪声检测。作为一种可选的实施例,所述检测睫毛噪声,可以包括:
步骤1041:将去除光斑噪声的虹膜有效区域划分为无睫毛区域和候选睫毛区域;
本步骤中,具体的,如图6(a)所示,可以利用上眼睑抛物线下移d=k(rc-i-rc-p)个像素得到的曲线,将去除光斑噪声后的虹膜区域划分为无睫毛区域Ine(图中虹膜下部区域)和候选睫毛区域Ice(图中虹膜上部区域)。可以理解的是,还可以根据经验利用一条直线将虹膜区域划分为无睫毛区域和候选睫毛区域。
步骤1042:利用无睫毛区域像素值,估算灰度正态分布参数;
本步骤中,具体的,由于虹膜区域灰度近似为正态分布N(μ,σ2),故可以利用无睫毛区域像素值,根据公式(11)估计正态分布参数。
其中nne为无睫毛区域Ine有效像素点数量。
步骤1043:利用所述灰度正态分布参数,设置睫毛灰度阈值,在候选睫毛区域中,检测睫毛噪声。
本步骤中,具体的,可以根据公式(12)设置睫毛灰度阈值,在候选睫毛区域中,检测出睫毛噪声,如图6(b)所示。
Te=μ-3σ (12)
通过上述步骤1041-1043,本发明实施例能够快速有效的分割出睫毛噪声区域。
另外,可选的,还可以在完成虹膜精定位之后进行睫毛噪声检测,从而避免睫毛检测结果对瞳孔边界调整的干扰。
步骤105:基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。
为获得更准确的定位,需要对虹膜内外边界的粗定位结果进行调整。本发明实施例采用传统方法进行精定位,例如基于微积分检测算子的方法、基于边缘检测和霍夫变换相结合的方法等。比较经典的传统方法已经证明在一些情况下能够取得比较好的定位效果,本发明实施例通过之前的粗定位参数能够限定圆形边界搜索范围,并结合检测到的噪声模板降低噪声干扰,从而快速有效的确定准确虹膜内外边界。
相较于传统经典方法在整张图上搜索虹膜边界参数,本发明实施例基于虹膜内外边界粗定位结果进行搜索。瞳孔圆形参数搜索范围如公式(13)所示,虹膜外边界圆形参数搜索范围如公式(14)所示。
在计算过程中,根据噪声模板去除噪声像素点的干扰,能够提高计算速度并提高准确率。图7给出了本发明实施例精定位后的虹膜图像分割结果示意图。
综上,本发明实施例提供的虹膜图像分割方法,首先对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;之后基于检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;接着根据虹膜内外边界近似同心的特点,基于虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;然后利用眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;最后基于眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。这样,结合机器学习技术,采用由粗到精的策略,能够提高虹膜图像分割算法的抗干扰能力和计算效率(均提高20%以上),快速有效的分割出虹膜纹理区域。
为完成虹膜图像分割,需要依次进行前述步骤1041(简称“虹膜检测”)、步骤1042(简称“虹膜形状回归”)、步骤1043(简称“瞳孔粗定位”)、步骤1044(简称“噪声检测”)、以及步骤1045(简称“虹膜精定位”)。对于各步骤,下面以一个具体的例子进行详细说明。
本发明实施例的虹膜图像分割方法包括:
步骤1041’:虹膜检测
虹膜检测本质上是一个物体检测问题,可以利用基于Haar特征的Adaboost算法进行检测。算法主要是利用类Haar特征进行检测,使用Adaboost算法筛选构造级联分类器,确定包含虹膜的区域。在计算过程中,虹膜区域的尺度设置为DI=1.5dirts。
在检测虹膜中,采用的部分类Haar特征如图8所示,在计算过程中,将图中的任意矩形放到虹膜图像上,利用白色区域的像素和减去黑色区域的像素和。同时为保证特征的计算效率,利用了积分图进行计算。
Adaboost算法在根据不同尺度生成的所有候选特征中筛选出能够区分是否为虹膜的特征,通过级联方式将这些特征构造为强分类器,从而判断出输入的图像子块是否为虹膜。
在具体的计算过程对虹膜图像缩放到原图的0.3倍进行计算,在图像中按照不同尺度进行遍历候选框,确定多个包含虹膜的子框后,选择分值最大的一个作为虹膜检测结果。
可选的,可以利用SSD等基于深度学习的物体模型检测虹膜,本发明在TensorFlow官方提供的检测模型基础上,fine-tuning(微调)了一个虹膜检测模型,同样能够有效的检测出虹膜区域。
步骤1042’:虹膜形状回归
本发明实施例利用32个特征点表示虹膜形状,与图3中的示例图像一致,其中位于上眼睑边界的特征点有9个,位于下眼睑边界的特征点有9个,位于虹膜外边界的特征点有18个。值得注意的是,有4个特征点分别是虹膜外边界和上下眼睑的左右交点。
以每一个特征点为中心截取局部区域计算特征,其中i=1,2,…,k表示第i个特征点,t=1,2,…,T表示第t次回归迭代。对每个局部区域,可选的,提取HOG特征:将每个局部区域划分为8×8的子块,利用sobel算子计算梯度,之后以45°作为间隔统计包含8个bin的直方图,将所有的子块直方图首尾相连拼接起来得到512=8×8×8维的HOG特征。
根据前面所述的回归策略,将每个特征点提取到的HOG特征组合起来得到一个16384=512×32维的特征Φt。接着,根据公式(6)利用线性回归策略预测形状增量,通过最小化增量误差,如公式(15),学习当前的线性回归权重矩阵Wt和偏置bt:
其中表示第t步的目标形状增量。
在计算过程中,随着迭代的逐步进行,虹膜形状特征点逐渐靠近真实位置,在实验过程中,可以逐步的缩小截取区域的尺寸。可选的,本例子中选择以特征点为中心,边长为dt的正方形区域作为截取的局部区域,经过反复实验,取迭代次数T=5,相应的边长有d1=0.5DI,d2=0.3DI,d3=0.2DI,d4=0.1DI,d5=0.07DI。
经过T步迭代后得到一组虹膜形状特征点,利用加权最小二乘法分别拟合上下眼睑抛物线参数和虹膜外圆参数。假设上眼睑上的边界点为假设下眼睑上的边界点为假设虹膜外圆的边界点为本例中,ku=kd=9,koi=18。正如算法描述中提到的,难以直接求解最小加权最小二乘法,于是利用遍历求解。
对于上眼睑抛物线,参数au∈[0.05,0.3],步长为0.05;参数 步长为2;参数 步长为2。
对于下眼睑抛物线,参数ad∈[-0.3,-0.05],步长为0.05;参数 步长为2;参数 步长为2。
对于虹膜外边界,圆心参数xc-o∈[xc-10,xc+10],yc-o∈[yc-10,yc+10],步长为2;半径参数rc-i∈[DI/3-10,DI/3+10](因为本例中尺度为1.5,则相应的半径粗估计为DI/1.5/2),步长为2。
步骤1043’:瞳孔粗定位
在得到眼睑抛物线参数后,能够生成一个抛物线噪声模板,从而排除一部分噪声区域,以虹膜外圆粗定位圆心作为中心进行极坐标展开,确定瞳孔边界。具体的计算步骤和上述算法描述中一致。瞳孔半径范围取为rp-min=0.1rc-i,rp-max=0.7rc-i。竖直方向梯度算子取为[-1,0,1]。
步骤1044’:噪声检测
这部分进行噪声检测主要是进行光斑噪声检测和睫毛噪声检测,计算过程和上述算法描述中完全一致。光斑检测阈值Tl=0.3mean(Icroi)+0.7·max(Icroi);睫毛检测过程中抛物线下移距离为d=0.5(rc-i-rc-p)。
步骤1045’:虹膜精定位
在完成噪声检测之后,需要对定位结果进行微调,确保检测结果的准确性。本例中选择基于微积分检测算子的方法。根据算法的描述,瞳孔圆形参数调整因子不妨取kpx=kpy=3,kpr=5;虹膜圆形参数调整因子不妨取kix=kiy=3,kpr=7;遍历步长均为1。另外需要说明的是,在微积分检测算子的计算过程中,噪声区域的像素点不参与计算。
经过上述步骤1041’-1045’,得到了一种稳定准确的虹膜图像分割算法。但是这些参数设置、检测方法、特征点提取方法、回归方法等均是一个例子,在其他的实施例中可以采用另外的参数选择形式。
本发明实施例的虹膜图像分割方法,采用由粗到精的策略,能够提高虹膜图像分割算法的抗干扰能力和计算效率,快速有效的分割出虹膜纹理区域。作为一组实验对比结果,选择处理器为Intel(R)core(TM)i5-6300U CPU,操作系统为Windows10家庭版64位系统,数据库基于自建的虹膜数据集,本发明实施例相较于单纯依靠灰度梯度信息的方法即传统的基于微积分检测算子的方法,计算时间降低21%,而分割区域平均交并比(IoU)提高25%。
另一方面,本发明实施例提供一种虹膜图像分割装置,如图9所示,包括:
虹膜检测模块11,用于对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
虹膜形状回归模块12,用于基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
瞳孔粗定位模块13,用于根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
噪声检测模块14,用于利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
虹膜精定位模块15,用于基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对虹膜粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
优选的,所述虹膜形状回归模块12中,采用学习的方法得到回归函数以回归特征点位置,采用加权最小二乘法进行拟合。
优选的,所述瞳孔粗定位模块13,包括:
展开子模块,用于以虹膜外边界圆心为中心,在极坐标系下展开虹膜图像和噪声图像;
计算子模块,用于计算虹膜展开图像上的竖直方向梯度;
确定子模块,用于根据竖直方向梯度变化情况,确定瞳孔半径。
优选的,所述噪声检测模块14,包括:
光斑检测子模块,用于在虹膜图像中,利用光斑灰度阈值确定出光斑。
优选的,所述光斑灰度阈值为:
Tl=p·mean(Icroi)+(1-p)·max(Icroi)
其中,p为阈值中虹膜区域灰度均值权重,p∈(0,1),Icroi为虹膜区域,mean为对区域灰度求均值,max为对区域灰度求最大值。
优选的,所述噪声检测模块14,还包括:
划分子模块,用于将去除光斑噪声后的虹膜区域划分为无睫毛区域和候选睫毛区域;
估算子模块,用于利用无睫毛区域像素值,估算灰度正态分布参数;
检测子模块,用于利用所述灰度正态分布参数,设置睫毛灰度阈值,在候选睫毛区域中,检测睫毛噪声。
优选的,所述传统方法包括基于微积分检测算子的方法、基于边缘检测和霍夫变换相结合的方法。
本发明实施例还提供一种电子设备,图10为本发明的电子设备一个实施例的结构示意图,可以实现本发明图1所示实施例的流程,如图10所示,上述电子设备可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器43设置在电路板44上;电源电路45,用于为上述电子设备的各个电路或器件供电;存储器43用于存储可执行程序代码;处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一方法实施例所述的方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1所示实施例的描述,在此不再赘述。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone、)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
本发明实施例还提供一种应用程序,所述应用程序被执行以实现本发明任一方法实施例提供的方法。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种虹膜图像分割方法,其特征在于,包括:
对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对瞳孔粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割;
其中,所述基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界,包括:
假设虹膜形状的向量形式表示为:S=[x1,y1,…xk,yk],其中[xi,yi]是第i(i=1,2,…,k)个特征点的坐标,根据检测结果框,为虹膜赋予一组初始形状S0;给定归一化后的虹膜形状SN,利用检测结果框尺度因子DI缩放到当前虹膜大小,之后利用检测结果框中心进行对齐,形状公式表示为:
S0=DI·SN+[xc,yc,…,xc,yc] (2)
其中,[xc,yc]表示检测结果框的中心坐标,即公式中中心坐标xc,yc重复k次以保证向量长度一致;SN为检测结果框归一化后的虹膜形状,检测结果框为正方形区域,检测结果框为[xl,yu,xr,yd],其中xl,yu表示正方形左上点的横纵坐标,xr,yd表示正方形右下点的横纵坐标;
归一化形状SN利用公式(3)通过任意已知的标记虹膜形状得到,或者根据公式(4)利用虹膜样本的平均形状得到;
于是根据特征点回归策略,通过对当前虹膜形状反复迭代的方式预测虹膜准确形状,如公式(5)所示:
St=St-1+F(Φ(St-1)),t=1,2,… (5)
其中F(Φ(St-1))表示通过当前形状预测的虹膜形状增量ΔSt;
在形状增量的计算过程中,Φ(St-1)表示根据前一步形状,利用特征提取函数Φ提取出的特征Φt-1,函数F(Φt-1)表示根据形状特征预测的形状增量;
首先对于特征提取函数Φ,通过两种策略:1)利用人工设计的特征,包括HOG特征或SIFT特征;2)根据图像学习到特征,包括利用卷积神经网络或随机森林,学习到一组能够用于回归的形状特征;
对于虹膜形状回归函数F,需要预先设置其形式,具体是将其设置为线性回归函数,如公式(6)所示,计算过程中将每一个特征点提取的特征展开为长度为n的向量,再拼接所有特征点特征得到一个长度为nk的向量作为形状特征;通过训练确定权重矩阵W和偏置b;
ΔSt=Wφt-1+b (6)
经过反复多次迭代之后得到虹膜形状,利用特征点通过多项式拟合得到眼睑抛物线边界和虹膜外边界;为降低偏离边界特征点对回归过程的影响,使用加权最小二乘法进行拟合,为偏离的特征点设置一个权重;
对于眼睑抛物线边界,对上下眼睑分别计算,目标函数如公式(7)所示,通过最小化目标函数,得到最优边界参数;
其中表示抛物线方程预测的纵坐标;(xi,yi)表示特征点坐标;ke表示上眼睑或下眼睑特征点数量;
对于虹膜外边界,利用特征点拟合圆形边界,圆形边界方程如公式(8)所示:
(x-xo)2+(y-yo)2=r2 (8)
其中(xo,yo)表示圆心,r为圆形半径;
于是目标函数如公式(9)所示:
其中表示特征点(xi,yi)到圆心的距离;kl表示虹膜外边界特征点数量;
上述目标函数,难以直接求解,需要设置合适的步长,对候选参数范围进行遍历。
2.根据权利要求1所述的方法,其特征在于,所述根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位,包括:
以虹膜外边界圆心为中心,在极坐标系下展开虹膜图像;
计算虹膜展开图像上的竖直方向梯度;
根据竖直方向梯度变化情况,确定瞳孔半径。
3.根据权利要求1所述的方法,其特征在于,所述检测光斑噪声,包括:
在虹膜图像中,利用光斑灰度阈值确定出光斑。
4.根据权利要求3所述的方法,其特征在于,所述光斑灰度阈值为:
Tl=p·mean(Icroi)+(1-p)·max(Icroi)
其中,p为阈值中虹膜区域灰度均值权重,p∈(0,1),Icroi为虹膜区域,mean为对区域灰度求均值,max为对区域灰度求最大值。
5.根据权利要求3所述的方法,其特征在于,所述检测睫毛噪声,包括:
将去除光斑噪声后的虹膜区域划分为无睫毛区域和候选睫毛区域;
利用无睫毛区域像素值,估算灰度正态分布参数;
利用所述灰度正态分布参数,设置睫毛灰度阈值,在候选睫毛区域中,检测睫毛噪声。
6.根据权利要求1-5中任一所述的方法,其特征在于,所述传统方法包括基于微积分检测算子的方法、基于边缘检测和霍夫变换相结合的方法。
7.一种虹膜图像分割装置,其特征在于,包括:
虹膜检测模块,用于对待分割的虹膜图像利用虹膜检测算法进行检测,得到包含虹膜区域的检测结果框;
虹膜形状回归模块,用于基于所述检测结果框,利用虹膜形状特征点回归,得到一组位于虹膜外边界和眼睑边界上的特征点,并拟合得到眼睑边界和虹膜外边界;
瞳孔粗定位模块,用于根据虹膜内外边界近似同心的特点,基于所述虹膜外边界,确定瞳孔边界,完成瞳孔粗定位;
噪声检测模块,用于利用所述眼睑边界、虹膜外边界和瞳孔边界所确定的虹膜范围,检测光斑噪声和睫毛噪声,得到噪声模板;
虹膜精定位模块,用于基于所述眼睑边界、虹膜外边界、瞳孔边界和噪声模板,利用传统方法对瞳孔粗定位结果进行调整,得到虹膜精定位结果,从而实现虹膜图像分割;
其中,所述虹膜形状回归模块,具体用于:
假设虹膜形状的向量形式表示为:S=[x1,y1,…xk,yk],其中[xi,yi]是第i(i=1,2,…,k)个特征点的坐标,根据检测结果框,为虹膜赋予一组初始形状S0;给定归一化后的虹膜形状SN,利用检测结果框尺度因子DI缩放到当前虹膜大小,之后利用检测结果框中心进行对齐,形状公式表示为:
S0=DI·SN+[xc,yc,…,xc,yc] (2)
其中,[xc,yc]表示检测结果框的中心坐标,即公式中中心坐标xc,yc重复k次以保证向量长度一致;SN为检测结果框归一化后的虹膜形状,检测结果框为正方形区域,检测结果框为[xl,yu,xr,yd],其中xl,yu表示正方形左上点的横纵坐标,xr,yd表示正方形右下点的横纵坐标;
归一化形状SN利用公式(3)通过任意已知的标记虹膜形状得到,或者根据公式(4)利用虹膜样本的平均形状得到;
于是根据特征点回归策略,通过对当前虹膜形状反复迭代的方式预测虹膜准确形状,如公式(5)所示:
St=St-1+F(Φ(St-1)),t=1,2,… (5)
其中F(Φ(St-1))表示通过当前形状预测的虹膜形状增量ΔSt;
在形状增量的计算过程中,Φ(St-1)表示根据前一步形状,利用特征提取函数Φ提取出的特征Φt-1,函数F(Φt-1)表示根据形状特征预测的形状增量;
首先对于特征提取函数Φ,通过两种策略:1)利用人工设计的特征,包括HOG特征或SIFT特征;2)根据图像学习到特征,包括利用卷积神经网络或随机森林,学习到一组能够用于回归的形状特征;
对于虹膜形状回归函数F,需要预先设置其形式,具体是将其设置为线性回归函数,如公式(6)所示,计算过程中将每一个特征点提取的特征展开为长度为n的向量,再拼接所有特征点特征得到一个长度为nk的向量作为形状特征;通过训练确定权重矩阵W和偏置b;
ΔSt=Wφt-1+b (6)
经过反复多次迭代之后得到虹膜形状,利用特征点通过多项式拟合得到眼睑抛物线边界和虹膜外边界;为降低偏离边界特征点对回归过程的影响,使用加权最小二乘法进行拟合,为偏离的特征点设置一个权重;
对于眼睑抛物线边界,对上下眼睑分别计算,目标函数如公式(7)所示,通过最小化目标函数,得到最优边界参数;
其中表示抛物线方程预测的纵坐标;(xi,yi)表示特征点坐标;ke表示上眼睑或下眼睑特征点数量;
对于虹膜外边界,利用特征点拟合圆形边界,圆形边界方程如公式(8)所示:
(x-xo)2+(y-yo)2=r2 (8)
其中(xo,yo)表示圆心,r为圆形半径;
于是目标函数如公式(9)所示:
其中表示特征点(xi,yi)到圆心的距离;kl表示虹膜外边界特征点数量;
上述目标函数,难以直接求解,需要设置合适的步长,对候选参数范围进行遍历。
8.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行上述权利要求1-6任一所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述权利要求1-6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911146452.XA CN112906431B (zh) | 2019-11-19 | 2019-11-19 | 一种虹膜图像分割方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911146452.XA CN112906431B (zh) | 2019-11-19 | 2019-11-19 | 一种虹膜图像分割方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112906431A CN112906431A (zh) | 2021-06-04 |
CN112906431B true CN112906431B (zh) | 2024-05-24 |
Family
ID=76103566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911146452.XA Active CN112906431B (zh) | 2019-11-19 | 2019-11-19 | 一种虹膜图像分割方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112906431B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101201893A (zh) * | 2006-09-30 | 2008-06-18 | 电子科技大学中山学院 | 一种基于灰度信息的虹膜识别预处理方法 |
CN101539991A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 用于虹膜识别的有效图像区域检测和分割方法 |
CN102411709A (zh) * | 2011-12-02 | 2012-04-11 | 湖南大学 | 一种虹膜分割识别方法 |
CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
WO2017113039A1 (zh) * | 2015-12-30 | 2017-07-06 | 王晓鹏 | 一种基于主动外观模型的虹膜区域分割方法及装置 |
CN107844736A (zh) * | 2016-09-19 | 2018-03-27 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
CN107958173A (zh) * | 2016-10-18 | 2018-04-24 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
CN108073889A (zh) * | 2016-11-11 | 2018-05-25 | 三星电子株式会社 | 虹膜区域提取的方法和设备 |
CN109446935A (zh) * | 2018-10-12 | 2019-03-08 | 北京无线电计量测试研究所 | 一种用于远距离行进中虹膜识别的虹膜定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN2014MN02462A (zh) * | 2012-05-09 | 2015-07-10 | Chaparro Cesar Gallardo |
-
2019
- 2019-11-19 CN CN201911146452.XA patent/CN112906431B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101201893A (zh) * | 2006-09-30 | 2008-06-18 | 电子科技大学中山学院 | 一种基于灰度信息的虹膜识别预处理方法 |
CN101539991A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 用于虹膜识别的有效图像区域检测和分割方法 |
CN102411709A (zh) * | 2011-12-02 | 2012-04-11 | 湖南大学 | 一种虹膜分割识别方法 |
WO2017113039A1 (zh) * | 2015-12-30 | 2017-07-06 | 王晓鹏 | 一种基于主动外观模型的虹膜区域分割方法及装置 |
CN106066696A (zh) * | 2016-06-08 | 2016-11-02 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
CN107844736A (zh) * | 2016-09-19 | 2018-03-27 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
CN107871322A (zh) * | 2016-09-27 | 2018-04-03 | 北京眼神科技有限公司 | 虹膜图像分割方法和装置 |
CN107958173A (zh) * | 2016-10-18 | 2018-04-24 | 北京眼神科技有限公司 | 虹膜定位方法和装置 |
CN108073889A (zh) * | 2016-11-11 | 2018-05-25 | 三星电子株式会社 | 虹膜区域提取的方法和设备 |
CN109446935A (zh) * | 2018-10-12 | 2019-03-08 | 北京无线电计量测试研究所 | 一种用于远距离行进中虹膜识别的虹膜定位方法 |
Non-Patent Citations (6)
Title |
---|
An efficient and robust iris segmentation algorithm using deep learning;Yung-Hui Li等;《Mobile Information Systems》;第2019卷;第1-15页 * |
Yung-Hui Li等.An efficient and robust iris segmentation algorithm using deep learning.《Mobile Information Systems》.2019,第2019卷第1-15页. * |
基于微积分算子的彩色虹膜图像定位算法;张祥德等;《东北大学学报(自然科学版)》;第32卷(第11期);第1节 * |
基于显示形状回归的虹膜图像分割算法研究;许猛;《中国优秀硕士学位论文全文数据库 信息科技辑》;第2019卷(第06期);第3-6章 * |
基于霍夫变换的可见光虹膜图像定位;穆珺等;《计算机技术与发展》;第27卷(第05期);第40-45页 * |
自然光下基于单目摄像头的视线跟踪算法研究;胡大正;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;第2017卷(第02期);I138-3898 * |
Also Published As
Publication number | Publication date |
---|---|
CN112906431A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110852160B (zh) | 以图像为基准的生物识别系统及计算机实施方法 | |
CN110175558B (zh) | 一种人脸关键点的检测方法、装置、计算设备及存储介质 | |
CN107871322B (zh) | 虹膜图像分割方法和装置 | |
Yu et al. | A novel algorithm for view and illumination invariant image matching | |
JP5107045B2 (ja) | 目に関して取得される画像中の虹彩を表す画素を特定する方法 | |
Wang et al. | Toward accurate localization and high recognition performance for noisy iris images | |
US8254644B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
JP2007188504A (ja) | 画像中の画素強度をフィルタリングする方法 | |
CN112037287B (zh) | 相机标定方法、电子设备及存储介质 | |
CN109447117B (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
US11023781B2 (en) | Method, apparatus and device for evaluating image tracking effectiveness and readable storage medium | |
Zhang et al. | Fast moving pedestrian detection based on motion segmentation and new motion features | |
CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
US20160063345A1 (en) | Pattern recognition apparatus, pattern recognition method, and storage medium | |
CN105913069A (zh) | 一种图像识别方法 | |
CN113496215A (zh) | 一种活体人脸检测的方法、装置及电子设备 | |
CN112906431B (zh) | 一种虹膜图像分割方法、装置、电子设备及存储介质 | |
Guo et al. | Iris extraction based on intensity gradient and texture difference | |
CN110222749B (zh) | 一种可见光图像与红外图像匹配方法 | |
CN117315730A (zh) | 基于掌静脉的用户识别方法、系统、计算机及存储介质 | |
KR20090115738A (ko) | 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램 | |
CN113516096B (zh) | 指静脉roi区域提取方法及装置 | |
CN106940786B (zh) | 一种基于lle和pso的使用虹膜模版的虹膜重构方法 | |
CN113793372A (zh) | 异源图像的优化配准方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |