CN109190548B - 基于gabor滤波的快速眼睑检测方法及系统 - Google Patents

基于gabor滤波的快速眼睑检测方法及系统 Download PDF

Info

Publication number
CN109190548B
CN109190548B CN201810987733.7A CN201810987733A CN109190548B CN 109190548 B CN109190548 B CN 109190548B CN 201810987733 A CN201810987733 A CN 201810987733A CN 109190548 B CN109190548 B CN 109190548B
Authority
CN
China
Prior art keywords
eyelid
upper eyelid
point
candidate
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810987733.7A
Other languages
English (en)
Other versions
CN109190548A (zh
Inventor
魏长伟
丁玲
钦培
刘黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhenyuan Biological Data Co ltd
Original Assignee
Wuhan Zhenyuan Biological Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhenyuan Biological Data Co ltd filed Critical Wuhan Zhenyuan Biological Data Co ltd
Priority to CN201810987733.7A priority Critical patent/CN109190548B/zh
Publication of CN109190548A publication Critical patent/CN109190548A/zh
Application granted granted Critical
Publication of CN109190548B publication Critical patent/CN109190548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于gabor滤波的快速眼睑检测方法及系统,该方法包括如下步骤:获取眼部图片,在眼部图片中划分出上眼睑区域和下眼睑区域;对上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;基于上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;基于上眼睑候选点,获取上眼睑候选线段,并根据上眼睑候选线段,获取上眼睑有效点;基于下眼睑候选点,获取下眼睑候选线段,并根据下眼睑候选线段,获取下眼睑有效点;对上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线。本发明的眼睑检测方法不仅高效,且具有强的鲁棒性。

Description

基于gabor滤波的快速眼睑检测方法及系统
技术领域
本发明涉及生物识别技术领域,具体涉及一种基于gabor滤波的快速眼睑检测方法及系统。
背景技术
虹膜识别是最为精确的一种生物识别技术,被广泛认为是二十一世纪最具有发展前途的生物识别技术。未来的安防、国防、电子商务等多种领域的应用,也必然的会以虹膜识别技术为重点。这种趋势已经在全球各地的各种应用中开始显现出来,市场应用前景非常广阔。
然而在采集虹膜图像的过程中,测试者可能出现眨眼等情况,如何判断采集的虹膜图像中的可用虹膜区域是否满足特征提取的要求,成为虹膜识别技术中的一项重要任务。
现有的眼睑检测方法主要有以下几种:
Daugmann首先搜索虹膜和瞳孔区域;在虹膜区域内,上下眼睑被搜索为曲线边缘;由于眼睑的形状变化,Daugmann使用了一种统计样条拟合方法来进行轮廓拟合。
Suzuki等人先将输入图像划分为垂直区域;然后根据该区域的强度分布选择上眼睑和下眼睑的候选点;这些候选点被分为上下眼睑,而离群点被移除;对于眼睛孔径,使用两个组的所有垂直对应点之间的平均距离。
Adam等人首先利用各向异性扩散的方法对输入图像进行预处理,并应用了一个边缘检测器;在虹膜上方和下方的区域被假定包含有效的眼睑候选,而长度小于平均边缘长度的边被忽略;其余候选点用抛物线拟合,得到上下眼睑。
然而,上述算法检测时间较长,如Adam的算法检测一张眼图需要300毫秒,检测效率低,而且稳健性差。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种基于gabor滤波的快速眼睑检测方法,其检测效率高且鲁棒性强。
为达到以上目的,本发明采取的技术方案是:一种基于gabor滤波的快速眼睑检测方法,包括如下步骤:
获取眼部图片,在所述眼部图片中划分出上眼睑区域和下眼睑区域;
对所述上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
基于所述上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
基于所述上眼睑候选点,获取上眼睑候选线段,并根据所述上眼睑候选线段,获取上眼睑有效点;
基于所述下眼睑候选点,获取下眼睑有效点;
对所述上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线;其中,
获取所述上眼睑候选点包括如下步骤:
-对所述上眼睑区域进行二值化处理,得到上眼睑二值图,对所述上眼睑二值图的瞳孔区域进行膨胀处理,形成第一掩码区域;
-搜索所述上眼睑梯度图每列像素中具有最大能量值的像素点,得到上眼睑待选点,剔除所述上眼睑待选点中位于所述第一掩码区域的像素点,得到上眼睑初始候选点和候选点空缺列集合;
-对所述候选点空缺列集合进行抛物线插值,获得插值候选点,所述插值候选点不在所述第一掩码区域内;
-所述上眼睑初始候选点与所述插值候选点共同组成所述上眼睑候选点;
获取所述上眼睑候选线段包括如下步骤:
-A1:基于所述上眼睑候选点,获取上眼睑连续线段;
-A2:判断上眼睑连续线段的数量是否大于1,若不大于1,则转入A6,若大于1,则转入A3;
-A3:自上眼睑区域一侧向另一侧,依次判断相邻的两个上眼睑连续线段之间是否存在跳跃点,若不存在跳跃点,则转入A5;若存在跳跃点,则转入A4;
-A4:判断两所述上眼睑连续线段相近的两个端点纵坐标之差是否大于预设像素值,若大于预设像素值,则转入A5,若小于预设像素值,则将两所述上眼睑连续线段连接为新的上眼睑连续线段,并转入A2;
-A5:将两所述上眼睑连续线段认定为上眼睑候选线段;
-A6:将该上眼睑连续线段认定为上眼睑候选线段;
获取所述上眼睑有效点包括如下步骤:
-B1:搜索最长的上眼睑候选线段,判断其长度是否小于第一阈值,若是,则转入B2,若否,则转入B5;
-B2:搜索第二长的上眼睑候选线段,判断其长度是否大于第二阈值,若是,则转入B3,若否,则转入B5;
-B3:判断最长和第二长的上眼睑候选线段长度之和是否小于第三阈值,若是,则转入B4,若否,则转入B6;
-B4:搜索第三长的上眼睑候选线段,判断其长度是否大于第四阈值,若是,则转入B7;若否,则转入B6;
-B5:将最长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B6:将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B7:将最长、第二长和第三长的上眼睑候选线段上的像素点作为上眼睑有效点;
获取所述下眼睑候选点包括如下步骤:
-对所述下眼睑区域进行二值化处理,得到下眼睑二值图,对所述下眼睑二值图的瞳孔区域和虹膜外边界分别进行膨胀处理,形成第二掩码区域和第三掩码区域;
-搜索所述下眼睑梯度图每列像素中具有最大能量值的像素点,得到下眼睑待选点,剔除所述下眼睑待选点中位于所述第二掩码区域和第三掩码区域的像素点,得到下眼睑候选点;
获取所述下眼睑有效点包括如下步骤:
-C1:基于所述下眼睑候选点,获取最长的下眼睑连续线段;
-C2:判断所述最长的下眼睑连续线段端点外侧是否存在与该端点相邻的列像素,若存在,则选取该列像素上的与该端点纵坐标差值小于第五阈值的像素点作为搜索对象,转入C3,若不存在,则转入C4;
-C3:搜索所述搜索对象内具有最大能量值的像素点,将该像素点与最长的下眼睑连续线段连接为新的最长的下眼睑连续线段,并返回C2;
-C4:将最长的下眼睑连续线段上的像素点作为下眼睑有效点。
进一步地,对所述上眼睑区域和下眼睑区域滤波之前,还包括对所述上眼睑区域和下眼睑区域进行睫毛去除的步骤。
进一步地,对所述候选点空缺列集合进行抛物线插值包括如下步骤:
从所述上眼睑初始候选点中选择两个像素点作为两个插值基准点,利用两所述插值基准点对所述候选点空缺列集合进行抛物线插值;
其中,两所述插值基准点为与所述候选点空缺列集合中位于外侧的两列分别相邻的两个上眼睑初始候选点。
进一步地,将两所述上眼睑连续线段连接为新的上眼睑连续线段包括如下步骤:
将两所述端点纵坐标的平均值作为所述跳跃点的纵坐标。
本发明还提供了一种基于gabor滤波的快速眼睑检测系统,其包括:
眼睑区域获取模块,其用于获取眼部图片,在所述眼部图片中划分出上眼睑区域和下眼睑区域;
梯度图获取模块,其用于对所述上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
候选点获取模块,其用于基于所述上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
第一有效候选点获取模块,其用于基于所述上眼睑候选点,获取上眼睑候选线段,并根据所述上眼睑候选线段,获取上眼睑有效点;
第二有效候选点获取模块,其用于基于所述下眼睑候选点,获取下眼睑有效点;
眼睑拟合曲线获取模块,其用于对所述上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线;其中,
候选点获取模块用于执行如下步骤:
-对所述上眼睑区域进行二值化处理,得到上眼睑二值图,对所述上眼睑二值图的瞳孔区域进行膨胀处理,形成第一掩码区域;
-搜索所述上眼睑梯度图每列像素中具有最大能量值的像素点,得到上眼睑待选点,剔除所述上眼睑待选点中位于所述第一掩码区域的像素点,得到上眼睑初始候选点和候选点空缺列集合;
-对所述候选点空缺列集合进行抛物线插值,获得插值候选点,所述插值候选点不在所述第一掩码区域内;
-所述上眼睑初始候选点与所述插值候选点共同组成所述上眼睑候选点;以及,
-对所述下眼睑区域进行二值化处理,得到下眼睑二值图,对所述下眼睑二值图的瞳孔区域和虹膜外边界分别进行膨胀处理,形成第二掩码区域和第三掩码区域;
-搜索所述下眼睑梯度图每列像素中具有最大能量值的像素点,得到下眼睑待选点,剔除所述下眼睑待选点中位于所述第二掩码区域和第三掩码区域的像素点,得到下眼睑候选点;
第一有效候选点获取模块用于执行如下步骤:
-A1:基于所述上眼睑候选点,获取上眼睑连续线段;
-A2:判断上眼睑连续线段的数量是否大于1,若不大于1,则转入A6,若大于1,则转入A3;
-A3:自上眼睑区域一侧向另一侧,依次判断相邻的两个上眼睑连续线段之间是否存在跳跃点,若不存在跳跃点,则转入A5;若存在跳跃点,则转入A4;
-A4:判断两所述上眼睑连续线段相近的两个端点纵坐标之差是否大于预设像素值,若大于预设像素值,则转入A5,若小于预设像素值,则将两所述上眼睑连续线段连接为新的上眼睑连续线段,并转入A2;
-A5:将两所述上眼睑连续线段认定为上眼睑候选线段;
-A6:将该上眼睑连续线段认定为上眼睑候选线段;以及,
-B1:搜索最长的上眼睑候选线段,判断其长度是否小于第一阈值,若是,则转入B2,若否,则转入B5;
-B2:搜索第二长的上眼睑候选线段,判断其长度是否大于第二阈值,若是,则转入B3,若否,则转入B5;
-B3:判断最长和第二长的上眼睑候选线段长度之和是否小于第三阈值,若是,则转入B4,若否,则转入B6;
-B4:搜索第三长的上眼睑候选线段,判断其长度是否大于第四阈值,若是,则转入B7;若否,则转入B6;
-B5:将最长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B6:将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B7:将最长、第二长和第三长的上眼睑候选线段上的像素点作为上眼睑有效点;
第二有效候选点获取模块用于执行如下步骤:
-C1:基于所述下眼睑候选点,获取最长的下眼睑连续线段;
-C2:判断所述最长的下眼睑连续线段端点外侧是否存在与该端点相邻的列像素,若存在,则选取该列像素上的与该端点纵坐标差值小于第五阈值的像素点作为搜索对象,转入C3,若不存在,则转入C4;
-C3:搜索所述搜索对象内具有最大能量值的像素点,将该像素点与最长的下眼睑连续线段连接为新的最长的下眼睑连续线段,并返回C2;
-C4:将最长的下眼睑连续线段上的像素点作为下眼睑有效点。
与现有技术相比,本发明的优点在于:
本发明的眼睑检测方法具有高效的检测能力,可以适用于多类眼图数据库,具有强的鲁棒性和普适性。
附图说明
图1为本发明实施例提供的基于gabor滤波的快速眼睑检测方法流程图;
图2为本发明实施例提供的眼部图片;
图3a为本发明实施例提供的上眼睑区域示意图;
图3b为本发明实施例提供的下眼睑区域示意图;
图4a为本发明实施例提供的上眼睑梯度图;
图4b为本发明实施例提供的下眼睑梯度图;
图5为本发明实施例提供的第一掩码区域示意图;
图6a为本发明实施例提供的第二掩码区域示意图;
图6b为本发明实施例提供的第三掩码区域示意图;
图7a为本发明实施例提供的上眼睑有效点示意图;
图7b为本发明实施例提供的下眼睑有效点示意图;
图8为本发明实施例提供的第四掩码区域示意图;
图9为本发明实施例提供的眼睑拟合曲线示意图;
图10为本发明实施例提供的基于gabor滤波的快速眼睑检测系统示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示,本发明实施例提供了一种基于gabor滤波的快速眼睑检测方法,通过该方法对眼睑进行检测,只需要20毫秒左右,相比现有技术的300毫秒,本方法检测效率高,而且具有强的鲁棒性,本方法包括如下步骤:
S1:获取眼部图片,在眼部图片中划分出上眼睑区域和下眼睑区域;
下面以一个具体的划分方法进行说明:
S100:在眼部图片中划分出虹膜内边界和外边界,虹膜内边界以内区域称为瞳孔区域,内边界和外边界之间的环形区域称为虹膜区域,找出外边界椭圆的上(A)下(B)左(C)右(D)顶点坐标;以及内边界上(E)下(F)两个顶点和内边界的圆心(O)坐标,参见图2所示。
S101:分别计算出A、B、C、D到圆心的距离a,b,c,d;计算E,F两点间距离e;
S102:线段a以点O向点A扩大为原来的w1倍,得到点A';c与d分别以点O向点C与D扩大为原来的w2倍,得到点C'与D';在线段OF上取点F'使得OF'=0.25*e。在眼部图片中划分一个过A'、C'、D'、F'的矩形区域作为上眼睑区域,参见图3a所示。
线段b以点O向点B扩大为原来的w3倍,得到点B”;c与d分别以点O向点C与D扩大为原来的w4倍,得到点C″与D″;在眼部图片中划分一个过B″、C″、D″、O的矩形区域作为下眼睑区域,参见图3b所示。
S2:对上眼睑区域和下眼睑区域进行睫毛去除,其中,结合膨胀的方法,采用等级滤波器去除上眼睑区域睫毛的干扰,采用垂直和水平方向滤波器去除下眼睑区域睫毛的干扰。
S3:对上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
具体地,本实施例使用9*9gabor滤波器虚部对上眼睑区域进行滤波:
Figure GDA0002811107260000101
x'=xcos(θ)+ysin(θ),
y'=ycos(θ)-xsin(θ),
其中:λ=4π,
Figure GDA0002811107260000102
ψ=0,σ=6,γ=1,
从而得到上眼睑梯度图,如图4a所示。
下眼睑区域使用改进的15*15gabor滤波器的实部进行滤波:
Figure GDA0002811107260000103
其中,λ=2π,
Figure GDA0002811107260000104
ψ=0,
Figure GDA0002811107260000105
γ=1。
从而得到下眼睑梯度图,如图4b所示。
S4:基于上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
进一步细化,获取上眼睑候选点包括如下步骤:
S401:对上眼睑区域进行二值化处理,将瞳孔区域各像素点取值为1,其余区域取值为0,得到上眼睑二值图,对上眼睑二值图的瞳孔区域进行膨胀处理,形成第一掩码区域(图中白色部分),参见图5所示;
S402:搜索上眼睑梯度图每列像素中具有最大能量值的像素点,得到上眼睑待选点,剔除上眼睑待选点中位于第一掩码区域的像素点,得到上眼睑初始候选点和候选点空缺列集合;
上眼睑梯度图是由多列的像素点组成的,将上眼睑待选点位于第一掩码区域中的像素点剔除之后,这些被剔除的像素点所在的列便缺少了上眼睑待选点,这些缺少上眼睑待选点的列称之为候选点空缺列集合。
S403:对候选点空缺列集合进行抛物线插值,获得插值候选点,插值候选点不在第一掩码区域内;
其中,对候选点空缺列集合进行抛物线插值是按照如下方式进行:选取与候选点空缺列集合中位于外侧的两列分别相邻的两个上眼睑初始候选点作为插值基准点,记为G(xG,yG)和H(xH,yH),利用G(xG,yG)和H(xH,yH)对候选点空缺列集合进行抛物线插值;
插值函数如下:
y=ax2+bx+c,
a为常数,c=yG,
Figure GDA0002811107260000111
α是手动设置的,以确保候选点空缺列集合的每一列有且仅有一个插值候选点,且插值候选点不在第一掩码区域内,本实施例给定的是
Figure GDA0002811107260000112
S404:上眼睑初始候选点与插值候选点共同组成上眼睑候选点,确保上眼睑梯度图每列像素中只有一个上眼睑候选点。
进一步细化,获取下眼睑候选点包括如下步骤:
S411:对下眼睑区域进行二值化处理,将瞳孔区域和虹膜外边界各像素点取值为1,其余区域取值为0,得到下眼睑二值图,对下眼睑二值图的瞳孔区域和虹膜外边界分别进行膨胀处理,形成第二掩码区域和第三掩码区域,分别参见图6a和图6b(图中白色部分)所示;
S412:搜索下眼睑梯度图每列像素中具有最大能量值的像素点,得到下眼睑待选点,剔除下眼睑待选点中位于第二掩码区域和第三掩码区域的像素点,得到下眼睑候选点。利用第二掩码区域和第三掩码区域进行像素点的剔除,可以有效减小瞳孔区域亮斑边界和虹膜区域外边界对下眼睑候选点检测的干扰。
S5:基于上眼睑候选点,获取上眼睑候选线段,并根据上眼睑候选线段,获取上眼睑有效点,参见图7a所示;
进一步细化,为了获取上眼睑候选线段,我们定义:位于相邻两列像素中的两个上眼睑候选点纵坐标之差小于h1个像素,则这两个上眼睑候选点称之为上眼睑连续点;具有超过c个上眼睑连续点的线段定义为上眼睑连续线段,否则,组成该线段的所有上眼睑候选点称之为跳跃点,h1和c为手动设置的预设值。
获取上眼睑候选线段包括如下步骤:
S501:基于上眼睑候选点,获取上眼睑连续线段;
S502:判断上眼睑连续线段的数量是否大于1,若不大于1,则转入S507,若大于1,则转入S503;
S503:自上眼睑区域一侧向另一侧,依次判断相邻的两个上眼睑连续线段之间是否存在跳跃点,若不存在跳跃点,则转入S506;若存在跳跃点,则转入S504;
S504:判断两上眼睑连续线段相近的两个端点纵坐标之差是否大于预设像素值,若大于预设像素值,则转入S506,若小于预设像素值,则转入S505;
S505:将两上眼睑连续线段连接为新的上眼睑连续线段,并转入S502;
S506:将两上眼睑连续线段认定为上眼睑候选线段;
S507:将该上眼睑连续线段认定为上眼睑候选线段。
本实施例中,预设的像素值取值为h1。
本实施例中,将两上眼睑连续线段连接为新的上眼睑连续线段采用如下方法:将两端点纵坐标的平均值作为跳跃点的纵坐标。
进一步细化,获取上眼睑有效点包括如下步骤:
S511:在所有的上眼睑候选线段中,搜索最长的上眼睑候选线段,判断其长度是否小于第一阈值,若是,则转入S512,若否,则转入S515;
S512:搜索第二长的上眼睑候选线段,判断其长度是否大于第二阈值,若是,则转入S513,若否,则转入S515;
S513:判断最长和第二长的上眼睑候选线段长度之和是否小于第三阈值,若是,则转入S514,若否,则转入S516;
S514:搜索第三长的上眼睑候选线段,判断其长度是否大于第四阈值,若是,则转入S517;若否,则转入S516;
S515:将最长的上眼睑候选线段上的像素点作为上眼睑有效点,转入S518;
S516:将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点,转入S518;
S517:将最长、第二长和第三长的上眼睑候选线段上的像素点作为上眼睑有效点,转入S518;
S518:将得到的上眼睑有效点中位于第一掩码区域的像素点剔除,得到最终的上眼睑有效点。
本实施例中,第一阈值、第二阈值、第三阈值、第四阈值分别为上眼睑区域宽度的a%、b%、c%、d%。
获取所述上眼睑有效点包括:判断长度前N的上眼睑候选线段的总长度是否在相应的长度范围内,若在,则将所述N条上眼睑候选线段上的像素点作为上眼睑有效点,其中N为正整数。
具体地,当N=1,则判断最长的上眼睑候选线段的总长度是否大于上眼睑区域宽度的e%,如大于,则将最长的上眼睑候选线段上的像素点作为上眼睑有效点;
当N=2,则判断最长和第二长的上眼睑候选线段的总长度是否大于上眼睑区域宽度的f%,如大于,则将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点;以此类推。N值根据实际情况手动设置。
S6:基于下眼睑候选点,获取下眼睑候选线段,并根据下眼睑候选线段,获取下眼睑有效点,参见图7b所示;
进一步细化,我们定义:如果位于相邻两列像素中的两个下眼睑候选点纵坐标之差小于h2个像素,则这两个下眼睑候选点称之为下眼睑连续点,由至少两个下眼睑连续点形成的线段称之为下眼睑连续线段;
获取下眼睑有效点包括如下步骤:
S601:基于下眼睑候选点,获取最长的下眼睑连续线段;
S602:判断最长的下眼睑连续线段端点外侧是否存在与该端点相邻的列像素,若存在,则选取该列像素上的与该端点纵坐标差值小于第五阈值的像素点作为搜索对象,转入S603,若不存在,则转入S604;
S603:搜索该搜索对象内具有最大能量值的像素点,将该像素点与最长的下眼睑连续线段连接为新的最长的下眼睑连续线段,并返回S602;
S604:将最长的下眼睑连续线段上的像素点作为下眼睑有效点。
本实施例中,最长的下眼睑连续线段的左右两个端点分别往左边和右边进行逐点搜索,搜索的范围是相邻列像素上的与相应侧端点纵坐标差值小于第五阈值的像素点作为搜索对象,本实施例中第五阈值取值为2,也就是该相邻列上的位于该端点上方两个像素点、下方两个像素点以及与该端点相连的像素点共五个像素点。
在步骤S602中,还包括如下剔除步骤:
S6020:在下眼睑区域的瞳孔区域内选定预设点,以通过该预设点的分隔线将下眼睑区域分为上下布置的两个矩形单元;
S6021:对两矩形单元进行二值化处理,将虹膜外边界各像素点取值为1,其余区域取值为0,得到两个矩形单元二值图,对两矩形单元二值图的虹膜外边界分别进行膨胀处理,形成第四掩码区域(图中白色部分),参见图8所示,本实施例中,由于虹膜区域外边界呈现渐变的形态,因此,在第四掩码区域中,上部分的膨胀系数大,可更好的减少虹膜区域外边界的干扰;而下部分膨胀系数过大会过多遮挡下眼睑区域,干扰下眼睑有效点的二次查找,因此下部分采用较小的膨胀系数;
S6022:如果搜索对象中存在位于第四掩码区域的像素点,则将这些位于第四掩码区域的像素点从搜索对象中剔除掉。
S7:对上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线。
具体地,上眼睑有效点和下眼睑有效点均通过如下方法分别进行拟合:记有上眼睑有效点(或下眼睑有效点)个数为n,上眼睑有效点(或下眼睑有效点)构成的曲线为f(x),上眼睑有效点(或下眼睑有效点)记为(xi,f(xi)),i=1,2...n。采用最小二乘法对上眼睑有效点(或下眼睑有效点)进行二次多项式拟合,拟合方程为:
Figure GDA0002811107260000161
计算平方误差为:
Figure GDA0002811107260000162
为使R(a1,a2,a3)达到最小,应满足:
Figure GDA0002811107260000163
Figure GDA0002811107260000164
记:
A=[a0 a1 a2]′,
Figure GDA0002811107260000165
Figure GDA0002811107260000166
采取LU分解法解方程:
XA=Y。
获得矩阵A即获得了二次多项式拟合曲线方程的参数,即可获得眼睑的拟合曲线。如图9所示。
参见图10所示,本发明还提供了一种基于gabor滤波的快速眼睑检测系统,其包括:
眼睑区域获取模块1,其用于获取眼部图片,在眼部图片中划分出上眼睑区域和下眼睑区域;
梯度图获取模块2,其用于对上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
候选点获取模块3,其用于基于上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
第一有效候选点获取模块4,其用于基于上眼睑候选点,获取上眼睑候选线段,并根据上眼睑候选线段,获取上眼睑有效点;
第二有效候选点获取模块5,其用于基于下眼睑候选点,获取下眼睑候选线段,并根据下眼睑候选线段,获取下眼睑有效点;
眼睑拟合曲线获取模块6,其用于对上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线。
本发明不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于gabor滤波的快速眼睑检测方法,其特征在于,包括如下步骤:
获取眼部图片,在所述眼部图片中划分出上眼睑区域和下眼睑区域;
对所述上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
基于所述上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
基于所述上眼睑候选点,获取上眼睑候选线段,并根据所述上眼睑候选线段,获取上眼睑有效点;
基于所述下眼睑候选点,获取下眼睑有效点;
对所述上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线;其中,
获取所述上眼睑候选点包括如下步骤:
-对所述上眼睑区域进行二值化处理,得到上眼睑二值图,对所述上眼睑二值图的瞳孔区域进行膨胀处理,形成第一掩码区域;
-搜索所述上眼睑梯度图每列像素中具有最大能量值的像素点,得到上眼睑待选点,剔除所述上眼睑待选点中位于所述第一掩码区域的像素点,得到上眼睑初始候选点和候选点空缺列集合;
-对所述候选点空缺列集合进行抛物线插值,获得插值候选点,所述插值候选点不在所述第一掩码区域内;
-所述上眼睑初始候选点与所述插值候选点共同组成所述上眼睑候选点;
获取所述上眼睑候选线段包括如下步骤:
-A1:基于所述上眼睑候选点,获取上眼睑连续线段;
-A2:判断上眼睑连续线段的数量是否大于1,若不大于1,则转入A6,若大于1,则转入A3;
-A3:自上眼睑区域一侧向另一侧,依次判断相邻的两个上眼睑连续线段之间是否存在跳跃点,若不存在跳跃点,则转入A5;若存在跳跃点,则转入A4;
-A4:判断两所述上眼睑连续线段相近的两个端点纵坐标之差是否大于预设像素值,若大于预设像素值,则转入A5,若小于预设像素值,则将两所述上眼睑连续线段连接为新的上眼睑连续线段,并转入A2;
-A5:将两所述上眼睑连续线段认定为上眼睑候选线段;
-A6:将该上眼睑连续线段认定为上眼睑候选线段;
获取所述上眼睑有效点包括如下步骤:
-B1:搜索最长的上眼睑候选线段,判断其长度是否小于第一阈值,若是,则转入B2,若否,则转入B5;
-B2:搜索第二长的上眼睑候选线段,判断其长度是否大于第二阈值,若是,则转入B3,若否,则转入B5;
-B3:判断最长和第二长的上眼睑候选线段长度之和是否小于第三阈值,若是,则转入B4,若否,则转入B6;
-B4:搜索第三长的上眼睑候选线段,判断其长度是否大于第四阈值,若是,则转入B7;若否,则转入B6;
-B5:将最长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B6:将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B7:将最长、第二长和第三长的上眼睑候选线段上的像素点作为上眼睑有效点;
获取所述下眼睑候选点包括如下步骤:
-对所述下眼睑区域进行二值化处理,得到下眼睑二值图,对所述下眼睑二值图的瞳孔区域和虹膜外边界分别进行膨胀处理,形成第二掩码区域和第三掩码区域;
-搜索所述下眼睑梯度图每列像素中具有最大能量值的像素点,得到下眼睑待选点,剔除所述下眼睑待选点中位于所述第二掩码区域和第三掩码区域的像素点,得到下眼睑候选点;
获取所述下眼睑有效点包括如下步骤:
-C1:基于所述下眼睑候选点,获取最长的下眼睑连续线段;
-C2:判断所述最长的下眼睑连续线段端点外侧是否存在与该端点相邻的列像素,若存在,则选取该列像素上的与该端点纵坐标差值小于第五阈值的像素点作为搜索对象,转入C3,若不存在,则转入C4;
-C3:搜索所述搜索对象内具有最大能量值的像素点,将该像素点与最长的下眼睑连续线段连接为新的最长的下眼睑连续线段,并返回C2;
-C4:将最长的下眼睑连续线段上的像素点作为下眼睑有效点。
2.如权利要求1所述的基于gabor滤波的快速眼睑检测方法,其特征在于:
对所述上眼睑区域和下眼睑区域滤波之前,还包括对所述上眼睑区域和下眼睑区域进行睫毛去除的步骤。
3.如权利要求1所述的基于gabor滤波的快速眼睑检测方法,其特征在于,对所述候选点空缺列集合进行抛物线插值包括如下步骤:
从所述上眼睑初始候选点中选择两个像素点作为两个插值基准点,利用两所述插值基准点对所述候选点空缺列集合进行抛物线插值;
其中,两所述插值基准点为与所述候选点空缺列集合中位于外侧的两列分别相邻的两个上眼睑初始候选点。
4.如权利要求1所述的基于gabor滤波的快速眼睑检测方法,其特征在于,将两所述上眼睑连续线段连接为新的上眼睑连续线段包括如下步骤:
将两所述端点纵坐标的平均值作为所述跳跃点的纵坐标。
5.一种基于gabor滤波的快速眼睑检测系统,其特征在于,其包括:
眼睑区域获取模块,其用于获取眼部图片,在所述眼部图片中划分出上眼睑区域和下眼睑区域;
梯度图获取模块,其用于对所述上眼睑区域和下眼睑区域分别进行滤波,得到上眼睑梯度图和下眼睑梯度图;
候选点获取模块,其用于基于所述上眼睑梯度图和下眼睑梯度图每列像素中具有最大能量值的像素点,分别获得上眼睑候选点和下眼睑候选点;
第一有效候选点获取模块,其用于基于所述上眼睑候选点,获取上眼睑候选线段,并根据所述上眼睑候选线段,获取上眼睑有效点;
第二有效候选点获取模块,其用于基于所述下眼睑候选点,获取下眼睑有效点;
眼睑拟合曲线获取模块,其用于对所述上眼睑有效点和下眼睑有效点分别进行二次多项式拟合,获得上眼睑拟合曲线和下眼睑拟合曲线;其中,
候选点获取模块用于执行如下步骤:
-对所述上眼睑区域进行二值化处理,得到上眼睑二值图,对所述上眼睑二值图的瞳孔区域进行膨胀处理,形成第一掩码区域;
-搜索所述上眼睑梯度图每列像素中具有最大能量值的像素点,得到上眼睑待选点,剔除所述上眼睑待选点中位于所述第一掩码区域的像素点,得到上眼睑初始候选点和候选点空缺列集合;
-对所述候选点空缺列集合进行抛物线插值,获得插值候选点,所述插值候选点不在所述第一掩码区域内;
-所述上眼睑初始候选点与所述插值候选点共同组成所述上眼睑候选点;以及,
-对所述下眼睑区域进行二值化处理,得到下眼睑二值图,对所述下眼睑二值图的瞳孔区域和虹膜外边界分别进行膨胀处理,形成第二掩码区域和第三掩码区域;
-搜索所述下眼睑梯度图每列像素中具有最大能量值的像素点,得到下眼睑待选点,剔除所述下眼睑待选点中位于所述第二掩码区域和第三掩码区域的像素点,得到下眼睑候选点;
第一有效候选点获取模块用于执行如下步骤:
-A1:基于所述上眼睑候选点,获取上眼睑连续线段;
-A2:判断上眼睑连续线段的数量是否大于1,若不大于1,则转入A6,若大于1,则转入A3;
-A3:自上眼睑区域一侧向另一侧,依次判断相邻的两个上眼睑连续线段之间是否存在跳跃点,若不存在跳跃点,则转入A5;若存在跳跃点,则转入A4;
-A4:判断两所述上眼睑连续线段相近的两个端点纵坐标之差是否大于预设像素值,若大于预设像素值,则转入A5,若小于预设像素值,则将两所述上眼睑连续线段连接为新的上眼睑连续线段,并转入A2;
-A5:将两所述上眼睑连续线段认定为上眼睑候选线段;
-A6:将该上眼睑连续线段认定为上眼睑候选线段;以及,
-B1:搜索最长的上眼睑候选线段,判断其长度是否小于第一阈值,若是,则转入B2,若否,则转入B5;
-B2:搜索第二长的上眼睑候选线段,判断其长度是否大于第二阈值,若是,则转入B3,若否,则转入B5;
-B3:判断最长和第二长的上眼睑候选线段长度之和是否小于第三阈值,若是,则转入B4,若否,则转入B6;
-B4:搜索第三长的上眼睑候选线段,判断其长度是否大于第四阈值,若是,则转入B7;若否,则转入B6;
-B5:将最长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B6:将最长和第二长的上眼睑候选线段上的像素点作为上眼睑有效点;
-B7:将最长、第二长和第三长的上眼睑候选线段上的像素点作为上眼睑有效点;
第二有效候选点获取模块用于执行如下步骤:
-C1:基于所述下眼睑候选点,获取最长的下眼睑连续线段;
-C2:判断所述最长的下眼睑连续线段端点外侧是否存在与该端点相邻的列像素,若存在,则选取该列像素上的与该端点纵坐标差值小于第五阈值的像素点作为搜索对象,转入C3,若不存在,则转入C4;
-C3:搜索所述搜索对象内具有最大能量值的像素点,将该像素点与最长的下眼睑连续线段连接为新的最长的下眼睑连续线段,并返回C2;
-C4:将最长的下眼睑连续线段上的像素点作为下眼睑有效点。
CN201810987733.7A 2018-08-28 2018-08-28 基于gabor滤波的快速眼睑检测方法及系统 Active CN109190548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810987733.7A CN109190548B (zh) 2018-08-28 2018-08-28 基于gabor滤波的快速眼睑检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810987733.7A CN109190548B (zh) 2018-08-28 2018-08-28 基于gabor滤波的快速眼睑检测方法及系统

Publications (2)

Publication Number Publication Date
CN109190548A CN109190548A (zh) 2019-01-11
CN109190548B true CN109190548B (zh) 2021-04-20

Family

ID=64916458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810987733.7A Active CN109190548B (zh) 2018-08-28 2018-08-28 基于gabor滤波的快速眼睑检测方法及系统

Country Status (1)

Country Link
CN (1) CN109190548B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471194B (zh) * 2019-01-23 2021-01-15 上海理工大学 人眼前倾角的测量方法
CN111695474B (zh) * 2020-06-03 2021-12-10 福建福特科光电股份有限公司 一种对人眼虹膜图像γ曲线自适应调整的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN102043954A (zh) * 2011-01-30 2011-05-04 哈尔滨工业大学 一种基于相关函数匹配的快速稳健的虹膜识别方法
CN104951817A (zh) * 2014-03-24 2015-09-30 丰田自动车株式会社 边界检测装置和边界检测方法
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备
CN108135467A (zh) * 2015-08-21 2018-06-08 奇跃公司 眼睑形状估计

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
AU2016310451B2 (en) * 2015-08-21 2021-04-22 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692980A (zh) * 2009-10-30 2010-04-14 吴泽俊 疲劳驾驶检测方法
CN102043954A (zh) * 2011-01-30 2011-05-04 哈尔滨工业大学 一种基于相关函数匹配的快速稳健的虹膜识别方法
CN104951817A (zh) * 2014-03-24 2015-09-30 丰田自动车株式会社 边界检测装置和边界检测方法
CN108135467A (zh) * 2015-08-21 2018-06-08 奇跃公司 眼睑形状估计
CN106407893A (zh) * 2016-08-29 2017-02-15 东软集团股份有限公司 一种检测车道线的方法、装置和设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《A method of detecting and tracking irises and eyelids》;S. Sirohey et al;;《Pattern Recognition》;20021231;第1389–1401页; *
《一种新的虹膜图像预处理眼睑定位算法》;岳学东 等;;《光电工程》;20080831;第35卷(第8期);第66-70页; *
《基于 Seam Carving 的海天线检测算法》;梁世花 等;;《红外与激光工程》;20131031;第42卷(第10期);第2817-2821页; *

Also Published As

Publication number Publication date
CN109190548A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN107316031B (zh) 用于行人重识别的图像特征提取方法
CN107871322B (zh) 虹膜图像分割方法和装置
WO2021003824A1 (zh) 基于图像识别的违章建筑识别方法、装置
Lee Copy-move image forgery detection based on Gabor magnitude
CN102663354B (zh) 人脸标定方法和系统
US8948510B2 (en) Method for merging the regions in the image/video
CN105354558B (zh) 人脸图像匹配方法
CN108491498B (zh) 一种基于多特征检测的卡口图像目标搜索方法
CN104217221A (zh) 基于纹理特征的书画作品检测方法
CN102096823A (zh) 基于高斯模型和最小均方差的人脸检测方法
Abate et al. BIRD: Watershed based iris detection for mobile devices
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN102646193A (zh) 一种环形排布字符图像分割方法
CN109190548B (zh) 基于gabor滤波的快速眼睑检测方法及系统
CN109949227A (zh) 图像拼接方法、系统及电子设备
CN109785321A (zh) 基于深度学习和Gabor滤波器的睑板腺区域提取方法
CN110427979B (zh) 基于K-Means聚类算法的道路水坑识别方法
CN117710399B (zh) 一种基于视觉的地质调查中裂缝轮廓提取方法
Hsu et al. An efficient detection algorithm for copy-move forgery
CN111539320A (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN108229247A (zh) 一种移动车辆检测方法
CN110163182A (zh) 一种基于kaze特征的手背静脉识别方法
CN105608689A (zh) 一种全景拼接消除图像特征误匹配方法及装置
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
CN106462775A (zh) 离散边缘分组模板匹配系统、方法和计算机可读媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant