CN109376649A - 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法 - Google Patents

Abstract

本发明公开了一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法，该方法主要包括：重新标定图像的黑色区域，以降低噪声和计算量；结合局部特征对图像进行滤波，生成眼皮的似然图；在似然图上检测边缘；根据眼皮的方向和水平移动，选择两条边缘来表示眼皮的方向、计算强度值和累积灰度值；将输入图像划分为垂直五个部分，对于每个部分，找到一对最远和最短强度导数，两组代表上下眼皮，上眼皮和下眼皮点之间的平均距离计算和用作眼间隙度量，在虹膜识别方面，采用眼皮检测改善虹膜分割，提高识别率。本发明改进了眼皮孔径评估效率，使其相对于最先进的方法提高了30个百分点，同时减少了其他眼睛特征的搜索时间，提高了识别效率。

Description

一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法

技术领域

本发明涉及一种计算识别上下眼皮的方法，特别是涉及一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法。

背景技术

人眼皮是一种皮肤褶皱，其目的是保护眼球的前表面。在这些任务中，眼皮有助于调节到达眼睛的光量(例如，凝视明亮光源时眯起眼睛)以及眼睛的维持(例如，在眨眼期间将泪膜分布在角膜上)。眼睛健康，这些任务会显着地改变眼睛的外观，给基于图像生物识别的相关眼睛特征的识别带来无数的问题。例如，它们可能导致瞳孔和虹膜被遮挡的程度或阻碍它们的照明补光。此外，眼皮可能会根据摄像机的眼睛位置而不断地封闭这些眼睛特征。因此，一个准确而健壮的眼睛眼皮位置的评估方法可以用来验证(甚至减少)感兴趣特征的搜索空间。此外，正确评估眼皮孔径对于眨眼、警觉、疲劳和嗜睡的识别也有直接的适用性

目前在虹膜识别，疲劳检测方面对于眼皮的检测时间消耗和精准度，效率普遍不高。

有多个公开可用的数据集包含眼皮数据注通常需要长时间的注册，处理优先顺序。文献中最广泛的数据集是ubiris和Casia数据集。然而，这些数据集是为生物测量目的而设计的，因此通常遵循准则，以确保数据中存在的信息量和遮挡虹膜的噪声的比例满足某些要求-- 例如，虹膜直径至少为140像素。因此，当考虑到实际现场虹膜图像采集的情况下，这些数据是不现实的。

发明内容

为了克服现有技术的不足，本发明提供一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法，能解决目前在虹膜识别，疲劳检测方面对于眼皮的检测时间消耗和精准度，效率普遍不高的问题。

为解决上述技术问题，本发明提供如下技术方案：

一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法，选择分别位于下眼皮和上眼皮的两组像素Pix-l和Pix-U，然后将它们用于拟合表示每个眼皮轮廓的函数；该方法主要包括：

(1)重新标定图像的黑色区域，以降低噪声和计算量；

(2)结合局部特征对图像进行滤波，生成眼皮的似然图；

(3)在似然图上检测边缘；根据眼皮的方向和水平移动，选择两条边缘来表示眼皮的方向、计算强度值和累积灰度值；将输入图像划分为垂直五个部分，对于每个部分，找到一对最远和最短强度导数，两组代表上下眼皮，上眼皮和下眼皮点之间的平均距离计算和用作眼间隙度量，在虹膜识别方面，采用眼皮检测改善虹膜分割，提高识别率。

优选的，具体的实现步骤为：

1)缩放图像用于生成似然图：为了保存位于靠近眼睑暗淡的区域纹理,例如睫毛等，我们采用降低操作阈值，有利于低强度的像素；让RF成为一个降尺度因子,该缩小的图像的值RD从像素Pix-i∈Img (Pix-I＝Pi),基于方形滑动窗口Width(W)与L＝2*RF+1像素和像素计算步幅RF两侧，对于Width的每个位置，窗口中的平均强度u被计算为

计算窗口强度直方图Hist，并且图像中的相对应像素值d计算公式为

2)生成似然图：利用似然图生成四个不同的局部特征，即均值、标准差、偏度和水平边缘；对于缩小图RD中的每个像素，这些特征都是从以该像素为中心的邻域中导出的；在一个大小为7像素的局部矩形窗口上计算均值、标准差和偏度，并充当旋转不变稀疏边缘滤波器；此外，这些滤波器还可以作为旋转不变稀疏边缘滤波器，对睫毛部分覆盖的边缘也作出处理反馈；

计算平均值为第一阶矩(M1)，并以缩小图像的补码作为输入(加权靠近眼皮较高的小阴影)；计算平均标准偏差为第二阶矩(M2)；计算平均偏度为第三阶矩(M3)；使用Prwitt算子检测水平边缘，去掉部分伪边缘，对噪声进行平滑处理，并作为似然图中水平边缘的强化；值得注意的是，即使眼睛与摄像机水平不对齐，眼皮的某些部分也会由于眼皮的弧形性质而引起生物反应。每个特征都产生一个相关的图：均值(M1)、标准差(M2)、倾斜度(M3)和水平边缘(E)图；这些逐点进行乘除地组合起来生成似然图L为

有效地实现了E、M1和M2的高通滤波器和M3的低通滤波器；在 L上采用了一个高度为3个像素、覆盖了L宽度30％的均值滤波器，以连接水平不相交的高似然区域，并增加了直线水平边缘部分的响应。这一操作引入了一些噪声，通过将可忽略的设置为0，可以部分消除这些噪声(比如值小于最大值0.1％到1％都可以改为0),此外，我们也将似然眼皮区域外的似然映射值设置为零，该区域的边界是根据平均水平强度值分布来确定的，考虑到瞳孔和虹膜相对于上面和下面的皮肤斑块呈现出较低的生物强度特征值，在分析之前，用均值滤波器 7像素平滑分布以去除高尖峰和空洞，然后确定所有局部最大值和最小值；两个不同极大值与一个最小值的集合数组{MAXa；MAXb；MIN},

Dis tan ce＝MAX_a+MAX_b-2*MIN

这个距离的的最大值Distance(D)上面的公式用于确定边界，这些边界设置为MAXa和MAXb,这将得到细化的似然映射Lr；输入图像通过对其进行均值滤波滤掉高尖峰和空洞得到，通过局部的极大值和最小值可以模糊确定眼皮的边界得到图像；

3)边缘检测和选择：对生成的似然图Lr的边缘检测和选择采用非最大抑制方法，然后进行细化的形态学运算，得到一组边缘，让 E-i和E-j是两个不同的边缘，而边缘的平均位置是属于边缘的所有像素的平均位置，计算每一对边缘(Ei；Ej)的四个特征指标量:∑_l；δ_h；α；τ；

∑_l:似然图进行累积运算；

δ_h：水平偏移被定义为在边缘的平均位置的水平分量之间的距离；

α：相对角度定义为归一化边缘平均位置之间的夹角；

τ：图像强度定义为由7*7像素矩形框区域的平均强度与连接的向量中的每个像素正交的像素边的平均位置；

然后通过下面公式进行对每一对边缘的以上四个分量进行计算总分,可以认为分数最大的一对是眼皮；

Score(E_i，E_j)＝E_l*δ_h*α*τ

之后，从Lr似然图中移除小于最大值1/3的边缘点，以减弱滤波器在前面步骤中引入的假边的影响；

4)评估眼皮的孔径：利用上、下眼皮的端点拟合两条Bézier曲线；一条曲线使用上眼皮端点作为第一个和最后的控制点，另一条曲线使用下眼皮的控制点，这两条曲线的拟合成椭圆形状近似于眼线，根据最大距离的两个正交点来确定，并以短轴作为眼皮孔径的评估值，基于Bézier曲线的方法的主要优点是Bézier曲线的拟合是一个稳定的过程，而相关工作中常用的多项式拟合方法是不稳定的，因此该算法在不同的场景中表现得更加一致；不过这种方法对眼睛的斑纹 区域无效果；然而，这些区域可以被忽略，也不会丢失信息，因为它 们与评估眼皮孔径无关，感兴趣的特征(例如瞳孔，虹膜)不在这些区 域。

与现有技术相比，本发明能达到的有益效果是：

本发明改进了眼皮孔径评估效率，使其相对于最先进的方法提高了30个百分点，同时减少了其他眼睛特征的搜索时间，提高了识别效率。

附图说明

图1是本发明似然图生成模拟示意图；

图2是本发明原始输入图像；

图3是本发明通过对原始图像进行均值滤波滤掉高尖峰和空洞后图像；

图4是本发明确定滤波后所有局部最大值和最小值图像；

图5是本发明确定最大值后的边界图像。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参照图1-5所示，本发明提供一种从眼部灰度图像缩小似然图 计算识别上下眼皮的方法，选择分别位于下眼皮和上眼皮的两组像素 Pix-l和Pix-U，然后将它们用于拟合表示每个眼皮轮廓的函数；该 方法主要包括：

(1)重新标定图像的黑色区域，以降低噪声和计算量；

(2)结合局部特征对图像进行滤波，生成眼皮的似然图；

(3)在似然图上检测边缘；根据眼皮的方向和水平移动，选择两条边缘来表示眼皮的方向、计算强度值和累积灰度值；将输入图像划分为垂直五个部分，对于每个部分，找到一对最远和最短强度导数，两组代表上下眼皮，上眼皮和下眼皮点之间的平均距离计算和用作眼间隙度量，在虹膜识别方面，采用眼皮检测改善虹膜分割，提高识别率。

具体的实现步骤为：

1)缩放图像用于生成似然图：为了保存位于靠近眼睑暗淡的区域纹理,例如睫毛等，我们采用降低操作阈值，有利于低强度的像素；让RF成为一个降尺度因子,该缩小的图像的值RD从像素Pix-i∈Img (Pix-I＝Pi),基于方形滑动窗口Width(W)与L＝2*RF+1像素和像素计算步幅RF两侧，对于Width的每个位置，窗口中的平均强度u被计算为

计算窗口强度直方图Hist，并且图像中的相对应像素值d计算公式为

2)生成似然图：利用似然图生成四个不同的局部特征，即均值、标准差、偏度和水平边缘；对于缩小图RD中的每个像素，这些特征都是从以该像素为中心的邻域中导出的；在一个大小为7像素的局部矩形窗口上计算均值、标准差和偏度，并充当旋转不变稀疏边缘滤波器；此外，这些滤波器还可以作为旋转不变稀疏边缘滤波器，对睫毛部分覆盖的边缘也作出处理反馈；

计算平均值为第一阶矩(M1)，并以缩小图像的补码作为输入(加权靠近眼皮较高的小阴影)；计算平均标准偏差为第二阶矩(M2)；计算平均偏度为第三阶矩(M3)；使用Prwitt算子检测水平边缘，去掉部分伪边缘，对噪声进行平滑处理，并作为似然图中水平边缘的强化；值得注意的是，即使眼睛与摄像机水平不对齐，眼皮的某些部分也会由于眼皮的弧形性质而引起生物反应。每个特征都产生一个相关的图：均值(M1)、标准差(M2)、倾斜度(M3)和水平边缘(E)图；这些逐点进行乘除地组合起来生成似然图L为

有效地实现了E、M1和M2的高通滤波器和M3的低通滤波器；在L上采用了一个高度为3个像素、覆盖了L宽度30％的均值滤波器， 以连接水平不相交的高似然区域，并增加了直线水平边缘部分的响 应。这一操作引入了一些噪声，通过将可忽略的设置为0，可以部分消除这些噪声(比如值小于最大值0.1％到1％都可以改为0),此外， 我们也将似然眼皮区域外的似然映射值设置为零，该区域的边界是根 据平均水平强度值分布来确定的，考虑到瞳孔和虹膜相对于上面和下 面的皮肤斑块呈现出较低的生物强度特征值，在分析之前，用均值滤 波器7像素平滑分布以去除高尖峰和空洞(图3)，然后确定所有局部 最大值和最小值(图4)；两个不同极大值与一个最小值的集合数组 {MAXa；MAXb；MIN},

Dis tan ce＝MAX_a+MAX_b-2*MIN

这个距离的的最大值Distance(D)上面的公式用于确定边界，这 些边界设置为MAXa和MAXb(图5),这将得到细化的似然映射Lr；输 入(图2)图像通过对其进行均值滤波滤掉高尖峰和空洞得到(图3)， 通过局部的极大值和最小值可以模糊确定眼皮的边界得到图像(图 5)；

说明：输入图2图像通过对其进行均值滤波滤掉高尖峰和空洞得到 图3，通过局部的极大值和最小值可以模糊确定眼皮的边界得到图像 图5。

3)边缘检测和选择：对生成的似然图Lr的边缘检测和选择采用非最大抑制方法，然后进行细化的形态学运算，得到一组边缘，让 E-i和E-j是两个不同的边缘，而边缘的平均位置是属于边缘的所有像素的平均位置，计算每一对边缘(Ei；Ej)的四个特征指标量:∑_l；δ_h；α；τ；

∑_l:似然图进行累积运算；

δ_h：水平偏移被定义为在边缘的平均位置的水平分量之间的距离；

α：相对角度定义为归一化边缘平均位置之间的夹角；

τ：图像强度定义为由7*7像素矩形框区域的平均强度与连接的向量中的每个像素正交的像素边的平均位置；

然后通过下面公式进行对每一对边缘的以上四个分量进行计算总分,可以认为分数最大的一对是眼皮；

Score(E_i，E_j)＝E_l*δ_h*α*τ

之后，从Lr似然图中移除小于最大值1/3的边缘点，以减弱滤波器在前面步骤中引入的假边的影响；

4)评估眼皮的孔径：利用上、下眼皮的端点拟合两条Bézier曲线；一条曲线使用上眼皮端点作为第一个和最后的控制点，另一条曲线使用下眼皮的控制点，这两条曲线的拟合成椭圆形状近似于眼线，根据最大距离的两个正交点来确定，并以短轴作为眼皮孔径的评估值，基于Bézier曲线的方法的主要优点是Bézier曲线的拟合是一个稳定的过程，而相关工作中常用的多项式拟合方法是不稳定的，因此该算法在不同的场景中表现得更加一致；不过这种方法对眼睛的斑纹区域无效果；然而，这些区域可以被忽略，也不会丢失信息，因为它们与评估眼皮孔径无关，感兴趣的特征(例如瞳孔，虹膜)不在这些区域。

为了比较所提出的方法，采用vasir项目的方法来检测眼皮，结合“眼间隙”测量，发现vasir在某些情况下使用的三次多项式近似眼皮是相对不稳定的；因此，还对同样的方法进行了评估，用一个三次多项式代替了二次多项式，因此，前者被称为vasir-3d，后者称为 vasir-2d。

正如前面提到的，眼皮检测主要与两个研究领域有关。对于警惕、疲劳和嗜睡检测，记录数据以评估这些特定指标，而没有给出真实的眼皮评测标准。据我们所知，这些数据集都是不可公开的。

对于第二个领域，即虹膜识别，有多个公开可用的数据集包含眼皮数据，尽管它们通常需要长时间的注册。文献中最广泛的数据集是 ubiris和Casia数据集。然而，这些数据集是为生物测量目的而设计的，因此通常遵循准则，以确保数据中存在的信息量和遮挡虹膜的噪声的比例满足某些要求--例如，虹膜直径至少为140像素。因此，当考虑到实时环境中的眼皮检测评估和计算孔径时，这些数据是不现实的，而且增加了计算量。

本发明改进了眼皮孔径评估效率，使其相对于最先进的方法提高了30个百分点，同时减少了其他眼睛特征的搜索时间，提高了识别效率。

本发明的实施方式不限于此，按照本发明的上述实施例内容，利用本领域的常规技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，以上优选实施例还可以做出其它多种形式的修改、替换或组合，所获得的其它实施例均落在本发明权利保护范围之内。

Claims (2)

1.一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法，其特征在于，选择分别位于下眼皮和上眼皮的两组像素Pix-l和Pix-U，然后将它们用于拟合表示每个眼皮轮廓的函数；该方法主要包括：

(1)重新标定图像的黑色区域，以降低噪声和计算量；

(2)结合局部特征对图像进行滤波，生成眼皮的似然图；

(3)在似然图上检测边缘；根据眼皮的方向和水平移动，选择两条边缘来表示眼皮的方向、计算强度值和累积灰度值；将输入图像划分为垂直五个部分，对于每个部分，找到一对最远和最短强度导数，两组代表上下眼皮，上眼皮和下眼皮点之间的平均距离计算和用作眼间隙度量，在虹膜识别方面，采用眼皮检测改善虹膜分割，提高识别率。

2.根据权利要求1所述的一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法，其特征在于，具体的实现步骤为：

1)缩放图像用于生成似然图：为了保存位于靠近眼睑暗淡的区域纹理,例如睫毛等，我们采用降低操作阈值，有利于低强度的像素；让RF成为一个降尺度因子,该缩小的图像的值RD从像素Pix-i∈Img(Pix-I＝Pi),基于方形滑动窗口Width(W)与L＝2*RF+1像素和像素计算步幅RF两侧，对于Width的每个位置，窗口中的平均强度u被计算为

计算窗口强度直方图Hist，并且图像中的相对应像素值d计算公式为

2)生成似然图：利用似然图生成四个不同的局部特征，即均值、标准差、偏度和水平边缘；对于缩小图RD中的每个像素，这些特征都是从以该像素为中心的邻域中导出的；在一个大小为7像素的局部矩形窗口上计算均值、标准差和偏度，并充当旋转不变稀疏边缘滤波器；此外，这些滤波器还可以作为旋转不变稀疏边缘滤波器，对睫毛部分覆盖的边缘也作出处理反馈；

计算平均值为第一阶矩(M1)，并以缩小图像的补码作为输入(加权靠近眼皮较高的小阴影)；计算平均标准偏差为第二阶矩(M2)；计算平均偏度为第三阶矩(M3)；使用Prwitt算子检测水平边缘，去掉部分伪边缘，对噪声进行平滑处理，并作为似然图中水平边缘的强化；值得注意的是，即使眼睛与摄像机水平不对齐，眼皮的某些部分也会由于眼皮的弧形性质而引起生物反应。每个特征都产生一个相关的图：均值(M1)、标准差(M2)、倾斜度(M3)和水平边缘(E)图；这些逐点进行乘除地组合起来生成似然图L为

有效地实现了E、M1和M2的高通滤波器和M3的低通滤波器；在L上采用了一个高度为3个像素、覆盖了L宽度30％的均值滤波器，以连接水平不相交的高似然区域，并增加了直线水平边缘部分的响应。这一操作引入了一些噪声，通过将可忽略的设置为0，可以部分消除这些噪声(比如值小于最大值0.1％到1％都可以改为0),此外，我们也将似然眼皮区域外的似然映射值设置为零，该区域的边界是根据平均水平强度值分布来确定的，考虑到瞳孔和虹膜相对于上面和下面的皮肤斑块呈现出较低的生物强度特征值，在分析之前，用均值滤波器7像素平滑分布以去除高尖峰和空洞，然后确定所有局部最大值和最小值；两个不同极大值与一个最小值的集合数组{MAXa；MAXb；MIN},

Distance＝MAX_a+MAX_b-2*MIN

这个距离的的最大值Distance(D)上面的公式用于确定边界，这些边界设置为MAXa和MAXb,这将得到细化的似然映射Lr；输入图像通过对其进行均值滤波滤掉高尖峰和空洞得到，通过局部的极大值和最小值可以模糊确定眼皮的边界得到图像；

3)边缘检测和选择：对生成的似然图Lr的边缘检测和选择采用非最大抑制方法，然后进行细化的形态学运算，得到一组边缘，让E-i和E-j是两个不同的边缘，而边缘的平均位置是属于边缘的所有像素的平均位置，计算每一对边缘(Ei；Ej)的四个特征指标量:∑_l；δ_h；α；τ；

∑_l:似然图进行累积运算

δ_h：水平偏移被定义为在边缘的平均位置的水平分量之间的距离；

α：相对角度定义为归一化边缘平均位置之间的夹角；

τ：图像强度定义为由7*7像素矩形框区域的平均强度与连接的向量中的每个像素正交的像素边的平均位置；

然后通过下面公式进行对每一对边缘的以上四个分量进行计算总分,可以认为分数最大的一对是眼皮；

Score(E_i，E_j)＝E_l*δ_h*α*τ

之后，从Lr似然图中移除小于最大值1/3的边缘点，以减弱滤波器在前面步骤中引入的假边的影响；

4)评估眼皮的孔径：利用上、下眼皮的端点拟合两条Bézier曲线；一条曲线使用上眼皮端点作为第一个和最后的控制点，另一条曲线使用下眼皮的控制点，这两条曲线的拟合成椭圆形状近似于眼线，根据最大距离的两个正交点来确定，并以短轴作为眼皮孔径的评估值，基于Bézier曲线的方法的主要优点是Bézier曲线的拟合是一个稳定的过程，而相关工作中常用的多项式拟合方法是不稳定的，因此该算法在不同的场景中表现得更加一致；不过这种方法对眼睛的斑纹区域无效果；然而，这些区域可以被忽略，也不会丢失信息，因为它们与评估眼皮孔径无关，感兴趣的特征(例如瞳孔，虹膜)不在这些区域。