CN110751064A - 基于图像处理的眨眼次数分析方法和系统 - Google Patents

Abstract

本发明提供了一种基于图像处理的眨眼次数分析方法和系统，涉及图像分析和处理领域。该方法包括：对采集的视频帧进行人眼图像初定位，得到人眼图像；对人眼图像进行预处理，得到光照矫正后的人眼图像；对光照矫正后的人眼图像确定虹膜轮廓以及虹膜上下边界点，以及巩膜轮廓和巩膜上下边界点；确定人眼眼裂高度以及人眼睁开高度；基于确定的人眼眼裂高度以及人眼睁开高度计算单位时间内的眨眼次数。本发明提供的基于图像处理的眨眼次数分析方法和系统，可以基于采集的人眼活动视频帧进行自动分析和检测，利用图像处理方法提取有效的眨眼特征，相比于现有技术，本发明的方案实现较高程度的自动测量，克服了现有技术数据采集困难的缺点，并且方案高效实用客观准确。

Description

基于图像处理的眨眼次数分析方法和系统

技术领域

本发明涉及图像分析和处理领域，尤其是一种基于图像处理的眨眼次数分析方法和系统。

背景技术

在临床上医生对于某些症状或疾病的判断需要在一些行为指标或参数的基础上结合其他诊断理论和临床经验来给出结论。例如对于第二大常见的神经退行性疾病帕金森病 (Parkinson’s disease,PD)，临床上发现，PD患者的眨眼频率远远小于正常人，因此临床上医生可以结合单位时间内的眨眼次数等行为参数和临床经验来进行判断。对于眼动范围的检测目前主要是利用眼动仪来实现人眼视线跟踪。然而，现有的眼动仪价格十分昂贵，且难以对大量数据进行存储和分析；其次在实验过程中，受试者的自由也会受到限制。此外，由于视线跟踪技术还没有完全成熟和眼动本身的特点，造成实验过程中数据可能会中断，存在许多干扰信号等问题，最终导致视线跟踪的准确度降低。如果能不需要借助眼动仪而通过对眨眼次数进行分析，那么将大大降低眨眼分析的成本，并提高分析的准确率。

发明内容

本发明针对现有技术存在的上述技术问题，提供一种基于图像处理的眨眼次数分析方法和系统，通过利用数字信号处理技术，对人眼活动的采集视频图像进行分析，提取人眼虹膜轮廓及巩膜轮廓，利用虹膜和巩膜轮廓的边界点来确定人眼高度，进而实现单位时间内的眨眼次数的分析和判断。

本发明采用的技术方案如下：

一种基于图像处理的眨眼次数分析方法，包括如下步骤：

(1)对采集的视频帧I_frame进行人眼图像初定位，即对包含人眼的所有采集图像进行人眼范围的初步定位，得到初步定位后的人眼图像I_eye；

(2)对人眼图像I_eye进行预处理，并去除光照影响，得到光照矫正后的人眼图像I_eye_color；

(3)对光照矫正后的人眼图像I_eye_color确定虹膜轮廓Contour_Iris以及虹膜上下边界点Point_top_Iris和Point_bottom_Iris；

(4)对光照矫正后的人眼图像I_eye_color确定巩膜轮廓Contour_sclera以及巩膜上下边界点Point_top_sclera和Point_bottom_sclera；

(5)确定人眼眼裂高度Heye以及人眼睁开高度H_opening；

(6)基于确定的人眼眼裂高度Heye以及人眼睁开高度H_opening计算计算单位时间内的眨眼次数N_blink。

进一步的，所述步骤(1)具体包括：

(1.1)对第一帧采集图像视频帧进行人眼图像初定位：

设定第一帧视频帧为I_frame(1)，对I_frame(1)进行初步定位包括利用深度学习的训练模型对人脸进行标定，从标定的特征点中寻找人眼眼裂所在的位置，利用矩形拟合人眼的标定点，从而确定包含人眼初定位的人眼图像I_eye(1)；

(1.2)对其余的视频帧进行人眼图像的初定位：

(1.2.1)确定当前视频帧的人眼活动范围Range_eye；

假设当前视频帧为第n帧，该图像帧记为I_frame(n)，利用前一帧初定位后的人眼图像I_eye(n-1)确定当前帧的人眼活动范围Range_eye；

该活动范围Range_eye的左右边界点的横坐标为Range_left_x和Range_right_x，上下边界点的纵坐标为Range_top_y，Range_bottom_y，分别为：

Range_left_x＝eye_left_x-W

Range_right_x＝eye_right_x+W

Range_top_y＝eye_top_y-H

Range_bottom_y＝eye_bottom_y+H；

其中，W和H分别为人眼图像I_eye(n-1)的宽度和高度；

(1.2.2)基于当前视频帧的人眼活动范围Range_eye对当前视频帧进行人眼初步定位，并依次完成对所有视频帧的人眼初步定位；

利用滑动窗口法将人眼活动范围Range_eye分成多个窗口Window，窗口大小为W×H，设定水平方向的步长为Step_len_x，竖直方向的步长为Step_len_y，则第一个窗口的左上角顶点对应当前帧人眼活动范围Range_eye的左上角顶点；

将每一个窗口Window与前一帧人眼图像I_eye(n-1)计算相似性，寻找其中相似性最高的窗口Window，并将该相似性最高的窗口Window作为当前帧的人眼图像I_eye(n)。

进一步的，所述步骤(2)对人眼图像进行预处理的具体方法为：

对于初定位后的人眼图像I_eye使用自动白平衡算法对提取的人眼图像I_eye消除光照不均匀产生的影响，得到预处理后的图像I_eye_color。

进一步的，所述步骤(3)对光照矫正后的人眼图像I_eye_color确定虹膜轮廓Contour_Iris以及虹膜上下边界点Point_top_Iris和Point_bottom_Iris具体包括：

(3.1)利用HSV空间的肤色检测模型对光照矫正后的人眼图像I_eye_color的非肤色区域进行提取，所述步骤如下：

(3.1.1)将人眼图像I_eye_color从RGB空间转换到HSV空间，得到I_eye_color_HSV；

(3.1.2)判断HSV空间的人眼图像I_eye_color_HSV的每一个像素点对应的H、S、V分量的像素值是否同时满足条件：7<H<20，28<S<256，50<V<256，若满足条件，则将模板mask对应像素点的像素值置为1，否则为0，即：

其中，H(i,j)，S(i,j)和V(i,j)分别为I_eye_color_HSV第(i,j)个像素点在H、S、V空间的像素值；

(3.1.3)将人眼图像I_eye_color与模板mask_HSV相与，得到RGB空间的人眼非肤色图像I_nonSkin1；

(3.2)对提取的RGB空间的人眼非肤色图像I_nonSkin1进行非肤色反转，即将像素值非全0的区域进行反转，得到反转图像I_nonSkin_inverse，即：

(3.3)对反转图像进行二值化处理；

寻找图像I_nonSkin_inverse在R、G、B三个通道内像素最大值，分别为maxR、maxG和maxB，确定maxR、maxG和maxB三者中的最小值minRGB，将(minRGB-20)作为阈值thresh 并用于对图像I_nonSkin_inverse进行二值化处理，得到二值化处理后的图像I_binary1，所述阈值thresh为：

thresh＝min(max(R),max(G),max(B))-20；

(3.4)对图像进行孔洞填充；

利用形态学上的孔洞填充法对图像I_binary1的孔洞进行填充，得到图像 I_holefilled；

(3.5)基于孔洞填充后的I_holefilled图像进行虹膜轮廓Contour_Iris的提取：提取图像I_holefilled中的所有连通域，将面积最大的连通域作为虹膜所在处；

(3.6)基于提取的虹膜轮廓Contour_Iris确定边界点；

对于虹膜轮廓Contour_Iris，寻找该轮廓的上下边界点，分别为Point_top_Iris和 Point_bottom_Iris，即：

Point_top_Iris_y＝min(Contour_Iris_y)

Point_bottom_Iris_y＝max(Contour_Iris_y)

其中，Point_top_Iris_y和Point_bottom_Iris_y表示Point_top_Iris和 Point_bottom_Iris的纵坐标，Contour_Iris_y表示组成虹膜轮廓的点的纵坐标。

进一步的，所述步骤(3.5)中基于孔洞填充后的I_holefilled图像进行虹膜轮廓提取具体包括：

(3.5.1)首先，提取图像I_holefilled中的所有轮廓，形成轮廓集C_hole_set，即：

C_hole_set＝{C_hole₁，C_hole₂，…，，C_holek₁，…，C_hole_n1}

其中，C_hole_k1(1≤k1≤n1)表示第k1个轮廓，n1为图像I_holefilled中的轮廓总数；

(3.5.2)接着，计算每一个轮廓的面积，得到面积集Area_set1，即：

Area_set1＝{Area₁，Area₂，…，Area_k1，…，Area_n1}

其中，Area_k1表示第k1个轮廓的面积；

(3.5.3)寻找面积集Area_set1中面积最大的轮廓C_holemax，该轮廓即为虹膜轮廓 Contour_Iris。

进一步的，所述步骤(4)对光照矫正后的人眼图像I_eye_color确定巩膜轮廓Contour_sclera以及巩膜上下边界点Point_top_sclera和Point_bottom_sclera具体包括：

(4.1)对光照矫正后的人眼图像I_eye_color利用YCrCb空间的肤色检测模型进行检测；

(4.1.1)将人眼图像I_eye_color从RGB空间转换到YCrCb空间，得到 I_eye_color_YCrCb，即：

Y＝0.257R+0.564G+0.098B+16

Cr＝0.439R-0.368G-0.071B+128

Cb＝-0.148R-0.291G+0.439B+128

其中，R、G和B分别表示人眼图像I_eye_color的R、G、B三个分量的像素值，Y、Cr 和Cb分别表示I_eye_color_YCrCb的Y、Cr、Cb三个分量的像素值；

(4.1.2)利用大小为5*5的高斯核对I_eye_color_YCrCb的Cr分量进行平滑，得到图像Cr_smooth；

(4.1.3)利用Otsu阈值法对图像Cr_smooth计算Otsu阈值thresh_Otsu，利用阈值thresh_Otsu对图像Cr_smooth进行二值化处理，得到二值化模板mask_YCrCb，如图14所示。

(4.1.4)将人眼图像I_eye_color与模板mask_YCrCb反转后所得的模板～mask_YCrCb 相与，得到RGB空间的人眼非肤色图像I_nonSkin2，即：

I_nonSkin2＝I_eye_color&～mask_YCrCb

(4.2)图像二值化处理

(4.2.1)将人眼非肤色图像I_nonSkin2转化成灰度图，得到图像Gray_nonSkin2，RGB 彩色图像转灰度图的转换公式如下：

Gray_nonSkin(i,j)＝(I_nonSkin2_R(i,j)+I_nonSkin2_G(i,j)+I_nonSkin2_B(i,j))/3

其中，I_nonSkin2_R，I_nonSkin2_G和I_nonSkin2_B分别表示图像I_nonSkin2在R、 G、B、三个通道的像素值；

(4.2.2)利用Otsu阈值法对图像I_nonSkin2_Gray进行二值化处理，得到对应的二值化图像I_binary2；

(4.3)形态学处理

采用形态学上的开运算，即利用大小为5×5的方形结构元A先对二值图像I_binary2 腐蚀运算，得到边缘平滑的图像I_erosion，腐蚀运算的计算公式如下所示：

再利用结构元A对I_erosion进行膨胀运算，得到图像开运算后的对应图像 I_morphological，计算公式如下所示：

(4.4)寻找图像中的最大连通域并提取巩膜轮廓

提取开运算后的图像I_morphological中的所有连通域，将面积最大的连通域作为巩膜 Contour_sclera所在处；

(4.5)确定巩膜轮廓的边界点

对于巩膜轮廓Contour_sclera，寻找轮廓的上下边界点，分别为Point_top_sclera和Point_bottom_sclera，即：

Point_top_sclera_y＝min(Contour_sclera_y)

Point_bottom_sclera_y＝max(Contour_sclera_y)

其中，Point_top_sclera_y和Point_bottom_sclera_y表示Point_top_sclera和Point_bottom_sclera的纵坐标，Contour_sclera_y表示组成巩膜轮廓的点的纵坐标。

进一步的，所述步骤(4.4)中寻找图像的最大连通域并提取巩膜轮廓具体包括：

(4.4.1)首先，提取图像I_morphological中的所有轮廓，形成轮廓集C_mor_set，即：

C_moor_set＝{C_mor₁，C_mor₂，…，C_mor_k2，…，C_mor_n2}，

其中，C_mor_k2(1≤k2≤n2)表示第k2个轮廓，n2为图像I_morphological中的轮廓总数；

(4.4.2)接着计算每一个轮廓的面积，得到面积集Area_set2，即：

Area_set2＝(Area₁Area₂，…，Areα_k2，…，Area_n2}

其中，Area_k2(1≤k2≤n2)表示第k2个轮廓的面积；

(4.4.3)寻找面积最大的轮廓C_mormax，该轮廓即为巩膜轮廓Contour_sclera。

进一步的，所述步骤(5)中确定人眼眼裂高度Heye以及人眼睁开高度H_opening具体包括：

(5.1)确定人眼眼裂的上下边界点Point_top和Point_bottom；

对于第n帧人眼图像I_eye(n)，提取虹膜轮廓Contour_Iris(n)和巩膜轮廓Contour_sclera(n)以及各自对应的边界点Point_top_Iris(n)和Point_bottom_Iris(n)，Point_top_sclera(n)和Point_bottom_sclera(n)后，将Point_top_Iris_y(n)和 Point_top_sclera_y(n)二者中较小的值作为人眼眼裂的上边界点的纵坐标 Point_top_y(n)，将Point_bottom_Iris_y(n)和Point_bottom_sclera_y(n)二者中较大的值作为人眼眼裂的下边界点的纵坐标Point_bottom_y(n)，即：

Point_top_y(n)＝min(Point_top_Iris_y(n),Point_top_sclera_y(n))

Point_bottom_y(n)＝max(Point_bottom_Iris_y(n),Point_bottom_sclera_y(n))；

(5.2)计算人眼眼裂的高度Heye

计算人眼眼裂的上边界点的纵坐标Point_top_y(n)和下边界点的纵坐标 Point_bottom_y(n)之差，该差值即为人眼眼裂高度Heye(n)，即：

Heye(n)＝Point_bottom_y(n)-Point_top_y(n)；

(5.3)计算人眼睁开高度H_opening

计算所有视频图像帧中人眼眼裂高度的最大值，将该最大值作为人眼睁开时的高度 H_opening，即：

H_opening＝max(Heye)。

进一步的，所述步骤(6)中计算单位时间内的眨眼次数N_blink具体为：

(6.1)首先判断相邻若干帧的人眼高度是否均小于人眼睁开时高度H_opening的1/4，若小于，则表示有一次眨眼过程，否则，表示无眨眼过程：

其中Blink表示相邻若干帧内的眨眼次数，其初始值为0；

(6.2)在确定相邻若干帧内的眨眼次数Blink后再利用视频的帧率fps计算单位时间内的眨眼次数N_blink，计算公式如下：

N_blink＝Blink/fps/time

其中time为整段视频的总时长。

另一方面本发明还提供了一种基于图像处理的眨眼次数分析系统，所述系统是基于前述任一眨眼次数分析方法步骤对应的模块单元组成的分析系统，以用于实现对采集视频图像帧中的眨眼次数进行分析识别。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明提供的基于图像处理的眨眼次数分析方法和系统，可以基于采集的人眼活动视频图像帧进行自动分析和检测，利用图像处理方法提取有效的眼动和眨眼的相关特征，相比于现有技术，本发明的识别方案实现较高程度的自动测量，克服了现有技术数据采集困难的缺点，并且方案高效实用客观准确。

附图说明

图1是本发明实施例提供的人眼图像初定位流程示意图。

图2是本发明实施例提供的第一帧人右眼图像示意图。

图3是本发明实施例提供的第二帧人右眼活动范围在图像中对应的位置示意图。

图4是本发明实施例提供的部分窗口示意图。

图5是本发明实施例提供的对人眼图像消除光照影响的流程示意图。

图6是本发明实施例提供的对人眼图像确定虹膜轮廓以及虹膜上下边界点的流程示意图。

图7是本发明实施例提供的人眼非肤色图像示意图。

图8是本发明实施例提供的人眼非肤色反转图像示意图。

图9是本发明实施例提供的二值化图像示意图。

图10是本发明实施例提供的孔洞填充图像示意图。

图11是本发明实施例提供的虹膜轮廓示意图。

图12是本发明实施例提供的确定图像巩膜轮廓以及巩膜上下边界点的流程示意图。

图13是本发明实施例提供的高斯平滑处理后的图像示意图。

图14是本发明实施例提供的二值化模板示意图。

图15是本发明实施例提供的人眼非肤色图像示意图。

图16是本发明实施例提供的灰度图像示意图。

图17是本发明实施例提供的二值图像示意图。

图18是本发明实施例提供的腐蚀运算后的示意图。

图19是本发明实施例提供的开运算后的示意图。

图20是本发明实施例提供的巩膜轮廓示意图。

图21是本发明实施例提供的确定人眼眼裂高度及人眼睁开高度的流程示意图。

具体实施方式

为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。

需要说明的是，本发明以及相应实施例提出的图像特征处理方法、特征提取方法、信号识别与分类方法都仅仅是对图像信号的处理和识别方法本身进行研究和改进，虽然针对的为人眼眼动范围采集的图像信号，实现的范围识别结果可以作为评估参考，但在临床或医疗领域其评估结果也仅仅是一个辅助性的评估，对于具体的治疗方法仍需要并主要依赖于医生的临床经验和医生提供的治疗方法。

实施例1

本实施例为一种基于图像处理的眨眼次数分析方法，包括如下步骤，

(1)对采集的视频帧进行人眼图像初定位，即对包含人眼的所有采集图像进行人眼范围的初步定位，如图1所示；

(1.1)对第一帧视频帧进行人眼图像初定位：

设定第一帧视频帧为I_frame(1)，所述采集图像为利用图像采集设备对目标进行采集的图像，其采集范围可能较大，因而为了确定人眼虹膜和巩膜所在的位置可以对采集图像进行初定位。对I_frame(1)进行初步定位包括利用深度学习的训练模型对人脸进行标定，从标定的特征点中寻找人眼虹膜和巩膜所在的所在的位置，利用矩形拟合人眼的标定点，从而确定包含人眼初定位的人眼图像I_eye(1)；

在一个实施例中可以采用已训练的Dlib人脸68个标记点模型实现人脸的标定，记为 Point[1:68]，其中人左右眼的标定点序号分别为[43:48]和[37:42]。利用左右眼的标定点实现人眼的初步定位，得到的人眼图像I_eye(1)分别包含人左眼眼裂和右眼眼裂的人眼图像I_eye_left(1)和I_eye_right(1)，其中人左眼图像I_eye_left(1)和人右眼图像I_eye_right(1)均为W×H的三维彩色图像，W和H分别表示人眼图像的宽度和高度。

以右眼为例，右眼眼裂的最左侧点序号为37，最右侧序号为40，最上方点序号为38或 39，最下方序号为41或42，则人右眼图像I_eye_right(1)的左右边界点的横坐标 eye_left_x、eye_right_x，以及上下边界点的纵坐标为eye_top_y、eye_bottom_y，分别为：

eye_left_x＝Point[37]_x-l_x

eye_right_x＝Point[40]_x+l_x

eye_top_y＝min(Point[38]_y,Point[39]_y)-l_y

eye_bottom_y＝max(Point[41]_y,Point[42]_y)+l_y

其中Point[α]_x和Point[α]_y分别表示序号为α(37≤α≤42)的点对应的横坐标和纵坐标,l_x和l_y分别表示人右眼图像I_eye_right(1)宽度和高度的延升。在本实施例中对参数选取l_x＝l_y＝40。

则人右眼图像I_eye_right(1)的宽度W和高度H分别为：

W＝eye_right_x-eye_left_x

H＝eye_bottom_y-eye_top_y

对应的第一帧人右眼图像I_eye_right(1)如图2所示。

需要说明的是，在实际的图像处理过程中可以按照I_eye(1)为单位、也可以分别以 I_eye_left(1)和I_eye_right(1)为单位进行处理，其处理实质都包含对采集图像中的左右眼进行处理，对于本实施例为了更简单清楚的描述图像处理过程后续步骤将使用I_eye(1) 进行描述。

(1.2)对其余的视频帧进行人眼图像的初定位；

(1.2.1)确定当前视频帧的人眼活动范围Range_eye；

假设当前视频帧为第n帧，该图像帧记为I_frame(n)，利用前一帧初定位后的人眼图像I_eye(n-1)确定当前帧的人眼活动范围Range_eye，该活动范围Range_eye的左右边界点的横坐标为Range_left_x和Range_right_x，上下边界点的纵坐标为Range_top_y，Range_bottom_y，分别为：

Range_left_x＝eye_left_x-W

Range_right_x＝eye_right_x+W

Range_top_y＝eye_top_y-H

Range_bottom_y＝eye_bottom_y+H

则第n(n≥2)帧人眼活动范围Range_eye尺寸为3W×3H，以第二帧图像中右眼活动范围对应的位置为例如图3所示。

(1.2.2)基于当前视频帧的人眼活动范围Range_eye对当前视频帧进行人眼初步定位；

利用滑动窗口法(窗口大小为W×H)将人眼活动范围Range_eye分成多个窗口Window，窗口Window的获取方法如下：

(1.2.2.1)设定水平方向的步长为Step_len_x，竖直方向的步长为Step_len_y，第一个窗口的左上角顶点对应当前帧人眼活动范围Range_eye的左上角顶点，则：

Window(1)_left_x＝Range_left_x

Window(1)_right_x＝Range_left_x+W

Window(1)_top_y＝Range_top_y

Window(1)_bottom_y＝Range_top_y+H

其中，Window(1)_left_x、Window(1)_right_x、Window(1)_top_y和 Window(1)_bottom_y分别表示第一个窗口Window的左边界、右边界、上边界和下边界。

(1.2.2.2)则对应的第k_row行、第k_col列的第k个窗口Window的边界点坐标如下所示：

Window(k)_left_x＝Range_left_x+(k_col-1)*Step_len_x

Window(k)_right_x＝Range_left_x+(k_col-1)*Step_len_x+W

Window(k)_top_y＝Range_top_y+(k_row-1)*Step_len_y

Window(k)_bottom_y＝Range_top_y+(k_row-1)*Step_len_y+H

其中，1≤k_row≤int(2H/(Setp_len_y))+1，1≤k_col≤int(2W/(Setp_len_x))+1，k＝ (k_row-1)*(int(2W/(Setp_len_x))+1)+k_col，Window(k)_left_x、Window(k)_right_x、 Window(k)_top_y和Window(k)_bottom_y分别表示第k个窗口Window的左边界、右边界、上边界和下边界。

在一个实施例中参数选取Step_len_x＝Step_len_y＝25，则通过滑动窗口法得到的部分窗口Window如图4所示。

(1.2.2.3)将每一个窗口Window与前一帧人眼图像I_eye(n-1)计算相似性，寻找其中相似性最高的窗口Window，并将该相似性最高的窗口Window作为当前帧的人眼图像I_eye(n)。

在一个实施例中对于相似性算法采用Hash法，具体计算步骤如下：

(1.2.2.3.1)遍历Window(k)与前一帧人眼图像I_eye(n-1)中的每一个像素点，将三通道的彩色图转化成单通道的灰度图Gray(k)和Gray_eye，即：

Gray(k)(i,j)＝(Window_R(k)(i,j)+Window_G(k)(i,j)+Window_B(k)(i,j))/3

Gray_eye(i,j)＝(I_eye_R(n-1)(i,j)+I_eye_G(n-1)(i,j)+I_eye_B(n-1)(i,j))/3

其中，Window_R(k)(i,j)、Window_G(k)(i,j)、Window_B(k)(i,j)和Gray(k)(i,j)分别表示第k个Window的第(i,j)个像素点在R、G、B三个通道的像素值以及转化成灰度图后对应的灰度值；I_eye_R(n-1)(i,j)，I_eye_G(n-1)(i,j)，I_eye_B(n-1)(i,j)和 Gray_eye(i,j)分别表示上一帧人眼图像I_eye(n-1)的第(i,j)个像素点在R、G、B三个通道的像素值以及转化成灰度图后对应的灰度值。

(1.2.2.3.2)计算Gray(k)与Gray_eye所有像素点的平均值：Mean(k)和Mean_eye，即：

(1.2.2.3.3)遍历Gray(k)与Gray_eye的所有像素点，若像素值大于均值Mean(k)和 Mean_eye，则得到1，否则为0，得到Binary(k)和Binary_eye，即：

(1.2.2.3.4)计算Binary(k)和Binary_eye对应像素点之间的汉明距离(Hash值)，并求其总和得到Sum_Hash(k)，即：

(1.2.2.3.5)比较k个Window计算所得的Hash值，Hash值最小对应的Window即为当前帧的人眼图像I_eye(n)。

(2)对初定位后的人眼图像进行预处理，并去除光照影响，得到光照矫正后的人眼图像I_eye_color；

对于初定位后的人眼图像I_eye，由于图像在采集的过程中会由于光照不均匀导致图像的灰度值分布不均，因而需要对人眼图像I_eye进行预处理从而实现光照矫正处理。在一个实施例中使用自动白平衡算法对提取的人眼图像I_eye消除光照不均匀产生的影响，得到预处理后的图像I_eye_color，该算法的步骤如图5所示。

(2.1)将人眼图像I_eye从RGB空间转换到Lab空间，得到I_eye_Lab，即：

其中，Var_R，Var_G和Var_B分别表示人眼图像I_eye在R、G、B三个通道内像素值的方差；L，a和b分别表示人眼图像I_eye在L、a、b三个通道内像素值。

(2.2)计算人眼图像I_eye的a分量和b分量的均值，分别记为avg_a和avg_a，即：

其中，a(i,j)和b(i,j)分别表示人眼图像I_eye的第(i,j)个像素点对应的a分量和b 分量的像素值。

(2.3)将人眼图像I_eye按照下式进行映射，映射后得到的像素值分别为L'，a'和b'，映射方法如下：

(2.4)由L'，a'和b'三个通道的值构成的图像即为光照矫正后的人眼图像 I_eye_color。

(3)对光照矫正后的人眼图像I_eye_color确定虹膜轮廓Contour_Iris以及虹膜上下边界点Point_top_Iris和Point_bottom_Iris，该算法步骤图6所示：：

(3.1)利用HSV空间的肤色检测模型对光照矫正后的人眼图像I_eye_color的非肤色区域进行提取，所述步骤如下：

(3.1.1)将人眼图像I_eye_color从RGB空间转换到HSV空间，得到I_eye_color_HSV，即：

y＝Cmax

其中，Cmax＝max(R/255,G/255,B/255)，Cmin＝min(R/255,G/255,B/255)，Δ＝Cmax-Cmin。由H，S和V三个通道的值构成的图像即为HSV空间的人眼图像I_eye_color_HSV；

(3.1.2)判断HSV空间的人眼图像I_eye_color_HSV的每一个像素点对应的H、S、V分量的像素值是否同时满足条件：7<H<20，28<S<256，50<V<256，若满足条件，则将模板mask对应像素点的像素值置为1，否则为0，即：

其中，H(i,j)，S(i,j)和V(i,j)分别为I_eye_color_HSV的第(i,j)个像素点在H、S、 V空间的像素值。

(3.1.3)将人眼图像I_eye_color与模板mask_HSV相与，得到RGB空间的人眼非肤色图像I_nonSkin1，如图7所示；

(3.2)对RGB空间的人眼非肤色图像I_nonSkin1进行非肤色反转；

由于人眼非肤色图像I_nonSkin1中肤色区域像素值为(0,0,0)，而人的虹膜区域像素值也较小，为了区别肤色区域和虹膜区域，需要将人眼非肤色图像I_nonSkin1中非肤色区域像素值进行反转，即将像素值非全0的区域进行反转，得到反转图像I_nonSkin_inverse，即：

得到的图像I_nonSkin_inverse如图8所示。

(3.3)对图像进行二值化处理；

寻找图像I_nonSkin_inverse在R、G、B三个通道内像素最大值，分别为maxR、maxG和maxB，确定maxR、maxG和maxB三者中的最小值minRGB，将(minRGB-20)作为阈值thresh 并用于对图像I_nonSkin_inverse进行二值化处理，阈值thresh为：

thresh＝min(max(R),max(G),max(B))-20

二值化处理后得到图像I_binary1，如图9所示。

(3.4)对图像进行孔洞填充

为了消除由于视频录制中灯光造成的孔洞，利用形态学上的孔洞填充法对图像I_binary1的孔洞进行填充，得到图像I_holefilled，如图10所示。

(3.5)基于孔洞填充后的I_holefilled图像进行虹膜轮廓提取

提取图像I_holefilled中的所有连通域，将面积最大的连通域作为虹膜所在处。即：

(3.5.1)首先，提取图像I_holefilled中的所有轮廓，形成轮廓集C_hole_set，即：

C_hole_set＝{C_hole₁C_hole₂，…，C_hole_k1，…，C_hole_n1}

其中，C_holek₁(1≤k1≤n1)表示第k1个轮廓，n1为图像I_holefilled中的轮廓总数。

(3.5.2)接着，计算每一个轮廓的面积，得到面积集Area_set1，即：

Area_set1＝(Area₁Area₂，…，Area_k1，…，Area_n1}

其中，Area_k1表示第k1个轮廓的面积。

(3.5.3)寻找面积集Area_set1中面积最大的轮廓C_holemax，该轮廓即为虹膜轮廓 Contour_Iris，虹膜轮廓如图11所示。

(3.6)基于提取的虹膜轮廓Contour_Iris确定边界点

对于虹膜轮廓Contour_Iris，寻找该轮廓的上下边界点，分别为Point_top_Iris和 Point_bottom_Iris，即：

Point_top_Iris_y＝min(Contour_Iris_y)

Point_bottom_Iris_y＝max(Contour_Iris_y)

其中，Point_top_Iris_y和Point_bottom_Iris_y表示Point_top_Iris和Point_bottom_Iris的纵坐标，Contour_Iris_y表示组成虹膜轮廓的点的纵坐标。

(4)对光照矫正后的人眼图像I_eye_color确定巩膜轮廓Contour_sclera以及巩膜上下边界点Point_top_sclera和Point_bottom_sclera，如图12所示。

(4.1)YCrCb空间的肤色检测模型

(4.1.1)将人眼图像I_eye_color从RGB空间转换到YCrCb空间，得到 I_eye_color_YCrCb，即：

Y＝0.257R+0.564G+0.098B+16

Cr＝0.439R-0.368G-0.071B+128

Cb＝-0.148R-0.291G+0.439B+128

其中，R、G和B分别表示人眼图像I_eye_color的R、G、B三个分量的像素值。Y、Cr 和Cb分别表示I_eye_color_YCrCb的Y、Cr、Cb三个分量的像素值。

(4.1.2)利用大小为5*5的高斯核对I_eye_color_YCrCb的Cr分量进行平滑，得到图像Cr_smooth，5*5高斯模板如下所示：

高斯平滑后得到的图像Cr_smooth如图13所示。

(4.1.3)利用Otsu阈值法对图像Cr_smooth计算Otsu阈值thresh_Otsu，利用阈值thresh_Otsu对图像Cr_smooth进行二值化处理，得到二值化模板mask_YCrCb，如图14所示。

(4.1.4)将人眼图像I_eye_color与模板mask_YCrCb反转后所得的模板～mask_YCrCb 相与，得到RGB空间的人眼非肤色图像I_nonSkin2，即：

I_nonSkin2＝I_eye_color&～mask_YCrCb

人眼非肤色图像I_nonSkin2如图15所示。

(4.2)图像二值化处理

(4.2.1)将图像I_nonSkin2转化成灰度图，得到图像Gray_nonSkin2，RGB彩色图像转灰度图的转换公式如下：

Gray_nonSkin(i,j)＝(I_nonSkin2_R(i,j)+I_nonSkin2_G(i,j)+I_nonSkin2_B(i,j))/3

其中，I_nonSkin2_R，I_nonSkin2_G和I_nonSkin2_B分别表示图像I_nonSkin2在R、 G、B、三个通道的像素值。

灰度图像Gray_nonSkin2如图16所示。

(4.2.2)利用Otsu阈值法对图像I_nonSkin2_Gray进行二值化处理，得到对应的二值化图像I_binary2，如图17所示。

(4.3)形态学处理

如图17所示二值化图像I_binary2中存在许多与巩膜相连的噪声，需要采用形态学上的开运算，实现图像边缘平滑。开运算是利用大小为5×5的方形结构元A先对二值图像I_binary2腐蚀运算，得到图像I_erosion，腐蚀运算的计算公式如下所示：

腐蚀后的图像I_erosion如图18所示。再利用结构元A对I_erosion进行膨胀运算，得到图像开运算后的对应图像I_morphological如图19所示，膨胀运算的计算公式如下所示：

(4.4)寻找最大连通域并提取巩膜轮廓

提取开运算后的图像I_morphological中的所有连通域，将面积最大的连通域作为巩膜所在处。包括：

(4.4.1)首先，提取图像I_morphological中的所有轮廓，形成轮廓集C_mor_set，即：

C_mor_set＝{C_mor₁，C_mor₂，…,C_mor_k2，…,C_mor_n2}

其中，C_mor_k2(1≤k2≤n2)表示第k2个轮廓，n2为图像I_morphological中的轮廓总数。

(4.4.2)接着，计算每一个轮廓的面积，得到面积集Area_set2，即：

Area_set2＝{Area₁，Area₂，…，Area_k2，…，Area_n2}

其中，Area_k2(1≤k2≤n2)表示第k2个轮廓的面积。

(4.4.3)寻找面积最大的轮廓C_mormax，该轮廓即为巩膜轮廓Contour_sclera，巩膜轮廓Contour_sclera如图20所示：

(4.5)确定巩膜轮廓的边界点

对于巩膜轮廓Contour_sclera，寻找轮廓的上下边界点，分别为Point_top_sclera和 Point_bottom_sclera，即：

Point_top_sclera_y＝min(Contour_sclera_y)

Point_bottom_sclera_y＝max(Contour_sclera_y)

其中，Point_top_sclera_y和Point_bottom_sclera_y表示Point_top_sclera和Point_bottom_sclera的纵坐标，Contour_sclera_y表示组成巩膜轮廓的点的纵坐标。

(5)确定人眼眼裂高度Heye以及人眼睁开高度H_opening。

(5.1)确定人眼眼裂的上下边界点Point_top和Point_bottom；

对于第n帧人眼图像I_eye(n)，提取虹膜轮廓Contour_Iris(n)和巩膜轮廓Contour_sclera(n)以及各自对应的边界点Point_top_Iris(n)和Point_bottom_Iris(n)，Point_top_sclera(n)和Point_bottom_sclera(n)后，将Point_top_Iris_y(n)和 Point_top_sclera_y(n)二者中较小的值作为人眼眼裂的上边界点的纵坐标 Point_top_y(n)，将Point_bottom_Iris_y(n)和Point_bottom_sclera_y(n)二者中较大的值作为人眼眼裂的下边界点的纵坐标Point_bottom_y(n)，即：

Point_top_y(n)＝min(Point_top_Iris_y(n),Point_top_sclera_y(n))

Point_bottom_y(n)＝max(Point_bottom_Iris_y(n),Point_bottom_sclera_y(n))

(5.2)计算人眼眼裂的高度Heye

计算人眼眼裂的上边界点的纵坐标Point_top_y(n)和下边界点的纵坐标 Point_bottom_y(n)之差，该差值即为人眼眼裂高度Heye(n)，即：

Heye(n)＝Point_bottom_y(n)-Point_top_y(n)

(5.3)计算人眼睁开高度H_opening

计算所有视频图像帧中人眼眼裂高度的最大值，将该最大值作为人眼睁开时的高度 H_opening，即：

H_opening＝max(Heye)。

(6)计算单位时间内的眨眼次数N_blink

(6.1)首先判断相邻若干帧的人眼高度是否均小于人眼睁开时高度H_opening的1/4，若小于，则表示有一次眨眼过程，否则，表示无眨眼过程：

其中Blink表示相邻若干帧内的眨眼次数，其初始值为0；

(6.2)在确定相邻若干帧内的眨眼次数Blink后，再利用视频的帧率fps计算单位时间内的眨眼次数N_blink，计算公式如下：

N_blink＝Blink/fps/time

其中time为整段视频的总时长。

通过以上处理步骤可完成本实施例的眨眼次数分析方法并得到对应的总眨眼次数识别和计算结果。

实施例2

本实施例为一种基于图像处理的眨眼次数分析系统，所述系统是基于前述任一实施例中的分析方法步骤对应的模块单元组成的分析系统，以用于实现对采集视频图像帧中的眨眼次数进行分析判断。

通过本发明提供的各实施例，可以基于采集的人眼活动视频帧进行自动分析和检测，利用图像处理方法分析和计算有效的眨眼次数特征，相比于现有技术，本发明的分析方案实现较高程度的自动测量，克服了现有技术数据采集困难的缺点，并且方案高效实用客观准确。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于图像处理的眨眼次数分析方法，其特征在于，包括如下步骤：

(1)对采集的视频帧I_frame进行人眼图像初定位，即对包含人眼的所有采集图像进行人眼范围的初步定位，得到初步定位后的人眼图像I_eye；

(2)对人眼图像I_eye进行预处理，并去除光照影响，得到光照矫正后的人眼图像I_eye_color；

(3)对光照矫正后的人眼图像I_eye_color确定虹膜轮廓Contour_Iris以及虹膜上下边界点Point_top_Iris和Point_bottom_Iris；

(4)对光照矫正后的人眼图像I_eye_color确定巩膜轮廓Contour_sclera以及巩膜上下边界点Point_top_sclera和Point_bottom_sclera；

(5)确定人眼眼裂高度Heye以及人眼睁开高度H_opening；

(6)基于确定的人眼眼裂高度Heye以及人眼睁开高度H_opening计算单位时间内的眨眼次数N_blink。

2.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(1)具体包括：

(1.1)对第一帧视频帧进行人眼图像初定位：

设定第一帧视频帧为I_frame(1)，对I_frame(1)进行初步定位包括利用深度学习的训练模型对人脸进行标定，从标定的特征点中寻找人眼眼裂所在的位置，利用矩形拟合人眼的标定点，从而确定包含人眼初定位的人眼图像I_eye(1)；

(1.2)对其余的视频帧进行人眼图像的初定位：

(1.2.1)确定当前视频帧的人眼活动范围Range_eye；

假设当前视频帧为第n帧，该图像帧记为I_frame(n)，利用前一帧初定位后的人眼图像I_eye(n-1)确定当前帧的人眼活动范围Range_eye；

该活动范围Range_eye的左右边界点的横坐标为Range_left_x和Range_right_x，上下边界点的纵坐标为Range_top_y，Range_bottom_y，分别为：

Range_left_x＝eye_left_x-W

Range_right_x＝eye_right_x+W

Range_top_y＝eye_top_y-H

Range_bottom_y＝eye_bottom_y+H；

其中，W和H分别为人眼图像I_eye(n-1)的宽度和高度；

(1.2.2)当前视频帧的人眼活动范围Range_eye对当前视频帧进行人眼初步定位，并依次完成对所有视频帧的人眼初步定位；

利用滑动窗口法将人眼活动范围Range_eye分成多个窗口Window，窗口大小为W×H，设定水平方向的步长为Step_len_x，竖直方向的步长为Step_len_y，则第一个窗口的左上角顶点对应当前帧人眼活动范围Range_eye的左上角顶点；

将每一个窗口Window与前一帧人眼图像I_eye(n-1)计算相似性，寻找其中相似性最高的窗口Window，并将该相似性最高的窗口Window作为当前帧的人眼图像I_eye(n)。

3.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(2)对人眼图像进行预处理的具体方法为：

对于初定位后的人眼图像I_eye使用自动白平衡算法对提取的人眼图像I_eye消除光照不均匀产生的影响，得到预处理后的图像I_eye_color。

4.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(3)对光照矫正后的人眼图像I_eye_color确定虹膜轮廓Contour_Iris以及虹膜上下边界点Point_top_Iris和Point_bottom_Iris具体包括：

(3.1)利用HSV空间的肤色检测模型对光照矫正后的人眼图像I_eye_color的非肤色区域进行提取，所述步骤如下：

(3.1.1)将人眼图像I_eye_color从RGB空间转换到HSV空间，得到I_eye_color_HSV；

(3.1.2)判断HSV空间的人眼图像I_eye_color_HSV的每一个像素点对应的H、S、V分量的像素值是否同时满足条件：7<H<20，28<S<256，50<V<256，若满足条件，则将模板mask对应像素点的像素值置为1，否则为0，即：

其中，H(i,j)，S(i,j)和V(i,j)分别为I_eye_color_HSV第(i,j)个像素点在H、S、V空间的像素值；

(3.1.3)将人眼图像I_eye_color与模板mask_HSV相与，得到RGB空间的人眼非肤色图像I_nonSkin1；

(3.2)对提取的RGB空间的人眼非肤色图像I_nonSkin1进行非肤色反转，即将像素值非全0的区域进行反转，得到反转图像I_nonSkin_inverse，即：

(3.3)对反转图像进行二值化处理；

寻找图像I_nonSkin_inverse在R、G、B三个通道内像素最大值，分别为maxR、maxG和maxB，确定maxR、maxG和maxB三者中的最小值minRGB，将(minRGB-20)作为阈值thresh并用于对图像I_nonSkin_inverse进行二值化处理，得到二值化处理后的图像I_binary1，所述阈值thresh为：

thresh＝min(max(R),max(G),max(B))-20；

(3.4)对图像进行孔洞填充；

利用形态学上的孔洞填充法对图像I_binary1的孔洞进行填充，得到图像I_holefilled；

(3.5)基于孔洞填充后的I_holefilled图像进行虹膜轮廓Contour_Iris的提取：提取图像I_holefilled中的所有连通域，将面积最大的连通域作为虹膜所在处；

(3.6)基于提取的虹膜轮廓Contour_Iris确定边界点；

对于虹膜轮廓Contour_Iris，寻找该轮廓的上下边界点，分别为Point_top_Iris和Point_bottom_Iris，即：

Point_top_Iris_y＝min(Contour_Iris_y)

Point_bottom_Iris_y＝max(Contour_Iris_y)

其中，Point_top_Iris_y和Point_bottom_Iris_y表示Point_top_Iris和Point_bottom_Iris的纵坐标，Contour_Iris_y表示组成虹膜轮廓的点的纵坐标。

5.如权利要求4所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(3.5)中基于孔洞填充后的I_holefilled图像进行虹膜轮廓提取具体包括：

(3.5.1)首先，提取图像I_holefilled中的所有轮廓，形成轮廓集C_hole_set，即：

C_hole_set＝{C_hole₁，C_hole₂，…，C_hole_k1，…，C_hole_n1}

其中，C_hole_k1(1≤k1≤n1)表示第k1个轮廓，n1为图像I_holefilled中的轮廓总数；

(3.5.2)接着，计算每一个轮廓的面积，得到面积集Area_set1，即：

Area_set1＝{Area₁，Area₂，…，Area_k1，…，Area_n1}

其中，Area_k1表示第k1个轮廓的面积；

(3.5.3)寻找面积集Area_set1中面积最大的轮廓C_holemax，该轮廓即为虹膜轮廓Contour_Iris。

6.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(4)对光照矫正后的人眼图像I_eye_color确定巩膜轮廓Contour_sclera以及巩膜上下边界点Point_top_sclera和Point_bottom_sclera具体包括：

(4.1)对光照矫正后的人眼图像I_eye_color利用YCrCb空间的肤色检测模型进行检测；

(4.1.1)将人眼图像I_eye_color从RGB空间转换到YCrCb空间，得到I_eye_color_YCrCb，即：

Y＝0.257R+0.564G+0.098B+16

Cr＝0.439R-0.368G-0.071B+128

Cb＝-0.148R-0.291G+0.439B+128

其中，R、G和B分别表示人眼图像I_eye_color的R、G、B三个分量的像素值，Y、Cr和Cb分别表示I_eye_color_YCrCb的Y、Cr、Cb三个分量的像素值；

(4.1.2)利用大小为5*5的高斯核对I_eye_color_YCrCb的Cr分量进行平滑，得到图像Cr_smooth；

(4.1.3)利用Otsu阈值法对图像Cr_smooth计算Otsu阈值thresh_Otsu，利用阈值thresh_Otsu对图像Cr_smooth进行二值化处理，得到二值化模板mask_YCrCb，如图14所示。

(4.1.4)将人眼图像I_eye_color与模板mask_YCrCb反转后所得的模板～mask_YCrCb相与，得到RGB空间的人眼非肤色图像I_nonSkin2，即：

I_nonSkin2＝I_eye_color&～mask_YCrCb

(4.2)图像二值化处理

(4.2.1)将人眼非肤色图像I_nonSkin2转化成灰度图，得到图像Gray_nonSkin2，RGB彩色图像转灰度图的转换公式如下：

Gray_nonSkin(i,j)＝(I_nonSkin2_R(i,j)+I_nonSkin2_G(i,j)+I_nonSkin2_B(i,j))/3

其中，I_nonSkin2_R，I_nonSkin2_G和I_nonSkin2_B分别表示图像I_nonSkin2在R、G、B、三个通道的像素值；

(4.2.2)利用Otsu阈值法对图像I_nonSkin2_Gray进行二值化处理，得到对应的二值化图像I_binary2；

(4.3)形态学处理

采用形态学上的开运算，即利用大小为5×5的方形结构元A先对二值图像I_binary2腐蚀运算，得到边缘平滑的图像I_erosion，腐蚀运算的计算公式如下所示：

再利用结构元A对I_erosion进行膨胀运算，得到图像开运算后的对应图像I_morphological，计算公式如下所示：

(4.4)寻找图像中的最大连通域并提取巩膜轮廓

提取开运算后的图像I_morphological中的所有连通域，将面积最大的连通域作为巩膜Contour_sclera所在处；

(4.5)确定巩膜轮廓的边界点

对于巩膜轮廓Contour_sclera，寻找轮廓的上下边界点，分别为Point_top_sclera和Point_bottom_sclera，即：

Point_top_sclera_y＝min(Contour_sclera_y)

Point_bottom_sclera_y＝max(Contour_sclera_y)

其中，Point_top_sclera_y和Point_bottom_sclera_y表示Point_top_sclera和Point_bottom_sclera的纵坐标，Contour_sclera_y表示组成巩膜轮廓的点的纵坐标。

7.如权利要求6所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(4.4)中寻找图像的最大连通域并提取巩膜轮廓具体包括：

(4.4.1)首先，提取图像I_morphological中的所有轮廓，形成轮廓集C_mor_set，即：

C_mor_set＝{C_mor₁，C_mor₂，…，C_mor_k2，…，C_mor_n2}

其中，C_mor_k2(1≤k2≤n2)表示第k2个轮廓，n2为图像I_morphological中的轮廓总数；

(4.4.2)接着计算每一个轮廓的面积，得到面积集Area_set2，即：

Area_set2＝{Area₁，Area₂，…，Area_k2，…，Area_n2}

其中，Area_k2(1≤k2≤n2)表示第k2个轮廓的面积；

(4.4.3)寻找面积最大的轮廓C_mormax，该轮廓即为巩膜轮廓Contour_sclera。

8.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(5)中确定人眼眼裂高度Heye以及人眼睁开高度H_opening具体包括：

(5.1)确定人眼眼裂的上下边界点Point_top和Point_bottom；

对于第n帧人眼图像I_eye(n)，提取虹膜轮廓Contour_Iris(n)和巩膜轮廓Contour_sclera(n)以及各自对应的边界点Point_top_Iris(n)和Point_bottom_Iris(n)，Point_top_sclera(n)和Point_bottom_sclera(n)后，将Point_top_Iris_y(n)和Point_top_sclera_y(n)二者中较小的值作为人眼眼裂的上边界点的纵坐标Point_top_y(n)，将Point_bottom_Iris_y(n)和Point_bottom_sclera_y(n)二者中较大的值作为人眼眼裂的下边界点的纵坐标Point_bottom_y(n)，即：

Point_top_y(n)＝min(Point_top_Iris_y(n),Point_top_sclera_y(n))

Point_bottom_y(n)＝max(Point_bottom_Iris_y(n),Point_bottom_sclera_y(n))；

(5.2)计算人眼眼裂的高度Heye

计算人眼眼裂的上边界点的纵坐标Point_top_y(n)和下边界点的纵坐标Point_bottom_y(n)之差，该差值即为人眼眼裂高度Heye(n)，即：

Heye(n)＝Point_bottom_y(n)-Point_top_y(n)；

(5.3)计算人眼睁开高度H_opening

计算所有视频图像帧中人眼眼裂高度的最大值，将该最大值作为人眼睁开时的高度H_opening，即：

H_opening＝max(Heye)。

9.如权利要求1所述的一种基于图像处理的眨眼次数分析方法，其特征在于，所述步骤(6)中计算单位时间内的眨眼次数N_blink具体为：

(6.1)首先判断相邻若干帧的人眼高度是否均小于人眼睁开时高度H_opening的1/4，若小于，则表示有一次眨眼过程，否则，表示无眨眼过程：

其中Blink表示相邻若干帧内的眨眼次数，其初始值为0；

(6.2)在确定相邻若干帧内的眨眼次数Blink后再利用视频的帧率fps计算单位时间内的眨眼次数N_blink，计算公式如下：

N_blink＝Blink/fps/time

其中time为整段视频的总时长。

10.一种基于图像处理的眨眼次数分析系统，其特征在于，所述系统是基于权利要求1-9中任一眨眼次数分析方法步骤对应的模块单元组成的分析系统，以用于实现对采集视频图像帧中的眨眼次数进行分析识别。

Images