CN112257512A - 间接型眼部状态检测方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种间接型眼部状态检测方法及计算机可读存储介质，方法包括：依序获取一帧待测图像作为当前帧图像，并标定得到鼻子标定点和眉毛标定点；将预设个数的鼻子标定点作为锚点；根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到同一边眉毛对应的第一特征向量；根据当前帧图像中和上一帧图像中同一边眉毛对应的第一特征向量，计算得到同一边眉毛对应的第二特征向量；根据两边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量，并分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态。本发明可实现眼部状态识别，且不受眼睛佩戴的影响，实现较远距离的眨眼人机交互。

Description

间接型眼部状态检测方法及计算机可读存储介质

技术领域

本发明涉及眼部状态识别技术领域，尤其涉及一种间接型眼部状态检测方法及计算机可读存储介质。

背景技术

随着图像处理技术的快速发展，人脸特征点标定算法已经取得了不错的效果，可以较为准确地标定出人眼睛、鼻子、嘴巴等关键器官地轮廓，例如dlib、openpose等。眨眼检测可以很好地运用于人机交互，比如人脸识别后眨眼解锁手机、眨眼控制机器人等。理想状态下，在这类算法的基础上识别眼睛的状态(眨眼检测)变得非常简单，只要利用眼部轮廓就可以很方便地识别出眼部状态。

但是，openpose算法计算复杂度很高，目前性能较高的独立显卡1080ti在运行该算法时，一秒钟也只能处理十几张图，更别提运算力比较低的小型智能终端，难以实现流畅地运行。而dlib算法的人脸特征点标定虽然运行速度很快，在日常手机软件的使用中有着不错的效果，但在摄像头距离人比较远时，眼部分辨率很低，标定的眼部轮廓并不够准确，经常出现误标定，导致眨眼识别错误，不利于远程人机交互。

发明内容

本发明所要解决的技术问题是：提供一种间接型眼部状态检测方法及计算机可读存储介质，可准确识别出眼部状态。

为了解决上述技术问题，本发明采用的技术方案为：一种间接型眼部状态检测方法，包括：

依序获取一帧待测图像作为当前帧图像；

通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点；

将预设个数的鼻子标定点作为锚点；

根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量；

根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量；

根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量；

将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态，所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。

本发明的有益效果在于：通过利用眉毛的运动来检测用户眨眼状态，不需要直接获取眼部的特征点，对佩戴眼镜的抗干扰能力强。本发明在人脸特征点标定算法的基础上，利用眉毛的关键点运动间接地计算出人眼的状态，实现眼部状态识别，且不受眼睛佩戴的影响，可实现较远距离的眨眼人机交互，并且在一些计算机较低的终端上也能实时运行。

附图说明

图1为本发明的一种间接型眼部状态检测方法的流程图；

图2为本发明实施例一的方法流程图；

图3为本发明实施例一中的68个人脸特征点的检测示意图；

图4为本发明实施例一中的68个人脸特征点的序号示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种间接型眼部状态检测方法，包括：

依序获取一帧待测图像作为当前帧图像；

通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点；

将预设个数的鼻子标定点作为锚点；

根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量；

根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量；

根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量；

将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态，所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

从上述描述可知，本发明的有益效果在于：可在低分辨率图像中准确识别出眼部状态，且不受眼睛佩戴的影响，实现较远距离的眨眼人机交互。

进一步地，所述通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点具体为：

通过人脸检测算法，在所述当前帧图像中识别得到人脸区域；

通过人脸特征点标定算法，在所述人脸区域中标定得到鼻子标定点和眉毛标定点。

进一步地，所述根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量具体为：

分别计算同一边眉毛的各眉毛标定点与各锚点之间的距离，并按照预设的排列顺序对所述距离进行排列，得到所述同一边眉毛对应的距离向量；

计算位于鼻梁最高处的鼻子标定点和位于鼻尖处的鼻子标定点之间的距离，得到第一距离；

将所述同一边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到所述同一边眉毛对应的第一特征向量。

由上述描述可知，通过除以第一距离，将距离向量里的距离进行归一化，可提高在不同人脸之间特征的普适性。第一特征向量可以获取眉毛对于锚点的相对位置。

进一步地，所述根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量具体为：

根据公式q＝(v₂-v₁)/v₁计算得到所述同一边眉毛对应的第二特征向量，q为所述同一边眉毛对应的第二特征向量，v₁为上一帧图像中所述同一边眉毛对应的第一特征向量，v₂为当前帧图像中所述同一边眉毛对应的第一特征向量。

由上述描述可知，即计算向量对应位置的梯度变化。第二特征向量可以捕捉两帧之前眉毛的运动变化。

进一步地，所述将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态之前，进一步包括：

获取样本视频，所述样本视频的内容包括多个人进行所述四种眼部状态的动作；

从所述样本视频中提取出一眼部状态对应的视频帧，并分别提取出各所述视频帧的前一帧；

分别根据所述一眼部状态对应的各视频帧及其前一帧，得到所述一眼部状态对应的正样本输入向量；

分别根据所述样本视频剩余的视频帧中的连续两帧视频帧，得到所述一眼部状态对应的负样本输入向量；

根据所述一眼部状态对应的正样本输入向量和负样本输入向量，对用于检测所述一眼部状态的分类器进行训练。

由上述描述可知，通过预先对分类器进行训练，便于后续直接使用。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法的步骤。

实施例一

请参照图2-4，本发明的实施例一为：一种间接型眼部状态检测方法，可应用于较远距离的眨眼人机交互，如图2所述，包括如下步骤：

S1：依序获取一帧待测图像作为当前帧图像，即通过摄像头采集连续的待测图像，并依序获取一帧待测图像作为当前帧图像。

S2：通过人脸检测算法，在所述当前帧图像中识别得到人脸区域。进一步地，若未检测到人脸，则获取下一帧待测图像，即返回执行步骤S1。

本实施例中的人脸检测算法可采用dlib、mtcnn等算法。

S3：通过人脸特征点标定算法，在所述人脸区域中标定得到鼻子标定点和眉毛标定点。

本实施例中，采用dlib的68点标定来进行人脸特征点的标定，其中，68个人脸特征点的示意图如图3所示；68个人脸特征点的序号如图4所示。可以看出，鼻子对应9个鼻子标定点，序号为28-36，每个眉毛分别对应5个眉毛标定点，其中左边眉毛的标定点序号为18-22，右边眉毛的标点序号为23-27。

S4：在鼻子标定点中选取出n个锚点，即从9个鼻子标定点中选取出n个，作为锚点，n可以为1至9的整数。

锚点在本实施例中为人脸上起稳定标定作用的点，用于给眉毛做参照。由于鼻子标定点相对稳定，而且位于两眼的中间位置，其中心线相对双眼是对称的，同时鼻子整体一般不会发生运动，因此适合作为锚点。

S5：分别计算同一边眉毛的各眉毛标定点与各锚点之间的距离，并按照预设的排列顺序对所述距离进行排列，得到所述同一边眉毛对应的距离向量。

具体地，先依次将左边眉毛的5个眉毛标定点与各个锚点进行连线，根据这5个眉毛标定点和各个锚点的在图像中的坐标，分别计算这5个眉毛标定点与各锚点之间的距离，并按照预设的顺序进行排列，构成左边眉毛对应的距离向量；同理得到右边眉毛对应的距离向量。

本实施例中，根据标定点的序号设置排列顺序。例如，假设锚点为序号为28和34的鼻子标定点，则左边眉毛对应的距离向量为(d(18,28)，d(18,34)，d(19,28)，d(19,34)，d(20,28)，d(20,34)，d(21,28)，d(21,34)，d(22,28)，d(22,34))，其中，d(i,j)表示序号为i的标定点与序号为j的标定点之间的距离。

S6：计算位于鼻梁最高处的鼻子标定点和位于鼻尖处的鼻子标定点之间的距离，即计算图4中序号为28的鼻子标定点与序号为31的鼻子标定点之间的距离，得到第一距离。本步骤也是根据点在图像中的坐标计算距离。

S7：将所述同一边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到所述同一边眉毛对应的第一特征向量。

具体地，将左边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到左边眉毛对应的第一特征向量；将右边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到右边眉毛对应的第一特征向量。

本步骤即相当于将距离向量里的距离进行归一化，可提高在不同人脸之间特征的普适性。第一特征向量可以获取眉毛对于锚点的相对位置，保留了部分眼镜信息，因为眨眼的过程中眉毛也会跟随着运动。

S8：根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量。

具体地，根据公式q＝(t₂-t₁)/t₁计算得到第二特征向量，其中，q为所述同一边眉毛对应的第二特征向量，t₁为上一帧图像中所述同一边眉毛对应的第一特征向量，t₂为当前帧图像中所述同一边眉毛对应的第一特征向量。

本步骤即计算向量对应位置的梯度变化。第二特征向量可以捕捉两帧之前眉毛的运动变化。

S9：根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，按照预设的拼接顺序，拼接得到当前帧图像的输入向量。

本实施例中的拼接顺序可以为t_left、t_right、q_left、q_right，其中，t_left为左边眉毛对应的第一特征向量，q_left为左边眉毛对应的第二特征向量，t_right为右边眉毛对应的第一特征向量，q_right为右边眉毛对应的第二特征向量。

S10：采集样本视频，并根据所述样本视频，分别对四个分类器进行训练。其中，样本视频的内容为多个人单独进行睁眼、闭眼的动作，包括进行两眼全睁的动作、两眼全闭的动作、左眼睁开右眼闭合的动作和左眼闭合右眼睁开的动作。所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

例如，由于第二特征向量需要当前帧与上一帧的第一特征向量共同来计算，所以需要视频中的连续两帧来计算。因此，若要训练用于检测“两眼全睁”的分类器，则将视频中当前帧为“两眼全睁”的视频帧提取出，同时提取出这些帧对应的前一帧(这里对应的标签就是“两眼全睁”的正标签，剩下视频里的连续两帧就是负标签)。根据提取出的连续两帧图像，参照上述的步骤S2-S9，提取出左右两边眉毛对应的第一特征向量和第二特征向量，拼接后输入检测“两眼全睁”的分类器。

本实施例中，分类器为svm分类器。在其他实施例中，也可以使用其他分类器，比如神经网络的softmax分类器，只要在特征向量与分类器之间增加若干全连接层，再用梯度下降算法训练即可。

进一步地，本步骤与步骤S1-S9可不分先后进行。

S11：将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态。

本实施例在人脸特征点标定算法的基础上，利用眉毛的关键点运动间接地计算出人眼的状态，实现眼部状态识别，且不受眼睛佩戴的影响，可实现较远距离的眨眼人机交互，并且在一些计算机较低的终端上也能实时运行。

实施例二

本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

依序获取一帧待测图像作为当前帧图像；

通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点；

将预设个数的鼻子标定点作为锚点；

根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量；

根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量；

根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量；

将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态，所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

进一步地，所述通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点具体为：

通过人脸检测算法，在所述当前帧图像中识别得到人脸区域；

通过人脸特征点标定算法，在所述人脸区域中标定得到鼻子标定点和眉毛标定点。

进一步地，所述根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量具体为：

分别计算同一边眉毛的各眉毛标定点与各锚点之间的距离，并按照预设的排列顺序对所述距离进行排列，得到所述同一边眉毛对应的距离向量；

计算位于鼻梁最高处的鼻子标定点和位于鼻尖处的鼻子标定点之间的距离，得到第一距离；

将所述同一边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到所述同一边眉毛对应的第一特征向量。

进一步地，所述根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量具体为：

根据公式q＝(v₂-v₁)/v₁计算得到所述同一边眉毛对应的第二特征向量，q为所述同一边眉毛对应的第二特征向量，v₁为上一帧图像中所述同一边眉毛对应的第一特征向量，v₂为当前帧图像中所述同一边眉毛对应的第一特征向量。

进一步地，所述将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态之前，进一步包括：

获取样本视频，所述样本视频的内容包括多个人进行所述四种眼部状态的动作；

从所述样本视频中提取出一眼部状态对应的视频帧，并分别提取出各所述视频帧的前一帧；

分别根据所述一眼部状态对应的各视频帧及其前一帧，得到所述一眼部状态对应的正样本输入向量；

分别根据所述样本视频剩余的视频帧中的连续两帧视频帧，得到所述一眼部状态对应的负样本输入向量；

根据所述一眼部状态对应的正样本输入向量和负样本输入向量，对用于检测所述一眼部状态的分类器进行训练。

综上所述，本发明提供的一种间接型眼部状态检测方法及计算机可读存储介质，在人脸特征点标定算法的基础上，利用眉毛的关键点运动间接地计算出人眼的状态，实现眼部状态识别，且不受眼睛佩戴的影响，可实现较远距离的眨眼人机交互，并且在一些计算机较低的终端上也能实时运行。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种间接型眼部状态检测方法，其特征在于，包括：

依序获取一帧待测图像作为当前帧图像；

通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点；

将预设个数的鼻子标定点作为锚点；

根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量；

根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量；

根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量；

将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态，所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

2.根据权利要求1所述的间接型眼部状态检测方法，其特征在于，所述通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点具体为：

通过人脸检测算法，在所述当前帧图像中识别得到人脸区域；

通过人脸特征点标定算法，在所述人脸区域中标定得到鼻子标定点和眉毛标定点。

3.根据权利要求1所述的间接型眼部状态检测方法，其特征在于，所述根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量具体为：

分别计算同一边眉毛的各眉毛标定点与各锚点之间的距离，并按照预设的排列顺序对所述距离进行排列，得到所述同一边眉毛对应的距离向量；

计算位于鼻梁最高处的鼻子标定点和位于鼻尖处的鼻子标定点之间的距离，得到第一距离；

将所述同一边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到所述同一边眉毛对应的第一特征向量。

4.根据权利要求1所述的间接型眼部状态检测方法，其特征在于，所述根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量具体为：

根据公式q＝(v₂-v₁)/v₁计算得到所述同一边眉毛对应的第二特征向量，q为所述同一边眉毛对应的第二特征向量，v₁为上一帧图像中所述同一边眉毛对应的第一特征向量，v₂为当前帧图像中所述同一边眉毛对应的第一特征向量。

5.根据权利要求1所述的间接型眼部状态检测方法，其特征在于，所述将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态之前，进一步包括：

获取样本视频，所述样本视频的内容包括多个人进行所述四种眼部状态的动作；

从所述样本视频中提取出一眼部状态对应的视频帧，并分别提取出各所述视频帧的前一帧；

分别根据所述一眼部状态对应的各视频帧及其前一帧，得到所述一眼部状态对应的正样本输入向量；

分别根据所述样本视频剩余的视频帧中的连续两帧视频帧，得到所述一眼部状态对应的负样本输入向量；

根据所述一眼部状态对应的正样本输入向量和负样本输入向量，对用于检测所述一眼部状态的分类器进行训练。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如下步骤：

依序获取一帧待测图像作为当前帧图像；

通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点；

将预设个数的鼻子标定点作为锚点；

根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量；

根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量；

根据左边眉毛对应的第一特征向量和第二特征向量以及右边眉毛对应的第一特征向量和第二特征向量，拼接得到当前帧图像的输入向量；

将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态，所述四个分类器分别用于检测四种眼部状态，所述四种眼部状态分别为两眼全睁、两眼全闭、左眼睁开右眼闭合和左眼闭合右眼睁开。

7.根据权利要求6所述的计算机可读存储介质，其特征在于，所述通过人脸检测算法和人脸特征点标定算法，在所述当前帧图像中标定得到鼻子标定点和眉毛标定点具体为：

通过人脸检测算法，在所述当前帧图像中识别得到人脸区域；

通过人脸特征点标定算法，在所述人脸区域中标定得到鼻子标定点和眉毛标定点。

8.根据权利要求6所述的计算机可读存储介质，其特征在于，所述根据同一边眉毛的各眉毛标定点与各锚点之间的距离，得到所述同一边眉毛对应的第一特征向量具体为：

分别计算同一边眉毛的各眉毛标定点与各锚点之间的距离，并按照预设的排列顺序对所述距离进行排列，得到所述同一边眉毛对应的距离向量；

计算位于鼻梁最高处的鼻子标定点和位于鼻尖处的鼻子标定点之间的距离，得到第一距离；

将所述同一边眉毛对应的距离向量中的各距离分别除以所述第一距离，得到所述同一边眉毛对应的第一特征向量。

9.根据权利要求6所述的计算机可读存储介质，其特征在于，所述根据当前帧图像中所述同一边眉毛对应的第一特征向量和上一帧图像中所述同一边眉毛对应的第一特征向量，计算得到所述同一边眉毛对应的第二特征向量具体为：

根据公式q＝(v₂-v₁)/v₁计算得到所述同一边眉毛对应的第二特征向量，q为所述同一边眉毛对应的第二特征向量，v₁为上一帧图像中所述同一边眉毛对应的第一特征向量，v₂为当前帧图像中所述同一边眉毛对应的第一特征向量。

10.根据权利要求6所述的计算机可读存储介质，其特征在于，所述将所述当前帧图像的输入向量分别输入训练后的四个分类器进行眼部状态识别，得到当前帧图像对应的眼部状态之前，进一步包括：

获取样本视频，所述样本视频的内容包括多个人进行所述四种眼部状态的动作；

从所述样本视频中提取出一眼部状态对应的视频帧，并分别提取出各所述视频帧的前一帧；

分别根据所述一眼部状态对应的各视频帧及其前一帧，得到所述一眼部状态对应的正样本输入向量；

分别根据所述样本视频剩余的视频帧中的连续两帧视频帧，得到所述一眼部状态对应的负样本输入向量；

根据所述一眼部状态对应的正样本输入向量和负样本输入向量，对用于检测所述一眼部状态的分类器进行训练。

Images